
友思特分享 | 1小时800件?看Ensenso 3D相机如何加速智能机器人的分拣效率
大量的快递运输需求和普遍存在的劳动力短缺问题催生了物流自动化程度的提升。友思特 Ensenso 3D相机为智能机器人卸垛机方案提供精确的图像数据,使800件/小时的物流分拣运力成为现实。
友思特长期合作伙伴 —— 德国工业相机领导者 iDS 提供,凝聚25年+工业图像处理经验,Ensenso 3D立体相机系列以双目视差+散斑3D结构光技术实现快速、轻松、精确的自动化。全系列涵盖六大型号,适配从超近距离21cm到超远距离5m不同场景下的全尺度需求,更以IP65/67防护等级适配极端工业环境,为汽车制造、医疗三维重建、机器人、物流分拣等行业应用提供可靠成像。
搭载高功率的散斑纹理投影仪,支持动态实时成像,拍摄运动物体也可以即时生成完整的三维点云,对于表面少纹理或者无纹理物体,在室内和户外太阳光环境下,仍可输出高精度点云图像。针对于高精度要求场景,相机内部带有的FlexView技术,融合多个图像对生成一帧高精度点云图像,在1m工作距离下,深度方向精度为0.1mm以内。
产品选型
核心优势
应用场景
点云实例
客户实例
技术对比
技术资源
友思特3D视觉产品及方案深得知名客户信赖:
实现快速、轻松、精确的自动化,应用几乎不受限制
25年以上图像处理经验: 源自友思特长期合作伙伴、德国工业相机领导者iDS,获全球75+ 国家/地区客户信赖,已部署190万+台相机
丰富型号选择: 涵盖 S / N / B / C / X / XR 六大系列多款型号,工作距离从21cm超近距离到5m超远距,应用场景几乎不受限,如医疗设备、机器人视觉、物体检测和分类
严苛环境可靠洞察: IP65/67防护等级,坚固耐用;部分型号配备大功率投影仪,确保弱光/户外环境下持续的高速、精准成像
先进双目散斑3D结构光技术:通过额外图案投影,提升深度信息质量与测量精度(除S系列相机采用ToF飞行时间原理),部分系列采用先进FlexView技术,加强视察图细节加强图像精度
提供强大的软件功能支持:静态场景下显著提升视差图细节,提高分辨率、获取更多数据,减少点云后处理步骤及3D影像处理时间
无缝集成软件方案Ensenso SDK:提供易用设置向导及相机校准支持;基于GPU加速的图像处理,大幅提升3D数据采集与可视化效率
可选PartFinder模块:无需编程,导入工件CAD图纸即可在1分钟内快速生成模型,引导机械臂实现自动化上下料分拣
利用AI的3D激光点阵图案三角测量技术,采用专门调节温控系统稳定激光温度,稳定输出835nm波长,Z轴精度在1米距离的物体深度偏差不超过2.4毫米
160万像素索尼传感器捕捉的每张图像都可创造完整点云,深度点多达85,000个,可以实现每秒20点云
多场景可用,外壳与行业兼容、设计超紧凑,视野可达60度,工作范围可达0.5到3米,低光照环境下可照常工作
200W投影仪,深度精度高,外形紧凑(120 x 56 x 104 mm),IP65/67防护等级,大视野,可选彩色传感器
完全集成的短焦光学元件可在 21 厘米的物距范围内使用两台 500 万像素立体相机。能覆盖 30 x 26 厘米的大视野,生成的深度值精确度约为 0.1 毫米。
基于立体视觉原理,集成大功率投影仪,专门为在恶劣环境条件下使用而设计的,具有IP65/67的防护等级,并配备触发器和闪光灯的可锁定GPIO连接器
由于其紧凑的设计,N系列同样适用于移动和静止物体的3D检测,以节省机器人手臂上的固定或移动应用空间
两种不同外壳满足不同项目需求,优化散热与灵活传感器安装,确保3D数据的高质量和稳定性
灵活系统,镜头外置,可变基线、可调视角,可从众多的C接口镜头中挑选最合适的镜头焦段安装,有助于大型项目个性化设置,捕获立方米以上的物体体积
提供160w/500w高分辨率选项,检测距离最远可达5m,配备100W大功率投影仪与长基线设计,可选IP65/67防护等级,支持室内和户外应用
具备本地数据处理功能,直接在相机端进行2D图像匹配计算、在相机端生成三维点云数据传输到电脑,降低网络负载
内置前灯支持校准工作环境和2D图像质量,除GigE数据接口外,该系列还支持无线传输功能,具有灵活连通性
可与GigE uEye相机配合,灵活定制3D系统,可选基线和焦距,工作距离最远5米,能捕捉大型物体
配备完全集成RGB传感器,200瓦投影仪,IP65/67标准,困难光照环境下也能轻松获取带有颜色信息的点云图像
提供多种型号,可选基线长度(S:240 mm,M:455 mm)和焦距,满足不同应用需求。立体与RGB相机已完成校准
小巧紧凑且坚固耐用,通过更高的可再现Z精度和投影仪电子设备更强的光输出为各种应用提供强大支持
为Ensenso 3D相机提供易于设置的向导和相机校准支持,还包括基于GPU的图像处理,以实现更快的3D数据处理
MVTec HALCON, C, C++ 和 C# 示例程序,带源代码
输出单个3D点云,数据来自多相机模式下使用的所有相机
从多个视角实时构造3D点云;机器人手眼校准
可集成uEye工业相机,以捕获额外的颜色信息或条形码
允许用户加载自己的CAD几何图形,并在Ensenso 3D相机的点云中定位这些图形。它可以综合使用深度信息、表面法线和纹理数据,因此无需编码,几分钟内解决棘手的定位任务
半全局立体匹配;Workspace 校正;虚拟视图Virtual Views;手眼校正;原始配件;图案测量;以JSON为基础的API;远程连接;Multi-View;Scene Rendering(场景渲染);PatchMatch 立体匹配
不受物体形状、尺寸和布局位置的限制,精确捕捉和测量物体三维信息特征,显著提高生产线的效率与智能化程度
相机自带200W大功率投影仪获取工件表面完整点云轮廓信息
PartFinder零代码编写算法模块用于检测定位,无需长时间开发
取代人工上下料,规避安全问题,大幅提升产线效率
实时采集3D点云,精准提取车轮的特征点和轮廓,在1.1m工作距离下,视野达1.1*0.77m,精度可达0.16mm
相机内部带有FPGA芯片,可以在相机端对双目相机采集的2D图像进行匹配计算,直接输出三维点云数据信息至PC,大大降低CPU计算负载
多台3D相机协同,自动采集和分析车辆图像,大幅提高检测准确性及效率
相机系列丰富,在不同工作距离、不同视野要求等各种应用场景下,我们可提供不同的系列相机方案以采集生成最佳效果点云,输出高精度的点云数据
即使在具有挑战的室内外环境以及动态场景,均可清晰成像,生成动态实时的高帧率点云
结合3D相机可以实现对客户应用场景进行精细尺寸测量、目标检测定位、目标缺陷检测分析、自动化装配等应用需求进行定制化软件集成系统开发,提供一站式完整的解决方案
Product component and core advantages
GigE (PoE),IP65/67,普遍适用在人工智能激光点三角测量
两个 500 万像素 传感器,非常紧凑的 75 毫米立体基线,铝质外壳,GigE,IP65/67,用于移动和静止物体,FlexView。彩色版使用了两个 RGB 传感器和绿色 LED 投影灯
5 MP立体和2 MP RGB传感器,240或455毫米立体基线,铝制外壳,GigE,IP65/67,工作距离可长达5米,适用于移动或静止物体(带 FlexView)
Ensenso SDK提供易于设置的向导和相机校准支持、基于GPU的图像处理
主动立体视觉,2.3 MP传感器,GigE,PoE,IP65/67,适用于移动(N31/N41)或静止物体(带FlexView的N36/N46)
主动立体视觉,1.6或5 MP传感器,弹性系统,GigE,IP30或IP65/67,适用于移动(X30)或静止物体(带FlexView2的X36)
主动立体视觉,1.6或5 MP传感器,弹性系统,GigE,IP65/67,整合数据处理,适用于移动(XR30)或静止物体(带FlexView2的XR36)
Application scenarios
3D Pointcloud Case
Application case
客户需求:
该大型洗衣厂在分拣客户包裹环节面临严峻挑战,需要自动化处理大量尺寸形状各异、常以任意姿态堆叠在输送带上的包裹。传统方法难以准确识别堆叠状态下顶部包裹的边界和精确位置,亟需一种能在高温、高湿且充满蒸汽的严苛工业环境下稳定运行的解决方案。该系统必须能够获取每个包裹精确的三维尺寸(长、宽、高)及其在空间中的具体位置(X, Y, Z坐标)和旋转角度(姿态),以满足高速自动化分拣机器人可靠抓取和分类的需求。
友思特解决方案:
为满足上述需求,洗衣厂部署了友思特合作伙伴IDS的Ensenso S系列3D相机(Ensenso S10)。该相机利用主动tof技术,即使在包裹堆叠的复杂场景下,也能精确重建高精度的三维点云数据,清晰区分目标包裹。它能够可靠地输出包裹的关键三维尺寸信息和精确的空间位姿(位置和旋转角度),这些数据直接驱动分拣机器人执行精准抓取。Ensenso S相机专为工业环境设计,其IP65/67的高防护等级有效抵御水汽、灰尘和清洗剂,宽工作温度范围适应洗衣厂高温,且主动投影技术减少了环境光干扰,确保了在恶劣条件下持续稳定运行,最终实现了包裹分拣的精准高效自动化。
客户需求:
随着工业 4.0 推进,制造业对自动化、智能化需求增长。企业需实现生产流程全自动化,提效降本减负。物流环节,单调重复的装配、放置任务(如纺织业自动放筒子架,要求机器人精准抓取放置纱线卷筒 ),需机器人系统完成。机器人系统还得应对复杂环境(不同光线、苛刻工况 ),具备高精度抓取能力,适配不完整托盘与复杂放置要求。同时,要集成协调自动驾驶车辆、机械臂、相机等设备,保障高效运作 。
友思特解决方案:
为满足上述需求,ONTEC Automation GmbH开发了一套自动驾驶机器人辅助系统。该系统结合了内部物流平台、灵活的机器人手臂和IDS Ensenso N系列3D立体相机系统。Ensenso 3D相机通过小巧且耐用的设计,能够适应动态和静态物体的3D信息采集,并在光线不足的情况下通过投影仪提供高对比度纹理,确保图像捕捉的准确性。相机与机器人手臂通过Ensenso SDK进行手眼标定,实现精准的坐标传递。同时,ONTEC SPSComm软件连接了导引车的PLC,实现了导引车、夹持器和相机之间的通信与协调。通过这些技术,系统不仅能够高效完成抓取和放置任务,还能适应复杂环境,为工业4.0的应用提供了灵活且可靠的解决方案。
客户需求:
在汽车制造行业,冲压生产线的自动化装卸是一个重要的生产环节。传统的人工装卸方式不仅效率低下,还容易出现误差和碰撞,尤其是在处理来自不同制造商、尺寸各异的容器时。为了提高生产效率、缩短周期时间并确保装卸过程的精确性和安全性,需要开发一种能够自动识别和处理容器类型、形状和位置的机器人系统。该系统必须能够在复杂的生产环境中实现高精度的装卸操作,同时满足工业生产对可靠性和效率的要求
友思特解决方案:
客户需求:
随着快递和包裹数量的快速增长以及劳动力短缺问题的加剧,航运和物流公司急需提高自动化程度以应对巨大的订单量。在物流环节中,托盘的卸垛工作通常由人工完成,不仅效率低下,还存在劳动强度大、容易受伤等问题。因此,需要开发一种能够自动处理托盘上随机排列包裹的机器人系统,以实现高效、连续的卸垛操作。该系统必须能够识别不同大小和重量的包裹,精确确定抓取位置,并避免碰撞,从而提高物流效率,同时减轻员工的体力负担。
友思特解决方案:
客户需求:
在汽车制造和测试领域,车辆四轮定位检测是确保行驶稳定性和轮胎寿命的关键环节。然而,传统的四轮定位测量方法存在诸多弊端,例如需要大量人力和时间,且容易受到人为因素影响,导致测量结果不准确。随着汽车保有量的增加和对车辆性能要求的提高,市场迫切需要一种高效、精确且自动化的四轮定位检测技术。此外,车辆在不同使用环境下,轮胎的角度、倾斜度、前后轮对齐等参数容易发生变化,因此需要一种能够在复杂环境下稳定工作的检测系统,以满足汽车整车厂、装配厂和维修站等场所的需求。
友思特解决方案:
Techinical comparison
两台相机从不同位置拍摄同一场景,利用位置和角度差异产生视差(图像中物体位置的偏移)
软件通过三角测量原理,将捕捉到的像素视差值转换为实际的空间长度,从而计算出物体的三维位置,生成点云
传统立体视觉依赖场景自然纹理进行图像特征点匹配。在低纹理、光滑或反光物体表面,匹配困难,深度计算不准确
Ensenso 相机主动投射特定图案(如散斑纹理),为物体表面增加人工纹理特征,显著改善特征点匹配,获得更高质量和更精确深度的测量结果
FlexView
利用压电制动器步进移动掩模板,改变投影图案,生成物体表面纹理变化。通过捕获同一场景的多幅纹理变化图像并运用匹配算法计算,增强视差图细节
该技术在光泽、灰暗或反光表面产生额外结构纹理,提升视差图精度与数据量并降低噪声,从而减少点云后处理及整体 3D 成像时间
开启FlexView获取的点云数据
关闭FlexView获取的点云数据
单次采集
(未开启FlexView)
多对图像采集
(开启FlexView)
FlexView相机用于拍摄静态物体时计算可以得到更好的效果,通过组合多组结合投影点纹理的图像得到更好的分辨率。
只需要4-16对图像组合, X方向, Y方向 以及 Z方向的精度可以获得倍数增加。
可以获取更精细的细节以及轮廓,加强对于黑暗,反光,缺少纹理的表面信息成像。
Technical Resources
iDS自1997年以来,一直致力于工业图像处理产品的研发和生产。凭借对技术的远见卓识和对未来发展的敏锐洞察力,iDS一直在把握时代发展的趋势,持续将消费者领域的关键技术进行创新性改造,使之满足工业用途需要:正是iDS才让USB接口成为工业相机行业兼容的主流接口类型。
作为 iDS 的长期合作伙伴,友思特一直致力于为大中华地区的客户提供最先进的机器视觉技术和解决方案。自双方确认战略合作以来,友思特持续为客户提供更加卓越的产品和服务,满足了各行各业不断增长和变化的市场需求,与IDS携手共同推动机器视觉领域的发展。针对事件相机,友思特团队可以为您提供产品选项、一站式方案设计、测试等技术服务,欢迎咨询友思特工作人员。
大量的快递运输需求和普遍存在的劳动力短缺问题催生了物流自动化程度的提升。友思特 Ensenso 3D相机为智能机器人卸垛机方案提供精确的图像数据,使800件/小时的物流分拣运力成为现实。
友思特推出的解决方案,基于Part Finder模块与Ensenso3D相机设备,能够实现部件识别与分割,并配合控制机器臂和其他设备动作,显著提升自动化上下料、分拣等系统的效率和准确性。
基于友思特 Ensenso 系列高精度 3D相机 实时采集车辆四轮的三维点云图,提取关键信息并进行计算分析,实现车辆四轮定位的精确测量,对车辆轮胎的角度、倾斜度、前后轮对齐、角度等数据进行实时监测和分析,以便及时发现和纠正轮胎问题,广泛应用于汽车整车厂、第一装配厂、维修站等场所均可使用。
【产品介绍开箱】
IDS Ensenso 3D立体相机介绍及开箱展示
(点击跳转可查看更高清视频)
【直播回放】
散斑3D视觉成像方案与工件检测定位应用
(点击跳转可查看更高清视频)
【使用教程】
如何在15分钟内搭建3D视觉系统?
(点击跳转可查看更高清视频)
【成像演示】
Ensenso C 实时3D点云图像展示
(点击跳转可查看更高清视频)
【DEMO演示】
利用3D视觉引导随机工件拾取和放置
(点击跳转可查看更高清视频)
【直播回放】
高精度3D成像技术助力高效高质产线生产
(点击跳转可查看更高清视频)
【产品介绍及演示】
利用 Partfinder 实现物体的3D精确检测和定位
(点击跳转可查看更高清视频)
【DEMO介绍与演示】
工件自动化上下料+多相机PTP同步+芯片IC自动化检测
(点击跳转可查看更高清视频)
【DEMO演示】
德国Vision2024 Ensenso B demo演示
(点击跳转可查看更高清视频)
【产品介绍及演示】
Partfinder 三维匹配算法操作及demo实测演示
(点击跳转可查看更高清视频)
S系列相机跟其他三个系列所应用的技术原理不同,S系列应用的是TOF激光三角测量原理,主要依赖的是激光发射器和接收器采集距离信息,视野固定,帧率高,价格偏低。
其他三个系列应用的均为双目散斑原理,精度高,其中X系列相比于N系列,镜头外置,可以简便调节两个相机的角度,从而调整视野,并且抗阳光性能较强。XR系列支持在相机端进行数据处理,可释放工控机处理器端的计算压力,提高效率。
FlexView是我们的核心专利技术,其原理主要是左右两个相机同时采集8、16对图像,将多对图像对计算的结果融为一帧图像,最后得到精度更高、可靠性更高、细致度更高的深度图像。
我们应用的是双目加投影仪投影随机散斑纹理的原理,在传统的双目视差计算测量原理寄出上,额外增加了一个投影仪主动投影纹理到目标物上,当目标物的特征点不足时,两个相机采集回来的图像也可以精确地进行视差计算,进而得到深度图像和3D点云。
PoE总共有3个孔,一个圆形的孔接电源适配器,另外两个网线接口,标有OUT的跟相机网口连接,标有IN的跟控制端(如电脑)连接。
我们3D相机使用的是双目散斑原理,即使在困难的光照条件下也能胜任。并且配合我们的专利技术FlecView,移动和静止物体都能检测,精度最高可以达到0.1mm左右。
我们是模块化、轻量化设计,小巧灵活,因为体积大会影响机器人/整个系统的设计跟载具的设计,这对协作机器人尤其重要,相机过重会占据手臂的有效负载。
提供了C、C++、C#、Halcon、ros接口API,方便用户开发使用。并且我们的SDK非常稳定且容易使用,这对企业长远使用和产品声誉非常重要。也是三菱、达明、牧今、亚马逊等众多头部企业选择我们的原因。
防护等级为IP65/67,支持户内户外等不同场景的多个系列,适应工业应用等恶劣环境。
打开电脑控制面板——>网络和共享中心——>更改适配器设置——>选择刚接入的以太网右键属性——>选择IPv4——>分配IP地址。
1.检测的内容是什么?尺寸/形状是变化的吗?尺寸范围多大?能否提供图片/视频?
2.检测时是运动还是静止的呢?户外还是室内?能否提供工作环境的视频?
3.相机工作距离?
4.精度要求?
5. 需要RGB信息吗?
6.视觉处理软件是自己在开发还是第三方软件?
Contact us
硬件选型:根据应用项目具体需求选定适用的3D相机型号
测试服务支持:按需进行样品测试与效果评估验证
系统集成与方案设计:根据您的需求制定完整集成解决方案
软硬件培训:全方位覆盖硬件产品使用的各环节,帮助您迅速掌握软硬件使用技巧
Related product
数据流实时监控可视化工业流程
即插即用,无需编程,无需额外 PC,搭载 Ambarella 先进 SoC 技术
应用可能性几乎不受任何限制
根据各种应用需求提供不同感光芯片尺寸、帧率、分辨率、接口的相机
数据更少,速度更快,精度更高
不再捕获静态和不相关背景,数据量比基于帧的图像传感器少 10 到1000 倍
基于人工智能独立执行机器视觉任务
快速、经济且无需提前进行知识储备,提供对象分类、对象检测等功能