友思特案例
在恶劣的物流环境中也能实现物流自动化
前言导读
sewts研发的新型智能系统采用友思特合作伙伴提供的IDS相机进行图像处理,该系统的技术现在可用于实现单个生产步骤的自动化,例如给脏污纺织品分类或者给折叠机投料。
机械手自动化在物流中的应用
全球性的流行病从根本上影响了供应链和物流行业,因此对机器人自动化的需求比以往任何时候都更为迫切。仓储中70%以上的劳动力都用于拣货和包装,众多企业逐渐投入到物流自动化中。但是,当机器人必须处理无限数量的(未知的)存货保管单位时会发生什么?这些公司需要一种快速、可靠、稳健的方式来自动拣选和放置大量的物体。This challenge was taken up successfully by the Dutch company Fizyr.这家位于代尔夫特的计算机视觉公司专注于让机器人即使在恶劣的物流环境中也能拣选未知物体。其结果是一个自动化的视觉解决方案,可以在各种条件和应用中实现物流自动化,如物品拣选、包裹处理、拆垛、卡车卸货或行李处理。为了用最佳的硬件来完善系统,Fizyr将紧凑、坚固的Ensenso 3D摄像机与IDS的高性能GigE uEye摄像机相结合。
Fizyr没有像市场上大多数厂商那样提供专有的分拣单元,而是创造了一种即插即用的模块化软件产品,可以与任何系统顺利集成,让集成商可以自由选择最佳的硬件(如Cobots或工业机器人)作为分拣单元。在促进成本、稳健性和速度优化的同时,IDS是摄像机方面的首选合作伙伴。实质上,摄像头看到的产品要进行挑选或分类。根据客户的具体应用,最多可以使用四台Ensenso 3D摄像机与功能强大的GigE uEye CMOS摄像机相结合。集成的IDS工业相机确保了Fizyr软件算法所需的可靠、精确的图像采集,每秒可提供100多个抓取姿势,包括分类处理不同的物体。该软件还可以进行质量控制和检测缺陷,以防止损坏的物品被放置在分拣机上–借助IDS摄像头作为自动系统的锐利眼睛。
因此,这些算法能够提供所有有关包裹类型(包括箱、袋、信封/平面、管状、圆柱体、可变形等)的分割和分类信息。该系统可以识别离群值或不可输送物(即损坏的货物),6个DoF(自由度)的最佳抓取姿势,以及每个物体的多个有序姿势。它可以让传感器或机器人处理紧密堆叠或重叠的物体、高反射的物品和塑料袋中的服装、白底白字和黑底黑字的平面,以及透明物体。
由于立体视觉的质量直接取决于场景的光照条件和物体表面的纹理,因此在纹理较少或反光的表面上寻找和计算对应点的坐标是非常困难的。为了满足这些高要求,Fizyrs为客户提供解决方案的首选是IDS产品组合中的摄像机型号。从而对任务进行了很好的分工。uEye GigE CP相机正在拍摄物体的二维图像,并将其作为Fizyr算法的输入,然后Fizyr算法对相机下的物体进行分类。物体可以是未知的,形状、大小、颜色、材质、堆积都各不相同。然后,Ensenso摄像头创建点云图,Fizyr的软件将其与二维图像的信息相结合,分析云的表面是否有适合抓取者(或多个抓取者)的抓取姿势,并提出最佳姿势。对不同材料的表面进行清晰的表示是至关重要的,因为它是其算法的关键组成部分。IDS的Ensenso 3D摄像机没有问题。它们通过额外的技术改进了经典的立体视觉原理,以实现更高质量的深度信息和更精确的测量结果。即使在恶劣的光照条件下,该系统也能平穩的分類未知包裹。
友思特 相机硬件
具体的摄像机型号,以及每个系统的摄像机数量,取决于客户的具体使用情况。对于典型的用机器人拣选垃圾箱的解决方案,一个Ensenso N35和一个GigE uEye CP一起使用,但也有客户使用一个Ensenso X36和一个GigE uEye CP一起拣选垃圾箱,同时使用4个Ensenso N35摄像头将物品存放在其他垃圾箱中。
推荐的uEye CP是 “Compact Power “的缩写,是各种工业应用的小强。它通过广泛的像素预处理提供了最大的功能,并且由于内置120 MB的图像内存,也非常适合多相机系统。摄像机以全千兆以太网速度传输数据,并通过PoE(”以太网供电”)实现长达100米的单电缆操作。所选的UI-5240CP-C-HQ Rev.2是一款功能特别强大的工业相机,采用e2v 130万像素CMOS传感器,有单色和近红外两种版本。这是IDS产品系列中最灵敏的传感器之一,除了这里使用的彩色版本外,还有单色和近红外版本。除了对光线有出色的敏感度外,该相机还具有其他一系列独特的功能,使得传感器在要求或环境条件发生变化时极为灵活。
“Fizyr通常每个系统使用一台摄像机,通常uEye摄像机与Ensenso N35和X36结合使用,但没有限制。Fizyr首席执行官Herbert ten Have强调说:”到目前为止,Fizyr最常见的使用案例是每个系统有一个uEye和一个Ensenso。
不同的Ensenso机型有一个共同点:通过使用图案遮罩,即使在光照条件困难的情况下,处置光照密集型投影机也能在物体表面产生高对比度的纹理。投射的纹理补充了薄弱或不存在的物体表面结构。因此这个原理也被称为 “投影纹理立体视觉 ” 。这样一来,就能得到更详细的差异图,也能得到更完整、更均匀的场景深度信息。
这两款Ensenso 3D相机型号具有广泛的功能,可用于供应链和物流行业的各种高要求应用,如3D物体识别、分类和定位(如质量保证、调试)、物流自动化(如(去)托盘化)、机器人应用(如垃圾箱拣选)、捕获最大8立方米的物体(如托盘)或自动存储系统。
“ Fizyr已经将Ensenso SDK集成到其软件中,使用了一个现代化的快速封装器"。"一个很大的优势是2D/3D结合,可以将2D摄像头的图像作为叠加的方式放在3D点云上。”
— Fizyr首席执行官Herbert ten Have —
这样可以让人对现场有更生动的影像。另一方面,可以通过 “手眼校准 “的方式,将摄像头图像与机器人坐标系进行优化调整,以保证目标导向的抓取。
友思特 方案前景
电商的强势发展,加大了对大包装的需求。同时,由于全球大流行病的制约,既导致了现有劳动力的减少,也导致了企业对物理距离的迫切需求。为了应对这些挑战,企业越来越多地转向机器人自动化,而人工智能和机器视觉在其中起到了至关重要的作用。同时,这也降低了成本,提高了职場安全
全球范围内对最先进的自动分拣单元的高质量模块的需求正在增长。系统集成商对软件和硬件组件的要求也在不断提高。Fizyr-IDS解决方案具有以下优势。
- 作为一个即插即用的解决方案,它可以轻松地集成到任何系统中。
- 它与硬件无关,因此,客户可以随时根据自己的需求灵活调整订单拣选系统。
- 它包括一个强大的、精确的、灵活的、易于使用的3D视觉系统,可随时提供最佳的对象信息。
- 这些都是面向未来的自动化 “好人 “系统中不可缺少的组成部分。
友思特 合作伙伴介绍
Fizyr设计、制造、安装和维护世界上最好的视觉软件产品,用于在恶劣的物流环境中进行自动拣选和放置。他们的学习算法用于实现自动处理形状、大小、颜色、材料和堆叠不同的未知物体,从(输送的)散件中挑选。Fizyr的产品被全球领先的系统集成商和终端用户应用于在线零售、仓储和包裹服务的生产中。
友思特 方案产品套装介绍
Ensenso N系列相机
● 小巧坚固的铝制外壳
● IP65/67
● 全局快门式CMOS传感器和图案投影仪,可选蓝色或红外LED
● 最大帧率(3D):10(2x像素融合:30)和64个视差等级
● 最大帧率(离线处理):30(2x像素融合:70)和64个视差等级
● 设计工作距离最长3000毫米(N35相机)和可变图像场
● 输出单个3D点云,数据来自多相机模式下使用的所有相机
● 从多个视角实时构造3D点云
● 集成的FlexView技术可提高点云的精度,并且在复杂的表面上也能确保3D数据的稳健性
● 使用“投影纹理立体视觉”技术捕捉无纹理物体表面的图像
Ensenso X36相机
3D立体视觉使用模块化3D相机系统
● 型号:Ensenso X36
● 传感器类型:CMOS
● FlexView: 2
● 投影仪功率: 100 W
● 基准: 可变
● 触发和闪光
● 防护等級: IP 65/67
● 应用领域:3D物体识別,分类以及定位, 例如:品质确保,调适。3D物体重建,机器人应用,例如:bin picking。 允许你拍摄较大的物体体积将近到数立方公尺,例如,整个托盘或是整个房间,物流自动化,例如: (De-)Palletizing 叠栈,工厂自动化, 自动仓储系统