友思特案例

不用3D点云,如何实现精准的物体识别与抓取?​

前言导读

长时间以来,通过机器人实现自动化就成为重要驱动力,人工智能(AI)正在发挥越来越关键的作用。友思特利用两台uEye+XCP相机处理快速货箱拣货或取放、实现机器零件的精确进料以及完成材料处理的不同工作步骤。

纯logo

制造业的挑战与转型

制造业目前面临许多挑战。为应对技术变革、环境挑战和全球化,制造业必须进行一系列调整,例如投资新技术、节约资源以及优化和保障供应链。在全球范围内运营的公司必须面对不断变化的环境,同时管理供应链中的问题。企业越来越倾向于将生产转移回本土市场。要提高本国制造的竞争力,企业不仅需要具备足够的韧性,还需要遵守严格的环境法规和实现成本效益战略,此外,还必须克服人员瓶颈。长时间以来,通过机器人实现自动化就成为重要驱动力,人工智能(AI)正在发挥越来越关键的作用。实现自动化的压力与日俱增,而机器人技术与之同步发展。要将AI技术真正融入企业生产流程,就需要尽可能简化AI集成过程,并缩短培训阶段,这两点至关重要。

纯logo

AI自动化解决方案的创新

友思特致力于为制造业中的各种机器人应用提供全面AI解决方案,且重视提高组装任务或仓库物流的效率。解决方案能够处理快速货箱拣货或取放、实现机器零件的精确进料以及完成材料处理的不同工作步骤。这一系统易于集成,由一个机械臂模块、一个预装智能软件的计算单元和一个相机模块组成,每个相机模块都配备了两台友思特 uEye+ XCP相机。

图1 一个机械臂在两台友思特IDS相机帮助下定位和抓取零件

“相机的任务是拍摄一张包含待处理物体的区域照片。根据记录,软件可以分析场景并识别物体的确切位置。”友思特 IDS相机团队表示。其核心组件可以进一步处理图像,这是一款专门开发的自学习软件,用于预测零件的位置及其拾取点。该软件以AI为基础处理图像匹配任务,不再需要经典的3D点云。AI可以根据模拟数据实现独立学习,并极其精确地定位排除点和组件。用于零件识别和与机器人通信的AI模型由强大的GPU(图形处理单元)控制。

“使用我们的软件包,系统可以在两到五分钟内定义新零件的选择点并配置应用。”

——友思特团队

纯logo

友思特相机的参与和配置

友思特解决方案所采用的相机模块配备了两个节省空间的 XCP 工业相机。两台友思特 IDS 相机根据立体视觉原理,从不同视角提供物体场景的图像。挑战在于如何根据这些图像尽可能准确地确定要抓握的零件的位置。这一任务又一次落在AI的肩上。图像采集、AI模型和特殊图像处理相结合,可以非常精确地确定记录点和位置。3D货箱拾取的标准CAD应用通常使用结构光或传感器来实现这一点,它们在环境中投影,创建一个点云,然后尝试在其中找到零件。但在这里,我们并没有使用3D相机,而是使用了两台标准的友思特 IDS 工业相机。

友思特 IDS相机参与解决方案的精度小于1毫米,这远高于竞争对手的系统。系统可以可靠检测各种零件,即使面对有光泽、反光或透明的零件也能顺利检测,这些情况往往是传统机器视觉系统的瓶颈。同时,它不受外部光线条件变化的影响。相机是这一解决方案的关键组件。它速度很快,推理时间仅需不到170毫秒,而同类解决方案通常需要1000毫秒以上。快速计算可以使货箱拾取装置的循环时间缩短到两到三秒。这确保了单次传送执行精准高效。而这又使得该系统成为目前市场上速度最快的AI图像识别系统之一。

机械臂上的两台IDS相机提供图像,以便系统使用智能软件快速准确地进行进一步处理

SuperSpeed USB 5 Gbps相机在这一方面贡献尤为突出,即使应用的环境光线暗淡或光照条件不断变化,这款相机也能可靠提供高分辨率数据,用于详细的图像评估。相机所集成的传感器(1/2.5英寸504万像素的滚动快门CMOS传感器 onsemi AR0521)采用BSI(“背面照明”)像素技术,可以提供稳定的弱光性能,在近红外(NIR)范围的灵敏度也很高,因此友思特 uEye XCPs几乎在任何照明情况下都能提供高质量图像,而像素噪声很低。USB3 XCP配备小巧轻便的全外壳(29 x 29 x 17毫米,61克)和可旋紧USB Micro-B接头,特别适合与自动化领域的机器人和协作机器人结合使用。

友思特 XCP相机采用USB3,并兼容视觉标准(U3V / GenICam),因此可以轻松集成到任何图像处理系统中,几乎可以与各种配套软件一起使用。标准接口大大方便了集成:根据客户的要求,我们在系统中使用不同友思特 IDS相机。由于相机采用标准化接口,我们可以快速部署各种uEye型号相机。友思特 IDS产品组合中的各种相机与流行的镜头兼容,有助于最大限度提高产能。

由于配备了强大的友思特 IDS相机和智能软件,此系统速度极快、受关照条件影响小、组件带宽很高,所以特别适合生产环境中的自动化任务。

此外,该3D视觉系统集成简便,这也大大提高了效率。这一智能3D视觉系统可以在没有任何实际机器人训练的情况下立即投入使用,与传统方法相比,这大大提高了应用速度。因此,公司可以快速获得自动化带来的好处:自动化使运营更加高效、竞争力更强、更可持续,从而节约资源和成本,同时提高产品质量和员工安全性。

图3 强大的CPU控制AI模型,用于零件识别和与机器人的通信
纯logo

友思特 方案应用前景

AI在机器人领域的应用仍处于初级阶段。由于需求不断增长,AI图像处理领域发展空间广阔,数据传输速率更高、传感器更快更大的相机将上市,此外还会推出具有可靠基本功能而价格更为低廉的型号。工业相机越来越小,价格也越来越便宜。这将推动更多应用问世。

我们的愿景是赋予机器人与人类同等水平的能力。如果AI驱动的机器人可以完成单调的重复性任务,企业就可以将人力资源分配到更具创造性、更高效和更有价值的任务。

纯logo

友思特 方案产品套装介绍

uEye 工业相机

● 接口:以太网
● 传感器类型:CMOS
● 生产商:Sony
● 帧率:24.0 fps
● 分辨率(水平x垂直):2448 x 2048像素
● 快门:全局快门
● 分辨率:501万像素
● 尺寸:29 x 29 x 29 毫米
● 重量:52 g
● 连接器:GigE RJ45,螺丝旋紧式
● 应用范围:工业图像处理、机械工程、表面检查、医学技术、交通运输、品质保证等。