友思特分享 | 1小时800件？看Ensenso 3D相机如何加速智能机器人的分拣效率
2024年9月26日
大量的快递运输需求和普遍存在的劳动力短缺问题催生了物流自动化程度的提升。友思特 Ensenso 3D相机为智能机器人卸垛机方案提供精确的图像数据，使800件/小时的物流分拣运力成为现实。
基于高精度3D视觉的放疗定位方案
Solution Background
方案背景
Solution introduction
方案概述
Core advantages
核心优势
Application case
客户实例
Product Package
套装产品
Technical resource
技术资源
立刻咨询/购买
方案背景
放疗临床痛点：精准定位的“最后一厘米”难题
放射治疗的核心目标是将高剂量辐射精准投照至肿瘤区域，同时最大限度保护周围正常组织。精准放疗流程中，患者体位管理是关键瓶颈：
计划与执行的鸿沟：治疗计划基于CT/MRI影像制定，但治疗时患者实际体位难以与计划体位完美吻合
分次治疗间的偏移：多次放疗间，患者体重变化、器官位移等因素导致体位不一致
治疗过程中的移动：即使初始摆位精准，呼吸、无意识移动也会造成治疗中靶区位移
传统方法的局限： 激光灯、皮肤标记点依赖经验且精度有限；基于体表光学的系统易受环境光干扰，对复杂曲面适应性差
后果影响： 体位偏差导致剂量分布偏离计划，降低肿瘤控制率或增加正常组织并发症风险
友思特方案概述
采用高精度双目散斑3D相机，构建一套非接触、全场、实时的放射治疗视觉定位系统
高精度3D相机模组作为核心硬件：常安装在治疗床两侧或上方机架，视野需覆盖患者治疗区域，具备防撞、抗辐射（或易于屏蔽）设计，安全集成于放疗机房环境，并由高性能计算单元负责实时数据处理。相机通过主动投射激光散斑图案，并利用双目视觉原理，实时重建患者体表的亚毫米级精度三维模型
精准配准——从刚性对齐到形变追踪：系统核心采用先进的点云配准算法。首先通过刚性配准，计算当前体表与计划CT参考模型间的空间变换（平移与旋转），精准复现“计划体位”。针对呼吸或器官运动等复杂情况，更可启用形变配准技术，精确捕捉非刚性形变，为治疗提供更细致的位移场信息
实时监控与智能干预：系统实时显示患者相对于参考位的六维偏差（ΔX, ΔY, ΔZ, Roll, Pitch, Yaw）。一旦治疗中患者移动导致位移超过安全阈值，系统将立即触发声光报警，并自动向加速器发送暂停照射信号，为治疗安全构筑实时智能防线
数据驱动的质控与优化： 所有关键数据，包括每次治疗前的摆位误差、治疗中的运动轨迹均被自动记录。系统据此一键生成标准化质控报告，为临床评估、流程优化和持续改进提供客观、量化的数据基础
方案优势
有效突破了传统方法在精度、效率和可靠性上的瓶颈
亚毫米级精度与强抗干扰性
提供优于0.1mm (@1m)的测量精度，远超传统光学方法。主动散斑技术能有效克服治疗室内复杂环境光的干扰，确保在真实临床环境中稳定、可靠运行
无标记、全场动态捕捉
非接触式测量，无需粘贴标记点，直接获取完整体表三维形貌，减轻患者不适。高帧率特性支持实时捕捉呼吸等动态运动，为治疗中监控奠定基础
卓越的复杂曲面适应性
对皮肤、体模等非规则曲面具有出色的三维重建能力，能真实还原患者解剖结构细节，克服传统方法在曲面测量上的局限
灵活的视野扩展能力
提供免费SDK与便捷的多相机标定融合工具，支持将多台相机视野统一至同一坐标系，轻松实现大范围治疗区域的覆盖，有效满足多样化临床场景需求
无缝系统集成与工作流优化
系统提供标准化的数据接口（如DICOM）和通信协议（如TCP/IP），可无缝集成到现有放疗网络与治疗计划系统中。这实现了从计划到执行的平滑数据流转，最大限度地优化了临床工作流程，提升了整体治疗效率
数据驱动的质控与持续改进
系统自动记录并存储每一次治疗的摆位误差、实时运动轨迹等全流程数据，并可一键生成标准化质控报告。这为治疗精度分析、个体化方案优化及临床研究提供了客观、量化的数据基石，助力医疗质量的持续提升
客户实例
鼻咽癌调强放疗（IMRT）患者体位管理
精度±0.1mm
@1m
FOV 900x866mm
@1m
摆位残留误差
<1mm / <1°
平均摆位时间
缩短约40%
客户应用案例
某大型肿瘤医院放疗中心引入基于双目散斑3D相机的视觉定位系统（核心相机参数：精度±0.1mm @1m， FOV 900x866mm @1m），成功应用于鼻咽癌调强放疗（IMRT）患者体位管理。
患者在计划CT扫描时，同步使用3D相机采集其在固定装置（如热塑膜+头枕）下的体表（面部、颈部）点云，作为“参考表面模型”存入治疗计划系统（TPS）。患者躺于治疗床并佩戴固定装置后，先利用室内激光进行初步摆位。随后启动3D视觉定位系统：相机快速拍摄患者当前体表并实时重建点云。系统在数秒内完成当前点云与TPS中参考模型的刚性配准。根据精确量化的指引，精细调整治疗床位置（平移和旋转），直至所有偏差值均小于预设阈值（如±1mm / ±1°）。治疗束流照射期间，系统持续运行（采用低剂量模式或间歇采样），实时监测患者体表位置。一旦检测到位移超过安全阈值，立即触发连锁机制暂停加速器照射，并通过声光报警提示。
精度±0.1mm
@1m
FOV 900x866mm
@1m
摆位残留误差
<1mm / <1°
平均摆位时间
缩短约40%
客户应用案例优势
1）精度与效率提升： 系统辅助下，最终摆位残留误差可稳定控制在<1mm / <1°水平，远优于传统方法。配准计算快速直观，调整有明确量化依据，平均摆位时间缩短约40%。
2）治疗安全保障： 实时运动监控功能有效捕捉治疗中无意识的移动（如咳嗽、轻微滑动），防止因位移导致的剂量偏差。实际记录显示，约15%的患者在单次治疗中触发了位移报警，凸显了该功能的重要性。
3）数据管理： 系统自动记录的每次治疗前摆位误差及治疗中最大位移数据，为个体化治疗评估、固定装置优化及临床研究提供了客观、量化的坚实基础。
4）患者体验更舒适：无标记、无创的测量方式提升了患者的舒适度和治疗依从性。
方案套装产品
可根据项目需求定制更多相关软硬件设备
友思特 iDS Ensenso 系列3D相机
丰富型号选择： 涵盖 S / N / B / C / X / XR 六大系列多款型号，工作距离从21cm超近距离到5m超远距，应用场景几乎不受限，如医疗设备、机器人视觉、物体检测和分类
严苛环境可靠洞察： IP65/67防护等级，坚固耐用；部分型号配备大功率投影仪，确保弱光/户外环境下持续的高速、精准成像
先进双目散斑3D结构光技术：通过额外图案投影，提升深度信息质量与测量精度（除S系列相机采用ToF飞行时间原理），部分系列采用先进FlexView技术，加强视察图细节加强图像精度
Ensenso SDK
为Ensenso 3D相机提供易于设置的向导和相机校准支持，还包括基于GPU的图像处理，以实现更快的3D数据处理
MVTec HALCON, C, C++ 和 C# 示例程序，带源代码
输出单个3D点云，数据来自多相机模式下使用的所有相机
从多个视角实时构造3D点云；机器人手眼校准
可集成uEye工业相机，以捕获额外的颜色信息或条形码
更多技术资源
友思特 iDS Ensenso 3D相机相关技术资源
技术对比：主动双目散斑3D技术
Techinical comparison
01
双目视差生成
两台相机从不同位置拍摄同一场景，利用位置和角度差异产生视差（图像中物体位置的偏移）
02
三角测量转换
软件通过三角测量原理，将捕捉到的像素视差值转换为实际的空间长度，从而计算出物体的三维位置，生成点云
03
传统场景依赖纹理
传统立体视觉依赖场景自然纹理进行图像特征点匹配。在低纹理、光滑或反光物体表面，匹配困难，深度计算不准确
04
主动投影增强
Ensenso 相机主动投射特定图案（如散斑纹理），为物体表面增加人工纹理特征，显著改善特征点匹配，获得更高质量和更精确深度的测量结果
iDS自1997年以来，一直致力于工业图像处理产品的研发和生产。凭借对技术的远见卓识和对未来发展的敏锐洞察力，iDS一直在把握时代发展的趋势，持续将消费者领域的关键技术进行创新性改造，使之满足工业用途需要：正是iDS才让USB接口成为工业相机行业兼容的主流接口类型。
“基于事件的摄像机可实现低至微秒级的出色时间分辨率，是高动态场景的理想选择。捕捉物体快速运动的最佳先决条件，同时不会丢失基于图像的传感器不可避免的信息”
— Patrick Schick，IDS 三维和视觉软件产品负责人 —
作为 iDS 的长期合作伙伴，友思特一直致力于为大中华地区的客户提供最先进的机器视觉技术和解决方案。自双方确认战略合作以来，友思特持续为客户提供更加卓越的产品和服务，满足了各行各业不断增长和变化的市场需求，与IDS携手共同推动机器视觉领域的发展。针对事件相机，友思特团队可以为您提供产品选项、一站式方案设计、测试等技术服务，欢迎咨询友思特工作人员。
友思特方案 | 基于PartFinder模块算法实现工件点云检测定位应用
2024年8月20日
友思特推出的解决方案，基于Part Finder模块与Ensenso3D相机设备，能够实现部件识别与分割，并配合控制机器臂和其他设备动作，显著提升自动化上下料、分拣等系统的效率和准确性。
友思特方案 | 基于FPGA 3D相机实现轮胎定位检测应用
2024年8月20日
基于友思特 Ensenso 系列高精度 3D相机 实时采集车辆四轮的三维点云图，提取关键信息并进行计算分析，实现车辆四轮定位的精确测量，对车辆轮胎的角度、倾斜度、前后轮对齐、角度等数据进行实时监测和分析，以便及时发现和纠正轮胎问题，广泛应用于汽车整车厂、第一装配厂、维修站等场所均可使用。
【产品介绍开箱】
IDS Ensenso 3D立体相机介绍及开箱展示
（点击跳转可查看更高清视频）
【直播回放】
散斑3D视觉成像方案与工件检测定位应用
（点击跳转可查看更高清视频）
【使用教程】
如何在15分钟内搭建3D视觉系统？
（点击跳转可查看更高清视频）
【成像演示】
Ensenso C 实时3D点云图像展示
（点击跳转可查看更高清视频）
【DEMO演示】
利用3D视觉引导随机工件拾取和放置
（点击跳转可查看更高清视频）
【直播回放】
高精度3D成像技术助力高效高质产线生产
（点击跳转可查看更高清视频）
【产品介绍及演示】
利用 Partfinder 实现物体的3D精确检测和定位
（点击跳转可查看更高清视频）
【DEMO介绍与演示】
工件自动化上下料+多相机PTP同步+芯片IC自动化检测
（点击跳转可查看更高清视频）
【DEMO演示】
德国Vision2024 Ensenso B demo演示
（点击跳转可查看更高清视频）
【产品介绍及演示】
Partfinder 三维匹配算法操作及demo实测演示
（点击跳转可查看更高清视频）
S系列、N系列、X系列和XR系列，这些不同3D相机有什么特点？
S系列相机跟其他三个系列所应用的技术原理不同，S系列应用的是TOF激光三角测量原理，主要依赖的是激光发射器和接收器采集距离信息，视野固定，帧率高，价格偏低。
其他三个系列应用的均为双目散斑原理，精度高，其中X系列相比于N系列，镜头外置，可以简便调节两个相机的角度，从而调整视野，并且抗阳光性能较强。XR系列支持在相机端进行数据处理，可释放工控机处理器端的计算压力，提高效率。
FLEXVIEW技术是什么？
FlexView是我们的核心专利技术，其原理主要是左右两个相机同时采集8、16对图像，将多对图像对计算的结果融为一帧图像，最后得到精度更高、可靠性更高、细致度更高的深度图像。
3D相机应用的检测原理是什么？
我们应用的是双目加投影仪投影随机散斑纹理的原理，在传统的双目视差计算测量原理寄出上，额外增加了一个投影仪主动投影纹理到目标物上，当目标物的特征点不足时，两个相机采集回来的图像也可以精确地进行视差计算，进而得到深度图像和3D点云。
POE供电器怎么跟设备和电脑连接呢？
PoE总共有3个孔，一个圆形的孔接电源适配器，另外两个网线接口，标有OUT的跟相机网口连接，标有IN的跟控制端（如电脑）连接。
ENSENSO相机的优势？
我们3D相机使用的是双目散斑原理，即使在困难的光照条件下也能胜任。并且配合我们的专利技术FlecView，移动和静止物体都能检测，精度最高可以达到0.1mm左右。
我们是模块化、轻量化设计，小巧灵活，因为体积大会影响机器人/整个系统的设计跟载具的设计，这对协作机器人尤其重要，相机过重会占据手臂的有效负载。
提供了C、C++、C#、Halcon、ros接口API，方便用户开发使用。并且我们的SDK非常稳定且容易使用，这对企业长远使用和产品声誉非常重要。也是三菱、达明、牧今、亚马逊等众多头部企业选择我们的原因。
防护等级为IP65/67，支持户内户外等不同场景的多个系列，适应工业应用等恶劣环境。
ENSENSO相机连接电脑之后NXVIEW里面找不到设备？
打开电脑控制面板——>网络和共享中心——>更改适配器设置——>选择刚接入的以太网右键属性——>选择IPv4——>分配IP地址。
3D相机选型需要提供的信息？
1.检测的内容是什么？尺寸/形状是变化的吗？尺寸范围多大？能否提供图片/视频？
2.检测时是运动还是静止的呢？户外还是室内？能否提供工作环境的视频？
3.相机工作距离？
4.精度要求？
5. 需要RGB信息吗？
6.视觉处理软件是自己在开发还是第三方软件？
立刻咨询/购买 3D视觉解决方案
Contact us
硬件选型：根据应用项目具体需求选定适用的3D相机型号
测试服务支持：按需进行样品测试与效果评估验证
系统集成与方案设计：根据您的需求制定完整集成解决方案
软硬件培训：全方位覆盖硬件产品使用的各环节，帮助您迅速掌握软硬件使用技巧
填写信息，我们的团队将与您联系：
0
+
服务客户
0
+
服务行业
0
+
关键项目落地
0
+
专利技术认证
更多相关产品
Related product
3D立体相机 Ensenso系列
快速、精准、低成本的3D图像捕捉
5个系列，专为不同行业需求而打造，多种外壳和工作距离型号可选
CMOS工业相机 uEye+系列
应用可能性几乎不受任何限制
根据各种应用需求提供不同感光芯片尺寸、帧率、分辨率、接口的相机
IDS uEye EVS事件相机
数据更少，速度更快，精度更高
不再捕获静态和不相关背景，数据量比基于帧的图像传感器少 10 到1000 倍
IDS uEye live 工业监控相机
数据流实时监控可视化工业流程
即插即用，无需编程，无需额外 PC，搭载 Ambarella 先进 SoC 技术