
友思特应用 | 基于高精度双目散斑 3D 相机的放射治疗视觉定位应用
在放射治疗领域,毫米级的误差可能意味着健康组织受损或肿瘤漏照。随着放疗技术日益精进,对患者体位验证与实时监控的需求也达到了前所未有的高度。传统的光学表面成像系统在精度、抗干扰性及复杂曲面适应性方面面临挑战。本文将深入探讨基于高精度双目散斑3D相机的视觉定位系统如何革新放疗定位流程,提升治疗的安全性与有效性。
传统光学定位导航与电磁跟踪导航依赖外置标记物,在放射治疗、手术机器人引导及整形三维重构等场景中难以实现无标记定位、软组织形变监测与呼吸补偿。而基于iDS双目散斑3D视觉的医疗定位导航系统,无需任何标记物,1米工作距离下Z向精度优于0.1mm,主动散斑技术抗临床环境光干扰,可实时输出全域稠密点云,动态捕捉呼吸起伏与组织牵拉,且对皮肤等不规则曲面重建能力优异。
本系统广泛适配放疗中的实时呼吸补偿与摆位监控、手术机器人的非接触组织感知以及整形外科的三维体表重构。支持多相机灵活扩展大范围视野,通过TCP/IP接口无缝集成至现有放疗网络,自动记录摆位误差并生成质控报告。相比传统方案,兼具无侵入、操作极简、低成本与高适配优势,推动精准医疗定位从“点式标记”迈向“全域动态感知”的普适化升级。
方案背景
方案介绍
技术路线对比
核心优势
应用场景
客户实例
Solution background
在精准医疗场景下,传统红外光学定位导航、电磁跟踪导航等标记式导航方案无法满足无标记定位、软组织形变监测、全域三维重构及动态呼吸补偿等临床需求;双目散斑3D视觉技术可实现无标记、高精度、高密度的实时三维点云重建,为精准医疗定位等提供低成本、高适配、无侵入的新方案。
放射治疗——动态定位与呼吸门控的精度挑战:呼吸运动与组织形变易致放疗脱靶,传统方案缺乏无标记动态监测,需高精度实时三维追踪保障疗效
手术机器人——亚毫米级精准对位:微创、骨科、神外等手术要求亚毫米级定位,传统导航存在标记遮挡、电磁干扰等适配缺陷,需无约束的高精度定位技术
整形修复外科——全域三维形貌需求:前、术中、术后需高精度三维数据支撑,传统二维影像与手工测量无法实现全域精细化复刻
整标记式导航——固有局限与临床瓶颈:国内中高端手术导航高度依赖进口的红外光学或电磁跟踪系统,需粘贴标记点进行刚体追踪,无法应对软组织形变、无法实现无标记自然场景定位,也难以完成大范围体表三维重构与动态呼吸补偿
双目散斑3D视觉——突破性优势与临床价值:通过投射随机散斑纹理增强无纹理、光滑软组织表面的特征,结合双目立体匹配算法,可实时重建高密度、高精度点云。无需标记物、无需刚性约束,同步获取术区空间坐标与形变信息,广泛适配放疗动态定位、手术机器人引导、整形三维重构等场景
Solution introduction
基于 iDS 双目散斑3D视觉的医疗定位导航系统,无需外置标记物,可实时输出术区全域稠密3D点云,在1m工作距离下Z向精度达0.1mm级,精准捕捉呼吸起伏、组织牵拉等非刚性形变。相比于传统光学跟踪系统,本系统具备无标记无侵入、操作极简、综合成本低等优势,有望推动精准医疗定位技术普适化升级。
高精度3D相机模组——多型号选配:安装在治疗床两侧或上方机架,视野覆盖治疗区域,具备防撞、抗辐射设计,安全集成于放疗机房。通过投射激光散斑与双目视觉,实时重建患者体表亚毫米级三维模型
精准配准——从刚性对齐到形变追踪:采用点云配准算法:刚性配准复现计划体位;形变配准精确捕捉呼吸、器官运动等非刚性形变,提供细致位移场
实时监控与智能干预——构筑安全防线:系统实时显示患者相对于参考位的六维偏差(ΔX, ΔY, ΔZ, Roll, Pitch, Yaw)。一旦治疗中患者移动导致位移超过安全阈值,系统将立即触发声光报警,并自动向加速器发送暂停照射信号
数据驱动的质控与优化——一键生成质控报告:所有关键数据,包括每次治疗前的摆位误差、治疗中的运动轨迹均被自动记录。系统据此一键生成标准化质控报告,为临床评估、流程优化和持续改进提供客观、量化的数据基础
Technology comparison
对比维度 | 友思特iDS 双目散斑 3D视觉相机 | 传统光学跟踪系统、电磁跟踪系统 |
核心技术原理 | 主动投射随机散斑纹理 + 双目立体匹配算法, | 光学款:红外相机捕捉反光标记球, |
核心定位精度 | 工业级面状测量精度, | 医疗级刚体定位精度, |
数据输出形式 | 单帧输出目标区域稠密 3D 点云 | 仅输出离散刚体 6DoF 位姿数据 |
标记物依赖 | 完全无需粘贴任何外置标记物、传感器, | 必须依赖反光标记球, |
视线 / 遮挡影响 | 局部遮挡不影响全局区域重建, | 光学款:完全依赖直视, |
动态响应能力 | 单帧即可完成三维重建,可捕捉运动目标与动态形变, | 刷新率最高可达 400Hz,3ms级低延迟, |
非刚性形变感知 | 可完整捕捉人体软组织、胸腹部的非刚性生理形变, | 仅能监测离散标记点的局部位移, |
核心临床适配场景 | 1. 无标记呼吸门控与放疗动态体位监测 2. 整形修复术前 / 术中 / 术后三维形貌重构与比对 3. 术区创面三维重建与缺损尺寸测量 4. 软组织形变实时补偿与导航误差修正 5. 急诊无影像资料下的现场三维建模定位 | 1. 手术器械 6DoF 实时导航与穿刺路径引导 2. 骨科、神经外科、脊柱手术精准植钉定位 3. 带标记点常规呼吸门控与放疗相位触发 4. 多器械协同手术追踪与微创腔体内部器械定位 5. CT/MRI 影像配准与术中病灶精准对位 |
医用合规性 | 工业级设备基础,满足医用合规认证, | 医用设备,具备临床合规认证, |
部署与操作复杂度 | 即插即用,无需提前粘贴标记、校准工具, | 术前需完成标记粘贴、工具校准、配准调试, |
综合成本 | 单台设备采购成本低,无持续耗材更换成本, | 设备采购、校准维护、耗材更换成本极高, |
核心优势 | 1. 无标记、无侵入,不干扰手术操作,无感染风险 2. 可输出稠密 3D 点云,完整还原三维形貌, 3. 可感知非刚性形变,实现动态误差补偿 4. 成本低、操作简单,适配基层医疗机构普及 | 1. 亚毫米级刚体 6DoF 定位精度,角度精度极高, 2. 高刷新率、低延迟,可实时追踪高速运动器械 |
Product advantages
在1米工作距离下Z向精度优于0.1mm,主动散斑技术可有效抵抗临床复杂环境光干扰,保障系统稳定可靠运行
无需粘贴任何外置标记物,非接触式获取完整体表三维形貌,同时以高帧率实时捕捉呼吸等生理动态运动,为术中监控提供全场数据支持
对皮肤、软组织等非规则曲面具备出色的三维重建能力,真实还原解剖结构细节,弥补传统光学方法在曲面测量上的局限
提供免费SDK与多相机标定融合工具,支持将多台相机视野统一至同一坐标系,轻松覆盖大范围治疗区域,适配多样化临床场景
提供标准化数据接口(如DICOM)与通信协议(如TCP/IP),可无缝集成至现有放疗网络与治疗计划系统,优化从计划到执行的临床工作流,提升整体治疗效率
自动记录每次治疗的摆位误差、实时运动轨迹等全流程数据,一键生成标准化质控报告,为精度分析、方案优化与临床研究提供客观量化基石,助力医疗质量持续提升
Application scenarios
Customer case
精度±0.1mm
@1m
FOV 900x866mm
@1m
摆位残留误差
<1mm / <1°
平均摆位时间
缩短约40%
某大型肿瘤医院放疗中心引入双目散斑3D相机(精度±0.1mm @1m,视野900×866mm @1m),用于鼻咽癌调强放疗(IMRT)的患者体位管理。
1.建立参考模型:CT扫描时,同步采集患者面部及颈部体表点云,存入治疗计划系统。
2.摆位与配准:患者佩戴固定装置并初步摆位后,相机实时重建当前体表点云,与TPS中的参考模型进行刚性配准,量化引导治疗床精细调整至偏差<±1mm/±1°。
3.实时监测:治疗期间持续(低剂量/间歇模式)监测体表位置,位移超安全阈值时自动暂停加速器并报警。
精度效率:摆位误差稳定控制在 <1mm / <1°,配准量化直观,摆位时间缩短约 40%
治疗安全:实时监控无意识移动(如咳嗽、滑动,约15%患者发生),防止剂量偏差
数据管理:自动记录摆位误差及治疗中位移数据,支撑个体化评估、装置优化与研究
患者体验:无创无标记测量,提升舒适度与治疗依从性
Technical Resources
丰富型号选择: 涵盖 S / N / B / C / X / XR 六大系列多款型号,工作距离从21cm超近距离到5m超远距,应用场景几乎不受限,如医疗设备、机器人视觉、物体检测和分类
严苛环境可靠洞察: IP65/67防护等级,坚固耐用;部分型号配备大功率投影仪,确保弱光/户外环境下持续的高速、精准成像
先进双目散斑3D结构光技术:通过额外图案投影,提升深度信息质量与测量精度(除S系列相机采用ToF飞行时间原理),部分系列采用先进FlexView技术,加强视察图细节加强图像精度
Techinical comparison
两台相机从不同位置拍摄同一场景,利用位置和角度差异产生视差(图像中物体位置的偏移)
软件通过三角测量原理,将捕捉到的像素视差值转换为实际的空间长度,从而计算出物体的三维位置,生成点云
传统立体视觉依赖场景自然纹理进行图像特征点匹配。在低纹理、光滑或反光物体表面,匹配困难,深度计算不准确
Ensenso 相机主动投射特定图案(如散斑纹理),为物体表面增加人工纹理特征,显著改善特征点匹配,获得更高质量和更精确深度的测量结果
iDS自1997年以来,一直致力于工业图像处理产品的研发和生产。凭借对技术的远见卓识和对未来发展的敏锐洞察力,iDS一直在把握时代发展的趋势,持续将消费者领域的关键技术进行创新性改造,使之满足工业用途需要:正是iDS才让USB接口成为工业相机行业兼容的主流接口类型。
作为 iDS 的长期合作伙伴,友思特一直致力于为大中华地区的客户提供最先进的机器视觉技术和解决方案。自双方确认战略合作以来,友思特持续为客户提供更加卓越的产品和服务,满足了各行各业不断增长和变化的市场需求,与IDS携手共同推动机器视觉领域的发展。针对事件相机,友思特团队可以为您提供产品选项、一站式方案设计、测试等技术服务,欢迎咨询友思特工作人员。

在放射治疗领域,毫米级的误差可能意味着健康组织受损或肿瘤漏照。随着放疗技术日益精进,对患者体位验证与实时监控的需求也达到了前所未有的高度。传统的光学表面成像系统在精度、抗干扰性及复杂曲面适应性方面面临挑战。本文将深入探讨基于高精度双目散斑3D相机的视觉定位系统如何革新放疗定位流程,提升治疗的安全性与有效性。

传统工业3D视觉深陷两难困局:要么高价换取高性能,要么牺牲精度以控制成本。智能iToF技术打破了这一僵局。它通过片上深度处理、全局快门与高频调制等创新,在维持成本优势同时,实现了高分辨率、复杂光照稳定性与动态物体精准捕捉。这不仅填补了市场空白,更以其易用、紧凑和可靠的特性,正崛起为苛刻工业应用中传统3D方案的强劲替代者

大量的快递运输需求和普遍存在的劳动力短缺问题催生了物流自动化程度的提升。友思特 Ensenso 3D相机为智能机器人卸垛机方案提供精确的图像数据,使800件/小时的物流分拣运力成为现实。
【产品介绍开箱】
IDS Ensenso 3D立体相机介绍及开箱展示
(点击跳转可查看更高清视频)
【直播回放】
散斑3D视觉成像方案与工件检测定位应用
(点击跳转可查看更高清视频)
【使用教程】
如何在15分钟内搭建3D视觉系统?
(点击跳转可查看更高清视频)
【成像演示】
Ensenso C 实时3D点云图像展示
(点击跳转可查看更高清视频)
【DEMO演示】
利用3D视觉引导随机工件拾取和放置
(点击跳转可查看更高清视频)
【直播回放】
高精度3D成像技术助力高效高质产线生产
(点击跳转可查看更高清视频)
【产品介绍及演示】
利用 Partfinder 实现物体的3D精确检测和定位
(点击跳转可查看更高清视频)
【DEMO介绍与演示】
工件自动化上下料+多相机PTP同步+芯片IC自动化检测
(点击跳转可查看更高清视频)
【DEMO演示】
德国Vision2024 Ensenso B demo演示
(点击跳转可查看更高清视频)
【产品介绍及演示】
Partfinder 三维匹配算法操作及demo实测演示
(点击跳转可查看更高清视频)
S系列相机跟其他三个系列所应用的技术原理不同,S系列应用的是TOF激光三角测量原理,主要依赖的是激光发射器和接收器采集距离信息,视野固定,帧率高,价格偏低。
其他三个系列应用的均为双目散斑原理,精度高,其中X系列相比于N系列,镜头外置,可以简便调节两个相机的角度,从而调整视野,并且抗阳光性能较强。XR系列支持在相机端进行数据处理,可释放工控机处理器端的计算压力,提高效率。
FlexView是我们的核心专利技术,其原理主要是左右两个相机同时采集8、16对图像,将多对图像对计算的结果融为一帧图像,最后得到精度更高、可靠性更高、细致度更高的深度图像。
我们应用的是双目加投影仪投影随机散斑纹理的原理,在传统的双目视差计算测量原理寄出上,额外增加了一个投影仪主动投影纹理到目标物上,当目标物的特征点不足时,两个相机采集回来的图像也可以精确地进行视差计算,进而得到深度图像和3D点云。
PoE总共有3个孔,一个圆形的孔接电源适配器,另外两个网线接口,标有OUT的跟相机网口连接,标有IN的跟控制端(如电脑)连接。
我们3D相机使用的是双目散斑原理,即使在困难的光照条件下也能胜任。并且配合我们的专利技术FlecView,移动和静止物体都能检测,精度最高可以达到0.1mm左右。
我们是模块化、轻量化设计,小巧灵活,因为体积大会影响机器人/整个系统的设计跟载具的设计,这对协作机器人尤其重要,相机过重会占据手臂的有效负载。
提供了C、C++、C#、Halcon、ros接口API,方便用户开发使用。并且我们的SDK非常稳定且容易使用,这对企业长远使用和产品声誉非常重要。也是三菱、达明、牧今、亚马逊等众多头部企业选择我们的原因。
防护等级为IP65/67,支持户内户外等不同场景的多个系列,适应工业应用等恶劣环境。
打开电脑控制面板——>网络和共享中心——>更改适配器设置——>选择刚接入的以太网右键属性——>选择IPv4——>分配IP地址。
1.检测的内容是什么?尺寸/形状是变化的吗?尺寸范围多大?能否提供图片/视频?
2.检测时是运动还是静止的呢?户外还是室内?能否提供工作环境的视频?
3.相机工作距离?
4.精度要求?
5. 需要RGB信息吗?
6.视觉处理软件是自己在开发还是第三方软件?
Contact us

硬件选型:根据应用项目具体需求选定适用的3D相机型号

测试服务支持:按需进行样品测试与效果评估验证

系统集成与方案设计:根据您的需求制定完整集成解决方案

软硬件培训:全方位覆盖硬件产品使用的各环节,帮助您迅速掌握软硬件使用技巧
Related product

快速、精准、低成本的3D图像捕捉
5个系列,专为不同行业需求而打造,多种外壳和工作距离型号可选

应用可能性几乎不受任何限制
根据各种应用需求提供不同感光芯片尺寸、帧率、分辨率、接口的相机

数据更少,速度更快,精度更高
不再捕获静态和不相关背景,数据量比基于帧的图像传感器少 10 到1000 倍

数据流实时监控可视化工业流程
即插即用,无需编程,无需额外 PC,搭载 Ambarella 先进 SoC 技术