基于IDS双目散斑3D视觉相机的医疗定位导航系统

——放射治疗、手术机器人引导、整形三维重构等医疗定位应用

传统光学定位导航与电磁跟踪导航依赖外置标记物,在放射治疗、手术机器人引导及整形三维重构等场景中难以实现无标记定位、软组织形变监测与呼吸补偿。而基于iDS双目散斑3D视觉的医疗定位导航系统,无需任何标记物,1米工作距离下Z向精度优于0.1mm,主动散斑技术抗临床环境光干扰,可实时输出全域稠密点云,动态捕捉呼吸起伏与组织牵拉,且对皮肤等不规则曲面重建能力优异。

本系统广泛适配放疗中的实时呼吸补偿与摆位监控、手术机器人的非接触组织感知以及整形外科的三维体表重构。支持多相机灵活扩展大范围视野,通过TCP/IP接口无缝集成至现有放疗网络,自动记录摆位误差并生成质控报告。相比传统方案,兼具无侵入、操作极简、低成本与高适配优势,推动精准医疗定位从“点式标记”迈向“全域动态感知”的普适化升级。

Ensenso 3D相机 | 医疗定位导航系统

Solution background

方案背景

Solution introduction

方案介绍

Technology comparison

技术路线对比

Core advantages

核心优势

Application scenario

应用场景

Application case

客户实例

立刻咨询/购买

方案背景

Solution background

在精准医疗场景下,传统红外光学定位导航、电磁跟踪导航等标记式导航方案无法满足无标记定位、软组织形变监测、全域三维重构及动态呼吸补偿等临床需求;双目散斑3D视觉技术可实现无标记、高精度、高密度的实时三维点云重建,为精准医疗定位等提供低成本、高适配、无侵入的新方案。

放射治疗——动态定位与呼吸门控的精度挑战:呼吸运动与组织形变易致放疗脱靶,传统方案缺乏无标记动态监测,需高精度实时三维追踪保障疗效

手术机器人——亚毫米级精准对位:微创、骨科、神外等手术要求亚毫米级定位,传统导航存在标记遮挡、电磁干扰等适配缺陷,需无约束的高精度定位技术

整形修复外科——全域三维形貌需求:前、术中、术后需高精度三维数据支撑,传统二维影像与手工测量无法实现全域精细化复刻

整标记式导航——固有局限与临床瓶颈:国内中高端手术导航高度依赖进口的红外光学或电磁跟踪系统,需粘贴标记点进行刚体追踪,无法应对软组织形变、无法实现无标记自然场景定位,也难以完成大范围体表三维重构与动态呼吸补偿

双目散斑3D视觉——突破性优势与临床价值:通过投射随机散斑纹理增强无纹理、光滑软组织表面的特征,结合双目立体匹配算法,可实时重建高密度、高精度点云。无需标记物、无需刚性约束,同步获取术区空间坐标与形变信息,广泛适配放疗动态定位、手术机器人引导、整形三维重构等场景

3D相机用于神经外科穿刺引导
Ensenso 3D相机生成点云图

方案介绍

Solution introduction

基于 iDS 双目散斑3D视觉的医疗定位导航系统,无需外置标记物,可实时输出术区全域稠密3D点云,在1m工作距离下Z向精度达0.1mm级,精准捕捉呼吸起伏、组织牵拉等非刚性形变。相比于传统光学跟踪系统,本系统具备无标记无侵入、操作极简、综合成本低等优势,有望推动精准医疗定位技术普适化升级。

高精度3D相机模组——多型号选配:安装在治疗床两侧或上方机架,视野覆盖治疗区域,具备防撞、抗辐射设计,安全集成于放疗机房。通过投射激光散斑与双目视觉,实时重建患者体表亚毫米级三维模型

精准配准——从刚性对齐到形变追踪:采用点云配准算法:刚性配准复现计划体位;形变配准精确捕捉呼吸、器官运动等非刚性形变,提供细致位移场

实时监控与智能干预——构筑安全防线:系统实时显示患者相对于参考位的六维偏差(ΔX, ΔY, ΔZ, Roll, Pitch, Yaw)。一旦治疗中患者移动导致位移超过安全阈值,系统将立即触发声光报警,并自动向加速器发送暂停照射信号

数据驱动的质控与优化——一键生成质控报告:所有关键数据,包括每次治疗前的摆位误差、治疗中的运动轨迹均被自动记录。系统据此一键生成标准化质控报告,为临床评估、流程优化和持续改进提供客观、量化的数据基础

友思特合作客户

技术路线对比

Technology comparison

对比维度

友思特iDS  双目散斑 3D视觉相机

传统光学跟踪系统、电磁跟踪系统

核心技术原理

主动投射随机散斑纹理 + 双目立体匹配算法,
对目标区域完成面状三维重建,输出全域稠密 3D 点云

光学款:红外相机捕捉反光标记球,
输出刚体 6DoF 位姿,核心为离散点位刚体跟踪

核心定位精度

工业级面状测量精度,
1m 工作距离下 Z 向精度可达 0.1mm 级,
可实现亚毫米级全域形貌还原

医疗级刚体定位精度,
位置 RMS 可达 0.25mm,角度精度 0.3°,
亚毫米级单点位姿追踪稳定性极强

数据输出形式

单帧输出目标区域稠密 3D 点云
(每像素对应一组 3D 坐标),
可还原完整三维形貌、曲面轮廓与形变数据

仅输出离散刚体 6DoF 位姿数据
(x/y/z 坐标 + rx/ry/rz 角度),
无全域三维形貌与曲面信息

标记物依赖

完全无需粘贴任何外置标记物、传感器,
无耗材、无侵入,不破坏术区无菌环境

必须依赖反光标记球,
所有定位追踪均需提前粘贴、校准标记点

视线 / 遮挡影响

局部遮挡不影响全局区域重建,
可对非直视区域完成形貌补全;
不受术中器械、敷料遮挡的全局定位影响

光学款:完全依赖直视,
标记点被遮挡、覆盖后直接定位失效

动态响应能力

单帧即可完成三维重建,可捕捉运动目标与动态形变,
适配呼吸起伏、组织牵拉等慢动态场景

刷新率最高可达 400Hz,3ms级低延迟,
可实时追踪高速运动的手术器械,动态响应能力极强

非刚性形变感知

可完整捕捉人体软组织、胸腹部的非刚性生理形变,
精准量化呼吸起伏、肌肉舒张、创面牵拉的全域形变规律

仅能监测离散标记点的局部位移,
无法表征整体区域的非刚性形变,无曲面形变感知能力

核心临床适配场景

1. 无标记呼吸门控与放疗动态体位监测

2. 整形修复术前 / 术中 / 术后三维形貌重构与比对

3. 术区创面三维重建与缺损尺寸测量

4. 软组织形变实时补偿与导航误差修正

5. 急诊无影像资料下的现场三维建模定位

1. 手术器械 6DoF 实时导航与穿刺路径引导

2. 骨科、神经外科、脊柱手术精准植钉定位

3. 带标记点常规呼吸门控与放疗相位触发

4. 多器械协同手术追踪与微创腔体内部器械定位

5. CT/MRI 影像配准与术中病灶精准对位

医用合规性

工业级设备基础,满足医用合规认证,
适配临床辅助定位、三维重构场景

医用设备,具备临床合规认证,
可直接作为手术导航主控定位设备

部署与操作复杂度

即插即用,无需提前粘贴标记、校准工具,
操作流程简单,医生学习成本低,可快速适配多场景

术前需完成标记粘贴、工具校准、配准调试,
操作流程繁琐,学习周期长,对医护人员操作要求高

综合成本

单台设备采购成本低,无持续耗材更换成本,
维护简单,全生命周期成本远低于进口导航设备

设备采购、校准维护、耗材更换成本极高,
单台设备价格高,持续耗材投入大

核心优势

1. 无标记、无侵入,不干扰手术操作,无感染风险

2. 可输出稠密 3D 点云,完整还原三维形貌,
适配无标记呼吸门控、整形三维重构等场景

3. 可感知非刚性形变,实现动态误差补偿

4. 成本低、操作简单,适配基层医疗机构普及

1. 亚毫米级刚体 6DoF 定位精度,角度精度极高,
是手术器械导航的行业标杆

2. 高刷新率、低延迟,可实时追踪高速运动器械

核心优势

Product advantages

亚毫米级精度与强抗干扰性

在1米工作距离下Z向精度优于0.1mm,主动散斑技术可有效抵抗临床复杂环境光干扰,保障系统稳定可靠运行

无标记、全场动态捕捉

无需粘贴任何外置标记物,非接触式获取完整体表三维形貌,同时以高帧率实时捕捉呼吸等生理动态运动,为术中监控提供全场数据支持

卓越的复杂曲面适应性

对皮肤、软组织等非规则曲面具备出色的三维重建能力,真实还原解剖结构细节,弥补传统光学方法在曲面测量上的局限

灵活的视野扩展能力

提供免费SDK与多相机标定融合工具,支持将多台相机视野统一至同一坐标系,轻松覆盖大范围治疗区域,适配多样化临床场景

无缝系统集成与工作流优化

提供标准化数据接口(如DICOM)与通信协议(如TCP/IP),可无缝集成至现有放疗网络与治疗计划系统,优化从计划到执行的临床工作流,提升整体治疗效率

数据驱动的质控与持续改进

自动记录每次治疗的摆位误差、实时运动轨迹等全流程数据,一键生成标准化质控报告,为精度分析、方案优化与临床研究提供客观量化基石,助力医疗质量持续提升

应用场景

Application scenarios

相关词条

放射治疗视觉定位

3D相机放射治疗定位

医疗定位结构光3D相机方案

3D相机放射治疗体位实时监测系统

3D视觉放疗定位系统

放射治疗视觉定位3D相机解决方案

红外光学定位导航系统

医疗电磁导航系统

手术机器人定位导航

医疗行业手术导航

骨科手术机器人导航

医学影像手术导航

光学与电磁跟踪技术

光学跟踪导航系统

客户案例:鼻咽癌调强放疗(IMRT)患者体位管理

Customer case

精度±0.1mm

@1m

FOV 900x866mm

@1m

摆位残留误差

<1mm / <1°

平均摆位时间

缩短约40%

客户应用案例

某大型肿瘤医院放疗中心引入双目散斑3D相机(精度±0.1mm @1m,视野900×866mm @1m),用于鼻咽癌调强放疗(IMRT)的患者体位管理。

1.建立参考模型:CT扫描时,同步采集患者面部及颈部体表点云,存入治疗计划系统。

2.摆位与配准:患者佩戴固定装置并初步摆位后,相机实时重建当前体表点云,与TPS中的参考模型进行刚性配准,量化引导治疗床精细调整至偏差<±1mm/±1°。

3.实时监测:治疗期间持续(低剂量/间歇模式)监测体表位置,位移超安全阈值时自动暂停加速器并报警。

方案优势

  1. 精度效率:摆位误差稳定控制在 <1mm / <1°,配准量化直观,摆位时间缩短约 40%

  2. 治疗安全:实时监控无意识移动(如咳嗽、滑动,约15%患者发生),防止剂量偏差

  3. 数据管理:自动记录摆位误差及治疗中位移数据,支撑个体化评估、装置优化与研究

  4. 患者体验:无创无标记测量,提升舒适度与治疗依从性

技术资源:友思特 iDS Ensenso 3D相机相关技术资源

Technical Resources

友思特 iDS Ensenso 系列3D相机

丰富型号选择: 涵盖 S / N / B / C / X / XR 六大系列多款型号,工作距离从21cm超近距离到5m超远距,应用场景几乎不受限,如医疗设备、机器人视觉、物体检测和分类

严苛环境可靠洞察: IP65/67防护等级,坚固耐用;部分型号配备大功率投影仪,确保弱光/户外环境下持续的高速、精准成像

先进双目散斑3D结构光技术:通过额外图案投影,提升深度信息质量与测量精度(除S系列相机采用ToF飞行时间原理),部分系列采用先进FlexView技术,加强视察图细节加强图像精度

技术对比:主动双目散斑3D技术

Techinical comparison

01

双目视差生成

两台相机从不同位置拍摄同一场景,利用位置和角度差异产生视差(图像中物体位置的偏移)

02

三角测量转换

软件通过三角测量原理,将捕捉到的像素视差值转换为实际的空间长度,从而计算出物体的三维位置,生成点云

03

传统场景依赖纹理

传统立体视觉依赖场景自然纹理进行图像特征点匹配。在低纹理、光滑或反光物体表面,匹配困难,深度计算不准确

04

主动投影增强

Ensenso 相机主动投射特定图案(如散斑纹理),为物体表面增加人工纹理特征,显著改善特征点匹配,获得更高质量和更精确深度的测量结果

iDS自1997年以来,一直致力于工业图像处理产品的研发和生产。凭借对技术的远见卓识和对未来发展的敏锐洞察力,iDS一直在把握时代发展的趋势,持续将消费者领域的关键技术进行创新性改造,使之满足工业用途需要:正是iDS才让USB接口成为工业相机行业兼容的主流接口类型。

“基于事件的摄像机可实现低至微秒级的出色时间分辨率,是高动态场景的理想选择。捕捉物体快速运动的最佳先决条件,同时不会丢失基于图像的传感器不可避免的信息”

— Patrick Schick,IDS 三维和视觉软件产品负责人 —

作为 iDS 的长期合作伙伴,友思特一直致力于为大中华地区的客户提供最先进的机器视觉技术和解决方案。自双方确认战略合作以来,友思特持续为客户提供更加卓越的产品和服务,满足了各行各业不断增长和变化的市场需求,与IDS携手共同推动机器视觉领域的发展。针对事件相机,友思特团队可以为您提供产品选项、一站式方案设计、测试等技术服务,欢迎咨询友思特工作人员。

友思特应用 | 基于高精度双目散斑 3D 相机的放射治疗视觉定位应用

在放射治疗领域,毫米级的误差可能意味着健康组织受损或肿瘤漏照。随着放疗技术日益精进,对患者体位验证与实时监控的需求也达到了前所未有的高度。传统的光学表面成像系统在精度、抗干扰性及复杂曲面适应性方面面临挑战。本文将深入探讨基于高精度双目散斑3D相机的视觉定位系统如何革新放疗定位流程,提升治疗的安全性与有效性。

阅读详情 »

友思特技术 | 智能iToF技术:开启高性价比3D视觉新纪元

传统工业3D视觉深陷两难困局:要么高价换取高性能,要么牺牲精度以控制成本。智能iToF技术打破了这一僵局。它通过片上深度处理、全局快门与高频调制等创新,在维持成本优势同时,实现了高分辨率、复杂光照稳定性与动态物体精准捕捉。这不仅填补了市场空白,更以其易用、紧凑和可靠的特性,正崛起为苛刻工业应用中传统3D方案的强劲替代者

阅读详情 »

【产品介绍开箱】
IDS Ensenso 3D立体相机介绍及开箱展示
(点击跳转可查看更高清视频)

【直播回放】
散斑3D视觉成像方案与工件检测定位应用
(点击跳转可查看更高清视频)

【使用教程】
如何在15分钟内搭建3D视觉系统?
(点击跳转可查看更高清视频)

【成像演示】
Ensenso C 实时3D点云图像展示
(点击跳转可查看更高清视频)

【DEMO演示】
利用3D视觉引导随机工件拾取和放置
(点击跳转可查看更高清视频)

【直播回放】
高精度3D成像技术助力高效高质产线生产
(点击跳转可查看更高清视频)

【产品介绍及演示】
利用 Partfinder 实现物体的3D精确检测和定位
(点击跳转可查看更高清视频)

【DEMO介绍与演示】
工件自动化上下料+多相机PTP同步+芯片IC自动化检测
(点击跳转可查看更高清视频)

【DEMO演示】
德国Vision2024 Ensenso B demo演示
(点击跳转可查看更高清视频)

【产品介绍及演示】
Partfinder 三维匹配算法操作及demo实测演示
(点击跳转可查看更高清视频)

S系列相机跟其他三个系列所应用的技术原理不同,S系列应用的是TOF激光三角测量原理,主要依赖的是激光发射器和接收器采集距离信息,视野固定,帧率高,价格偏低。
其他三个系列应用的均为双目散斑原理,精度高,其中X系列相比于N系列,镜头外置,可以简便调节两个相机的角度,从而调整视野,并且抗阳光性能较强。XR系列支持在相机端进行数据处理,可释放工控机处理器端的计算压力,提高效率。

FlexView是我们的核心专利技术,其原理主要是左右两个相机同时采集8、16对图像,将多对图像对计算的结果融为一帧图像,最后得到精度更高、可靠性更高、细致度更高的深度图像。

我们应用的是双目加投影仪投影随机散斑纹理的原理,在传统的双目视差计算测量原理寄出上,额外增加了一个投影仪主动投影纹理到目标物上,当目标物的特征点不足时,两个相机采集回来的图像也可以精确地进行视差计算,进而得到深度图像和3D点云。

PoE总共有3个孔,一个圆形的孔接电源适配器,另外两个网线接口,标有OUT的跟相机网口连接,标有IN的跟控制端(如电脑)连接。

我们3D相机使用的是双目散斑原理,即使在困难的光照条件下也能胜任。并且配合我们的专利技术FlecView,移动和静止物体都能检测,精度最高可以达到0.1mm左右。
我们是模块化、轻量化设计,小巧灵活,因为体积大会影响机器人/整个系统的设计跟载具的设计,这对协作机器人尤其重要,相机过重会占据手臂的有效负载。
提供了C、C++、C#、Halcon、ros接口API,方便用户开发使用。并且我们的SDK非常稳定且容易使用,这对企业长远使用和产品声誉非常重要。也是三菱、达明、牧今、亚马逊等众多头部企业选择我们的原因。
防护等级为IP65/67,支持户内户外等不同场景的多个系列,适应工业应用等恶劣环境。

打开电脑控制面板——>网络和共享中心——>更改适配器设置——>选择刚接入的以太网右键属性——>选择IPv4——>分配IP地址。

1.检测的内容是什么?尺寸/形状是变化的吗?尺寸范围多大?能否提供图片/视频?
2.检测时是运动还是静止的呢?户外还是室内?能否提供工作环境的视频?
3.相机工作距离?
4.精度要求?
5. 需要RGB信息吗?
6.视觉处理软件是自己在开发还是第三方软件?

立刻咨询/购买 3D视觉解决方案

Contact us

硬件选型:根据应用项目具体需求选定适用的3D相机型号

测试服务支持:按需进行样品测试与效果评估验证

系统集成与方案设计:根据您的需求制定完整集成解决方案

软硬件培训:全方位覆盖硬件产品使用的各环节,帮助您迅速掌握软硬件使用技巧

填写信息,我们的团队将与您联系:

0 +

服务客户

0 +

服务行业

0 +

关键项目落地

0 +

专利技术认证

更多相关产品

Related product

ensenso系列 3D工业相机 - 友思特 viewsitec

3D立体相机 Ensenso系列

快速、精准、低成本的3D图像捕捉

5个系列,专为不同行业需求而打造,多种外壳和工作距离型号可选

ids-ueye+ - 友思特 viewsitec

CMOS工业相机 uEye+系列

应用可能性几乎不受任何限制

根据各种应用需求提供不同感光芯片尺寸、帧率、分辨率、接口的相机

IDS uEye EVS事件相机

数据更少,速度更快,精度更高

不再捕获静态和不相关背景,数据量比基于帧的图像传感器少 10 到1000 倍

IDS uEye live 工业监控相机

数据流实时监控可视化工业流程

即插即用,无需编程,无需额外 PC,搭载 Ambarella 先进 SoC 技术