友思特产品

ZED SDK 5.1 全新发布:助力机器人多相机感知技术再攀新峰

前言导读

友思特合作伙伴Stereolabs ZED SDK 5.1 突破机器人平台实时多相机感知技术极限,全新重构采集与录制管道,升级增强型位姿追踪功能,新增近距深度感知能力,且官方原生支持 Jetson Thor 平台。本次版本迭代让 ZED 全生态体系,在工业场景中运行更高速、更稳定、更全能。

纯logo

全新升级亮点

为机器人场景重构高性能采集系统

图像采集系统完成全新重构,全面支持实时低延迟多相机系统。ZED SDK 5.1 全新采集架构,在采集、录制、流媒体传输过程中,实现性能、可靠性双提升,延迟进一步降低。

在 Jetson 嵌入式设备上,流传输延迟现已低至 100 毫秒以内,为自主控制系统与远程操控打造更流畅的反馈闭环。录制负载亦大幅优化,SVO2 录制模式的系统资源占用更少,长时连续录制的稳定性显著增强。

基于 ZED Driver 1.3.1 版本,我们新增PREEMPT_RT 实时抢占内核模式支持,为高时效性关键应用提供更强的操控性与低延迟响应能力,适配全系列 ZED Box、ZED Box Mini 及 NVIDIA AGX Orin 开发套件

原生支持 Jetson Thor 平台

ZED SDK 5.1 同步适配英伟达全新嵌入式平台 Jetson Thor,兼容 JetPack 7 开发套件,并搭载基于 Ubuntu 24.04 系统的全新板级支持包(BSP)。ZED 相机可充分发挥 Thor 的算力优势,性能提升最高达 2.5 倍,赋能边缘端实现更丰富的感知能力(硬件编解码功能将随后续 JetPack 版本更新正式上线)。

ZED SDK 性能

ZED Studio 全新登场: 单应用集成,无限相机掌控

多相机感知已成为新一代机器人技术的标配方案。全新打造的 ZED Studio 工具,将所有相机、流传输及 SVO 文件管理功能,一站式整合至单款一体化应用中。

可同时查看并操控多台相机,录制同步数据流,并按需自定义布局,统筹回放内容与实时画面。

ZED Studio 核心功能支持:

  • ✅ 多相机实时可视化与同步录制
  • ✅ 同步回放及流传输管理
  • ✅ 相机参数群组统一管控
  • ✅ 自动化命令行启动配置

Windows 系统下,ZED Studio 已替代旧版查看器,成为打开 SVO 文件的默认应用程序 —— 为 ZED 生态管理打造统一跨平台操作界面,体验更一致。

Isaac™ ROS 集成: ROS 2 实时性能全面加速

ZED ROS 2 封装包完成重磅更新,实现与英伟达 ®Isaac™ ROS 框架无缝集成,助力开发者充分利用英伟达 GPU 算力,高效完成实时感知及计算机视觉任务。

依托 NITROS(英伟达 ®Isaac™ ROS 传输协议),相较传统 CPU 传输方案,该封装包的图像话题发布延迟降低高达 90%。这一性能跃升源于 GPU 内存共享机制,可彻底消除 CPU 与 GPU 之间高损耗的数据拷贝环节。

最终实现:数据流传输提速、CPU/GPU 算力负载降低,为高负载机器人及 AI 应用,打造更流畅、更高效的 ROS 2 处理管道。

近距深度感知能力重磅升级

全新升级的深度模块,实现厘米级近距感知精度,成为操作、装配、检测类机器人的核心技术突破。即便目标物体仅距相机数厘米,也能输出稳定无伪影的深度数据 — 完美适配机械臂、人形机器人、夹爪、末端执行器及近场场景重建等应用场景。

近场场景下的自校准能力同步优化,对复杂工况的适配性大幅提升,可自动诊断并修正相机潜在标定偏差,保障设备 7×24 小时稳定可靠运行。

RGB 图像(DROID 数据集)
ZED SDK 5.0 版深度图 VS ZED SDK 5.1 版深度图

面向实际部署场景的高鲁棒性 SLAM 方案

第三代位姿追踪模块全面强化,抗动态遮挡、抗图像失真能力大幅提升,可从容应对更复杂的环境与动态移动物体,同时始终保持精准定位。

全新SPATIAL_MEMORY 空间内存状态功能,可在相机重定位及回环检测过程中提供更详实的状态反馈,助力工程师便捷监控定位与追踪性能。

ZED SDK 5.1 新增2D 地面追踪模式,专为地面移动机器人及轮式设备打造。该模式将追踪范围约束于运动平面,有效减少定位漂移,大幅提升厂房车间、室内导航等平面场景下的定位精度。

此外,SLAM 代码示例同步升级,搭载更直观的可视化界面,各类定位状态与关键事件均可一键清晰呈现。

ZED X One 采集性能跨越式提升

依托全新实时虚拟立体视觉 API(Live Virtual Stereo API),双 ZED X One 相机搭建立体成像对的效率实现质的飞跃,CPU 算力效率提升约 2.5 倍。开发者可通过 SDK 直接配置虚拟成像对,甚至支持未标定模式开展 SVO 录制或原始图像流传输,满足后期校准需求。

此次升级也正式宣告 ZED 媒体服务器(ZED Media Server)时代落幕,其原有功能已全面整合至 SDK 原生虚拟立体视觉工具中,且性能实现全面超越。

ZED SDK 5.0 版深度图 VS ZED SDK 5.1 版深度图

原生鱼眼标定功能全新上线

ZED SDK 5.1 原生支持 OpenCV 鱼眼标定文件,实现 ZED SDK 系列相机对鱼眼镜头的直接适配应用。这一功能可助力开发者轻松将广角鱼眼镜头集成至现有业务流程,是搭建大视场角导航系统或全景视觉设备的核心必备能力。如需为 ZED 相机搭配鱼眼镜头完成标定,可查阅 GitHub 官方开源仓库。

更广泛的兼容性,更精简的安装程序

ZED SDK 5.1 新增多项核心开发环境原生支持:

✅ 支持 CUDA 13

✅ 支持 JetPack 7

✅ 支持 Python 3.14

✅ 支持 C++17 及 C++20 标准

Python 开发者可通过CuPy 集成实现 GPU 数据传输提速,配套全新示例脚本,直观展示深度感知与目标检测功能的优化调用方式。

SDK 安装包同步完成轻量化优化,Linux 系统下搭载 TensorRT 10 的安装包体积缩减 40%;Docker 镜像实现版本化管理,助力部署流程更便捷、开发环境复刻更高效。

结语:新一代空间AI感知方案

友思特合作伙伴Stereolabs ZED SDK 5.1 绝非只是进行了简单的版本迭代,更是空间 AI 技术在效率、精度、灵活性上的跨越式升级。从优化的多相机采集、厘米级近距深度感知、增强型 SLAM 算法,到 Jetson Thor 平台原生支持、全新 ZED Studio 工具上线,ZED 全生态模块均完成深度迭代,助力您打造更高速、更智能、更可靠的视觉感知系统。

即刻体验全新能力?立即下载 ZED SDK 5.1,突破机器人与智能应用的视觉感知边界。

纯logo

友思特 方案产品套装介绍

ZED X One 系列

ZED X One 单目相机是灵活集成和定制立体系统或多摄像头环绕视觉的理想选择,特别适合于大型机器。与此同时,它高度通用,提供各种传感器选项以满足应用:4K HDR高分辨率和高灵敏度要求,以及适用于快速移动车辆的全局快门。

ZED X 系列

ZED X 系列双目相机可满足机器人导航和自动化设计在前沿工作项目的需求,有ZED X 和ZED X Mini 两款型号(以及一款ZED X One 单目相机)。所有功能均由全局快门传感器和安全的GMSL2连接驱动,ZED X专用于障碍物检测和导航灯应用,ZED X Mini专用于采摘等短距离应用。

ZED 2 系列

ZED 2 双目视觉相机以超高深度传感和易用性为核心,是在机器人、数字孪生和沉浸式体验边缘工作的团队的首选,两个型号可选,满足不同项目需求:ZED 2i 使开发人员能够构建能够理解周围环境的先进系统,且坚固耐用。ZED Mini 可用于短程应用。

ZED Box 系列

ZED Box 是强大的嵌入式微型pc,用于边缘人工智能和机器人技术。该产品由全新NVIDIA®Jetson Orin™NX或AGX Orin™模块提供支持,是一款适用于具有挑战性环境的工业AI网关,可选16GB/8GB版本。