友思特产品 | 量产发布：首款在实时视频流中实现AI感知叠加的工业相机
2024年2月6日
友思特 IDS NXT malibu 的推出，标志着新一代智能工业相机的诞生，实现在设备端实时视频流与AI感知的叠加！
- 400-999-3848
- 13619227267
- sales@viewsitec.com
NXT系列 一体化推理相机 malibu
首款配备OnCamera AI并可以实现压缩和流媒体功能的工业相机
由智能、可编程的相机和多功能的软件环境组成，在相机中运行硬件加速卷积神经网络(CNN)
配备 REST 和 OPC UA 的 GigE 工业相机，传感器类型多样
简单易用，另所有行业的每个人都可以快速、轻松、经济高效地使用深度学习的方法
Previous
Next
NXT malibu——视频流中的实时AI
友思特合作伙伴IDS 提供的智能工业相机 NXT malibu 是同类产品的开拓者：作为一体式人工智能系统NXT的一部分，采用了Ambarella最初用于运动相机的特殊芯片。而onsemi传感器AR0521对光线非常敏感，它捕捉的图像信息直接在相机上以硬件加速的方式得到处理。ISP提供了实用的自动功能（如亮度、噪声和颜色校正），可确保卓越的图像质量。
- 相机内置AI进行图像分析：高速实现全高清压缩视频流，直接集成结果
- 集成ISP便捷完成矫正：集成ISP自动功能可以非常方便地完成亮度、噪声和颜色校正
- 提供卓越图像质量：对光线高度敏感的onsemi传感器AR0521提供出色的图像质量
- 工业质量标准：紧凑的工业级外壳，带有GigE接口，并提供REST API
- 恶劣环境下可使用：IP30防护等级，小巧紧凑
- 通用的人工智能视觉组件：轻松完成从捕捉训练图像到实际执行的全部应用开发步骤
产品优势特点
轻松应用深度学习
NXT是一款简单易用、基于人工智能的一体式视觉系统，由智能可编程相机和多功能软件组成。
涵盖了从捕捉和标记训练图像到训练网络、创建用于评估的应用以及实际运行应用的整个工作流程。
这意味着，即使不具备深度学习或应用编程的知识，也可以在各种行业和应用场景中应用具备人工智能的图像处理。
您可以随时调整各种相机的功能。例如：改进目视检查和质量控制、确保工作场所安全、优化产出、支持物流流程、小批量自动化生产
使用Ambarella NPU（神经处理单元）的硬件加速AI图像评估
NXT malibu 首次将Ambarella最初应用运动相机的特殊芯片应用于工业环境，可以在短时间内对采集到的图像进行深度学习和模式识别。
该技术可以极大地提高图像处理速度和效率，并可以扩展各种图像处理功能，
而onsemi传感器AR0521对光线非常敏感，它捕捉的图像信息直接在相机上以硬件加速的方式得到处理。
通过RTSP在压缩视频流（H264）中进行结果叠加
NXT malibu相机以高速（>25fps）独立执行AI图像分析，并支持RTSP协议（实时流传输协议），可以将采集到的图像以压缩格式（如H264）发送给远程计算机。
同时，该相机还支持将AI分析结果实时叠加在视频流中，实现快速的实时分析和决策。
集成ISP实现卓越的图像质量，嵌入式系统无需PC完成高效工作
NXT malibu相机自主执行神经网络，并采用了集成ISP（图像信号处理器），ISP提供了许多实用的自动功能（如亮度、噪声和颜色校正），可确保卓越的图像质量。
NXT malib配备的完美的图像质量、OnCamera AI + 压缩 + 视频流，该种嵌入式系统组合让您的项目摆脱了对PC的依赖。
配备通用人工智能视觉组件，无需专业知识储备即可进行图像处理
NXT包含所有必要的 IDS lighthouse 软件和硬件组件，它们可以高效协同工作，在云端帮助您将想法转化为现实。
这意味着您无需事先掌握深度学习、图像处理或应用编程的专门知识，即可完成从第一张图像到最终应用的整个开发工作流程。
NXT 相机应用实例
对象分类、对象检测和异常检测：IDS NXT 提供了种类繁多的应用和非常灵活的使用方式。
这样能很好地应对包含高度变化的对象和过程的场景，硬编码图像处理应用则难以实现。
相机数据
NXT Malibu | 技术规格 | 技术规格 | NXT Malibu |
编号 | RO25050C-HQ: 1008318 | 光学尺寸 | 5.702 mm x 4.277 mm |
接口 | Ethernet | 快门 | 卷帘快门 |
Interface-Speed | 1.00 Gbps | 光学尺寸 | 1/2.5英寸 |
传感器类型 | CMOS | 分辨率 | 5.04 MPix |
传感器制造商 | onsemi | 像素尺寸 | 2.20 µm |
分辨率（水平x垂直） | 2592 x 1944 | 防护等级 | IP30 |
传感器型号 | AR0521 | 生命周期 | 系列 |
技术文章
友思特分享 | NXT智能AI系统：简单实现AI视觉集成的新选择
2024年8月14日
AI图像处理在检测、分类、计数应用中克服人工操作缺陷的同时，也因技术专业性高导致了广泛普及的困难。友思特NXT借由完整的智能AI系统，仅需几个步骤即可完成AI视觉集成，有效降低了新技术在各行业的应用门槛。
友思特案例 | 搭载AI相机的机器人玩“石头、剪刀、布”
2024年8月21日
IDS NXT一体化推理相机是一个用于智能图像处理的完整系统，在人工智能的帮助下，无需额外的PC，就可以在相机内或者借助相机完成对图像的评估和结果传输，从而实现手势识别，并进行进一步处理，成功让机器人也能玩“石头、剪刀、布”。
演示视频
技术支持
友思特专业技术支持，助您项目成功
作为专注于机器视觉和光电检测解决方案的供应商，友思特致力于为您提供一系列该产品相关的付费技术服务，旨在以最具成本效益的方式助力您的项目成功。如您需要该产品相关的技术服务，请联系我们！
测试服务
按需进行样品测试与效果评估验证
硬件培训
全方位覆盖硬件产品使用的各环节
软件培训
帮助您迅速掌握软件使用技巧
集成开发
根据您的需求制定完整集成解决方案
更多相关产品
NXT rio/rome
机内AI图像分析，标准工业外壳设计
紧凑型AI工业相机 ，传感器类型多样，内建视觉相机使用自主研发的AI核心
NXT Experience Kit
完整的推理相机解决方案
包含用户在其生产环境中搭建、训练和运行神经网络所需的所有组件
NXT lighthouse
通用人工智能视觉组件
基于云的软件解决方案，管理训练图像、完成人工智能化图像处理任务
3D立体相机 Ensenso系列
快速、精准、低成本的3D图像捕捉
5个系列，专为不同行业需求而打造，多种外壳和工作距离型号可选
常见问题解答
NXT智能相机的优势?
- 简单的操作流程：我们为新一代易于使用和灵活的工业应用视觉系统创建了一个平台，通过该平台可以完成搭建视觉解决方案的所有任务，从图像采集、图像分析和处理到工业生产机器的控制。通过Lighthouse训练平台，无需掌握任何关于深度学习或编程的知识便能高效、快速地完成训练过程。
- 一体化推理相机：我们为客户开发了专用人工智能芯片“深海芯片”支持硬件加速，将推理功能集成到相机端，只需几毫秒即可完成推理。同时节省了额外的处理硬件、空间和成本。
- 工厂自动化的“即插即用”：相机支持OPC UA，可以用同一种语言与机器和控制器进行通信，并直接交换任务或结果。使用这项关键技术可以将智能相机集成到工厂自动化中，高效推进工厂自动化生产，大大节省开发时间及成本！
友思特IDS Lighthouse软件平台的图像数据安全性如何？
我们的托管合作伙伴微软(Azure Cloud)都遵守严格的安全规范和一系列ISO标准，这意味着您的数据非常安全。谁可以访问您的数据完全由您决定。关于使用托管商的信息友思特IDS lighthouse的更多信息，请参阅我们的使用条款。
友思特卷积神经网络是否也可以在任何其他相机上运行？
ANN不能在任意相机上使用。友思特IDS lighthouse软件平台是专门为训练神经网络执行图像处理任务而开发的，可以我们的2D相机一起使用。rio/rome系列NXT相机配备了我们开发的AI核心，能够以硬件加速的方式执行推理。我们的malibu型号使用Ambarella推出的特殊AI加速器。
NXT智能相机可以支持输出压缩视频流吗？
NXT智能相机系列中的Malibu型号，可以在机内实现基于AI的图像处理、视频压缩、视频流并输出结果。
这款支持AI的工业相机配备索尼Starvis 2系列8 MP滚动快门感光元件IMX678。这样可以实现极佳图像质量和卓越的低光性能，并具备通过相机实时生成4K视频流的能力。可通过MJPEG压缩的HTTP流显示相机的实时图像，可以提供H.264压缩RTSP视频流。
我可以使用智能手机拍摄图像来训练吗？
是的，您也可以使用智能手机拍摄的图像在友思特IDS lighthouse中进行训练，因为导入图像可以通过简单的文件夹存储完成。
我们可以在NXT智能相机上运行并非在lighthouse软件平台中创建的神经网络吗？
rio/rome系列NXT智能相机可以实现这一功能，但必须转换成合适的格式。
如果您已借助Keras（TensorFlow后端）进行训练，则可轻松实现MobileNet等网络架构的转换。我们为此提供了一些专用工具，包NXT ferry。
如果您在转换方面需要更详细的信息或帮助，请联系我们的技术支持团队。
NXT智能相机需要接入计算机设备吗？
不需要，NXT智能相机集成了1.3 GHz Dual Core ARM Cortex-A53 CPU处理芯片，内部有独立的操作系统，图像传入相机后可以直接在边缘端计算处理图像，输出结果。进一步的，可以通过RS232、OPC UA等通信协议与其他主机设备进行数据通信。
友思特 合作伙伴和客户
信任来自日积月累的专业知识和丰富经验
