NXT一体化推理相机 malibu

首款配备OnCamera AI并可以实现压缩和流媒体功能的工业相机

NXT malibu——视频流中的实时AI

智能工业相机NXT malibu是同类产品的开拓者:作为一体式人工智能系统NXT的一部分,采用了Ambarella最初用于运动相机的特殊芯片。而onsemi传感器AR0521对光线非常敏感,它捕捉的图像信息直接在相机上以硬件加速的方式得到处理。ISP提供了实用的自动功能(如亮度、噪声和颜色校正),可确保卓越的图像质量。

  • 相机内置AI进行图像分析:高速实现全高清压缩视频流,直接集成结果
  • 集成ISP便捷完成矫正:集成ISP自动功能可以非常方便地完成亮度、噪声和颜色校正
  • 提供卓越图像质量:对光线高度敏感的onsemi传感器AR0521提供出色的图像质量
  • 工业质量标准:紧凑的工业级外壳,带有GigE接口,并提供REST API
  • 恶劣环境下可使用:IP30防护等级,小巧紧凑
  • 通用的人工智能视觉组件:轻松完成从捕捉训练图像到实际执行的全部应用开发步骤
 

物体追踪

无论是在体育、生产线,还是在各种研究领域,malibu相机均可密切监测相关对象,

配合其他硬件,实现自动完成检测、识别、安全拾取与放置到正确位置等操作。

体育和动作分析

NXT malibu获得的图像数据卓越、高效、便捷易用,

可用于匹配分析或优化高尔夫挥杆或自行车运动等动作模式。

物流自动化

NXT malibu能够通过图像实时分析功能提高物流操作的效率、准确性和安全性,

如进行货物识别跟踪、装卸辅助、货架管理、质量检测等操作。

安全与监控

NXT malibu相机可以用于安全监控等相关场景,

利用图像处理功能自动监测和识别异常行为或安全风险,并及时发出警报,

以确保物流设施的安全,如用于记录访客人数和用户行为,并实施门禁管理。

产品特点

轻松应用深度学习

NXT是一款简单易用、基于人工智能的一体式视觉系统,由智能可编程相机和多功能软件组成。
涵盖了从捕捉和标记训练图像到训练网络、创建用于评估的应用以及实际运行应用的整个工作流程。
这意味着,即使不具备深度学习或应用编程的知识,也可以在各种行业和应用场景中应用具备人工智能的图像处理。
您可以随时调整各种相机的功能。例如:改进目视检查和质量控制、确保工作场所安全、优化产出、支持物流流程、小批量自动化生产。

使用Ambarella NPU(神经处理单元)的硬件加速AI图像评估

NXT malibu 首次将Ambarella最初应用运动相机的特殊芯片应用于工业环境,可以在短时间内对采集到的图像进行深度学习和模式识别。
该技术可以极大地提高图像处理速度和效率,并可以扩展各种图像处理功能,
而onsemi传感器AR0521对光线非常敏感,它捕捉的图像信息直接在相机上以硬件加速的方式得到处理。

通过RTSP在压缩视频流(H264)中进行结果叠加

NXT malibu相机以高速(>25fps)独立执行AI图像分析,并支持RTSP协议(实时流传输协议),可以将采集到的图像以压缩格式(如H264)发送给远程计算机。
同时,该相机还支持将AI分析结果实时叠加在视频流中,实现快速的实时分析和决策。

集成ISP实现卓越的图像质量,嵌入式系统无需PC完成高效工作

 NXT malibu相机自主执行神经网络,并采用了集成ISP(图像信号处理器),ISP提供了许多实用的自动功能(如亮度、噪声和颜色校正),可确保卓越的图像质量。
NXT malib配备的完美的图像质量、OnCamera AI + 压缩 + 视频流,该种嵌入式系统组合让您的项目摆脱了对PC的依赖。

配备通用的人工智能视觉组件,无需专业知识储备即可进行图像处理

NXT包含所有必要的IDS lighthouse软件和硬件组件,它们可以高效协同工作,在云端帮助您将想法转化为现实。
这意味着您无需事先掌握深度学习、图像处理或应用编程的专门知识,即可完成从第一张图像到最终应用的整个开发工作流程。

NXT 相机应用实例

对象计数

确定是否存在

检查状态是否正常

对测试点进行分类

控制质量

查找异常情况

常见问题

ANN即“人工神经网络”,是指经过训练因而能够自主完成特定任务的网络。与传统的基于规则的图像处理技术相比,ANN适用于处理差异较大、部分隐藏或难以用数学算法定义的对象。借助IDS lighthouse,非专业人员也可以训练ANN。

推理即“推导”。在人工智能领域,推理是指将通过深度学习获得的知识应用于新数据的能力。因此,推理相机能够通过独立于PC且经过训练的人工神经网络,对新捕捉的图像内容进行评估或分类。

您只需围绕所需检测的区域拖动ROI(方框)。由于此类ROI无边框,因此操作需要尽可能准确,且不应小于整体图像的1/10。若对象体积更为小巧,则需捕捉待检测/待查找区域的较大图像。然后,在训练项目中选择您是否要对这些区域进行检查/分类或在图像中找到/检测这些ROI。

如果您已有预先分类的图像,或者想要用特定标签“一键”标记多张图像,只需将它们保存在同一个文件夹中。此文件夹中的所有图像都可以按需要的方式标记,然后上传至IDS lighthouse中。

当前,用户可以使用GIF,JPG,PNG,BMP和TIFF格式的图像在IDS lighthouse中训练人工神经网络。

ANN不能在任意相机上使用。IDS lighthouse是专门为训练神经网络执行图像处理任务而开发的,可以与IDS相机和软件一起使用。rio/rome系列IDS NXT相机配备了IDS开发的AI核心,能够以硬件加速的方式执行推理。IDS malibu型号使用Ambarella推出的特殊AI加速器。IDS lighthouse以相应格式为各个平台提供网络。

友思特 合作伙伴