友思特 Neuro-R：快速部署实时推理API

前言

科技赋能，视觉技术在缺陷检测方面的应用为生产制造自动化程度带来了重大影响，有效缩短了检测时间，提升了生产效率，创造出更多的经济效益。通过视觉技术的精准分析和快速判断，缺陷检测变得更加准确、高效，无论是在产品生产线上还是在质量控制领域，都能够大幅度减少人工错误和资源浪费。视觉技术的自动化应用使得制造过程更加智能化，并且可以快速发现和排查潜在问题，从而提前采取必要的纠正措施。

在这个过程中，深度学习算法作为“大脑”，工业相机作为“眼睛”，发挥了至关重要的作用。如何快速实现两者的结合，形成完整的视觉检测解决方案，友思特 Neuro-R将为您解答。

友思特 Neuro-R 平台介绍

友思特 Neuro-R 是一个将 Neuro-T 创建的模型部署进视觉检测自动化设备的运行库。Neuro-R 集成了各种API，能够快速融合和预处理图像，使对目标的推理速度满足实际生产需求。

工作流程

友思特 Neuro-R 三步实现图像输入到结果输出的流程：

（1）输入

第一步是将相机设备获取的图像数据转换为模型输入格式的数据（NDBuffer）。NDBuffer是一个用于图像矩阵数据处理的类，内部包括数据维度（shape）和数据类型（type），类似OpenCV的Mat以及Numpy的Ndarray。

（2）处理

第二步是将格式转换后的图像数据输入到执行器中从而获得检测结果的输出。

执行器是组合模型、设备和相关配置的推理引擎，根据具体应用场景选择深度学习模型，并根据推理速度要求选用CPU/GPU设备，最后进行相关推理参数的设置，实现图像到检测结果的转换。

（3）输出

第三步是对执行器输出结果的检查，获取输出结果数据并解析出最终的检测结果。

不同深度学习模型类型对应的输出结果信息如下表所示：

友思特 Neuro-R 特性

（1）兼容性强

支持使用多种编程语言进行系统集成：C++、C#、Python。
支持不同平台上的推理：PC (CPU、GPU) 、OS (Windows10/11、Linux Ubuntu18.04) 和嵌入式设备 (Jeston) 。

（2）推理速度快

推理速度快使其可以拓展更多的应用场景。
不同设备、不同模型类型推理速度不同，以下是不同模型类型的推理速度：

输入图像尺寸（Image Size）：512 × 512

GPU：3090

单位：毫秒（ms）

分类和分割模型相对较小因此推理速度更快，检测和OCR模型相对较大因此推理速度稍慢。
选项“Enhance Inference Speed” (提高推理速度) 和“For Embedded Device” (对于嵌入式设备) 可以提高推理速度。

友思特 Neuro-R 快速部署

友思特Neuro-R对每一种深度学习模型均提供了C++/C#/Python语言的样例代码，代码位于路径/../Neuro-R/NRT_example中。

只需三步即可实现友思特 Neuro-R 的快速部署：

修改深度学习模型路径为自己训练的模型；
接入相机的实时图像流；
设备选择和相关参数配置（综合推理速度和检测精度进行设置）。

在VS code中的预览如下图所示：

通过以上三步，即可实现自己的深度学习视觉检测解决方案。

友思特 Neuro-R 应用案例

半导体/电子产品/显示屏

检测要点：

（1）划痕、黑点、污染、气泡、未镀层零件检测

（2）检测包装过程中出现的模具和引线框架缺陷

（1）LED芯片检测

（2）LCD面板检测

（3）其他电子产品行业应用领域