友思特 IC多类别视觉检测一站式解决方案
友思特 Neuro-T 智能平台，低代码快速部署，一站式解决IC多类别视觉检测需求
具备分类、实例分割、目标检测、OCR字符识别、旋转、GAN对抗生成网络、异常分类、异常分割等深度学习模型
流程图功能可链接多个不同的深度学习模型，同时执行不同的视觉任务，满足用户多样化的视觉检测需求
推理中心可以模拟单/多模型部署的实际检测效果，分别以统计结果和图像检测效果的形式呈现
Neuro-T: 一站式解决IC多类别视觉检测需求的智能平台
IC领域产品的缺陷检测至关重要
在当今集成电路（IC）制造领域，特别是对于高精度要求的工艺流程，如半导体芯片生产，快速准确地检测出缺陷至关重要，也有通过OCR识别芯片印刷字符从而缺陷芯片型号的需求。
常规检测方式需要一一部署模型
针对IC多类别视觉检测的需求，常规方式需要一一部署视觉检测模型，并编程实现多个模型的调度和交互逻辑。
Neuro-T：一站式解决同一目标的多个视觉检测需求
友思特Neuro-T，通过平台具备的流程图（Flowchart）功能，链接多个不同的深度学习模型，一站式解决同一目标多个视觉检测需求，并可以通过推理中心（Inference Center），模拟单/多模型部署的实际检测效果。
友思特 Neuro-T 支持的深度学习模型类型
1.分类
将图像分类成不同的类别或OK/NG组别
简单分类目标缺陷的有无，精度高
2.实例分割
分析图像中检测到的物体形状并圈选
准确识别并分割目标的缺陷区域，精度最高，适合占像素点少（低至10像素点）、形状较简单的目标
3.目标检测
检测图像中物体的类别、数量并定位
识别和定位目标的缺陷区域，精度高，适合占像素点稍多、形状较复杂的目标
4.OCR（字符识别）
检测和识别图像中的字母、数字或符号
预置预训练模型，批量快速进行数据标注
5.旋转
旋转图像至合适的方位
服务于其他模型类型，提高其他深度学习模型的识别准确率
6.GAN（对抗生成网络）
学习图像中的缺陷区域并生成虚拟缺陷
人工生成目标的缺陷图像，弥补缺陷数据量不足的问题
1.异常分类
在大量正常图像和少量缺陷图像上训练以检测异常图像进行分类
分类目标缺陷的有无，精度高于分类模型（可设置异常阈值），主要适用于数据缺乏场景
2.异常分割
在大量正常图像和少量缺陷图像上训练以检测异常图像并定位缺陷位置
准确识别并分割异常目标的缺陷区域，精度略低于实例分割模型（可设置异常阈值），主要适用于数据缺乏场景
友思特Neuro-T流程图功能
友思特Neuro-T的流程图功能，在视觉项目的图像标注和训练的同时，提供直观有效的UI组件，辅助项目流程的设计和梳理。通过链接多个不同的深度学习模型，平台不仅可以对图像中需要检测的目标进行高效的聚焦和高精度的检测，还可以同时执行不同的视觉任务，满足用户多样化的视觉检测需求。
以上述图为例，初始图像内容包括了平板以及三块需要检测的PCB对象，需要检测三块PCB的缺陷类型。该视觉检测项目通过链接三个深度学习模型完成：
旋转模型
检测对象进入相机拍摄区域并不一定是同一姿态，通过旋转模型自动将图像旋转至合适的朝向，以利于后面的图像检测分割以及分类检测。
目标检测模型
从图像中检测出需要检测的PCB对象，并按实际检测到的方框尺寸（也可以统一尺寸裁剪）来分割图像，得到裁剪出来的三个PCB对象的图像。
分类模型
对分割后的三个PCB对象的图像分别通过目标分类模型，最终确认是属于哪种缺陷类型（脏污、划痕、孔洞）的PCB，并输出和可视化结果。
友思特Neuro-T推理中心功能
友思特Neuro-T的推理中心，可以帮助用户快速地验证单个深度学习模型或多个深度学习模型链接之后的实际部署检测效果，分别以统计结果和图像检测效果的形式呈现。
可以查看各个环节的检测效果和统计结果，帮助用户改进视觉检测项目。最终可以分别导出单一的模型，自行设计模型推理逻辑，
或包含多个深度学习模型以及他们之间的链接的单一流程图模型，无需自行设计多个模型之间的交互逻辑，即可完成复杂的多需求的视觉检测项目。
（统计结果）
（图像检测结果）
方案优势
多类型视觉需求
在同个视觉项目内，通过流程图可以梳理和链接多个不同的深度学习模型，同时满足多个视觉检测需求
高精度视觉检测
通过链接多个模型，可以实现图像自动矫正、图像动态ROI、多层多次检测，从而实现更精确的视觉检测
精度和效率平衡
模型预测器的生成使得多个模型的推理总时长小于单个模型推理时长之和
统计分析可视化结果
推理中心展示实际部署图片的推理流程、推理结果并可视化，助力模型优化改进
低代码快速部署应用
包括多个深度学习模型的流程图模型无需自行编程设计多个模型之间的交互逻辑，通过界面UI组件链接实现，一键部署
定制化方案满足视觉需求
支持定制化视觉检测需求的制定和上位机图形化界面的制定
实际案例一：IC芯片引脚缺失检测、字符检测
用户检测需求：检测IC芯片是否有引脚缺失，检测芯片表面字符印刷是否清晰，如清晰，进一步检测字符。
（引脚缺失检测）
（字符检测）
（STEP 1）
（STEP 2）
STEP 1：导入图像集，标注，训练，得到图像中 IC 芯片的目标检测模型。
STEP 2：调用目标检测模型，对 IC 芯片目标进行裁剪，得到只包含目标最小框的图像区域的新数据集，起动态 ROI 的作用，排除其他内容干扰后续检测结果。
（STEP 3）
（STEP 4）
（STEP 5） （STEP 6）
STEP 3：对上述得到的新数据集标注，训练，得到IC芯片的旋转模型，并通过该模型作用于原数据集，得到新数据集，其目的是将芯片旋转至合适朝向，便于后续检测，提高检测准确率。
STEP 4：对上述得到的新数据集标注，训练，得到异常分类模型，将原数据集分类成“OK—字符印刷正常”和“NG--字符印刷异常”两个新数据集。
STEP 5：对于“OK”的数据集，进一步标注训练，得到OCR字符识别模型，实现字符检测的效果。
STEP 6：对于“NG”的数据集，进一步标注训练，得到实例分割模型，检测并分割出“NG”芯片是否有引脚缺失以及引脚缺失的区域，实现引脚缺失检测的效果。
实际案例二：IC芯片引脚缺失检测、引脚缺失定位检测
用户检测需求：检测IC芯片是否有引脚缺失，检测芯片表面字符印刷是否清晰，如清晰，进一步检测字符。
友思特研发人员开发的视觉检测软件对接了我们的IDS相机和深度学习软件。右边功能区包括分类/分割/目标检测/流程图等6种深度学习模型的功能切换，
以及IDS相机曝光和增益参数的调整，右上区域是检测结果图列表，可以右键保存到本地或回溯检测结果。
左边大图是检测结果可视化，左下角小图是相机捕捉的原始图像，表格显示的是检测目标的相关信息，这里以置信度为例，也可以放置检测框的坐标/类别等信息，
扇形图显示的是图中检测对象的类型占比，可以根据具体需求调整要显示的内容。输出区域显示的是程序运行的console。
（STEP 1）
（STEP 2）
STEP 1：导入图像集。
STEP 2：标注，训练，得到图像中IC芯片的目标检测模型。
（STEP 3）
（STEP 4）
STEP 3：调用目标检测模型，对IC芯片目标进行裁剪，得到只包含目标最小框的图像区域的新数据集，起动态ROI的作用，排除其他内容干扰后续检测结果。
STEP 4：对上述得到的新数据集只标注有引脚缺失的区域，训练，得到另一个目标检测模型。如果图像中有检测到引脚缺失的区域，则标记为NG；若无，则标记为OK。
套装产品介绍
Neuro-T
Neuro-R
友思特 IDS工业相机
友思特 合作伙伴
