友思特应用
高精度呈现:PCB多类型缺陷检测系统
前言导读 2024.4.10
PCB等电子产品的精密生产制造过程中,往往需要将缺陷问题100%高精度暴露。友思特 PCB 多类型缺陷检测系统,借由Neuro-T深度学习模型自动排查全部微小缺陷,为工业 PCB 生产制造提供了先进可靠的质量保障。
![纯logo 纯logo](https://viewsitec.com/wp-content/uploads/elementor/thumbs/logo-qmj8airrh0foo53iap5tw5hgvw3121b3k4sho5a3e4.png)
高精度制造业的 缺陷检测 需求
在现代制造业中,尤其是在高精度要求的电子制造领域,诸如印刷电路板(PCB)生产的过程中,高效且准确地识别和分类多种类型的缺陷至关重要。
针对缺陷检测需求,常见的解决方案有两种:(1)基于目标正常图像数据的模板匹配;(2)训练深度学习模型检测目标缺陷。第一种方式虽然在特定场景下有效,但面对复杂和多变的实际生产条件,这些方法往往受限于它们的灵活性和鲁棒性。第二种方式不仅能够处理传统技术难以解决的复杂缺陷类型,还能通过不断的学习优化,提高检测的准确性和效率,具有更强的鲁棒性和泛化能力。
友思特技术团队通过 Neuro-T 的 Segmentation(实例分割)模型,搭建了 PCB 多类型缺陷检测系统,为工业 PCB 的生产制造提供了可靠的质量保障。
![](https://viewsitec.com/wp-content/uploads/2024/02/电路板特写-1024x576.jpg)
![纯logo 纯logo](https://viewsitec.com/wp-content/uploads/elementor/thumbs/logo-qmj8airrh0foo53iap5tw5hgvw3121b3k4sho5a3e4.png)
友思特 Neuro-T 支持的深度学习模型类型
友思特 Neuro-T 支持八种不同的深度学习模型,其中六类模型适用于缺陷检测领域。具体而言:
有监督学习模型
- 分类:简单分类目标缺陷的有无,精度高;
- 实例分割:准确识别并分割目标的缺陷区域,精度最高,适合占像素点少(低至10像素点)、形状较简单的缺陷;
- 目标检测:识别和定位目标的缺陷区域,精度高,适合占像素点稍多、形状较复杂的缺陷;
- GAN:人工生成目标的缺陷图像,弥补缺陷数据量不足的问题。
无监督学习模型
- 异常分类:分类目标缺陷的有无,精度高于分类模型(可设置异常阈值),主要适用于数据缺乏场景;
- 实例分割:准确识别并分割异常目标的缺陷区域,精度略低于实例分割模型(可设置异常阈值),主要适用于数据缺乏场景。
![纯logo 纯logo](https://viewsitec.com/wp-content/uploads/elementor/thumbs/logo-qmj8airrh0foo53iap5tw5hgvw3121b3k4sho5a3e4.png)
PCB 的六种常见缺陷类型
![](https://viewsitec.com/wp-content/uploads/2024/04/missing_hole-焊盘缺失-1024x829.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/mouse_bite-线路缺口-1024x796.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/open_circuit-断路-1024x829.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/Short-短路-e1712823111113-1024x806.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/Spur-毛刺-1024x787.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/Spurious-伪铜-e1712823052926-1024x801.png)
![纯logo 纯logo](https://viewsitec.com/wp-content/uploads/elementor/thumbs/logo-qmj8airrh0foo53iap5tw5hgvw3121b3k4sho5a3e4.png)
PCB 多类型缺陷检测系统
友思特 PCB 多类型缺陷检测系统主要由 Neuro-R、IDS相机 和 VST-2D 软件组成。PCB缺陷检测模型使用 Neuro-T 中的实例分割模型,通过对数据集进行标注、训练、微调实现,而后独立于 Neuro-T 脱机运行,通过 Neuro-R 实现在主机上运行推理。VST-2D 软件是友思特自研视觉软件,对接 IDS 相机的实时图像流,获取 PCB 的实时图像数据,结合 Neuro-R 调用 Neuro-T 训练的模型,实现缺陷区域的识别、缺陷类型确定以及定位分割并将结果呈现于界面。
系统组成图
![](https://viewsitec.com/wp-content/uploads/2024/04/系统组成图-1024x585.png)
系统检测效果图
![](https://viewsitec.com/wp-content/uploads/2024/04/系统检测效果图-1024x551.jpg)
![纯logo 纯logo](https://viewsitec.com/wp-content/uploads/elementor/thumbs/logo-qmj8airrh0foo53iap5tw5hgvw3121b3k4sho5a3e4.png)
Neuro-T 实例分割模型 训练PCB缺陷检测模型操作
![](https://viewsitec.com/wp-content/uploads/2024/04/1-新建项目.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/1-新建数据集.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/1-导入图像数据.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/2-创建标签集.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/2-选择模型类型.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/3-创建缺陷类别.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/3-选择标注工具.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/3-开始数据标注.png)
- 数据量较少的情况下,可以手动逐个标注;数据量较多时,逐个标注耗时耗力,可以使用友思特 Neuro-T 自动标注功能来完成标注工作;
- 项目共693张图像,标注139张,剩余使用自动标注功能完成;
- 自动标注功能的具体步骤为:
![](https://viewsitec.com/wp-content/uploads/2024/04/3-标注部分数据.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/3-划分训练集和测试集.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/3-训练标注模型.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/3-加载标注模型.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/3-选中图像自动标注.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/3-标注完成的结果图.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/4-划分训练集和测试集.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/4-训练模型.png)
![](https://viewsitec.com/wp-content/uploads/2024/04/4-查看模型结果.png)
模型评估结果解读
![](https://viewsitec.com/wp-content/uploads/2024/04/4-模型评估结果解读.png)
IoU (Intersection over Union) 交并比,对于特定的一个实例,指模型预测区域与真实区域的交集比上它们的并集:
![](https://viewsitec.com/wp-content/uploads/2024/04/公式1.png)
式中P为模型预测区域,R为真实区域,单位为像素点个数。对于深度学习模型,IoU≥50%才算成功被检测出来且效果较好。
准确率 (Accuracy) ,衡量模型在所有类别上整体预测的准确程度:
![](https://viewsitec.com/wp-content/uploads/2024/04/公式2-1024x220.png)
精确率 (Precision) ,衡量模型将数据预测为缺陷的精准程度:
![](https://viewsitec.com/wp-content/uploads/2024/04/公式3-1024x339.png)
召回率 (Recall) ,衡量模型成功找到缺陷的能力:
![](https://viewsitec.com/wp-content/uploads/2024/04/公式4-1024x352.png)
精确率和召回率的调和平均值 (F1 Score) ,综合考虑精确率和召回率两个指标:
![](https://viewsitec.com/wp-content/uploads/2024/04/公式5-1024x217.png)
- TP为正确判断为A类缺陷(真实也是A类缺陷)的数量
- TN为错误判断为A类缺陷(真实为非A类缺陷)的数量
- FP为正确判断为非A类缺陷(真实为非A类缺陷)的数量
- FN为错误判断为非A类缺陷(真实为A类缺陷)的数量。
本应用案例有六类缺陷,对每类缺陷的指标取均值。
模型检测效果图
![](https://viewsitec.com/wp-content/uploads/2024/04/模型检测效果图.png)
![纯logo 纯logo](https://viewsitec.com/wp-content/uploads/elementor/thumbs/logo-qmj8airrh0foo53iap5tw5hgvw3121b3k4sho5a3e4.png)
友思特 缺陷检测系统套装
![](https://viewsitec.com/wp-content/uploads/2024/04/neuro-R.jpg)
Neuro-R
![](https://viewsitec.com/wp-content/uploads/2024/04/neuro-T.jpg)
Neuro-T
![](https://viewsitec.com/wp-content/uploads/2024/04/IDS-uEye-XCP-605-363.png)