友思特应用
高精度呈现:PCB多类型缺陷检测系统
前言导读 2024.4.10
PCB等电子产品的精密生产制造过程中,往往需要将缺陷问题100%高精度暴露。友思特 PCB 多类型缺陷检测系统,借由Neuro-T深度学习模型自动排查全部微小缺陷,为工业 PCB 生产制造提供了先进可靠的质量保障。
高精度制造业的 缺陷检测 需求
在现代制造业中,尤其是在高精度要求的电子制造领域,诸如印刷电路板(PCB)生产的过程中,高效且准确地识别和分类多种类型的缺陷至关重要。
针对缺陷检测需求,常见的解决方案有两种:(1)基于目标正常图像数据的模板匹配;(2)训练深度学习模型检测目标缺陷。第一种方式虽然在特定场景下有效,但面对复杂和多变的实际生产条件,这些方法往往受限于它们的灵活性和鲁棒性。第二种方式不仅能够处理传统技术难以解决的复杂缺陷类型,还能通过不断的学习优化,提高检测的准确性和效率,具有更强的鲁棒性和泛化能力。
友思特技术团队通过 Neuro-T 的 Segmentation(实例分割)模型,搭建了 PCB 多类型缺陷检测系统,为工业 PCB 的生产制造提供了可靠的质量保障。
友思特 Neuro-T 支持的深度学习模型类型
友思特 Neuro-T 支持八种不同的深度学习模型,其中六类模型适用于缺陷检测领域。具体而言:
有监督学习模型
- 分类:简单分类目标缺陷的有无,精度高;
- 实例分割:准确识别并分割目标的缺陷区域,精度最高,适合占像素点少(低至10像素点)、形状较简单的缺陷;
- 目标检测:识别和定位目标的缺陷区域,精度高,适合占像素点稍多、形状较复杂的缺陷;
- GAN:人工生成目标的缺陷图像,弥补缺陷数据量不足的问题。
无监督学习模型
- 异常分类:分类目标缺陷的有无,精度高于分类模型(可设置异常阈值),主要适用于数据缺乏场景;
- 实例分割:准确识别并分割异常目标的缺陷区域,精度略低于实例分割模型(可设置异常阈值),主要适用于数据缺乏场景。
PCB 的六种常见缺陷类型
PCB 多类型缺陷检测系统
友思特 PCB 多类型缺陷检测系统主要由 Neuro-R、IDS相机 和 VST-2D 软件组成。PCB缺陷检测模型使用 Neuro-T 中的实例分割模型,通过对数据集进行标注、训练、微调实现,而后独立于 Neuro-T 脱机运行,通过 Neuro-R 实现在主机上运行推理。VST-2D 软件是友思特自研视觉软件,对接 IDS 相机的实时图像流,获取 PCB 的实时图像数据,结合 Neuro-R 调用 Neuro-T 训练的模型,实现缺陷区域的识别、缺陷类型确定以及定位分割并将结果呈现于界面。
系统组成图
系统检测效果图
Neuro-T 实例分割模型 训练PCB缺陷检测模型操作
- 数据量较少的情况下,可以手动逐个标注;数据量较多时,逐个标注耗时耗力,可以使用友思特 Neuro-T 自动标注功能来完成标注工作;
- 项目共693张图像,标注139张,剩余使用自动标注功能完成;
- 自动标注功能的具体步骤为:
模型评估结果解读
IoU (Intersection over Union) 交并比,对于特定的一个实例,指模型预测区域与真实区域的交集比上它们的并集:
式中P为模型预测区域,R为真实区域,单位为像素点个数。对于深度学习模型,IoU≥50%才算成功被检测出来且效果较好。
准确率 (Accuracy) ,衡量模型在所有类别上整体预测的准确程度:
精确率 (Precision) ,衡量模型将数据预测为缺陷的精准程度:
召回率 (Recall) ,衡量模型成功找到缺陷的能力:
精确率和召回率的调和平均值 (F1 Score) ,综合考虑精确率和召回率两个指标:
- TP为正确判断为A类缺陷(真实也是A类缺陷)的数量
- TN为错误判断为A类缺陷(真实为非A类缺陷)的数量
- FP为正确判断为非A类缺陷(真实为非A类缺陷)的数量
- FN为错误判断为非A类缺陷(真实为A类缺陷)的数量。
本应用案例有六类缺陷,对每类缺陷的指标取均值。