友思特 半导体器件2D&3D视觉检测方案
高精度、智能化和自动化，显著提升半导体器件的生产检测质量与效率
2D方案基于Neuro-T自动深度学习平台，适用于器件检测分类、定位、缺陷检测等视觉任务。
3D方案基于Saccade视觉扫描系统，适用于器件焊接质量检测、装配检测、涂胶检测等视觉任务。
2D/3D视觉检测技术在半导体行业展现出极大的潜力
随着半导体器件微型化、结构复杂化以及生产封装过程多样化的趋势，传统检测方法难以满足检测需求。2D/3D视觉检测技术以高精度、智能化和自动化特点，成为应对挑战的关键手段。
器件微型化与复杂结构的挑战
半导体器件的尺寸越来越小，结构日益复杂，传统的人工检测方法和简单的2D检测技术难以满足高精度检测需求，尤其是在几何形状、表面缺陷和焊接质量等方面。而不同类型的半导体器件采用了多样化的封装形式，对检测系统的适应性和灵活性提出了更高的要求，需要能够处理各种器件形状、排布不规范和生产过程中可能出现的多种问题。
成像环境与数据噪声的影响
在半导体生产过程中，杂散光、反射和其他数据噪声会干扰成像效果，导致检测结果的不稳定和不可靠，需要更为先进的视觉技术和图像处理算法来提高成像质量和检测精度。
2D和3D视觉检测技术为器件的生产检测提升提供了新路径
友思特2D方案基于Neuro-T自动深度学习平台，适用于器件检测分类、定位、缺陷检测等视觉任务。3D方案基于Saccade视觉扫描系统，适用于器件焊接质量检测、装配检测、涂胶检测等视觉任务。
友思特 半导体2D视觉检测方案
对于半导体2D视觉检测，友思特Neuro-T自动深度学习平台，通过平台的智能自动标注、9种不同的深度学习模型、流程图和推理中心等功能，
旨在高效、快速、高精度实现并部署诸如器件检测分类、定位、缺陷检测等视觉任务。
1.分类模型
分类模型可识别整个图像的概念，并区分不同类别的图像。这种模型类型适用于将图像分为"正常"和"缺陷"两类的情况。
在半导体器件的检测上，可以用于区分正常和有缺陷的器件，以及不同型号种类的PCB或元器件。
2.实例分割模型
不仅能识别物体，还能识别其形状和在图像中的位置。由于图像是在像素级别上进行分析的，因此分割技术可用于从产品表面定位准确的缺陷区域，或发现图像中的多种类型的物体。
在半导体器件的检测上，可以用于准确捕捉和分割出器件上各种类型的缺陷，例如引脚缺失、划痕、缺口等，并返回缺陷的多边形轮廓。
3.目标检测模型
可以捕捉图像中的目标，并区分每个目标的类别。它们以方框的形式显示目标的大小和位置。这种模型类型在检测场景中某些目标类别的实例时非常有用，例如停在街道上的汽车、人脸或X射线行李扫描仪中的物体。
在半导体器件的检测上，可以用于例如在完整PCB上同时定位检测和分类多个不同种类的元器件，以校验有无元器件错焊漏焊的情况。
4.异常分类模型
异常分类模型专门从事无监督学习，只在正常图像上进行训练，以检测异常图像。这种模型具有很强的通用性，可应用于各个领域，尤其是在缺陷图像数量有限的情况下。
在半导体器件的检测上，可以只在正常的图像上训练，即可检测出异常（器件种类异常、数量异常、缺陷）等对象。
检测案例
PCB缺陷检测案例（分类模型）
IC缺陷检测案例（异常分类模型）
MLCC划痕检测案例（实例分割模型）
元器件识别检测案例（目标检测模型）
友思特 半导体3D视觉检测方案
友思特半导体3D视觉检测方案，基于Saccade视觉扫描系统VST-MD300设备，在视觉扫描系统和检测对象相对静止的情况下，
通过设备集成的4个IDS相机搭配内置动态移动的扫描线激光，多角度低死角地获取检测对象的点云，
并结合友思特研发团队自研的Viewsitec 3D软件，对获取的点云进行处理，得到包括坐标、尺寸、类别等所需的各视觉检测结果。检测流程如下：
1.视觉扫描系统标定
架设视觉扫描系统，使用系统配套标定软件、标定板和标准量块进行工作区标定以及标定精度的验算。
2.工件定位与参数优化
使用定位基准卡位来确保工件在预设位置范围，修改用于设置系统扫描参数的json文件，设置选择性重点关注的区域，对于需要检测的重点区域进行极高分辨率的扫描，对于非重点区域进行低频扫描，从而缩短点云获取时间的同时保有高精度，实现时间和精度的权衡。
3.点云数据获取与校准
系统扫描获取点云，根据此前预设的Z方向的定位基准，拟合Z轴平面，并根据XY基准点进行坐标换算，自动校准对象点云。
4.点云处理与对象尺寸测量
定位和分割需要检测对象区域的点云，并对点云进行滤波、轮廓提取、拟合等点云处理算法，得到需要测量的对象尺寸。
5.质量判断与结果输出
根据测量和定位结果，结合产品标准要求设置的阈值，决策输出产品最终的3D视觉检测结果，并返回至上位机呈现。
案例一：PCB的MOS管点胶质量检测
在PCB制造中，MOS管等元器件通常需要点胶，以实现绝缘保护、防止机械损伤、增强焊接强度、填充空隙并保证密封性和热稳定性。
因此，对点胶质量的检测至关重要，包括检测点胶厚度、均匀性、完整性，是否有效隔离元器件，是否粘连，以及防止点胶溅射等，这些都是在生产中提高产品质量和一致性的重要环节。
通过友思特的3D视觉检测方案，我们能够获取检测对象的2D和3D数据。利用2D数据辅助进行对象的粗定位，并自动分割3D点云数据中需要处理的部分。
借助视觉扫描系统配套软件，进行点云数据Z轴平面校准、XY方向的偏移旋转对齐，并通过高程渲染点云数据，以增加不同对象的区分度。
结合2D数据定位和点云分割，经过一系列点云处理操作后，获取MOS管及周围点胶的3D尺寸数据。最终，将这些数据与预设阈值相比，判断质量是否符合标准，并将结果反馈至上级系统。
案例二：IGBT质量检测
IGBT（绝缘栅双极型晶体管）是能量转换和传输的关键设备，广泛应用于混合动力汽车、电动汽车、发电转换和暖通空调等领域。在低容错系统中，IGBT模块的故障可能是灾难性的。
散热不良是IGBT故障的一个重要原因，可能是由翘曲、倾斜、平面度不达标或残余应力引起的。这些问题会降低产品的可靠性、散热性和电气性能，最终导致器件故障或寿命缩短。
我们的方案能够完成对大尺寸（超过400mm）、高精度（小于0.05mm）PCB上IGBT的质量检测，实现从自动点云获取、数据处理、检测算法到结果输出的完整3D视觉检测流程。
方案优势
多类型视觉需求覆盖
多种类深度学习模型以及2D/3D图像处理算法的融合，能够覆盖多类2D/3D视觉检测需求
低代码快速部署应用
算法模型封装成UI组件，通过链接的方式有机组合交互逻辑，部署端低代码调用推理
高精度图像数据获取
多方位线扫减少盲区，结合2D图像数据进行传感融合，获取微米级RGB点云数据
精度和效率平衡
局部扫描优化高质量捕捉ROI区域平衡精度效率，优化生成模型预测器缩短检测执行耗时
算法组合迭代优化
组合各类2D、3D传感数据，算法提取特征并进行特征层融合，决策推理视觉检测结果
定制化方案满足视觉需求
支持定制化视觉检测需求、软件和上位机图形化界面的定制化开发
套装产品介绍
Neuro-T
VST-MD300：友思特的高精度三维扫描设备
选择性分辨率，以非常高的分辨率扫描重点位置，忽略非重点位置，达到精度和速度的平衡。
Viewsitec 3D软件
其中，一键测量功能根据客户需要测量的内容，可以自由组合多个功能函数，一键完成所有测量项目并输出测量结果。
友思特 合作伙伴
