【金猿案例展】海尔集团——追光AI-AOI赋能PCBA缺陷检测

‍

数之联案例

本项目案例由数之联投递并参与“数据猿年度金猿策划活动——《2022大数据产业年度创新服务企业》榜单/奖项”评选。

‍数据智能产业创新服务媒体

——聚焦数智 · 改变商业

AOI（Automated Optical Inspection缩写）的中文全称是自动光学检测。通过高速高分辨率的工业成像模块，搭载高稳定高精度的机械结构，对待检物进行稳定成像。依托智能检测算法，对待检物的错、漏、反、虚焊等缺陷进行有效检出。使用AOI可对生产过程中的缺陷进行有效发现，提升工艺品质，为工厂降本增效。

随着科技的发展，工厂对工艺的要求越来越高，更先进的制程不断出现，AOI已经由“选配”转变为“标配”。目前行业/企业使用的传统型AOI普遍存在的以下两个核心痛点：

1、操作复杂、调试时间长。波峰焊的焊点形态变化大，传统算法需针对每一类焊点进行调试，大大增加了调试时间。同时，还对人员的熟练程度有要求，一旦人员流动，难以延续设备检测效果，从而影响生产效率。

2、误判高。传统算法难以兼容焊点的多形态特征，误判比较高，大大增加了操作员复判的工作量。过多的误判，操作员容易疲劳，漏检的风险随之增加。

实施时间：

项目开始时间：2022年6月

项目完结时间：2022年10月

应用场景

PCBA可以说是所有电子产品组件中最为重要的组成。小到生活中常用的家电、3C数码、显示器、鼠标键盘、U盘等产品，大到网络通讯、汽车电子、军工研究等，都少不了PCBA的运用。PCBA就类似于人体的大脑神经网络，是所有电子产品的核心，几乎决定着产品的功能、性能、可靠性。尤其是在电子产品售后问题中，有80%都是PCBA出现的问题，PCBA质量的重要性不容置疑。

海尔从事智能家电产品与智慧家庭场景解决方案的研发，产品种类、型号众多。随着家电产品朝着精细化、智能化、微小化趋势发展，该家电企业的PCBA生产检测难度也越来越大。想要保障PCBA的质量，检测手段需要进一步升级。

基于工业机器视觉的表面缺陷装备，已经在各工业领域广泛替代人工肉眼检测，基于传统机器视觉的缺陷检测，但仍存在一些问题和难点，通过深度学习技术的加持，为客户提供软硬一体的智能机器视觉方案，在表面缺陷检测环节，帮助工厂大幅降低人力投入，提升缺陷检测效率和产品品质。

该工厂引进了数之联基于深度学习的创新性设备——追光AI-AOI，意在提升检测效率、降低人力成本。该设备适用于集成电路DIP封装工艺，波峰焊炉后焊点面的外观缺陷检测，工厂无需额外开发可直接使用，可兼容多个工厂的不同产线。

面临挑战

图为形态各异的焊点

如图，焊点形态的千变万化，使用传统算法将会十分困难。不管从颜色提取、灰度计算还是模板匹配等，操作人员可能都不得不为每一类焊点制作一个OK规格，这样就会耗费较多的调试时间。随着例外和缺陷库的增大，算法也会变得越来越有挑战性。换句话说，到了特定的时候，工厂自动化中需要的某些应用将无法再依靠基于规则的机器视觉。

而借助深度学习这项技术便可以达到另一种效果：生产线上更加一致、更加可靠且更快速地完成任务。数之联追光系列AOI是一款基于深度学习，核心采用自研深度学习目标检测与异常检测框架的产品，其中检出率可以达到99.99%，误判率低于3000PPM。通过行业收集的海量缺陷图片数据，高效训练深度学习神经网络模型，使得模型可自动从图片中提取缺陷特征，有效解决传统算法无法提取关键缺陷特征的问题。通过深度学习目标检测模型，精准定位缺陷位置并实现缺陷的准确分类。

与传统AOI对比，基于深度学习的AOI将之前1-2小时的调试时间缩短为30分钟以内。同时，检出率可以达到99.95%，误判率低于0.3%。

与同类解决方案对比，追光系列AOI搭载着数之联深度学习神经网络模型，该模型是数之联集合了在泛半导体行业多个成功落地经验及海量缺陷数据，训练出的可兼容焊点形态变化、高泛化模型，能切实解决传统AOI在编程/调试时间过长、误判过高、因人而异的操作结果等核心痛点。切实为企业降低成本上百万，可节约30%-80%质检人力。极大缩减检测时间，提升生产效率。

数据支持

工厂上线数之联追光AI-AOI后，最明显的改变即是效率的提升和人力成本的降低。

该设备集合了泛半导体行业多个成功落地经验及海量PCBA缺陷数据，通过AI模型，可自动从图片中提取缺陷特征，一个检测框即可覆盖各类缺陷的检测，大幅缩短编程时间。以往2小时才能完成编程，1个工程师只能管理2条产线，现在编程时间降低至10-30分钟，1个工程师可管理5条产线，大幅提升了管理效率。

通过数之联深度学习目标检测模型，追光AI-AOI能精准定位缺陷位置并实现缺陷的精确分类。目前已帮助该工厂实现缺陷漏检率低于0.01%、误判率（按点数）低于0.3%，减少大量人工复判工作。因此工厂将维修与复判工位合并，每条产线至少可减少1名操作员。

应用技术与实施过程

该案例中，工厂在生产过程中外观缺陷检测环节，导入数之联追光AI-AOI，智能提取产品缺陷特征，有效提升工厂工艺品质。

使用场景：集成电路DIP封装工艺，波峰焊炉后焊点面的外观缺陷检测。

一、系统架构图

图1：系统架构图

二、系统流程

1、硬件定位后，采集；

2、采集全部FOV ；

3、将全部FOV拼接一张整图；

4、通过MARK点调整整板的距离与角度偏移；

5、将整板调整后，通过CAD 信息，标注检测区域；

6、针对检测与训练检测区域。

图2：系统流程图

三、核心技术

核心利用自研深度学习技术，构建深度卷积神经网络模型，通过end2end方式让机器学习到不良图像中缺陷因素之间的深层逻辑关系、局部与局部、局部与整体的关联关系，实现缺陷的检测识别、分类。借助深度学习使生产线上更加一致、更加可靠且更快速地完成任务。

图3：核心技术

四、实施过程

为了降低产品换线时间、降低误判率，海尔引入了数之联追光AI-AOI。这是一款基于深度学习的创新性设备，核心采用自研深度学习目标检测与异常检测框架，缺陷检出率可达99.99%，误判率低于0.3%。

针对传统AOI操作复杂，调试时间长，数之联追光AI-AOI采用AI算法解决了设备换型时重新注册编程时间长的问题，仅需10分钟即可完成新品制作。该设备搭载AI模型，在新品制作时，只需输入板子长宽，设备自动调节轨道开始制作，拍照完成后可以将全部FOV合成整板图像，自动识别焊点位置，进行智能元件分组，工程师仅需极少输入便可完成编程制作。

图4：系统截图

针对误判高、复判多问题，该设备通过缺陷数据库对图像数据进行预处理，基于行业领先的AI算法，实现了缺陷的智能识别、检测、分类，解决传统算法仅OK/NG粗分类问题，仅需极少人工复判。

图5：系统截图

值得一提的是，通过实地调研客户产线环境，数之联还缩小了设备尺寸，帮助客户节省厂房空间。并且该设备适用于50mm*50mm～510mm*510mm的板子，在同规格系列产品中，能处理全行业最大的PCB板。自主研发的三段式运动模组，可高效运作，减少进板等待时间，采用设备的“飞拍”模式，拍照速度可达0.1s/FOV，帮助客户加快生产节拍。

得益于数之联强大的缺陷数据库，该设备算法模型能够快速更新，可以轻松应对各个厂家、不同型号产品的缺陷。并且数之联自研深度学习训练平台，可定期收集产线生产数据，使AI模型不断增量学习，让设备始终保持高检出、低误判，保障工厂持续正常生产。

此外，通过导入追光AI-AOI，工程师能进一步利用AOI机台数据发挥效用，在此基础上可扩展不良根因分析、过程品质分析等后续应用，打造闭环数据体系，助力工厂可持续化提升工艺品质。

商业变化

原有传统AOI误判较高，需要大量人工复判，并且设备操作复杂、新产品换线时间长，工厂导入数之联追光AI-AOI后，漏检率低于0.01%，误判率低于0.3%（按点数），新产品程序制作时间由1-2小时缩减到10-30分钟，大大提高了质检效率。

导入数之联追光AI-AOI后，工程师操作更简单，可实现快速编程，提升工程师管理产线效率，原来1名工程师只能管理2条产线，现在可以管理5条产线，而且误判率降低后，可将产线上维修工位与复判工位合并，每条产线上可至少减少1名操作员，平台降低企业近80%的产品缺陷检测人力成本，为客户带来间接经济效益数亿元。

该设备响应智能制造2025，助力工厂提升整体智能生产水平，实现了工业产品的缺陷检测，提高工业企业生产效率，为工业制造企业制定战略规划和实现业务目标提供强大数据决策支撑。具体包括：平台极大缩短产品缺陷检测与分类时间，提升质检效率；提高产品缺陷检测准确率，快速找出不良原因，有助于优化企业生产线工艺流程，提升企业产能。