2025释放人工智能在自动光学检测（AOI）领域的潜能白皮书

释放人工智能在自动光学检测（AOI）领域的潜能2025年2月国际电子工业联接协会（IPC）首席技术专家委员会白皮书在此，IPC及其首席技术专家委员会（CTC）向IBM基础设施高级技术人员、供应链工程部门供应链质量系统与工业4.0解决方案首席架构师薛峰致以诚挚谢意，感谢他为这份白皮书所做出的重要贡献。释放人工智能在自动光学检测（AOI）领域的潜能1引言人工智能（AI）是一门致力于开发计算机系统的前沿理论与技术，这些系统具备执行通常依赖人类智能才能完成的各类任务的能力。这些任务包括视觉感知与模式识别、语音识别、决策制定、自然语言处理与翻译等多个关键领域。机器学习作为人工智能的一个重要分支，赋予了计算机在无需人类辅助的情况下，从海量数据中自主学习的卓越能力。而深度学习作为机器学习的一种先进形式，能够训练计算机模拟人类执行各种复杂任务，如精准识别语音、准确辨认图像或进行合理预测。人工智能指的是机器，特别是配备了合适软硬件的计算机系统，对人类智能过程的模拟。这涉及创建能够执行通常需要人类智能的任务的系统，比如理解自然语言、识别模式、做出决策、解决问题以及从经验中学习等。人工智能涵盖了广泛的技术、算法和方法，每种都有不同的用途。近年来，人工智能在计算机视觉、基于大语言模型的生成式人工智能等领域迅速崛起。在计算机视觉领域，人工智能已成功应用于质量检测场景。基于神经网络的深度学习模型在数字图像处理领域的目标检测和分类任务中展现出了很高的准确性。由于人工智能模型在质量检测过程中通过目标检测和分类开始显示出巨大的替代人类认知的潜力，人工智能辅助的质量检测有望进一步实现这些过程的自动化。尽管本白皮书主要聚焦于将计算机视觉人工智能应用于自动化检测（即运用人工智能对检测图像进行模式识别），但生成式人工智能的快速发展和日趋成熟，为未来生成检测标准开启了全新的可能性。释放人工智能在自动光学检测（AOI）领域的潜能21. 人工智能系统详解开发和部署人工智能系统的过程通常包含两个模块：人工智能训练和人工智能推理。人工智能训练 人工智能训练是指机器学习模型从大量数据集中进行学习的过程，在这个过程中，模型会调整自身参数，以识别数据中的模式并做出准确预测。近年来，基于神经网络的深度学习模型在数字图像处理领域的目标检测和分类任务中展现出了极高的准确性。以下罗列其中几种已在图像识别应用和实际场景中得到广泛使用的成熟人工智能模型类型：•　GoogLeNet•　Faster R-CNN（区域卷积神经网络）•　Detectron•　SSD（Single-Shot Detection）•　YOLO（You Only Look Once）•　精简版YOLO（You Only Look Once）人工智能训练是一个迭代的工程过程（如图1所示），这项工作由建模人员负责。建模人员不仅要精通人工智能建模技术，还要深入了解业务流程（在本白皮书的语境中，即自动光学检测）。人工智能模型的准确性在很大程度上依赖于来自实际生产的训练数据集的质量和多样性。在训练之前，建模人员需要对训练数据集进行标注（例如，区分合格产品和缺陷产品）。在训练过程中，建模人员将标注好的训练数据集输入到人工智能模型中，这样模型就可以调整自身参数，以最小化预测结果与实际结果之间的误差。标注和训练都是既耗时又耗资源的工作。可能需要经过多次“标注→训练→验证”的迭代过程，才能使模型达到令人满意的性能。和任何模型一样，在这个过程中避免对数据过度拟合非常重要。计算机视觉人工智能训练涉及教导模型解读和理解视觉数据，这被视为一项工程活动，需要大量的图形处理单元（GPU）资源。它通常在与生产系统分离的人工智能训练系统或平台上运行。释放人工智能在自动光学检测（AOI）领域的潜能3人工智能推理 人工智能推理是指将经过训练的人工智能模型应用于实际生产数据，以在质量检测范围内进行缺陷检测和分类。与人工智能训练相比，它对GPU资源的需求要少得多，但在将训练好的人工智能模型部署并集成到生产系统中时会面临一系列挑战。第3节将详细阐述这些挑战。图1：人工智能训练过程示意图2. 人工智能在电子制造AOI中的应用在印制电路板组件（PCBA）的AOI流程里，人工智能能够发挥关键作用。随着技术不断进步，表面贴装器件（SMD）的尺寸持续缩小。为满足电子设备小型化和高性能的需求，体积更小、更紧凑的组件不断问世。这一发展趋势使得减少PCBA AOI的编程时间、判断时间以及调试工作显得尤为必要。近年来，云人工智能、物联网和智能制造等领域的技术取得了显著进步，为进一步提升AOI性能创造了有利条件。运用深度学习和边缘计算技术的人工智能解决方案，在AOI的准确性和效率方面取得了明显提升1。1 Wayne Zhang、Ziv Zhao、Ben Wu、Peng Tang、Yan Wang、Marie Cole、Lin Qin Shen和Andrew Vogel，《通过智能视觉洞察解决方案协作提高AOI性能》，2019 SMTA国际会议论文集。释放人工智能在自动光学检测（AOI）领域的潜能4在用于优化AOI流程的新型人工智能解决方案中，边缘设备可在生产线上实时处理AOI图像，并将不符合要求的图像发送至基于云的人工智能中心进行进一步分类。该系统减少了人工干预，缩短了生产周期，同时降低了误判率和漏检率。实验结果表明，基于深度学习的AOI系统在准确性和效率方面优于传统系统，因为它能够识别复杂图案，并适应生产环境的变化。3. 在制造车间部署人工智能面临的挑战在EMS车间部署人工智能，面临着诸多重大挑战。首先，在将人工智能应用于AOI缺陷检测的人工智能训练阶段，获取高质量的训练数据存在不少难题：• 缺陷样本有限：由于缺陷出现的频率较低，收集具有多样性和代表性的缺陷数据集并非易事。例如，电子制造中像枕头效应（HIP）这类缺陷相对少见。若缺乏足够的样本，人工智能模型可能难以进行有效的泛化学习。• 类别不平衡：在缺陷检测中，大部分样本是无缺陷的（即正常芯片），有缺陷的样本占少数。这种类别不平衡会导致模型产生偏差，在检测罕见缺陷时表现欠佳。• 数据隐私：出于保密考虑，电子制造商通常不愿意分享其专有的缺陷数据。这限制了可用于训练的大规模、多样化数据集的获取。其次，在将训练好的人工智能模型实际部署到制造车间进行推理时，会遇到一系列信息技术（IT）和运营技术（OT）方面的挑战2：• 高可用性：质量检测是产品发货给客户前的最后一道防线。检测系统的可用性直接影响发货计划，进而影响企业收入。这就要求系统能够全天候不间断运行，维护间隔要尽可能短。• 可扩展性和性能：制造业务往往分布在多个地区，因此系统需要具备扩展到不同地点制造工厂的能力。系统应易于扩展，无论是在本地还是云端，都能方便地增加用于人工智能模型训练的计算机视觉实例，同时也能添加边缘设备。此外，还需考虑系统的性能，如速度、异常处理能力等，以满足全球各地用户的需求。 • 用户认证和授权：制造质量管理系统的一个重要特征是，只有经过授权和培训的操作人员才能进行质量检测。因此，需要对不同用户角色进行严格的用户认证和授权。2 Feng Xue、Charisse Lu、Christine Ouyang、James Hoey、R