【金猿技术展】面向面板缺陷智能检测与分类关键技术

我国工业制造在表面缺陷检测与分类智能化领域，长期高度依赖美、欧、日、韩等国外厂商提供的工业智能软件。其导入门槛高、自主可控性低，且存在被限制禁用的风险。国内多家科研院所和大型企业均在大力投入研发该领域的自有产品，但受限于工业制造场景的表面缺陷检测与分类中背景干扰强、关键样本少、判级难度大、时延高的现实情况，在实际生产线上一直无法突破精度和效率指标要求。

该项目围绕表面缺陷智能检测、分类、判级等方面开展了深入研究，在复杂背景条件下缺陷检测、小样本条件下缺陷分类、缺陷严重性智能判定、模型轻量化等方面取得了创新性成果，突破了现有技术瓶颈，在多家制造业龙头、标杆企业落地示范应用。

技术说明

产品表面缺陷检测与分类的智能化是实现“智能制造”的重要组成部分，尤其是面板等泛半导体行业的产品制造工艺复杂繁琐，快速准确地定位缺陷、判定缺陷严重性等级并进行高效处置是提高产品国际竞争力的必要条件。近年来，随着智能制造理论与技术的不断发展，基于深度学习的机器视觉技术越来越多地应用到面板、集成电路等制造行业，用于替代人工进行表面缺陷检测与分类，但由于工业生产场景的复杂性和特殊性，基于深度学习的表面缺陷检测与分类技术在实际的工业生产场景中面临着不同于其它人工智能应用领域的问题和挑战：

1、复杂缺陷难检出：工业产品缺陷检测对象种类繁多且差异性大，被检测对象通常具有复杂的纹理和背景，导致细微缺陷难以检测、不同缺陷混淆和相互干扰等问题，极大影响缺陷的检测效果。

2、关键缺陷难识别：训练缺陷智能检测模型需要大量标注数据，但实际生产中关键的严重缺陷往往发生率较低、关键样本量少，导致模型难以准确识别这类关键缺陷。

3、缺陷严重程度难判定：同一类型的缺陷发生在关键区域和非关键区域对产品质量影响程度不同，不同产品设计的关键区域布局差异巨大，目前还没有识别关键区域的有效方法，缺陷严重程度难判定。

4、智能模型时延高：智能模型的参数量大、计算复杂度高，导致模型实际运行所需时间和计算资源无法满足生产线实时性和经济性要求。为解决上述问题，数之联牵头组成科技攻关团队，开展了一系列技术攻关，相关成果目前在面板等制造企业已实现规模化落地应用，国内市场占有率排名第一。

其主要关键核心技术：

针对基于深度学习的表面缺陷检测与分类技术在实际的工业生产场景中面临的问题和挑战，项目团队在复杂背景条件下缺陷智能检测、小样本条件下表面缺陷智能分类、缺陷严重性等级判定、表面缺陷检测模型轻量化等方面开展了深入研究并取得了创新性成果，突破了现有技术瓶颈。

1、提出了一种复杂背景条件下缺陷智能检测技术，将对称注意力机制引入检测网络，并采用对称数据增强方法，解决了细微、遮挡、易混淆表面缺陷的漏检和误检难题，提升了整体检测准确性。

2、提出了一种图像小样本智能分类建模方法，基于多尺度特征构造多级标签传播网络，并基于信息扩散理论，解决训练样本不足情况下的模型构建难题，有效提升了不均衡样本的分类准确性。

3、提出了一种缺陷严重性智能判级技术，将缺陷严重性的空间分布特性与注意力分布相融合，并采用自适应层次聚类思想，解决缺陷等级智能化判定难题，极大提升了缺陷处置效率。

4、提出了一种针对工业制造中表面缺陷检测模型的轻量化技术，结合知识蒸馏和通道剪枝，采用知识与模型联合驱动的方式，解决缺陷检测时延高的难题，在保障准确性的前提下，有效提升了检测实时性，同时降低了资源消耗。

该项目成果已成功应用于京东方、天马微电子、华星光电、惠科、奥特斯等龙头企业，能有效提升缺陷检测效率和准确率、节约检测人力成本，经济社会效益显著。该项目成果已累计实现销售收入1.5亿元，成功导入25家大型工厂，国内市场占有率排名第一，已在新型显示领域建立了竞争优势，预计未来3-5年将为客户节约成本约25亿元。将来在芯片、新能源等行业也有巨大的市场空间。

依托该项目技术成功研发的缺陷智能检测与分类云边端一体化平台，突破了国外厂商的技术垄断，实现了缺陷检测工业软件的自主可控和规模化应用。同时，极大推动了国内制造企业智能化进程，有效提升了其国际竞争力，为制造强国战略、安可工程实施做出了重大贡献。

★专利申请号/公开号：CN113920117B

开发团队

·带队负责人姓名：孙崇敬

孙崇敬，资深算法专家，电子科技大学博士。负责系统产品的开发和应用落地实施，在复杂背景条件下缺陷智能检测、表面缺陷小样本智能分类、缺陷严重性等级判定三个方向上都有重要贡献。

团队其他重要成员姓名：彭向楠， 方育柯。

·隶属机构：数之联

成都数之联科技股份有限公司是一家以计算机视觉技术、多维数据分析挖掘技术和自然语言处理技术为核心的大数据与人工智能产品及解决方案服务商。公司聚焦“智能制造、智慧城市”两大领域，依托“一体化云原生数智服务平台”，为政府、企业和国防单位提供数据治理、数据可视化分析、数据挖掘等面向平台和场景的数智化技术服务，助力客户实现降本、增效、提质。

相关评价

“武汉天马自动识别分类系统（ADC）项目，已完成多个站点模型的上线运行。”

——武汉天马微电子有限公司

厦门天马微电子有限公司用户评价：“该项目通过算法模型，实现覆盖四个厂97个站点的AOI设备拍照机检出图片的自动缺陷定位，缺陷分类，缺陷等级判定及其他功能。通过系统在企业的应用，提升了缺陷覆盖率，折合人员替代率 80%以上，即节约人力成本80%；正式生产环境的生产站点中，保证了工厂产能满产的需求。”

——厦门天马微电子有限公司