【金猿技術展】面向面板缺陷智能檢測與分類關鍵技術

我國工業製造在表面缺陷檢測與分類智能化領域，長期高度依賴美、歐、日、韓等國外廠商提供的工業智能軟體。其導入門檻高、自主可控性低，且存在被限制禁用的風險。國內多家科研院所和大型企業均在大力投入研發該領域的自有產品，但受限於工業製造場景的表面缺陷檢測與分類中背景干擾強、關鍵樣本少、判級難度大、時延高的現實情況，在實際生產線上一直無法突破精度和效率指標要求。

該項目圍繞表面缺陷智能檢測、分類、判級等方面開展了深入研究，在複雜背景條件下缺陷檢測、小樣本條件下缺陷分類、缺陷嚴重性智能判定、模型輕量化等方面取得了創新性成果，突破了現有技術瓶頸，在多家製造業龍頭、標杆企業落地示範應用。

技術說明

產品表面缺陷檢測與分類的智能化是實現「智能製造」的重要組成部分，尤其是面板等泛半導體行業的產品製造工藝複雜繁瑣，快速準確地定位缺陷、判定缺陷嚴重性等級並進行高效處置是提高產品國際競爭力的必要條件。近年來，隨著智能製造理論與技術的不斷發展，基於深度學習的機器視覺技術越來越多地應用到面板、集成電路等製造行業，用於替代人工進行表面缺陷檢測與分類，但由於工業生產場景的複雜性和特殊性，基於深度學習的表面缺陷檢測與分類技術在實際的工業生產場景中面臨著不同於其它人工智慧應用領域的問題和挑戰：

1、複雜缺陷難檢出：工業產品缺陷檢測對象種類繁多且差異性大，被檢測對象通常具有複雜的紋理和背景，導致細微缺陷難以檢測、不同缺陷混淆和相互干擾等問題，極大影響缺陷的檢測效果。

2、關鍵缺陷難識別：訓練缺陷智能檢測模型需要大量標註數據，但實際生產中關鍵的嚴重缺陷往往發生率較低、關鍵樣本量少，導致模型難以準確識別這類關鍵缺陷。

3、缺陷嚴重程度難判定：同一類型的缺陷發生在關鍵區域和非關鍵區域對產品質量影響程度不同，不同產品設計的關鍵區域布局差異巨大，目前還沒有識別關鍵區域的有效方法，缺陷嚴重程度難判定。

4、智能模型時延高：智能模型的參數量大、計算複雜度高，導致模型實際運行所需時間和計算資源無法滿足生產線實時性和經濟性要求。為解決上述問題，數之聯牽頭組成科技攻關團隊，開展了一系列技術攻關，相關成果目前在面板等製造企業已實現規模化落地應用，國內市場佔有率排名第一。

其主要關鍵核心技術：

針對基於深度學習的表面缺陷檢測與分類技術在實際的工業生產場景中面臨的問題和挑戰，項目團隊在複雜背景條件下缺陷智能檢測、小樣本條件下表面缺陷智能分類、缺陷嚴重性等級判定、表面缺陷檢測模型輕量化等方面開展了深入研究並取得了創新性成果，突破了現有技術瓶頸。

1、提出了一種複雜背景條件下缺陷智能檢測技術，將對稱注意力機制引入檢測網路，並採用對稱數據增強方法，解決了細微、遮擋、易混淆表面缺陷的漏檢和誤檢難題，提升了整體檢測準確性。

2、提出了一種圖像小樣本智能分類建模方法，基於多尺度特徵構造多級標籤傳播網路，並基於信息擴散理論，解決訓練樣本不足情況下的模型構建難題，有效提升了不均衡樣本的分類準確性。

3、提出了一種缺陷嚴重性智能判級技術，將缺陷嚴重性的空間分布特性與注意力分布相融合，並採用自適應層次聚類思想，解決缺陷等級智能化判定難題，極大提升了缺陷處置效率。

4、提出了一種針對工業製造中表面缺陷檢測模型的輕量化技術，結合知識蒸餾和通道剪枝，採用知識與模型聯合驅動的方式，解決缺陷檢測時延高的難題，在保障準確性的前提下，有效提升了檢測實時性，同時降低了資源消耗。

該項目成果已成功應用於京東方、天馬微電子、華星光電、惠科、奧特斯等龍頭企業，能有效提升缺陷檢測效率和準確率、節約檢測人力成本，經濟社會效益顯著。該項目成果已累計實現銷售收入1.5億元，成功導入25家大型工廠，國內市場佔有率排名第一，已在新型顯示領域建立了競爭優勢，預計未來3-5年將為客戶節約成本約25億元。將來在晶元、新能源等行業也有巨大的市場空間。

依託該項目技術成功研發的缺陷智能檢測與分類雲邊端一體化平台，突破了國外廠商的技術壟斷，實現了缺陷檢測工業軟體的自主可控和規模化應用。同時，極大推動了國內製造企業智能化進程，有效提升了其國際競爭力，為製造強國戰略、安可工程實施做出了重大貢獻。

★專利申請號/公開號：CN113920117B

開發團隊

·帶隊負責人姓名：孫崇敬

孫崇敬，資深演算法專家，電子科技大學博士。負責系統產品的開發和應用落地實施，在複雜背景條件下缺陷智能檢測、表面缺陷小樣本智能分類、缺陷嚴重性等級判定三個方向上都有重要貢獻。

團隊其他重要成員姓名：彭向楠， 方育柯。

·隸屬機構：數之聯

成都數之聯科技股份有限公司是一家以計算機視覺技術、多維數據分析挖掘技術和自然語言處理技術為核心的大數據與人工智慧產品及解決方案服務商。公司聚焦「智能製造、智慧城市」兩大領域，依託「一體化雲原生數智服務平台」，為政府、企業和國防單位提供數據治理、數據可視化分析、數據挖掘等面向平台和場景的數智化技術服務，助力客戶實現降本、增效、提質。

相關評價

「武漢天馬自動識別分類系統（ADC）項目，已完成多個站點模型的上線運行。」

——武漢天馬微電子有限公司

廈門天馬微電子有限公司用戶評價：「該項目通過演算法模型，實現覆蓋四個廠97個站點的AOI設備拍照機檢出圖片的自動缺陷定位，缺陷分類，缺陷等級判定及其他功能。通過系統在企業的應用，提升了缺陷覆蓋率，摺合人員替代率 80%以上，即節約人力成本80%；正式生產環境的生產站點中，保證了工廠產能滿產的需求。」

——廈門天馬微電子有限公司