洪朴信息首席AI顧問劉龍澤24頁PPT深入講解利用OpenVINO加速工業缺陷檢測效率「附PPT下載」

出品 | 智東西公開課

講師 | 劉龍澤 洪朴信息首席AI顧問

提醒 | 關注智東西公開課公眾號，並回復關鍵詞英特爾06，即可獲取課件。

回放 | https://appoSCMf8kb5033.h5.xeknow.com/st/5yIUK0QfI

導讀：

5月19日，洪朴信息首席AI顧問劉龍澤在智東西公開課進行了一場直播講解，主題為《利用OpenVINO加速工業缺陷檢測效率》，這也是英特爾AI百佳創新激勵計劃系列公開課第6講。

在本次講解中，劉龍澤老師從當下工業缺陷檢測應用現狀與挑戰、基於Faster R-CNN的缺陷檢測算法設計、光伏EL智能識別系統、如何利用OpenVINO加速實際應用部署以及工業視覺檢測質量管理體系進行系統講解。

本文為此次專場主講環節的圖文整理：

正文：

信息首席AI顧問劉龍澤，很榮幸能在智東西公開課和大家一起分享今天的課題。今天分享的主題為《利用OpenVINO加速工業缺陷檢測效率》，主要分為以下4個部分：

1、當下工業缺陷檢測中的應用現狀與挑戰

2、基於Faster R-CNN的光伏組件缺陷檢測算法設計

3、利用OpenVINO加速光伏EL智能識別系統缺陷檢測效率

4、基於工業視覺檢測的質量管理體系

當下工業缺陷檢測中的應用現狀與挑戰

工業缺陷檢測領域已發展很久，自從有了製造業、質量檢查，就需要有工業缺陷檢測。過去在很多場景里都需要做工業缺陷檢測，包括鋰電池、OLED面板、輪胎、芯片、電站組件等，這些都是在工業領域探索時碰到的經典場景。

最早做工業缺陷檢測時，更多的是用一種傳統算法，這些算法主要基於特徵點提取或Opencv技術，其最大的特點就是算法的穩定性不夠，主要體現在以下幾個方面：

首先是場景的複雜性，準確率低很大原因在於場景太複雜，產品種類多，或者產品的形態非常多，會造成準確率比較低；其次是在其他的場景下，比如行人檢測或人臉識別，效果總體相對比較恆定，但在工業領域，由於精度要求非常高，所以會出現效果衰減的現象，效果衰減主要是由設備變化或產品的一些細微調整引起的；最後是行業迭代快，質量標準變動頻繁。所以，場景的複雜性是過去的工業檢測面臨的最大挑戰之一。

基於Faster R-CNN的光伏組件缺陷檢測算法設計

下面請我們的解決方案工程師林克詳來為大家帶來分享。

大家好，我是來自洪朴信息的解決方案工程師林克詳，非常榮幸能在此次公開課上為大家介紹洪朴在光伏行業當中處於領先地位的一個質量管理產品：光伏組件EL智能檢測系統，以及如何利用OpenVINO設計新的智能檢測產品。

大家肯定會好奇，智能檢測為什麼會與質量管理有關聯？光伏組件EL智能性檢測系統又是什麼？

首先，看下上面的幾張圖片，分別是光伏電池在西北發電站和家庭場景下的一些應用。其實電池在這些場景中只有一個作用：發電，而每一個使用者都希望這些電池能夠長期穩定的為他們供電。要保持電池長期高效的為他們供電，就需要在生產環節中儘早的排查出電池的一些問題。從上圖可以看到，每個電池組件上面都排列着許多的小方塊，這些方塊就是太陽能電池片，太陽能電池片在圖片上看可能是一個具有厚度的東西，但實際上每張電池片的厚度通常只有2~3根頭髮粗細。所以在組建生產的過程當中，很難保全電池片不發生破損。

另外，檢測外觀上的破損並不是項目的難點，項目難點在於有些隱藏在電池片當中看不見的缺陷，像是一些電池細微的隱裂以及電池片失效的原因，還有一些電池可能沒有焊接到位的問題，都會出現光伏組件的發電效率下降以及壽命縮短的情況。針對這些情況，光伏行業通常使用紅外相機來拍攝並尋找這些缺陷，而這種尋找缺陷的檢測方式就稱為EL檢測。

傳統的EL檢測通常是由人來完成，但由於每一個組件，可能有幾十張到上百張，再加上人工檢測具有一定的不確定性，所以人工檢測在這個環節的漏檢率是比較高的。當了解到光伏行業在EL檢測下的痛點時，我們就開始嘗試使用視覺檢測的方法來代替人工，並且近期還涉及到一款基於OpenVINO的新產品。

在產品早期開發過程中遇到了很多問題，開始時嘗試使用傳統的圖像算法來捕捉缺陷，但開始沒多久就遇到幾個問題：

第一個問題是光伏組件的缺陷形態是很大差異。相比於其他的圖像問題，缺陷具有的共性比較少，而且這些缺陷不容易聚集到同一類上，導致後面使用機器學習提取這些特徵時，發現學習過程中會出現過擬合或欠擬合的現象；第二個問題是缺陷的判斷條件比較複雜，在一般的目標檢測過程中，物體特徵都相對比較明顯，而且待檢測的物體與周圍的東西，包括背景都有明顯區別。但是在EL組件下，缺陷有可能嵌入到背景之下，缺陷很難被檢測出來，導致出現漏檢的情況，並且背景當中還有大量與缺陷類似的劃痕，臟污，這些情況也會被檢測出來，使得可能需要用圖像以外的其他信息來幫助抑制整個檢測的過檢率；第三個問題是缺陷的尺度不一樣，在實際研究過程中，可能發現組件圖上面有些電池的陰影面可能就幾毫米，但是有些可能特別大或者接近1/2的電池片，這對傳統圖像算法有着非常大的挑戰。

綜合以上的問題，我們嘗試使用深度學習的Faster R-CNN方法來訓練目標檢測模型。Faster R-CNN提出了一個RPN的候選框算法，這個算法的提出使得整體模型的目標檢測速度大大的提升，也使得模型的檢測效率能夠滿足我們客戶的需要。

怎麼通過Faster R-CNN來去完成目標檢測？首先，需要輸入一張光伏組件的圖片，然後這張圖片進入到卷積神經網絡當中進行特徵提取，我們會先用RPN生成一堆anchor box，然後再對這些anchor box進行裁剪、過濾，再通過softmax判斷anchor是不是缺陷，與此同時，另一個分支的region proposal network會修正這些anchor box，形成一個更加準確定位的缺陷框，然後再把缺陷框映射到CNN的另一個卷積feature map上，再通過RoI pooling層，使得每一個RoI feature map再利用softmax loss以及smooth l1 loss對分類概率以及邊框回歸進行聯合訓練。

在應用了Faster R-CNN之後，發現模型的整體檢測水平有了極大的提升，再通過標籤工程師以及對光伏行業EL組件的深刻理解。我們又在之後迭代了好幾個模型，時至今日這個模型已經達到了漏檢率小於萬分之5，過檢率小於千分之1的水平。下面我們將通過一段視頻來展示我們整個系統的運作流程。

在檢測台打開系統以後，系統會從檢測台上面獲取EL圖片，然後將圖片傳送到機房，由算法服務器進行推斷，並且將推斷結果返回到圖片上，顯示出缺陷位置以及缺陷類型，同時會給出組件是否合格的信號，如果不合格，就會被傳送到返修台進行返修，而返修人員也可以結合系統判定的結果，來輔助修訂缺陷。當然我們的產品想要做到質量管理不只是以上的操作，關於質量管理將放在第4部分着重展開。

在這個產品推出以後，也受到了很多客戶的肯定，但還是有一些客戶，他們會發出這樣的聲音，你們的產品好確實挺好，也能夠為我們減人和增加產能。但這批服務器有些貴，一台服務器好幾萬，這麼高的硬件成本會讓他們覺得在這個產品之上的收益有些少，所以希望能不能用其他辦法來降低相應的成本。在聽到這些客戶的反饋之後，我們開始思考，是否能通過其他的方法和硬件來做一個推斷，之後我們就和英特爾進行合作，發現英特爾支持CPU的推斷，所以我們就基於CPU服務器去做一個新的產品。

利用OpenVINO加速光伏EL智能識別系統缺陷檢測效率

簡單介紹下OpenVINO是什麼？OpenVINO是英特爾基於自身的硬件平台開發的一種工具套件，它可以加快高性能計算機視覺和深度學習視覺應用的開發速度，同時能夠支持英特爾各種平台的硬件加速器，並且在這些硬件加速器上進行深度學習。OpenVINO還支持windows系統、Linux系統，還有Python語言和C++語言。在對OpenVINO有了一定的調研之後，我們發現OpenVINO具備以下的特性:

1、 OpenVINO專註於計算機視覺領域，而我們現在大量的使用到Opencv和深度學習等計算機視覺相關技術，所以OpenVINO從技術領域上與我們的產品非常契合；

2、OpenVINO具備產品算法模型部署的各種能力，它擁有三個內置API深度學習部署工具包，以及通用學習推理工具包還有 Opencv、Openvx的優化能力，並且在卷積層、全連接層都有一個優化處理，而這些優化處理都能夠很好的幫助模型去做推理；

3、OpenVINO支持的神經網絡結構超過151種，這與算法服務器的模型能力是一樣匹配的。因為我們希望看到不同的模型在同一事物上的效果。如果OpenVINO不支持如此多的網絡結構，就意味着只能用OpenVINO加速少量的網絡結構，並且一旦發現效果不好或OpenVINO不支持的網絡模型，就不能進行相應的遷移，但是OpenVINO所支持的網絡結構足夠多，在技術選擇上給了我們更大的自由度。

4、OpenVINO能夠快速的部署模擬人類視覺的應用程序和解決方案，這也是基於先前幾點的

5、OpenVINO最核心的特徵是硬件成本很低，以及推斷效率特別高，為什麼？因為它能夠基於CPU去做推斷，在過往的客戶中，他們設備上的CPU其實都具備推斷能力，即便是CPU不具備推斷能力時，也可以在邊緣側去配置一台性能比較好的CPU設備去做運算。而且我們測算過整體的硬件成本，CPU相對於GPU服務器至少能夠節省30%的硬件成本，並且推斷效率也是滿足客戶需要的。所以基於OpenVINO低成本的特性，可以使用它讓CPU去做GPU的事，同時效率沒有太多的損失，這也是我們非常樂意使用OpenVINO的原因。

剛剛介紹到OpenVINO集成了三個全新的API，這三個全新的API能夠很好的輔助我們的產品，而本次產品大部分都是基於深度學習的部署工具包去完成的。所以先對深度學習工具包以及它是怎麼為我們的模型去做服務的做簡要的介紹。

這個工具包主要包括模型的優化器和推理引擎兩部分。模型優化器由Python或C++語言編寫，它的工作原理就是通過模型優化器，對在Tensorflow、Pytorch以及Caffe 2下訓練的模型進行優化，然後會把優化的結果轉換成一個中間表示的文件，也就是IR文件。IR文件中包含了許多優化以後的網絡拓撲結構，以及優化之後的模型參數，模型變量。推理引擎會讀取IR文件，之後會根據選用的目標平台去選擇相應的硬件插件，然後將IR文件下載到目標平台之上去執行。目前OpenVINO支持的插件包括CPU插件，GPU插件，還有FPGA插件等。在驗證完整個模型都沒有問題後，我們就會將推理引擎和中間的IR文件一起下載，或者是集成到我們的光伏組件EL智能檢測系統上去進行部署。

在對OpenVINO了解這麼多後，發現OpenVINO非常適合我們產品，因為它不僅含有Opencv的優化功能，而且還優化了以往在Tensorflow、Pytorch以及Caffe2下訓練的模型，並且能夠通過CPU推斷的方式大幅的降低產品的硬件成本，這些優勢都是十分契合我們產品的，所以我們開展了一個基於OpenVINO的開發工作。

首先算法團隊對OpenVINO進行一個調研，確認他與EL智能檢測系統是契合可行的。然後基於OpenVINO的特點，設計了屬於他的產品框架，我們會讓每一台GPU服務器連接EL檢測機台，然後統一的將所有的GPU服務器放到車間的機房當中，因為這批服務器對於車間的環境要求比較高。然後客戶端會收集圖片，傳送到機房去做推斷，然後推斷結果會返回到前面去。機房當中還會有一個非常特殊的樞紐，它有什麼作用？首先是能夠去調度我們的算力，保證每個GPU服務器的算力是均衡的，保證每次推斷都是穩定的；其次是能夠將推斷的結果存儲到數據庫中，而且我們的數據庫能與光伏行業早先的一些系統進行打通，並且把這些檢測之後的圖片存在數據庫裏面，我們也可以基於這些檢測的結果進行一些數據挖掘的工作。

我們可以挖掘出當前產線的生產情況如何，以及現在這批產品它的缺陷狀況是怎樣的，然後再依據這些去申請一份可視化的報表，交給質量人員更好的協助完成質量管理工作，整個流程不僅節約了統計樣本的時間，還節約了分析樣本的時間。

那OpenVINO在原有的架構中做了哪些改變呢？其實大部分是沒改變的，最重要的改變點在於OpenVINO支持的 CPU，我們把它放在邊緣側，那麼放在邊緣側有什麼好處呢？這意味着它可以在車間現場完成硬件部署，與機台的距離是比較近的，網絡傳輸時間也比較小，提升了推斷的穩定性。

在設計完產品框架之後，我們在實驗室中做了一系列的測試，一開始是從產線上拿了比較多的EL圖片，然後再將在Tensorflow框架下訓練的模型，放入到模型優化器當中進行優化，並且用優化之後的模型去定位缺陷。整個實驗下來發現推斷時間比Tensorflow模型要稍慢一點。

但整體來講是滿足客戶要求的，並且也能夠準確的去框出缺陷的位置。然後開始着手在現場進行測試，整個測試結果顯示，OpenVINO在加速推斷後，產品的推斷速度和推斷效果，都要比原模型差一點，但是總體的效果還可以。總之使用OpenVINO去加速EL檢測系統，不僅能在技術端幫助我們，而且能夠降低將近30%的成本。同時在邊緣端的部署條件也會比GPU服務器更便捷，由於網絡傳輸時間更小，所以它推斷時間的穩定性也得到很大的保障。如果未來要開發類似的計算機視覺產品，相信OpenVINO一定是一個不錯的選擇。

到此我的部分講解完畢，接下來由劉總為大家帶來基於工業視覺檢測的質量管理體系。

基於工業視覺檢測的質量管理體系

首先，從橫向上來看，如果把OpenVINO結合深度學習這一整套的體系，用在鋰電池、光伏電站的場景里，相信會有很不錯的效果，尤其像電站，它所有的檢測都發生在難以控制的位置，不像生產線，旁邊可以有人調試，但組件電站，一般會出現在屋頂，所以我們通過一個成本可控的邊緣計算器，在邊緣側直接進行部署，然後將所有數據通過5G基站，或者無線設施做一些回傳，會比傳統的方案更有優勢。

在質量管理方面，如果一個製造業的從業者，想看到深度學習是否能夠在檢測站點帶來明顯的提升，答案是肯定的。首先可以把檢測的對象做下抽象處理，在光伏行業里，如果看光伏EL智能檢測系統在焊接站點和層壓站點之間進行檢測，通過這樣的系統之後，相比於沒有系統時，可以看到良品率總體的分佈確實會有優化。但這並不是質量管理的全部，因為如果只是把檢測完成，這件事情還沒有做完，為什麼？雖然可以節省人力成本並提升檢測精度，但是並沒有實質性的賺到錢。

看下上面的架構，可以看到層前檢查的位置有所改變，事實上在焊接站點之前還是有其他的檢查，在串焊站點到焊接站點之間，可以加一個新的監測點叫串檢。而在來料口到串焊之間，我們可以加一個來料檢查。在每一個環節所檢測的產品，它的現狀其實類似，區別並不是特別大，但通過一輪檢查之後，我們會發現每一輪來料檢查時，已經把進料口處的不良挑出來，如果沒有這個環節，所有的不良會持續往下流動，一直堆積到最後的層前檢查環節。然而，如果可以在來料檢查環把所有的缺陷都挑出來，就能把這一部分成本節省下來，從而幫助客戶賺錢。

如果不從錢的角度上來看，由於每一道都把所有的問題抓出來，所以良品率一定有更大程度的提升。在工業里有一個專門的名字叫做零缺陷管理。過去零缺陷管理能不能做？能做，但是做零缺陷管理的成本會非常高，為什麼？因為一個檢測站點意味着要買新設備，還要雇新人，這些東西都是新的成本。但是如果用AI算法就會變得很簡單，如果橫向拓展能力，其實AI算法，它可以保持今天在這個站點做得很好，明天在另外一個站點也可以做得很好，這就是零缺陷管理在光伏行業的應用。更進一步來看，在所有這些環節中還可以獲得一個新的東西：數據。

人工智能與數據有什麼關係呢？因為人工智能是最容易去產生高質量數據的，這個數據具有高增值性，什麼意思？過去在做大數據應用時，經常提到一個問題就是數據特別「臟」，這個數據的「臟」並不一定是裏面會混雜各種各樣讓我沒有辦法輸入到系統的數據，而是數據的臟直接造成所有的數據的可用性非常低。臟數據它進入系統時，由於被審核過或者只是被採集到，所以系統並不知道有什麼用。在過去的工業大數據應用裏面，會普遍碰到這樣的問題。

現在，在光伏的場景里，可以看到數據通過AI在不同的環節之間去比對。如果發現從來料到串焊中間出現的不良，這是一個數字，下一步發現串焊到層前中間，是另外一個數字。那這些數字就可以得出來在每一個站點的生產效率是什麼樣，從而發現更多問題。

那組建工廠之後，又來到電池工廠，可以看下上圖的兩塊電池片，它們有什麼不同？左邊這片，是在設備加工時產生的一個不良劃痕，而右邊則是由於人工操作不當所產生的不良，它們的區別非常細微，只有非常有經驗的老師傅能夠看得出來。

那這背後意味着什麼？如果發現像左邊的不良特別多，就證明可能產生不良的設備出現了問題。而如果右邊不良的比例增高，那就去推斷是站點的人的問題，進一步的可以去找到設備部或者生產班長，如果為設備類的不良，那可以去找到方向去改善。同樣的對於生產班長，如果是人產生的不良，那就可以回去解決這個問題。所以這是一個質量管理的體系。

現在有了AI檢測系統跟模型，是不是可以用AI檢測系統產生一些質量報表，這些質量報表能夠追溯到缺陷的一些成因，進一步的跟模型去做對接，這樣當知道不良是什麼原因之後，就可以想辦法去做出一個更好的模型，到底該怎麼辦呢？我們會有一個訓練平台，它能夠把所有的訓練能力移交給客戶，在開發出一些工具包之後，也能很快的掌握AI能力，最後他們利用整個閉環，做出優質模型，並且持續的去迭代，這就是整個AI的質量管理體系。

所以，如果製造業對如何將質量檢測進行落地，就可以參照這個路徑。為什麼要講路徑呢？因為我們發現所有路徑，不僅是一個質量管理，還包括更多的預測性維護、良品率智能優化等，我們所做的這些應用，其實是很容易複製的，而這與OpenVINO的關係非常大。

OpenVINO不只是一個能夠幫助節省成本和提高效率的平台，同樣也是一個渠道性的平台，什麼意思？在最初跟英特爾接觸時，他們給我們提出一個很重要的概念就是英特爾會批量生產標準版的公共區，在公共區內部集成一系列的算法，或者一些推斷框架，或者一些訓練模型的平台性能力，這個是可以集成到公共區裏面的。

作為供應商，只需在公共區里打開我們的license，客戶就可以試用乃至於購買。我們能夠將這些東西去放到客戶現場，引導他們去使用，那麼他們就可以利用公共區互相的將各自的產品去帶給客戶，為客戶創造更多的價值。我覺得這是OpenVINO一個更加核心的能力，也就是說它不僅是一個技術性的平台，同樣也是一個渠道性的生態型平台。