隨著新型工業(yè)化的推進(jìn),工業(yè)對生產(chǎn)自動(dòng)化、工作效率、安全生產(chǎn)、產(chǎn)品質(zhì)量等提出更高要求。缺陷檢測作為產(chǎn)品質(zhì)量檢測的關(guān)鍵環(huán)節(jié),檢測精度和效率至關(guān)重要。目前缺陷檢測仍以人工為主,主觀依賴性強(qiáng),存在檢測標(biāo)準(zhǔn)不統(tǒng)一且效率低下的問題;同時(shí)人口紅利漸消,勞動(dòng)力資源漸少,企業(yè)逐步面臨人工成本高的挑戰(zhàn),對質(zhì)檢技術(shù)的轉(zhuǎn)型升級有迫切需求。
當(dāng)前新一代信息技術(shù)快速發(fā)展,人工智能技術(shù)逐步從理論走向工業(yè)領(lǐng)域的應(yīng)用實(shí)踐,通過工業(yè)知識和數(shù)據(jù)科學(xué)的緊密結(jié)合,能大幅提升對問題的洞察與判斷,為生產(chǎn)環(huán)節(jié)的智能化決策提供支撐。其中,機(jī)器視覺已成為人工智能賦能工業(yè)最為活躍的技術(shù),通過機(jī)器視覺賦予生產(chǎn)制造“智慧之眼”,模仿人類視覺能力,對所“見”物體開展精準(zhǔn)識別、定位、測量等操作。
當(dāng)今,基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法技術(shù)在機(jī)器視覺領(lǐng)域加速應(yīng)用,提升了視覺技術(shù)的工程效果。典型的深度學(xué)習(xí)網(wǎng)絡(luò)如卷積神經(jīng)網(wǎng)絡(luò),可以從輸入數(shù)據(jù)中學(xué)習(xí)到抽象的本質(zhì)的特征信息,對高維數(shù)據(jù)有較強(qiáng)學(xué)習(xí)能力,但計(jì)算復(fù)雜度隨網(wǎng)絡(luò)層數(shù)增加而增加;深度置信網(wǎng)絡(luò),有較強(qiáng)的擴(kuò)展性,適合對圖像進(jìn)行多分類、識別處理,但依賴專家經(jīng)驗(yàn);全卷積網(wǎng)絡(luò),可以接收任意尺寸的圖像且可對其進(jìn)行像素級分割,在此基礎(chǔ)上獲得高層語義先驗(yàn)知識矩陣,但對圖像的細(xì)節(jié)信息不敏感且收斂較慢;Transformer結(jié)構(gòu),在訓(xùn)練效率、圖像分類、分割等任務(wù)中取得優(yōu)異效果,成為學(xué)習(xí)序列數(shù)據(jù)的通用框架。
深度學(xué)習(xí)算法能夠在相對理想的條件下解決視覺感知問題,然而該技術(shù)對數(shù)據(jù)規(guī)模和計(jì)算資源要求較高,當(dāng)前已有研究大都聚焦于理論與實(shí)驗(yàn)層面,在工業(yè)落地生產(chǎn)中,面臨如下挑戰(zhàn):
(1)工業(yè)部件結(jié)構(gòu)復(fù)雜,材質(zhì)屬性多樣,難以采集缺陷高表現(xiàn)力的圖像數(shù)據(jù)。
(2)工業(yè)缺陷類型繁多且微小,無明顯規(guī)律特征,檢測準(zhǔn)確度不高。
(3)視覺質(zhì)檢應(yīng)用復(fù)雜且資源消耗大,成本高難以落地應(yīng)用。
針對以上問題,本文從實(shí)際作業(yè)需求出發(fā),對視覺成像、檢測算法以及工程部署等關(guān)鍵技術(shù)開展研究,采用多特征成像光學(xué)策略保障數(shù)據(jù)質(zhì)量,融合半監(jiān)督與自監(jiān)督算法實(shí)現(xiàn)缺陷的精準(zhǔn)識別,并基于 AI 視覺平臺(tái)實(shí)現(xiàn)模型輕量化部署,降低應(yīng)用成本,打造了一種高效可靠的高精度視覺質(zhì)檢體系,賦能工業(yè)產(chǎn)線需求,助力智能制造。
1、 AI 視覺質(zhì)檢關(guān)鍵技術(shù)
1.1 整體架構(gòu)
如圖1所示,本系統(tǒng)基于AI視覺檢測平臺(tái),建立圖像感知、缺陷檢測模型、以及模型部署的全流程質(zhì)檢體系。根據(jù)客戶對于檢測精度、工作節(jié)拍、網(wǎng)絡(luò)參數(shù)的需求,在工廠現(xiàn)場端對接產(chǎn)線搭建圖像信息采集系統(tǒng),通過工業(yè)網(wǎng)關(guān)進(jìn)行數(shù)據(jù)采集和獲取,將數(shù)據(jù)推送至云端平臺(tái),在平臺(tái)側(cè)基于檢測模型對數(shù)據(jù)進(jìn)行分析后將結(jié)果發(fā)送至端側(cè),同步更新缺陷檢測模型。數(shù)采、訓(xùn)練、推理工作部署在云邊端各環(huán)節(jié)中的不同位置,形成邏輯空間上協(xié)同。
圖 1 AI 視覺檢測體系架構(gòu)
1.2 AI 視覺平臺(tái)架構(gòu)
AI 視覺平臺(tái)是質(zhì)檢體系的核心,通過接口調(diào)用的形式提供設(shè)備接入、數(shù)據(jù)管理、算法 / 模型開發(fā)、模型部署等功能,可適配不同場景的檢測需求,降低質(zhì)檢應(yīng)用落地的門檻。AI 視覺平臺(tái)架構(gòu)如圖 2 所示,由邊緣層、PASS 層、MAAS 層和 SAAS 應(yīng)用層組成。以輕量化、彈性伸縮、容器化為基礎(chǔ),進(jìn)行工業(yè)多元場景數(shù)據(jù)的統(tǒng)一接入與分析,沉淀AI 基礎(chǔ)算法能力,將通用模型算法與特定應(yīng)用需求解耦,提供可復(fù)用、可擴(kuò)展的 AI 能力服務(wù)??煽焖賹?shí)現(xiàn)特定場景的快速微調(diào)、訓(xùn)練、迭代與發(fā)布。
圖 2 AI 視覺平臺(tái)架構(gòu)
1.3 工業(yè)圖像數(shù)據(jù)采集
光學(xué)成像是視覺檢測的基礎(chǔ),采集圖像的質(zhì)量是后續(xù)圖像特征識別的關(guān)鍵。然而工廠光照環(huán)境多變、工件結(jié)構(gòu)復(fù)雜、工件材質(zhì)多樣等問題造成圖像質(zhì)量難以穩(wěn)定。為此,本文搭建多特征光學(xué)成像采集系統(tǒng),確保工件的全方位采集;并建立光學(xué)效果評價(jià)體系,指導(dǎo)光學(xué)參數(shù)調(diào)優(yōu)。從根源解決數(shù)據(jù)質(zhì)量問題,具體介紹如下:
(1)多特征光學(xué)成像
工件通常涉及表面缺陷、內(nèi)部缺陷以及三維缺陷信息的檢測,可概括為 “面特征”成像、“孔特征”成像以及“輪廓尺寸特征”3D 成像。為避免缺陷漏檢,本文設(shè)計(jì)了全方位、多特征的圖像采集系統(tǒng),如圖 3 所示,使用協(xié)作機(jī)械臂掛載多套視覺成像設(shè)備,使用面陣相機(jī)、線陣相機(jī)和 3D 激光傳感器,通過搭載 FA 鏡頭和遠(yuǎn)心鏡頭對表觀和三維特征進(jìn)行不同程度的觀測;對于有凹陷結(jié)構(gòu)如孔洞等的工件,鏡頭無法深入探測,則配備工業(yè)內(nèi)全景鏡頭進(jìn)行內(nèi)壁面檢測。由機(jī)械臂進(jìn)行環(huán)繞成像,確保工件無死角圖像采集。
圖 3 視覺圖像采集系統(tǒng)
(2)光學(xué)參數(shù)自動(dòng)調(diào)優(yōu)
錯(cuò)誤的光學(xué)參數(shù)設(shè)置可能會(huì)導(dǎo)致圖像模糊、過曝、缺少目標(biāo)區(qū)域等問題,因此成像效果評價(jià)方法的研究對于質(zhì)檢系統(tǒng)的穩(wěn)定運(yùn)轉(zhuǎn)至關(guān)重要。本文將視覺感知特性與深度學(xué)習(xí)相結(jié)合,對圖像不同區(qū)域給予不同關(guān)注,提高關(guān)鍵信息的利用率。
通過模擬人類視覺系統(tǒng)的感知來判斷工業(yè)質(zhì)檢中的圖像是否適合后續(xù)缺陷檢測。方法架構(gòu)如圖 4 所示,首先對工件圖像進(jìn)行主觀打分,構(gòu)建數(shù)據(jù)集;之后引入視覺顯著機(jī)制生成顯著性圖,并結(jié)合Transformer 特性提取圖像全局高層信息特征;將獲取的視覺顯著性圖與輸出的全局特征融合,最終通過全連接層映射為質(zhì)量分?jǐn)?shù)評價(jià)結(jié)果。利用網(wǎng)格法羅列光源、相機(jī)的所有參數(shù)組合,并采用全自動(dòng)輪詢的方式拍攝不同參數(shù)設(shè)置下的工件圖片,通過質(zhì)量評價(jià)體系對圖片集評級后選取最合適的硬件參數(shù)設(shè)置方案。
圖 4 融合視覺感知特性的光學(xué)評價(jià)框架
1.4 AI 檢測算法
工廠對劣品檢出率要求嚴(yán)格,然而現(xiàn)實(shí)生產(chǎn)中缺陷數(shù)據(jù)樣本少、缺陷形態(tài)多樣、且存在大量微小缺陷,對檢測模型提出了挑戰(zhàn)。針對該問題,本文采用半監(jiān)督、自監(jiān)督融合方式,構(gòu)建神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)非缺陷制品的特征,并以教師 - 學(xué)生網(wǎng)絡(luò)結(jié)構(gòu)通過逆蒸餾實(shí)現(xiàn)對缺陷敏感的編碼器與對缺陷不敏感的解碼器。當(dāng)圖像不含缺陷時(shí),編碼器的特征與解碼器的特征服從同一分布;反之,在缺陷圖像中,二者特征存在較大差異,因此可將差異部分作為缺陷并進(jìn)行缺陷定位,具體介紹如下。
如圖 5 所示,缺陷檢測模型包含教師網(wǎng)絡(luò)(編碼器)、學(xué)生網(wǎng)絡(luò)(解碼器)、單類瓶頸編碼器、投影層。
圖 5 缺陷檢測模型框架
(1)網(wǎng)絡(luò)輸入為非缺陷數(shù)據(jù)時(shí),直接計(jì)算教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)特征之間的相似性來訓(xùn)練學(xué)生網(wǎng)絡(luò),使用余弦相似性作為蒸餾損失,使得學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)在非缺陷數(shù)據(jù)上可提取同分布特征。
(2)缺陷數(shù)據(jù)作為輸入時(shí),將教師網(wǎng)絡(luò)提取特征通過投影層映射,并結(jié)合對比損失,經(jīng)過掩碼輔助消除缺陷特征,使得解碼器的輸入特征不含有缺陷相關(guān)特征,由此保證解碼器對缺陷數(shù)據(jù)不敏感。
實(shí)際推理時(shí),逐層獲取教師網(wǎng)絡(luò)與學(xué)生網(wǎng)絡(luò)的對應(yīng)特征并進(jìn)行余弦相似度對比,將所有層的相似度進(jìn)行融合獲取最終差異特征比對圖,圖中若有差異則表明數(shù)據(jù)含有缺陷,差異大的位置則作為缺陷的定位。
1.5 輕量化工程部署
在多產(chǎn)線、多種類、多批量的質(zhì)檢范式下,數(shù)據(jù)中心化的 AI 落地方案成本高昂,難以應(yīng)用。為此,本文提出模型輕量化的方案,旨在通過降低模型復(fù)雜度和計(jì)算需求,實(shí)現(xiàn)邊緣側(cè)的高效部署。
在 AI 視覺平臺(tái)中,構(gòu)建了基于泛化式模型精煉的算法壓縮過程,使視覺檢測模型具備更好的邊緣側(cè)部署性能和適應(yīng)性。平臺(tái)內(nèi)置的泛化式模型精煉模塊支持視覺算法庫的階段性更新,并允許在檢測設(shè)備部署過程中根據(jù)實(shí)際需要替換算法的主干網(wǎng)絡(luò),從而得到多個(gè)輕量化視覺模型的重組。在模型重組過程中,逐層分析不同模型的特征層,通過特征融合與裁剪等技術(shù),確保重組后的模型在繼承各個(gè)教師模型優(yōu)點(diǎn)的同時(shí),實(shí)現(xiàn)進(jìn)一步的輕量化和性能優(yōu)化。泛化式模型精煉能夠自主生成定制化、全能型的輕量化邊緣側(cè)模型,實(shí)現(xiàn)知識的深度融合,并顯著提高視覺檢測模型的性能與效率。
2 、視覺質(zhì)檢應(yīng)用測試
汽車行業(yè)是支撐國家經(jīng)濟(jì)發(fā)展的支柱行業(yè),中國汽車行業(yè)的總產(chǎn)值約占全國 GDP 總量的 10%,是視覺應(yīng)用的主力行業(yè)。汽車生產(chǎn)過程中涉及大量的自動(dòng)化引導(dǎo)和質(zhì)量控制環(huán)節(jié),同時(shí)由于零部件種類多、尺寸各異、檢測環(huán)境不一等因素,對產(chǎn)品檢測精度要求極高,亟需 AI 工業(yè)視覺技術(shù)提高質(zhì)量及效率。
將本文所提出的質(zhì)檢解決方案在汽車輪轂場景中進(jìn)行測試,輪轂生產(chǎn)過程常出現(xiàn)焊渣、起皺、凹坑、變形等缺陷,工件表面為多曲面高反光材質(zhì)且結(jié)構(gòu)復(fù)雜。針對該檢測場景,采用 AI 視覺平臺(tái)對質(zhì)檢系統(tǒng)進(jìn)行快速部署,現(xiàn)場如圖 6(a)所示,分為正面檢測、反面檢測、輪輞檢測三個(gè)工位,由機(jī)械臂進(jìn)行位置調(diào)控,實(shí)現(xiàn)工件表面的全方位高質(zhì)量數(shù)據(jù)采集,由檢測模型對圖像數(shù)據(jù)進(jìn)行缺陷識別,檢測效果如圖 6(b)所示。
圖 6 汽車輪轂 AI 視覺質(zhì)檢測試
采用精確率 P 和召回率 R 作為檢測效果的評價(jià)指標(biāo),計(jì)算公式如下:
P=TP/(TP+FP) (1)
R=TP/(TP+FN) (2)
式中,TP 為檢測檢出為缺陷的數(shù)量,F(xiàn)P 為誤檢為缺陷的數(shù)量,F(xiàn)N 為漏檢測的數(shù)量。
表 1 視覺質(zhì)檢應(yīng)用測試結(jié)果
檢測結(jié)果如表 1 所示,對于三個(gè)檢測工位,召回率均為100%,即本方案不會(huì)出現(xiàn)漏檢現(xiàn)象,符合對于工件質(zhì)量的嚴(yán)格高標(biāo)準(zhǔn)要求。然而,準(zhǔn)確率在 80%~90%,表明存在良品工件被識別為劣品工件的問題,需要人工對檢出輪轂進(jìn)行復(fù)篩。雖然該解決方案需要人工復(fù)檢保障工件篩選的準(zhǔn)確率,但相較于純?nèi)斯べ|(zhì)檢產(chǎn)線,大幅緩解了對人工的需求,具有實(shí)際應(yīng)用價(jià)值,可有效助力工業(yè)制造的數(shù)智化轉(zhuǎn)型。
3 、結(jié)束語
隨著機(jī)器視覺技術(shù)的快速發(fā)展,工業(yè)質(zhì)檢正經(jīng)歷由傳統(tǒng)向現(xiàn)代的轉(zhuǎn)變。在 AI 視覺賦能生產(chǎn)的過程中,視覺質(zhì)檢也面臨數(shù)據(jù)、模型、以及部署等諸多挑戰(zhàn)。本文基于 AI 視覺平臺(tái),從視覺成像、模型優(yōu)化、以及輕量化等方面建立視覺質(zhì)檢體系,實(shí)現(xiàn)高精度、高效率、低成本的質(zhì)檢解決方案,推動(dòng)視覺質(zhì)檢的落地應(yīng)用。同時(shí),系統(tǒng)具有較高的通用性和泛化性,可進(jìn)行規(guī)?;茝V與應(yīng)用。未來將持續(xù)探索 AI 視覺技術(shù)的應(yīng)用優(yōu)化,促進(jìn)傳統(tǒng)產(chǎn)業(yè)走向高端化、智能化、綠色化。
分享到微信 ×
打開微信,點(diǎn)擊底部的“發(fā)現(xiàn)”,
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。