熱線電話:0755-23712116
郵箱:contact@shuangyi-tech.com
地址:深圳市寶安區(qū)沙井街道后亭茅洲山工業(yè)園工業(yè)大廈全至科技創(chuàng)新園科創(chuàng)大廈2層2A
手機、電腦等電子設備一般通過膠水使其各組件連接,工業(yè)生產(chǎn)中一般采用自動點膠機進行點膠,但由于點膠機工藝水平的限制往往會導致不合格品產(chǎn)生,如少膠、斷膠、無膠等。如果不能及時檢測出這些不合格品,將會嚴重影響產(chǎn)品最終應用性能。
傳統(tǒng)的點膠質(zhì)量檢測主要依靠人工進行,不僅耗費大量的人力物力,而且效率低下,檢測精度往往不足。隨著機器視覺的不斷興起,視覺檢測技術已經(jīng)成為國內(nèi)外研究的熱點。本文提出一種基于亞像素邊緣檢測的視覺點膠質(zhì)量檢測方法,通過細化圖像邊緣像素,結合模板匹配方法,實現(xiàn)更加高效、快速的點膠質(zhì)量檢測。
1. 檢測系統(tǒng)方案設計
一個完整的檢測系統(tǒng)由硬件和軟件兩部分組成,硬件部分主要由工業(yè)相機、光源、鏡頭和計算機等部件組成,主要負責采集待檢測產(chǎn)品的圖像信息,其整體結構如圖 1 所示。
圖1視覺檢測系統(tǒng)
軟件部分主要是對圖像進行分析,通過對采集到的圖像進行處理,最終確定待檢測產(chǎn)品點膠質(zhì)量及不合格原因。常用的圖像分析軟件主要有 Halcon、Opencv 等。其中,Halcon 代碼精簡,運行效率高,擁有廣泛的集成開發(fā)環(huán)境,是世界上公認具有最佳效能的商用機器視覺軟件之一,因此,本文選用 Halcon 完成點膠質(zhì)量檢測的圖像處理任務。
2.檢測系統(tǒng)實現(xiàn)
本文針對點膠質(zhì)量檢測方法步驟可歸納如下:Step1: 分別拍攝得到標準合格產(chǎn)品與待檢測產(chǎn)品圖像。Step2: 選取標準合格產(chǎn)品圖像,對圖像進行預處理后劃分目標區(qū)域( 包含點膠區(qū)域和溢膠區(qū)域) 并通過亞像素提取法分割點膠區(qū)域與溢膠區(qū)域。Step3: 在標準合格產(chǎn)品圖像中選定模板區(qū)域( 所有產(chǎn)品圖像中相同且與目標區(qū)域無關的區(qū)域) 創(chuàng)建模板進行匹配,并根據(jù)匹配結果計算相各待檢產(chǎn)品圖像與標準合格產(chǎn)品圖像間仿射變換矩陣。Step4: 根據(jù)仿射變換矩陣搜索每一待檢測產(chǎn)品圖像中目標區(qū)域。Step5: 判斷待檢測產(chǎn)品點膠質(zhì)量,若不合格,則進一步判斷不合格原因。
2.1 圖像預處理
在圖像采集的過程中由于環(huán)境以及待檢測產(chǎn)品自身特性等因素影響,往往會使得采集得到的圖像包含噪聲,這些噪聲的存在往往會對點膠質(zhì)量檢測結果的準確性造成影響。為了解決此類問題,在對待檢測產(chǎn)品點膠質(zhì)量檢測前,通常需要對所采集到的圖像進行降噪處理。常用的圖像噪聲處理方法有均值濾波、中值濾波等。由于均值濾波具有運算簡單、速度快、降噪效果好等優(yōu)點而被廣泛應用,因此在本文中采用均值濾波去除待檢測產(chǎn)品圖像噪聲,其處理前后結果如圖 2 所示。
圖2 降噪前后產(chǎn)品圖像對比
2.2 點膠區(qū)域提取
2.2.1 目標區(qū)域確定
為準確提取合格產(chǎn)品標準圖像中目標區(qū)域( 點膠區(qū)域與溢膠區(qū)域) ,需要在標準合格圖像中提取包含目標區(qū)域最小范圍區(qū)域。并剔除干擾背景。如圖3所示。
圖3包含目標區(qū)域最小區(qū)域
采用閾值分割方法對目標區(qū)域進行圖像分割,利用圖像在目標與背景處的灰度值差異設置分割閾值,從而實現(xiàn)對圖像目標區(qū)域的提取。其算法表達式為:
其中,f 表示待分割的圖像中目標區(qū)域的灰度值,gmin和 gmax分別表示目標區(qū)域灰度閾值上下限。R 表示提取出來的目標區(qū)域。
標準合格產(chǎn)品圖像目標區(qū)域中所包含的區(qū)域有點膠區(qū)域與溢膠區(qū)域,通過輪廓選擇以及形態(tài)學處理后可初步定位標準合格產(chǎn)品圖像中的點膠區(qū)域,目標區(qū)域中的其他部分即為溢膠區(qū)域。2.2.1 亞像素邊緣提取圖像是由像素點構成,這些像素決定了圖像所呈現(xiàn)出的效果。通過上述圖像分割可初步定位標準合格產(chǎn)品圖像目標區(qū)域中的點膠區(qū)域,由于得到的點膠區(qū)域( 邊緣) 精度也為像素級別,無法適應工業(yè)應用中高精度的檢測要求,此時就需要提取點膠區(qū)域的亞像素精度輪廓。亞像素精度是指在兩個相鄰像素之間細分,將每個像素分為更小單元,從而在軟件層面提高圖像分辨率,以滿足更高的精度要求。本文以初定位目標區(qū)域中點膠區(qū)域的外邊界和邊界像素中心作為亞像素輪廓點生成圖像亞像素邊緣。在外界因素及圖像噪聲等影響下,生成的亞像素輪廓中通常包含偽邊緣及不必要輪廓,因此需要根據(jù)長度等特征進行區(qū)分,得到點膠區(qū)域亞像素輪廓。亞像素輪廓的應用,提高了產(chǎn)品點膠質(zhì)量的檢測精度,滿足工業(yè)使用要求,如圖 4 所示。
圖4圖像邊緣
2.3 模板選定與匹配
模板匹配是在待檢測產(chǎn)品圖像中根據(jù)已知的模板圖的某種特性進行匹配,從而得到模板圖像和待檢圖像之間的關系。模板匹配不僅可用于物品完整性檢測,也可用于物體識別,即區(qū)分不同類型物體,是最具代表性的一種圖像識別方法。模板匹配方法一般包括灰度值模板匹配和幾何特征模板匹配。由于不同產(chǎn)品圖像拍攝角度與點膠質(zhì)量的不同,導致顯示在產(chǎn)品圖像中膠水寬度、位置均發(fā)生變化,因此選用與目標區(qū)域無關的模板區(qū)域作為模板,進行待檢測產(chǎn)品圖像與標準合格產(chǎn)品圖像匹配對提高檢測結果具有重要意義。
通過觀察圖 5 所示的幾種典型待檢測產(chǎn)品圖像可知,每個圖像均包含與目標區(qū)域無關的相同區(qū)域( 圖中紅/藍色框內(nèi)區(qū)域) ,實驗表明,選取標準合格產(chǎn)品圖像中的任意相同無關區(qū)域作為模板,能極大的提高模板匹配的效率。
圖5典型待檢測產(chǎn)品圖像
NCC 匹配方法是灰度值模板匹配中最具代表性的方法,最初由 Rosenfeld 等人提出,其主要原理是根據(jù)圖像相似度值來判斷不同圖像間的相似度特性。在空間中,一維向量相似度值計算方法如式( 2) 所示:
通過 cosθ 的值來判斷兩個向量 a 和 b 之間的相關性,當 cosθ 的值越接近 1 時,表明向量 a 和 b 之間夾角越小,向量 a 和 b 相似度越高。將該原理推廣到二維圖像中,可得用于二維圖像中,圖像相似度系數(shù)( 圖像歸一化相關系數(shù)) ,如式( 3) 所示:
其中,mt表示模板圖像的平均灰度值,s2t表示模板圖像中所有像素灰度值的方差,t( u,v) 表示模板圖像 T 中點 ( u,v) 處的灰度值。即:
通過計算 ncc 的值來確定模板圖像和待檢圖像之間的匹配程度。其中,ncc( r,c) ∈ [0,1],其值越接近 1,表明待檢圖像與模板圖像相似度越高,且當ncc( r,c) = 1 時,可認為待檢圖像與之間模板圖像完全一致。通過 NCC 模板匹配找到待檢測產(chǎn)品圖像中與模板區(qū)域相對應的位置后,為擬合待檢測產(chǎn)品圖像與標準圖之間的變換,可通過標準圖中的模板區(qū)域與待檢測圖中所找到的相對應的模板區(qū)域之間的位置和角度關系,并計算得到相應的剛性仿射變換矩陣。其中剛性仿射變換由旋轉變換和平移變換組成,其本質(zhì)是兩個矩陣在空間的映射。而圖像本質(zhì)上是數(shù)字化的矩陣,因此剛性仿射變換能夠準確的反映待檢測圖像模板區(qū)域與模板在空間中的映射關系。令模板圖像中原始點的坐標為( row1,col1) ,待檢測圖像中與模板圖像對應點坐標為( row2,col2) ,則變換前后仿射變換矩陣 HomMat2D 可表示為:
2.4 缺陷檢測結果
通過標準合格工件圖中的點膠區(qū)域、溢膠區(qū)域以及得到的剛性仿射變換矩陣確定待檢測產(chǎn)品圖像中的點膠區(qū)域與溢膠區(qū)域位置信息,如圖 6 所示。
圖6待檢測圖像檢測區(qū)域
2.4.1 溢膠檢測
對經(jīng)由剛性仿射變換矩陣確定的待檢測產(chǎn)品圖像溢膠區(qū)域,如圖 6a 所示,通過二值化分割方法判斷該區(qū)域中是否存在膠水部分,若存在,則表明該產(chǎn)品存在溢膠。
2.4.2 其他缺陷檢測
對經(jīng)由仿射變換矩陣確定的待檢測產(chǎn)品圖像點膠區(qū)域,如圖 6b 所示,利用二值化分割方法提取待檢測膠水區(qū)域中白色膠水反光區(qū)域及黑色膠水不反光區(qū)域,并返回兩個區(qū)域的聯(lián)合,通過開閉運算、孔洞填充及聯(lián)通域聯(lián)合等一系列圖形處理后,根據(jù)當前產(chǎn)品面積特征設定合適閾值,并提取待檢測圖像中膠水區(qū)域中面積大于該閾值的區(qū)域,若該區(qū)域個數(shù)大于 1 即斷膠,等于 0 即無膠,等于 1 則進一步判斷是否為少膠。對通過面積特征提取出來的膠水區(qū)域腐蝕指定寬度后再計算該區(qū)域個數(shù),若個數(shù)為 1 則為合格品,若大于 1 即少膠。為驗證算法的有效性,隨機抽取 500 個工件進行實驗,檢測結果如表 1 所示,總體檢測成功率達99. 6% ,相比不采用亞像素輪廓進行檢測,其檢測準確率提高了 11.6%。
在本文中,單幅圖像在配置為 Core i5/2. 3GHz( CPU) 、8GB RAM 的計算機上最大耗時僅為354.6ms,滿足工業(yè)檢測效率要求,相對于傳統(tǒng)的人工檢測準確率和效率都有了很大的提高。
3. 結語
根據(jù)工業(yè)生產(chǎn)需求,本文設計得到一種針對產(chǎn)品點膠質(zhì)量檢測系統(tǒng),該系統(tǒng)基于亞像素邊緣檢測方法,與傳統(tǒng)方法相比具有精度高,效率高等優(yōu)點。并且,采用該方法設計得到的檢測系統(tǒng)對測量環(huán)境要求低,具有很強的自適應能力。實驗結果表明,該方案能準確并快速的檢測出合格品并判讀不合格品的缺陷類型,對實現(xiàn)點膠質(zhì)量工業(yè)化檢測有重要意義,并為視覺檢測技術在其他檢測領域的應用提供一定的參考。
深圳市雙翌光電科技有限公司是一家以機器視覺為技術核心,自主技術研究與應用拓展為導向的高科技企業(yè)。公司自成立以來不斷創(chuàng)新,在智能自動化領域研發(fā)出視覺對位系統(tǒng)、機械手視覺定位、視覺檢測、圖像處理庫等為核心的20多款自主知識產(chǎn)權產(chǎn)品。涉及自動貼合機、絲印機、曝光機、疊片機、貼片機、智能檢測、智能鐳射等眾多行業(yè)領域。雙翌視覺系統(tǒng)最高生產(chǎn)精度可達um級別,圖像處理精準、速度快,將智能自動化制造行業(yè)的生產(chǎn)水平提升到一個更高的層次,改進了以往落后的生產(chǎn)流程,得到廣大用戶的認可與肯定。隨著智能自動化生產(chǎn)的普及與發(fā)展,雙翌將為廣大生產(chǎn)行業(yè)帶來更全面、更精細、更智能化的技術及服務。