工業(yè)機器視覺收集的各種生產(chǎn)數(shù)據(jù)是智能化生產(chǎn)的基礎，這些數(shù)據(jù)通過工業(yè)以太網(wǎng)等傳至工業(yè)服務器，由MES/DCS軟件系統(tǒng)進行數(shù)據(jù)處理分析，并與企業(yè)資源管理軟件（如ERP）聯(lián)動，提供最優(yōu)化的生產(chǎn)方案或者定制化生產(chǎn)，柔性制造、智能智造才有可能。

從機器視覺到工業(yè)機器視覺

機器視覺這個概念的歷史盡管很短，但機器視覺設備的出現(xiàn)并不短?？梢哉f，照相機的誕生就意味著機器視覺的萌芽，包括無聲電影也可以歸為機器視覺。如今到處可見的各種攝像頭，以及人們須臾不離手的手機都是機器視覺產(chǎn)品?，F(xiàn)代物流更使得我們生活中的絕大部分商品都用到了機器視覺，如快遞商品與超市商品的二維碼就是最突出的例子。

從起源來說，機器視覺就是以機器代替人眼的視覺作用。

從發(fā)展來說，機器視覺所具備的能力已經(jīng)超越人眼，僅就尺寸的精確度以及位置的準確度來說，機器視覺更具有優(yōu)勢，而且能力仍在增長中。

從技術(shù)上來說，機器視覺作為一項綜合技術(shù)，集成了多種技術(shù)，如圖像處理、機械工程技術(shù)、控制、電光源照明、光學成像、傳感器、模擬與數(shù)字視頻技術(shù)、計算機軟硬件技術(shù)（圖像增強和分析算法、圖像卡、I/O卡等）。一個典型的機器視覺應用系統(tǒng)包括圖像捕捉、光源系統(tǒng)、圖像數(shù)字化模塊、數(shù)字圖像處理模塊、智能判斷決策模塊和機械控制執(zhí)行模塊。

從系統(tǒng)上來說，機器視覺是一套圖像處理系統(tǒng)。它由圖像攝取裝置將被攝取目標轉(zhuǎn)換成圖像信號（即機器視覺產(chǎn)品），再將圖像信號，結(jié)合特定需求，根據(jù)像素分布和亮度、顏色等形態(tài)信息，轉(zhuǎn)變成數(shù)字化信號。如果僅以獲取數(shù)據(jù)為目的，至此已經(jīng)完成，但是如果要根據(jù)獲取數(shù)據(jù)調(diào)動設備執(zhí)行任務，則需要對數(shù)字信號進行運算，針對目標特征進行對比，如涂裝中的色差，指令設備繼續(xù)工作，或者轉(zhuǎn)入另一道工序。

簡單來說，機器視覺在工業(yè)上的應用，就是工業(yè)機器視覺。最常見的就是，以機器視覺代替人眼進行測量和判斷，更高級一些的可以輔助決策或自行決策。其特點就是利用機器視覺的特性，提高生產(chǎn)的靈活性和自動化程度。一些不適于人工作業(yè)的危險工況環(huán)境或者人工難以滿足要求的場景，都是機器視覺發(fā)揮特長的場合。當然，大批量枯燥的重復勞動，如分揀等，也是機器視覺的應用領域?？梢哉f工業(yè)機器視覺的快速部署，正是提高生產(chǎn)效率和自動化程度的推進力量。

工業(yè)機器視覺的軟硬件及技術(shù)

工業(yè)機器視覺主要有光源、鏡頭、工業(yè)相機、圖像采集卡、圖像處理系統(tǒng)，算法與軟件平臺，以及其他外部設備組成。

工業(yè)機器視覺硬件

工業(yè)光源。光源是機器視覺中基礎的部件之一。發(fā)揮著照亮目標、突出特征，便于圖像處理的作用。同時，要具備克服環(huán)境光干擾、保證圖像穩(wěn)定性的能力，以及作為測量或作為參照物的工具性能。特殊情況下，對物體特定部位予以亮度增強。 

相比于普通的照明光源，它的照度、均勻性和穩(wěn)定性指標更高?；旧弦獙⒈粶y物與背景做出明顯區(qū)分，保證工業(yè)鏡頭能獲得高品質(zhì)、高對比度的圖像。

工業(yè)鏡頭。工業(yè)鏡頭與普通的照相機鏡頭相比，同樣在分辨率、對比度、景深以及像差等指標上，有著更高的要求。需要更小的光學畸變、足夠高的光學分辨率、豐富的光譜響應選擇等，以滿足不同生產(chǎn)環(huán)境的應用需求。

工業(yè)相機。它具有高的圖像穩(wěn)定性、高傳輸能力和高抗干擾能力等。其功能是將光信號轉(zhuǎn)變成為可解釋的電信號，再將電信號模數(shù)轉(zhuǎn)換并交由處理器進行分析和識別。

圖1工業(yè)機器視覺產(chǎn)業(yè)鏈

目前常用的工業(yè)相機，按照芯片類型，基本上分為兩種，一種是CCD（Charge Coupled Device），一種是CMOS（Complementary Metal Oxide Semiconductor）相機。

就工業(yè)相機來說，按照不同的特性，有不同的分類方法。不同的分類方法，一般對應著不同的應用特點。如按照傳感器的結(jié)構(gòu)特性分為線陣相機、面陣相機；按照掃描方式分為隔行掃描相機、逐行掃描相機；按照分辨率大小分為普通分辨率相機、高分辨率相機；按照輸出信號方式分為模擬相機、數(shù)字相機；按照輸出色彩分為單色（黑白）相機、彩色相機；按照輸出信號速度分為普通速度相機、高速相機；按照響應頻率范圍分為可見光（普通）相機、紅外相機、紫外相機等。

通常來說，工業(yè)相機在性能上更為穩(wěn)定可靠；在使用上要便于安裝，且不易損壞；在工作強度上，要連續(xù)工作更長時間；在工作環(huán)境上，要適應更惡劣的環(huán)境；在反應速度上要更快，便于抓拍高速運動中的物體。

在圖像傳感器的掃描方式上是逐行的，隔行掃描是不適用的。

在幀率上，工業(yè)相機每秒可以拍攝十幅到幾百幅圖片，遠遠高于普通相機的2~3幅。

在數(shù)據(jù)輸出上，工業(yè)相機不僅輸出的是裸數(shù)據(jù)（raw data），而且其光譜范圍也往往比較寬，這是要適合高質(zhì)量的圖像處理算法。普通相機的圖像與光譜范圍能適合人眼裸視就可以了。

圖像采集卡。圖像采集卡一般分為兩種，一種是模擬采集卡，一種是數(shù)字采集卡。模擬采集卡是將模擬視頻信號轉(zhuǎn)化成數(shù)字信號，也就是將模擬相機輸出的圖像數(shù)據(jù)進行采樣、量化并轉(zhuǎn)化成電腦可辨別的數(shù)字數(shù)據(jù)，再進行數(shù)字處理。而數(shù)字采集卡則將相機端的數(shù)字圖像信號由不同的格式協(xié)議，轉(zhuǎn)化成PCIE格式并被主機解讀、存儲和處理。在可見的未來，會有一種將采集與預處理能力集于一身的數(shù)字采集卡，合乎數(shù)據(jù)帶寬增高、預處理能力增大、采集傳輸可靠性增強、工業(yè)視覺標準接口發(fā)展及協(xié)議國際標準化加速等發(fā)展趨勢。

工業(yè)機器視覺軟件

圖像處理系統(tǒng)。通常情況下，原始圖像很難直接使用，一般都需要對原始圖像進行處理，也即二次加工。突出所需特征，減少不需要的特征，為進一步的決策做準備。

圖像處理系統(tǒng)的主要技術(shù)或者處理方式有多種。

主要的有二值化處理、灰度處理、圖像增強、圖像濾波等。

通常，數(shù)字圖像像素被分為256個灰度級別。如果將圖像只以黑（0）和白（255）兩種像素處理，得到的就是二值化圖像。結(jié)果，相應地圖像就被分成了需要使用的和不需要使用的兩部分。

這種處理方式，操作更簡單，運算和存儲的數(shù)據(jù)量也更小，系統(tǒng)速度可以得到更好優(yōu)化。

灰度處理就是將RGB三種顏色的分量相同的彩色圖用同一個數(shù)值表示，即將彩色圖像變?yōu)榛叶葓D像，像二值化一樣，減少圖像數(shù)據(jù)運算量和存儲量。

圖像增強是將傳送和轉(zhuǎn)換過程中因受干擾而衰減的圖像，進行特征突出處理或抑制無用特征，立足于實用。

圖像濾波的目的是將圖像成形、傳輸、記錄過程中因受雜波（噪聲）干擾產(chǎn)生的圖像亮點與暗斑過濾掉，提高圖像質(zhì)量，提升可用性。

圖像銳化實際上是一種邊緣增強，也即劃定圖像的清晰邊界，突出圖像的地物邊緣、補償圖像的輪廓。同圖像增強一樣使得圖像更清晰，只是作用的區(qū)域有所不同。

圖像的腐蝕和膨脹，簡單說就是將目標圖像縮小或放大。通常，兩種方法是配合使用的。

算法與算法開發(fā)平臺。算法一直在不斷進化中。第一代算法主要是進行模式識別的圖像處理，注重如何改善圖像質(zhì)量。

第二代算法已經(jīng)可以進行模式識別的圖像分析，并利用特征提取工具等多種分析方法識別目標圖像。

第三代算法已進化到圖像理解深度學習，形成了統(tǒng)一的的圖像處理工具，具備分類、分割、檢測和識別功能，應用空間得以拓展。

第四代算法可以稱之為云端智能計算。在第三代算法的基礎上，利用知識圖譜的大數(shù)據(jù)挖掘技術(shù)智能尋找工藝規(guī)則，建立生產(chǎn)專家?guī)?。同時，通過數(shù)字孿生在賽博空間進行運營推理，將實際應用中發(fā)現(xiàn)的問題進行及時反饋，用于優(yōu)化和指導工業(yè)生產(chǎn)。

算法開發(fā)平臺是基于圖像算子的視覺開發(fā)軟件集合。如基于算法組件的視覺軟件平臺、基于組態(tài)思想的視覺開發(fā)平臺、基于云端計算的視覺平臺等。它通過運行云平臺協(xié)議，可以進行工廠邊緣計算，由5G或?qū)＞W(wǎng)上傳生產(chǎn)端數(shù)據(jù)，經(jīng)過大數(shù)據(jù)處理，實現(xiàn)工廠智能化管理。

信息處理平臺。主要包括DSP處理平臺、x86處理平臺、AI處理平臺與云處理平臺等。

機器視覺軟件?？傮w上，軟件架構(gòu)要匹配算力平臺，兩者密切相關。具體說，機器視覺軟件類似人的“大腦”，通過圖像處理算法完成對目標物的識別、定位、測量、檢測等功能。機器視覺軟件分為底層算法和二次開發(fā)的軟件包兩類。前者是包含大量處理算法的工具庫，用以開發(fā)特定應用，主要使用者為集成商與設備商。后者是封裝好的、用以實現(xiàn)某些功能的應用軟件，主要供最終用戶使用。

機器視覺的功能

工業(yè)機器視覺可以實現(xiàn)四種基本功能，即識別、測量、定位和檢測。

識別主要完成甄別目標物體的物理特征，包括外形、顏色、字符、條碼等表面特征。衡量識別精度的主要指標是準確度和速識度。主要應用于物料、工序與工位等的溯源，方法是讀取零部件上的字母、數(shù)字、字符（如條形碼、二維碼等）。

測量是通過以獲取的圖像像素信息標定為度量單位，精確計算出目標物體的幾何尺寸，主要應用于高精度及復雜形態(tài)測量。

定位是指獲取目標物體的空間位置信息，有二維或三維信息之別，主要是完成輔助操作，常用于元件對位，輔助機器人完成裝配、拾取等。

檢測是對目標物體的表面狀態(tài)進行檢測，從而判斷產(chǎn)品是否存在質(zhì)量缺陷，如零部件外觀缺陷、污染物附著、功能性瑕疵等。

工業(yè)機器視覺主要應用消費電子行業(yè)

消費電子行業(yè)的產(chǎn)品主要包括平板電腦、筆記本、臺式機、傳統(tǒng)手機（淘汰中）、智能手機、電視和相機等7大類。

其中，智能手機憑借越來越多的消費應用，市場占比逐步攀升，目前已接近50%。

工業(yè)機器視覺主要應用在主板、零部件組裝、整機組裝這三大生產(chǎn)環(huán)節(jié)。 

隨著消費電子產(chǎn)品越來越精密化，在元器件尺寸越來越小的同時，質(zhì)量標準也在同步提高。因此，對于工業(yè)機器視覺的需求不斷放大。以5G智能手機為例，產(chǎn)品升級與技術(shù)升級，相應地需要機器視覺工具進行升級。 

在主板和零部件組裝上，仍以2D視覺為主，3D視覺為輔。

在整機組裝上，仍以人力為主。機器視覺主要做外觀檢測，最多的是做玻璃檢測。

在缺陷檢測上，是機器視覺應用最廣的地方。其高精度、高速度的檢測能力，可很好完成對劃痕、破損、斑點、色差等的檢測。

半導體行業(yè)

半導體行業(yè)是工業(yè)機器視覺應用最早，且較為成熟的領域，這也和半導體行業(yè)迭代升級快速有關，其高端市場基本被海外廠商占據(jù)。 

從另一方面說，這也和半導體器件精度非常高，人工檢測已不能發(fā)揮應有作用有關。如半導體的外觀缺陷、尺寸、數(shù)量、平整度、距離、定位、校準、焊點質(zhì)量、彎曲度等檢測，尤其芯片制作中的檢測、定位、切割和封裝都需要工業(yè)機器視覺來主導。以切割為例，要求定位迅速準確。如果定位出錯，整個芯片就會報廢。整個切割過程也需要機器視覺系統(tǒng)進行全程定位引導。切割完成后則由機器視覺識別出非缺陷產(chǎn)品進入貼片流程。

圖2中國機器視覺行業(yè)發(fā)展歷程

之所以說是主導，即使是傳統(tǒng)的半導體封測設備，精度普遍要達到微米（0.001mm）到亞微米（1.0μm）之間，速度大約在每秒40~50平方厘米，誤報率5%~10%，2D機器視覺已完全被3D取代，更何況人眼。

先進封裝更因小尺寸、輕薄化、高引腳、高速度，大幅縮減芯片尺寸。3D機器視覺在其中發(fā)揮著巨大作用，3D視覺檢測設備市場正處在高速增長中。

汽車行業(yè)

如今的汽車行業(yè)已實現(xiàn)高度自動化，工業(yè)機器視覺發(fā)揮著生產(chǎn)高效、質(zhì)量保障、安全可靠的巨大作用。

機器視覺已貫穿整個汽車制造過程，包括從初始原料質(zhì)檢到汽車零部件100％在線測量，再對焊接、涂膠、沖孔等工藝過程進行把控，最后對車身總成、整車質(zhì)量進行把關。

機器視覺檢測系統(tǒng)可以完成工藝檢測、自動化跟蹤、追溯與控制等，包括通過光學字符識別（OCR）技術(shù)獲取車身零件編碼以保證零件在整個制造過程中的可追溯性，通過識別零件的存在或缺失以保證部件裝配的完整性，以及通過視覺技術(shù)識別產(chǎn)品表面缺陷或加工工具是否存在缺陷以保證生產(chǎn)質(zhì)量。如汽車總裝和零部件檢測、焊接質(zhì)量檢測、電器性能檢測、發(fā)動機檢測等。

另外，視覺引導技術(shù)則引導機器人進行最佳匹配安裝、精確制孔、焊縫引導及跟蹤、噴涂引導、風擋玻璃裝載引導等。這是汽車行業(yè)的主要應用領域，也是目前國內(nèi)公司創(chuàng)新的主要領域。

而隨著新能源和智能汽車的電子零部件占比提升，工業(yè)機器視覺的作用越來越重要。

發(fā)展趨勢

數(shù)據(jù)顯示，2018年工業(yè)機器視覺技術(shù)市場規(guī)模已達 44.4億美元，預計2023年將達122.9 億美元，年復合增長率高達21%。

目前，機器視覺正由傳統(tǒng)工業(yè)視覺向深度學習工業(yè)視覺轉(zhuǎn)變，未來工業(yè)機器視覺的應用領域越來越寬廣?；诖?，可將工業(yè)機器視覺看做AI的重要分支。

傳統(tǒng)工業(yè)視覺用一個不恰當?shù)谋扔鱽碚f，類似于“擺拍”，基本上是完成規(guī)定動作。具體說，目標物及其背景、光源、采集光學器材的參數(shù)等都是給定的，目標感知區(qū)域也是劃定的，數(shù)字圖像是按照要求進行處理的，提取什么信息數(shù)據(jù)是約定好的，輸出給哪臺設備也是設計好的。也就是說是按照視覺工程師的一系列設定去完成規(guī)定動作，很難適應隨機性強、特征復雜的工作任務。如果隨機出現(xiàn)了超過機器邏輯之外的復雜外觀缺陷檢測，也就無能為力。很明顯，它沒有主動的行為能力，也就是不具備AI的深度學習能力。

未來的工業(yè)機器視覺會與AI相結(jié)合，解決圖像視頻場景多樣、物體種類繁多，以及非受控條件下，目標物受光照、姿態(tài)、遮擋等多變量影響等問題，要獨立面對數(shù)據(jù)量巨大、特征復雜、部分應用需實時自主處理等深度場景。

從現(xiàn)狀來看，仍然存在以下制約因素。

一是端側(cè)算力成本越來越高。這和工業(yè)機器視覺的深度學習能力成正比，就像高級技工的工資高于學徒工一樣，工業(yè)機器視覺對算力硬件性能的要求越來越高，直接導致算力成本價格上升。另外，一臺獨立算力設備很難復用與共享，也是成本升高的重要因素。

二是單點系統(tǒng)維護成本過高。主要是設備調(diào)試、軟件運維、監(jiān)控分析必須在工作場地完成所造成的。工業(yè)機器視覺在工廠的大規(guī)模應用，推高了維護成本。

三是數(shù)據(jù)孤島。圖像數(shù)據(jù)的處理也需要在工廠完成，有效數(shù)據(jù)難以被多個系統(tǒng)共享，導致系統(tǒng)功能更新緩慢，難以適應于移動應用場景。同時，工廠車間的有線互聯(lián)網(wǎng)建設成本過高、容量不足，無法滿足工業(yè)相機數(shù)據(jù)上行的數(shù)據(jù)容量需求。

四是通用性、智能性欠佳。在通用性上，一些集成應用專用性較強，一臺設備可能只適用于一種機器視覺設備或單一行業(yè)，研發(fā)成本高企。在智能性上，當庫存量較多時或者移動速度較快時，機器視覺工作的準確率明顯下降，設定的場景超過了它能接受的數(shù)值，更適合小規(guī)模、品類少和工位分揀與檢測，對于復雜堆疊物體則有心無力。這與其缺乏深度學習能力有關。因此，大規(guī)模工業(yè)應用尚待時日。

實際上，解決以上所有痛點是未來的發(fā)展方向。通用機器視覺，以及工業(yè)機器視覺的應用場景的不斷豐富，將解決成本難題，不僅降低總成本，而且24小時不間斷工作，使得成本大大降低。一旦可規(guī)模代替產(chǎn)線檢測人員、操作人員等，就具備了成本優(yōu)勢。 

更重要的是，工業(yè)機器視覺與其他自動化設備相結(jié)合，可以支撐更大規(guī)模的工業(yè)自動化應用，包括工業(yè)機器人、數(shù)控機床、自動化集成設備等。智能制造不可能離開工業(yè)機器視覺的大數(shù)據(jù)支撐。工業(yè)機器視覺收集的各種生產(chǎn)數(shù)據(jù)是智能化生產(chǎn)的基礎，這些數(shù)據(jù)通過工業(yè)以太網(wǎng)等傳至工業(yè)服務器，由MES/DCS軟件系統(tǒng)進行數(shù)據(jù)處理分析，并與企業(yè)資源管理軟件（如ERP）聯(lián)動，提供最優(yōu)化的生產(chǎn)方案或者定制化生產(chǎn)，柔性制造、智能智造才有可能。