（王耀南——中國工程院院士，機(jī)器人技術(shù)與智能控制專家）

?

高光譜技術(shù)，被譽(yù)為“未來視覺感知的顛覆性技術(shù)”。那么，高光譜機(jī)器視覺感知技術(shù)可以普及應(yīng)用嗎？本文結(jié)合現(xiàn)有資料和論壇發(fā)言，進(jìn)行了簡單總結(jié)。

人類獲取的信息83%都來自視覺，由聽覺、觸覺和其他的渠道獲取信息的占比僅有17%，所以視覺對于人類的重要性溢于言表。而機(jī)器視覺作為機(jī)器人的“高精密眼睛”，其之于機(jī)器人的作用就像視覺之于人類一樣重要。

2022年底，中國工程院院士王耀南在2022世界VR產(chǎn)業(yè)大會關(guān)鍵共性技術(shù)主題論壇上圍繞“高光譜機(jī)器視覺感知技術(shù)應(yīng)用及發(fā)展趨勢”發(fā)表演講。他指出，高光譜機(jī)器視覺技術(shù)正在迅速普及，在制藥行業(yè)的產(chǎn)品檢測、食品生產(chǎn)的安全識別、建筑材料的質(zhì)量控制、醫(yī)學(xué)成像等場景中廣泛應(yīng)用，但距離真正實(shí)現(xiàn)“高精準(zhǔn)、看得清、更好用”仍面臨挑戰(zhàn)。

智能機(jī)器人的“高精密眼睛”

在日常生活中，人們通常是通過視覺器官（眼睛）獲取信息，再通過大腦來分析、處理這些信息，從而識別出物體。而高光譜成像的目標(biāo)是獲得包括從可見光到長波、紅外光譜的精細(xì)光譜“指紋”，精確反映物質(zhì)獨(dú)特的光譜特性。作為智能機(jī)器人的“高精密眼睛”，高光譜機(jī)器視覺的發(fā)展對機(jī)器人的控制具有重要作用。

受不同生物的感光細(xì)胞具有差異啟發(fā)，高光譜成像與感知可將豐富的、不同波段的圖像信號映射到數(shù)字世界，是機(jī)器智能的重要支撐技術(shù)?！案吖庾V圖像能夠精準(zhǔn)反應(yīng)出物質(zhì)特征的光譜信息，這是它最大的優(yōu)勢，”王耀南表示，“近幾年，高光譜的發(fā)展非常迅速。過去高光譜主要是在搖桿應(yīng)用里面，今天我們把高光譜用到機(jī)器視覺，使機(jī)器人裝上了明亮精準(zhǔn)的眼睛，可以感知到可見光、紅外光?！?/p>

據(jù)了解，機(jī)器人的高光譜視覺研究主要包含兩部分內(nèi)容，一部分是成像感知，另一部分是自動的光譜信息分析。成像技術(shù)實(shí)質(zhì)上是感光元件把光信息轉(zhuǎn)化為數(shù)字圖像信息，最早的光譜成像來自感光設(shè)備，目前低成本、小體積、高速率、低功耗的感光元件成為發(fā)展趨勢。近年來高光譜機(jī)器視覺的發(fā)展態(tài)勢從感知智能進(jìn)入到了認(rèn)知智能，從過去的 RGB 圖像變成今天的光譜圖像，已然進(jìn)入到一個計算智能成像的時代。目前高光譜相機(jī)及其相關(guān)技術(shù)已成為智能機(jī)器視覺領(lǐng)域研究的前沿方向。

高光譜機(jī)器視覺仍面臨挑戰(zhàn)

分析與認(rèn)知能力是機(jī)器人能否對環(huán)境中的有效信息加以處理與理解的重要標(biāo)志，是智能化發(fā)展的必經(jīng)途徑。王耀南認(rèn)為，高光譜機(jī)器視覺分析與認(rèn)知面臨著三大挑戰(zhàn)，主要涉及圖像特征提取、語義知識理解和自主適應(yīng)學(xué)習(xí)。

“首先要突破圖像特征的提取，過去我們主要是像素特征的提取，今天擴(kuò)展至邊緣、紋理、光譜等空間幾何等方面；第二，它已經(jīng)走向了圖像的推理，涉及語義知識的理解、語義的描述、高維的圖像特征等技術(shù)的突破。第三，要突破自適應(yīng)的學(xué)習(xí)，傳感器要具有學(xué)習(xí)性、能感知，還要能理解、能分析，讓人工智能真正融入到機(jī)器視覺里?！蓖跻险f道。

近年來，通過大量研究，高光譜視覺傳感器的發(fā)展突破了兩項(xiàng)關(guān)鍵技術(shù)。第一項(xiàng)技術(shù)面向成像系統(tǒng)，成像系統(tǒng)圍繞復(fù)雜的目標(biāo)，能夠解決在多空間、大尺度下的成像問題，可以同時捕捉三維空間和光譜維度的成像。第二項(xiàng)技術(shù)面向三維光譜數(shù)據(jù)分析，比如空間-光譜聯(lián)合分析、大數(shù)據(jù)分析和處理等?？焖偻黄七@兩項(xiàng)關(guān)鍵技術(shù)，有助于實(shí)現(xiàn)高光譜機(jī)器視覺技術(shù)的廣泛應(yīng)用。

“高光譜廣泛裝載在機(jī)器視覺以后，不僅能應(yīng)用到工業(yè)、農(nóng)業(yè)，還能應(yīng)用到無人駕駛、機(jī)器人、新藥研發(fā)、新產(chǎn)品質(zhì)量檢測等領(lǐng)域。”王耀南表示。比如為了加速工業(yè)檢測速度，我們開發(fā)了高光譜圖像處理的硬件系統(tǒng)，研制了工業(yè)高光譜儀器，包括高光譜的成像，成像儀器的處理特征識別等。再比如，高光譜機(jī)器視覺也被用在異物檢測方面，應(yīng)用于疫苗生產(chǎn)的柔性智能化工廠。而不同的應(yīng)用場景對高光譜成像的復(fù)雜性、多樣性提出了更大的挑戰(zhàn)。

未來首先要解決數(shù)據(jù)傳輸與處理問題

王耀南指出：“隨著科學(xué)技術(shù)的進(jìn)步，未來高光譜機(jī)器視覺的發(fā)展首先需要解決的，也是最重要的一個問題，就是數(shù)據(jù)傳輸與處理?！北热纾吖庾V儀器是聯(lián)網(wǎng)的，如此龐大規(guī)模的光譜圖像信息怎么同時傳輸，這就是一個需要解決的難題。

第二是光譜成像高分辨率問題。高光譜最大的弱點(diǎn)就是分辨率比較低，不像可見光成像的分辨率比較高。合成孔徑雷達(dá)圖像的分辨率也比較低，但是它的探測精度比較高。每一種傳感器都有優(yōu)點(diǎn)和缺點(diǎn)，因此未來一個重要的研究方向就是新的成像方法和機(jī)理探索。

第三個是所有的高光譜成像儀器都向小型化和高可靠性轉(zhuǎn)變，要能夠裝載在不同的設(shè)備上，從單一的傳感器進(jìn)入到多傳感器信息融合，從數(shù)據(jù)處理方面到光譜數(shù)據(jù)處理，從模型驅(qū)動向數(shù)據(jù)驅(qū)動、知識驅(qū)動的方向發(fā)展。

?