上述團隊的一篇名為 Ultrafast machine vision with 2D material neural network image sensors（基于二維材料神經(jīng)網(wǎng)絡(luò)圖像傳感器的超快機器視覺）的研究論文發(fā)表在《自然》雜志（Nature）上。

了解到，該團隊設(shè)計的視覺設(shè)備如同大腦一樣處理信息，40 納秒即可分辨出兩張不同的圖像。

可同時獲取并分析圖像的人工神經(jīng)網(wǎng)絡(luò)

視覺是人類認識世界最重要的一個途徑，受此啟發(fā)的「機器視覺」近年來方興未艾。

所謂機器視覺，就是用機器代替人眼來做測量和判斷。但機器視覺并非只是人眼的簡單延伸，它還有人腦的一部分功能一一從圖像中提取、處理、理解信息，從而用于實際的測量和控制。

就機器視覺技術(shù)本身而言，其主要流程是——相機逐行掃描像素，然后將視頻幀轉(zhuǎn)換為數(shù)字信號，再將其傳輸?shù)?a target="_blank" class="arckwlink_hide" style="cursor: pointer; text-decoration-line: none; color: rgb(66, 152, 186); word-break: break-all;">計算機中進行分析。

不過其中存在的問題是，由于傳感器與處理單元之間大量數(shù)據(jù)的移動，信息往往無法得到快速的處理、決策，這也就是機器視覺經(jīng)常面臨的延遲。

考慮到上述因素，研究團隊在圖像傳感器中引入了可同時獲取并分析圖像的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN ）。

說到人工神經(jīng)網(wǎng)絡(luò)，實際上它是一種運算模型，由大量的節(jié)點（也稱神經(jīng)元）相互連接構(gòu)成。其中，作為核心的神經(jīng)元接收并處理數(shù)據(jù)，在圖像識別、智能機器人、自動控制、預(yù)測估計等領(lǐng)域發(fā)揮著重要作用。

具體來講，人工神經(jīng)網(wǎng)絡(luò)可以反復調(diào)整神經(jīng)元之間的連接強度或“突觸”，并觀察當前的行為模式是否能更好地解決問題，從而發(fā)現(xiàn)哪些模式最擅長計算解決方案。接著，人工神經(jīng)網(wǎng)絡(luò)會將這些模式設(shè)為默認值，模仿人腦學習過程。

實際上，當天《自然》雜志的 News and Views 專欄還發(fā)表了香港理工大學博士 Yang Chai 的評論文章 In-sensor computing for machine vision（機器視覺的傳感器內(nèi)計算）。

在其文章中，Yang Chai 博士通過下面這幅圖清晰地展現(xiàn)出了兩種視覺處理方式的區(qū)別：

傳統(tǒng)及其視覺處理過程（下圖 a 部分）：傳感器收集信號，通過模數(shù)轉(zhuǎn)換器（ADC）將模擬信號轉(zhuǎn)換為數(shù)字信號，放大后輸入到外部人工神經(jīng)網(wǎng)絡(luò)，經(jīng)參數(shù)調(diào)優(yōu)訓練神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)輸入層接收編碼簡單物理元素的信號（點、線），隨后這些信號優(yōu)化為中級特征（簡單形狀），最終在輸出層上形成圖像（3D 形狀）；

Lukas Mennel 團隊圖像傳感器處理過程（下圖 b 部分）：芯片上的互連傳感器（圖中的正方形）收集信號，并用作人工神經(jīng)網(wǎng)絡(luò)識別簡單特征，減少傳感器和外部電路之間的冗余數(shù)據(jù)移動。

發(fā)光二極管組成的神經(jīng)網(wǎng)絡(luò)

回到研究成果本身，上述傳感器實質(zhì)上是一個光電二極管神經(jīng)網(wǎng)絡(luò)，即 9 個像素的正方形陣列，每個像素有 3 個二極管。另外其光敏材料是 2D 半導體二硒化鎢（WSe2），這種材料對光具有調(diào)節(jié)響應(yīng)能力。

同時，二極管的靈敏度相當于神經(jīng)網(wǎng)絡(luò)中的權(quán)重，而且其權(quán)重直接集成在圖像傳感器上。

其具體工作流程如下圖：當圖像被投影到芯片上時，將會產(chǎn)生、組合、讀取各種二極管電流。陣列提供了一種模擬計算——每個光電二極管產(chǎn)生與入射光強度成比例的輸出電流，并且根據(jù)基爾霍夫定律（電路中電流的基本規(guī)則）沿著行或列對得到的電流求和。隨后陣列便開始進行訓練。

據(jù)悉，由陣列產(chǎn)生的電流與預(yù)測電流（雷鋒網(wǎng)注：對于給定的任務(wù)，如果陣列正確地響應(yīng)圖像，則將產(chǎn)生所謂的預(yù)測電流）之間的差異同時也會得到分析，并將用于調(diào)整下一訓練周期的突觸權(quán)重。

兩種神經(jīng)形態(tài)功能

此外，該研究團隊根據(jù)不同的神經(jīng)網(wǎng)絡(luò)算法演示了兩種神經(jīng)形態(tài)功能。

一是「分類」。3×3 像素陣列可以將圖像分類為三個字母 n、v、z，經(jīng)過訓練的圖像傳感器可以在以納秒為單位的時間內(nèi)根據(jù)“測量對應(yīng)電路的電流是否為 0”的標準識別字母（下圖 d）。據(jù)悉，若按比例增加陣列規(guī)模，還可以識別更復雜的圖像。

二是「自動編碼」。即便存在信號噪聲，通過學習圖像的關(guān)鍵特征，神經(jīng)網(wǎng)絡(luò)也能生成處理后圖像的簡化表示。

不過雷鋒網(wǎng)還了解到，該系統(tǒng)有很多局限性，比如：

很難在昏暗的環(huán)境下成像；

其設(shè)計需要高電壓、消耗大量功率；

其所需半導體大面積生產(chǎn)、加工較難；

最大只能處理 3×3 圖像。

不過論文作者之一 Lukas Mennel 博士表示：

我們的圖像傳感器在工作時不會消耗任何電能，被檢測的光子本身就可以作為電流供能。傳統(tǒng)的機器視覺技術(shù)通常能夠每秒處理 100 幀圖像，而一些更快的系統(tǒng)則可以每秒處理 1000 幀圖像，但我們的系統(tǒng)每秒可以處理 2000 萬幀圖像。

可見，雖然新技術(shù)落地都有或多或少的限制，但這一系統(tǒng)在能耗和速度方面確實有著不錯的表現(xiàn)，Yang Chai 博士在其文章中也對這一技術(shù)給予了肯定：

這一技術(shù)并不局限于視覺系統(tǒng)，它可以用于聽覺、觸覺或嗅覺感測。這種智能系統(tǒng)的發(fā)展，以及 5G 高速無線網(wǎng)絡(luò)的到來，將來會讓實時（低延遲）邊緣計算成為可能。