Blake Richards組織一眾科學家在Nature Neuroscience上發(fā)文，“A deep learning framework for neuroscience”正是回答這個問題。為什么建立神經(jīng)科學的深度學習框架，神經(jīng)科學的深度學習框架的內(nèi)容(是什么)，我們應該如何在深度學習框架下發(fā)展神經(jīng)科學（怎么做）。

為什么建立神經(jīng)科學的深度學習框架

這個問題分為兩部分，一部分是為什么要建立，另外一部分是為什么能建立。

為什么要建立？

主要是源于當前神經(jīng)科學的研究手段的局限，在以往經(jīng)典的神經(jīng)科學框架下，我們在研究小范圍的神經(jīng)環(huán)路上卓有成效，比如視網(wǎng)膜如何計算運動，前庭-眼反射是如何促進注視穩(wěn)定的，但是在大尺度的神經(jīng)環(huán)路上，經(jīng)典的神經(jīng)科學研究方法有點捉襟見肘。而深度神經(jīng)網(wǎng)絡(luò)可能可以用來研究這類問題，其用簡化的units來模擬真實神經(jīng)元的整合和激活特性，而且更重要的是，是通過學習而不是提前設(shè)計來實現(xiàn)具體運算的。

為什么能呢？

最近的大量研究表明，深度學習能夠幫助我們研究大腦。

首先，深度神經(jīng)網(wǎng)絡(luò)在一些情況下很接近靈長類的知覺系統(tǒng)，而且能夠調(diào)節(jié)神經(jīng)活動；

其次，許多眾所周知的行為和神經(jīng)生物學現(xiàn)象（包括網(wǎng)格細胞、感受野和視錯覺）的工作模式和深度神經(jīng)網(wǎng)絡(luò)很相似；

第三，計算建模的研究表明，許多學習規(guī)則和反向傳播算法在為目標函數(shù)估計梯度上表現(xiàn)類似，但這些學習規(guī)則都不是基于梯度的，因此在估計上有誤差（Fig 1）。

Fig 1. 其他學習規(guī)則相對于反向傳播算法的梯度估計偏差和方差

因此，基于深度學習的大腦模型不再是像以往那樣不切實際，相反確實能夠解釋神經(jīng)生物學數(shù)據(jù)。

神經(jīng)科學的深度學習框架內(nèi)容

深度神經(jīng)網(wǎng)絡(luò)包括三個基本成分：

目標函數(shù)，描述了學習系統(tǒng)的目標，是神經(jīng)網(wǎng)絡(luò)中節(jié)點權(quán)重和數(shù)據(jù)本身的函數(shù)，但他們并非在特定的數(shù)據(jù)集上定義的。比如交叉熵函數(shù)，在機器學習中很常見的目標函數(shù)，在各種分類任務中都表現(xiàn)很好，從分類不同品種的狗狗到分辨不同的情緒類別；

學習規(guī)則，描述了模型中的參數(shù)是如何被更新的。在深度神經(jīng)網(wǎng)絡(luò)中，這些規(guī)則通常是用來提高目標函數(shù)的效率的，在有監(jiān)督學習，無監(jiān)督學習以及強化學習系統(tǒng)中都是如此；

網(wǎng)絡(luò)架構(gòu)，描述了深度神經(jīng)網(wǎng)絡(luò)內(nèi)的units是如何被安排的。比如卷積神經(jīng)網(wǎng)絡(luò)中利用了連接模式，因此相同感受野內(nèi)輸入的內(nèi)容能夠被重復使用。

Fig.2 人工神經(jīng)網(wǎng)絡(luò)的三個成分

在這個框架下，我們不是去關(guān)注一個計算是如何實現(xiàn)的，而將這個任務拆分為三個部分去探究：目標函數(shù)，學習規(guī)則和網(wǎng)絡(luò)架構(gòu)。接下來我們將討論每個部分當前已有哪些工作，這些工作為后續(xù)在深度學習框架下研究神經(jīng)科學提供示范。

如何在深度學習框架下發(fā)展神經(jīng)科學（怎么做）

大腦內(nèi)網(wǎng)絡(luò)架構(gòu)的研究

為了證明由大腦的歸納偏置（inductive biases）所定義的網(wǎng)絡(luò)架構(gòu)，我們需要在環(huán)路水平上探究神經(jīng)解剖結(jié)構(gòu)，也必須弄清楚什么樣的信息是能夠形成環(huán)路的，比如動作的信號是從哪里來的等，我們期待弄清楚解剖結(jié)構(gòu)連接的各個方面，從而形成一個整合的生物學marker，來引導網(wǎng)絡(luò)架構(gòu)的發(fā)展進程。

我們在神經(jīng)系統(tǒng)的解剖結(jié)構(gòu)上已經(jīng)做了大量的實驗工作，當前正在用一系列的成像技術(shù)來量化解剖信息和神經(jīng)環(huán)路信息。目前有幾個實驗組在探究深度神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)的某些部分對應于哪些腦區(qū)。例如，紋狀皮層可能對應于深度神經(jīng)網(wǎng)絡(luò)的早期層，而顳下皮層可能對應于深度神經(jīng)網(wǎng)絡(luò)的晚期層。

大腦內(nèi)學習規(guī)則的研究

神經(jīng)科學中對突觸可塑性規(guī)則的研究有由來已久。然而，這些研究很少探討功勞分配（credit assignment）是如何發(fā)生的。然而功勞分配問題是深度神經(jīng)網(wǎng)絡(luò)學習的關(guān)鍵，也可能存在于大腦中。

不過近期自上而下的反饋和神經(jīng)調(diào)節(jié)已成為突觸可塑性研究的重點。例如，頂樹突如何參與功勞分配，或者自上而下的注意力機制如何與神經(jīng)遞質(zhì)相結(jié)合來解決功能功勞分配問題(Fig 3)。著眼于功勞分配的學習規(guī)則的工作使我們能夠更好的理解神經(jīng)可塑性。

Fig 3. 功勞分配問題的生物學模型。

a.基于注意功勞分配模型是指大腦通過注意和神經(jīng)遞質(zhì)來處理功勞分配問題。根據(jù)這個模型，感覺加工在早期階段主要是前饋的，然后反饋“標簽”神經(jīng)元和突觸以及獎勵預測誤差(RPE)決定可塑性變化的方向。圓圈表示神經(jīng)元，灰色度表示它們的激活水平。這些模型預測，負責激活特定輸出單元的神經(jīng)元將被注意反饋標記(T)。然后，如果接收到正的RPE，突觸就會增強。相反，如果接收到一個負的RPE，突觸就會減弱。這為基于分類的目標函數(shù)提供了一個梯度估計。b-d. 功勞分配的樹突模型認為梯度信號由錐體細胞的頂樹突的錯誤信號（δ）所。根據(jù)這些模型 (b), 前饋權(quán)重更新由前饋輸入和δ的結(jié)合。在一個實驗中，兩種不同的刺激只有一種被加強，這就形成了特定的預測。(c). 如果一個神經(jīng)元受到被強化的刺激，那么強化應該會導致其尖端活動的增加。(d). 相反，如果一個神經(jīng)元受到非增強的刺激，其尖端活動就會相應減弱。

隨著當前技術(shù)的發(fā)展，我們能夠在活體上探究突觸的變化，也能夠直接把突觸變化和行為錯誤聯(lián)系起來，甚至是直接測量生物模型中學習規(guī)則的假設(shè)，比如那些需要注意力的，或者是使用樹突信號進行功勞分配的(Fig 3)。

大腦內(nèi)目標函數(shù)的研究

在某些情況下，大腦所優(yōu)化的目標函數(shù)可能直接表現(xiàn)在我們記錄的神經(jīng)信號中；而在更多的情況下，目標函數(shù)可能隱含于控制突觸更新的可塑性規(guī)則中。

一些研究試圖將實驗數(shù)據(jù)與目標函數(shù)聯(lián)系起來，開始將已知的可塑性規(guī)則與潛在的目標函數(shù)聯(lián)系起來，例如，有研究試圖通過比較實驗觀察到的神經(jīng)活動和在自然場景中訓練的神經(jīng)網(wǎng)絡(luò)的神經(jīng)活動來估計目標函數(shù)，也有一些方法使用逆向強化學習來識別系統(tǒng)優(yōu)化了什么。

此外，我們還可以通過尋找給定目標優(yōu)化的表征和真實神經(jīng)表征之間的相關(guān)性來處理目標函數(shù)。另一種新出現(xiàn)的方法是，在控制腦-機接口設(shè)備時，觀察動物的神經(jīng)環(huán)路可以優(yōu)化到什么程度。因此，基于以往的文獻，探究大腦的目標函數(shù)成為可能。

結(jié) 語

可能有人會有疑問，如果我們把研究重點從神經(jīng)元編碼特性轉(zhuǎn)移到大腦學習架構(gòu)、學習規(guī)則和目標函數(shù)上，看起來我們可能會失去迄今為止所獲得的很多知識，比如神經(jīng)元的方向選擇性、frequency tuning和spatial tuning等。但是實際上，我們提出的框架很大程度上是由這些知識所決定的，比如卷積神經(jīng)網(wǎng)絡(luò)直接來源于對視覺系統(tǒng)層級特性的研究。

在長期的神經(jīng)科學過程中，我們傾向于用自下而上的方法來理解大腦，也有人可能會擔心為大腦設(shè)定目標函數(shù)或?qū)W習規(guī)則可能為時過早，所需要的大腦信息加工細節(jié)可能比我們目前擁有的多得多。盡管如此，科學問題必然是在某種思想框架內(nèi)提出的，而且重要的是，這并不是在呼吁放棄從自下而上的角度來研究大腦，相反是期待深度神經(jīng)網(wǎng)絡(luò)框架的提出能夠產(chǎn)生新的重要的實驗問題。

另外一些研究人員對深層神經(jīng)網(wǎng)絡(luò)中的大量參數(shù)感到擔憂，認為它們違反了奧卡姆剃刀定律（Occam’s razor），可能只是對數(shù)據(jù)的過度擬合。但是近期人工智能領(lǐng)域的研究表明，大規(guī)模超參數(shù)化的學習系統(tǒng)可能是反直覺的，但這也是它本身固有的數(shù)學屬性決定的，這樣的學習系統(tǒng)也能夠?qū)崿F(xiàn)良好的泛化，而且實際上大腦本身也包含了大量的潛在參數(shù)(例如，突觸連接，樹突狀離子通道密度等)，也許，深度神經(jīng)網(wǎng)絡(luò)中的大量參數(shù)，反而恰恰使他們成為更接近大腦本身的模型呢？

為了在神經(jīng)科學方面取得進展，需要更多自下而上的信息加工細節(jié)和自上而下的理論支撐。在神經(jīng)元信息加工細節(jié)上我們進行了大量的研究且碩果累累，而在建立正確合理的自上而下的理論框架上，一直沒有突破性的進展，鑒于現(xiàn)代機器學習能夠解決很多人腦解決的問題甚至表現(xiàn)更好，也許從機器學習的角度來指導神經(jīng)科學自上而下的研究框架可能是一條有效的路徑。

如果我們在這種思維模式提供的框架內(nèi)考慮我們的實驗數(shù)據(jù)，并把注意力集中在這里的三個基本組成部分上：目標函數(shù)，學習規(guī)則和網(wǎng)絡(luò)架構(gòu)，也許我們能夠更深入了解大腦。另外反過來，當前我們對深度神經(jīng)網(wǎng)絡(luò)的基本原則的探究日益增多，因此我們也能夠在大量神經(jīng)元中測試深度學習的假設(shè)。

返回列表