不管你是計(jì)算機(jī)視覺(jué)新手還是專家，你可能聽說(shuō)過(guò) AlexNet 于2012年贏得了ImageNet挑戰(zhàn)賽。這是計(jì)算機(jī)視覺(jué)發(fā)展史上的轉(zhuǎn)折點(diǎn)，因?yàn)樗砻?，深度學(xué)習(xí)模型能夠以前所未有的精度完成非常困難的任務(wù)。

但是你是否知道 AlexNet有6.2千萬(wàn)訓(xùn)練參數(shù)？

另一個(gè)廣為人知的模型 VGGNet 則有1.38億訓(xùn)練參數(shù)，是AlexNet 的兩倍之多。

我們知道，模型層數(shù)越多，那么表現(xiàn)的性能越好，那么是否需要關(guān)注和強(qiáng)調(diào)參數(shù)的數(shù)量呢？

上述模型在機(jī)器視覺(jué)領(lǐng)域已經(jīng)是基準(zhǔn)了。但是在現(xiàn)實(shí)生產(chǎn)場(chǎng)景中，是否會(huì)被人們選擇部署呢？你是否在實(shí)際應(yīng)用中使用這些模型？

在回答上述問(wèn)題之前，我們先了解如下背景知識(shí)。 物聯(lián)網(wǎng)裝備預(yù)測(cè)在2030年將達(dá)到1.25-5千億臺(tái)套的規(guī)模，并且其中20%都帶有攝像頭，這是一個(gè)130億的市場(chǎng)。

物聯(lián)網(wǎng)攝像頭設(shè)備包括家庭安全攝像頭（如Amazon Ring和Google Nest），當(dāng)您到家時(shí)會(huì)打開門或在看到未知的人時(shí)通知您，智能車輛上的攝像頭可幫助您駕駛，停車場(chǎng)的攝像頭在您進(jìn)出時(shí)打開大門，物聯(lián)網(wǎng)攝像頭設(shè)備的應(yīng)用場(chǎng)景十分廣泛！其中一些物聯(lián)網(wǎng)設(shè)備已經(jīng)在某種程度上使用人工智能，而其他設(shè)備正在慢慢趕上。

許多現(xiàn)實(shí)場(chǎng)景的應(yīng)用程序需要實(shí)時(shí)的設(shè)備處理能力。自動(dòng)駕駛汽車就是一個(gè)很好的例子。為了使汽車在任何道路上安全行駛，它們必須實(shí)時(shí)觀察道路，如果有人走在汽車前面，必須停車。在這種情況下，需要在設(shè)備上實(shí)時(shí)地處理視覺(jué)信息和做出決策。

那么，現(xiàn)在回到之前的問(wèn)題：我們能否使用前述模型部署到生活場(chǎng)景中？

如果你從事的是計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用和研究，你的應(yīng)用程序很可能需要物聯(lián)網(wǎng)設(shè)備。 主要的挑戰(zhàn)是物聯(lián)網(wǎng)設(shè)備資源受限；它們的內(nèi)存有限，計(jì)算能力低。而模型中可訓(xùn)練的參數(shù)越多，其規(guī)模就越大。深度學(xué)習(xí)模型的計(jì)算時(shí)間隨著可訓(xùn)練參數(shù)個(gè)數(shù)的增加而增加。此外，與較少參數(shù)的模型相比，所消耗的能量和占用的空間也越大。最終的結(jié)果是，當(dāng)模型很大時(shí)，深度學(xué)習(xí)模型很難在資源受限的設(shè)備上部署。雖然這些模型已經(jīng)成功地在實(shí)驗(yàn)室中取得了巨大的成果，但它們?cè)谠S多實(shí)際應(yīng)用中并不可用。

在實(shí)驗(yàn)室，通過(guò)昂貴的GPU可以實(shí)現(xiàn)模型的高效計(jì)算，但是在生產(chǎn)場(chǎng)景中，資金、能源、溫度等問(wèn)題使得GPU的計(jì)算方式行不通。 盡管將這些模型部署在云端能夠提供高計(jì)算性能和存儲(chǔ)使用性，但是卻存在高時(shí)延的問(wèn)題，因此不能滿足現(xiàn)實(shí)應(yīng)用的需求。

簡(jiǎn)而言之，人工智能需要在靠近數(shù)據(jù)源的地方進(jìn)行處理，最好是在物聯(lián)網(wǎng)設(shè)備本身進(jìn)行處理！因此，我們可供選擇之一就是：減少模型的規(guī)模。

在不影響準(zhǔn)確性的前提下，制作一個(gè)能在邊緣設(shè)備約束下運(yùn)行的更小的模型是一個(gè)關(guān)鍵的挑戰(zhàn)。因?yàn)閮H僅擁有一個(gè)可以在資源受限的設(shè)備上運(yùn)行的小模型是不夠的，它應(yīng)該無(wú)論是在準(zhǔn)確性和計(jì)算速度方面都具有很好的性能。

接下來(lái)將介紹幾種降低模型規(guī)模的方法。

修剪通過(guò)刪除對(duì)性能不敏感的冗余、不重要的連接來(lái)減少參數(shù)的數(shù)量。這不僅有助于減小整個(gè)模型的大小，而且節(jié)省了計(jì)算時(shí)間和能耗。

好處

· 可以在訓(xùn)練時(shí)和訓(xùn)練后執(zhí)行該操作

· 可以改善給定模型的計(jì)算時(shí)間/模型規(guī)模

· 既可以用于卷積網(wǎng)絡(luò)，也可以用于全連接層

不足

· 相較于直接修改模型結(jié)構(gòu)，剪枝的效果稍遜一籌

· 對(duì)于 TensorFlow模型，往往只能減小模型規(guī)模，但是不能降低計(jì)算時(shí)間

在DNN中，權(quán)重存儲(chǔ)為32位浮點(diǎn)數(shù)字。量化是通過(guò)減少比特?cái)?shù)來(lái)表示這些權(quán)重的思想。權(quán)重可以量化為16位、8位、4位甚至1位。通過(guò)減少使用的比特?cái)?shù)，深度神經(jīng)網(wǎng)絡(luò)的規(guī)?？梢燥@著減小。

好處

· 可以在訓(xùn)練時(shí)和訓(xùn)練后執(zhí)行該操作

· 既可以用于卷積網(wǎng)絡(luò)，也可以用于全連接層

不足

· 量化權(quán)值使得神經(jīng)網(wǎng)絡(luò)更難收斂。為了保證網(wǎng)絡(luò)具有良好的性能，需要較小的學(xué)習(xí)速率

· 量化權(quán)重使得反向傳播不可行，因?yàn)樘荻炔荒芡ㄟ^(guò)離散神經(jīng)元反向傳播。需要使用近似方法來(lái)估計(jì)損失函數(shù)相對(duì)于離散神經(jīng)元輸入的梯度

· TensorFlow的量化感知訓(xùn)練在訓(xùn)練過(guò)程中不做任何量化。訓(xùn)練期間只收集統(tǒng)計(jì)數(shù)據(jù)，用于量化訓(xùn)練后的數(shù)據(jù)。

在知識(shí)蒸餾中，一個(gè)大型的、復(fù)雜的模型是在一個(gè)大型數(shù)據(jù)集上訓(xùn)練的。當(dāng)這個(gè)大的模型能夠?qū)床灰姷臄?shù)據(jù)進(jìn)行泛化并表現(xiàn)良好時(shí)，它就被傳輸?shù)揭粋€(gè)較小的網(wǎng)絡(luò)中。較大的網(wǎng)絡(luò)模型也稱為教師模型，較小的網(wǎng)絡(luò)也稱為學(xué)生網(wǎng)絡(luò)。

好處

· 如果你有一個(gè)預(yù)先訓(xùn)練好的教師網(wǎng)絡(luò)，訓(xùn)練較小的（學(xué)生）網(wǎng)絡(luò)所需的訓(xùn)練數(shù)據(jù)較少。

· 如果你有一個(gè)預(yù)先訓(xùn)練好的教師網(wǎng)絡(luò)，訓(xùn)練較小的（學(xué)生）網(wǎng)絡(luò)所需的時(shí)間很短。

· 可以縮小一個(gè)網(wǎng)絡(luò)而不管教師和學(xué)生網(wǎng)絡(luò)之間的結(jié)構(gòu)差異。

不足

· 如果沒(méi)有預(yù)先選練好的教師模型，那么訓(xùn)練學(xué)生模型將需要大規(guī)模的數(shù)據(jù)集和較長(zhǎng)時(shí)間。

選擇性注意是指把注意力集中在感興趣的對(duì)象或元素上，而拋棄其他對(duì)象（通常是背景或其他與任務(wù)無(wú)關(guān)的對(duì)象）。它的靈感來(lái)自人眼生物學(xué)機(jī)制。當(dāng)我們看東西的時(shí)候，我們一次只關(guān)注一個(gè)或幾個(gè)物體，其他的區(qū)域就會(huì)模糊。

這就需要在你現(xiàn)有的人工智能系統(tǒng)上添加一個(gè)選擇性的注意力網(wǎng)絡(luò)。

好處

· 更短的計(jì)算時(shí)間

· 規(guī)模更小的模型（通過(guò)這一方法生成的人臉識(shí)別器只有44KB大?。?/span>

· 精度保障

不足

· 只支持從頭開始的訓(xùn)練

利用矩陣/張量分解來(lái)估計(jì)信息參數(shù)。一個(gè)（m，n）維且秩為r的權(quán)矩陣A被更小維的矩陣代替。這種技術(shù)有助于將大矩陣分解成更小的矩陣。

好處

· 可被用于訓(xùn)練階段和訓(xùn)練后

· 可被用于卷積網(wǎng)絡(luò)，也可用于全連接層

· 用于訓(xùn)練階段時(shí)，可以降低訓(xùn)練時(shí)間

最棒的是，所有這些技術(shù)是相輔相成的。它們可以按原樣應(yīng)用，也可以與一種或多種技術(shù)相結(jié)合。通過(guò)使用剪枝、量化和Huffman編碼三級(jí)流水線來(lái)減小預(yù)訓(xùn)練模型的大小，在ImageNet數(shù)據(jù)集上訓(xùn)練的VGG16模型從550MB降到了11.3MB。

上面討論的大多數(shù)技術(shù)都可以應(yīng)用于預(yù)先訓(xùn)練的模型，作為后處理步驟，可以減小模型大小并提高計(jì)算速度。但它們也可以在訓(xùn)練期間使用。量化越來(lái)越受歡迎，現(xiàn)在已經(jīng)被引入機(jī)器學(xué)習(xí)框架。我們可以預(yù)期修剪很快也會(huì)被引入流行的框架中。

在本文中，我們研究了將基于深度學(xué)習(xí)的模型部署到資源受限設(shè)備（如物聯(lián)網(wǎng)設(shè)備）的動(dòng)機(jī)，以及減小模型大小以使其適應(yīng)物聯(lián)網(wǎng)設(shè)備而不影響準(zhǔn)確性的需求。我們還討論了一些現(xiàn)代技術(shù)壓縮深度學(xué)習(xí)模型的利弊。最后，我們談到了每一種技術(shù)可以單獨(dú)應(yīng)用，也可以組合使用。

作者：Sabina Pokhrel

deephub翻譯組 Oliver Lee