獲得對正則化的直觀認識

在機器學習中，正則化是一種用來對抗高方差的方法——換句話說，就是模型學習再現(xiàn)數(shù)據(jù)的問題，而不是關于問題的潛在語義。與人類學習類似，我們的想法是構建家庭作業(yè)問題來測試和構建知識，而不是簡單的死記硬背：例如，學習乘法表，而不是學習如何乘。

這種現(xiàn)象在神經(jīng)網(wǎng)絡學習中尤為普遍——學習能力越強，記憶的可能性就越大，這取決于我們這些實踐者如何引導深度學習模型來吸收我們的問題，而不是我們的數(shù)據(jù)。你們中的許多人在過去都曾遇到過這些方法，并且可能已經(jīng)對不同的正則化方法如何影響結果形成了自己的直觀認識。為你們中那些不知道的人（甚至為那些知道的人?。┍疚臑檎齽t化神經(jīng)網(wǎng)絡參數(shù)的形成提供了直觀的指導。將這些方面可視化是很重要的，因為人們很容易將許多概念視為理所當然；本文中的圖形和它們的解釋將幫助你直觀地了解，當你增加正則化時，模型參數(shù)的實際情況。

在本文中，我將把 L2 和 dropouts 作為正則化的標準形式。我不會討論其他方法（例如收集更多數(shù)據(jù)）如何改變模型的工作方式。

所有的圖形和模型都是用標準的科學Python堆棧制作的：numpy、matplotlib、scipy、sklearn，而神經(jīng)網(wǎng)絡模型則是用PyTorch構建的。

開發(fā)復雜函數(shù)

深度學習的核心原則之一是深度神經(jīng)網(wǎng)絡作為通用函數(shù)逼近的能力。無論你感興趣的是什么，疾病傳播，自動駕駛汽車，天文學等，都可以通過一個自學習模型來壓縮和表達，這種想法絕對是令人驚奇的！盡管你感興趣的問題實際上是是否可以用解析函數(shù)f來表示這些問題，但當你通過訓練來調整機器學習模型時，該模型采用的參數(shù)θ允許模型近似地學習 f*。

出于演示的目的，我們將查看一些相對簡單的數(shù)據(jù):理想情況下，一維中的某些數(shù)據(jù)足夠復雜，足以使老式曲線擬合變得痛苦，但還不足以使抽象和理解變得困難。我要創(chuàng)建一個復雜的函數(shù)來模擬周期信號，但是要加入一些有趣的東西。下面的函數(shù)實現(xiàn)如下方程:

其中A，B，C是從不同高斯分布中采樣的隨機數(shù)。這些值的作用是在非常相似的函數(shù)之間加上滯后，使得它們隨機地加在一起產(chǎn)生非常不同的f值。我們還將在數(shù)據(jù)中添加白色（高斯）噪聲，以模擬所收集數(shù)據(jù)的效果。

讓我們將隨機生成的數(shù)據(jù)樣本可視化：在本文的其余部分中，我們將使用一個小的神經(jīng)網(wǎng)絡來重現(xiàn)這條曲線。

為了進行我們的模型訓練，我們將把它分成訓練/驗證集。為此，我將在sklearn.model_selection中使用極其方便的train_test_split功能。讓我們設計訓練和驗證集：

正如我們在圖中看到的，這兩個集合在表示整個曲線方面都做得相當好：如果我們刪除其中一個，我們可以或多或少地收集到數(shù)據(jù)表示的相同圖片。這是交叉驗證的一個非常重要的方面！

開發(fā)我們的模型

現(xiàn)在我們有了一個數(shù)據(jù)集，我們需要一個相對簡單的模型來嘗試復制它。為了達到這個目的，我們將要處理一個四層的神經(jīng)網(wǎng)絡，它包含三個隱藏層的單個輸入和輸出值，每個隱藏層64個神經(jīng)元。

為了方便起見，每個隱藏層都有一個LeakyReLU激活，輸出上有ReLU激活。原則上，這些應該不那么重要，但是在測試過程中，模型有時無法學習一些“復雜”的功能，特別是當使用像tanh和sigmoid這樣容易飽和的激活函數(shù)時。在本文中，這個模型的細節(jié)并不重要：重要的是它是一個完全連接的神經(jīng)網(wǎng)絡，它有能力學習逼近某些函數(shù)。

為了證明模型的有效性，我使用均方誤差（MSE）損失和ADAM優(yōu)化器執(zhí)行了通常的訓練/驗證周期，沒有任何形式的正則化，最后得到了以下結果：

當我們使用此模型來預測：

除了曲率變化很快的區(qū)域（接近x=11）之外，這個模型很好地再現(xiàn)了我們的“復雜”函數(shù)！

現(xiàn)在，我可以聽到你在問：如果模型運行良好，我為什么要做任何正則化？在本演示中，我們的模型是否過擬合并不重要：我想要理解的是正則化如何影響一個模型;在我們的例子中，它甚至會對一個完美的工作模型產(chǎn)生不利影響。在某種意義上，你可以把這理解為一個警告:當你遇到過度擬合時要處理它，但在此之前不要處理。用Donald Knuth的話說，“不成熟的優(yōu)化是萬惡之源”。

正則化如何影響參數(shù)

現(xiàn)在我們已經(jīng)完成了所有的樣板文件，我們可以進入文章的核心了!我們的重點是建立對正則化的直觀認識，即不同的正則化方法如何從三個角度影響我們的簡單模型:

訓練/驗證的損失會怎樣?我們的模型性能會發(fā)生什么變化?實際的參數(shù)會怎樣呢?雖然前兩點很簡單，但是很多人可能不熟悉如何量化第三點。在這個演示中，我將使用核密度評估來測量參數(shù)值的變化:對于那些熟悉Tensorboard的人來說，你將看到這些圖;對于那些不知道的人，可以把這些圖看作是復雜的直方圖。目標是可視化我們的模型參數(shù)如何隨正則化而變化，下圖顯示了訓練前后θ分布的差異：

藍色曲線被標記為“均勻的”，因為它代表了我們用均勻分布初始化的模型參數(shù):你可以看到這基本上是一個頂帽函數(shù)，在中心具有相等的概率。這與訓練后的模型參數(shù)形成了鮮明的對比：經(jīng)過訓練，模型需要不均勻的θ值才能表達我們的功能。

L2正則化

正則化最直接的方法之一是所謂的L2正則化:L2指的是使用參數(shù)矩陣的L2范數(shù)。由線性代數(shù)可知，矩陣的范數(shù)為:

在前神經(jīng)網(wǎng)絡機器學習中，參數(shù)通常用向量而不是矩陣/張量來表示，這就是歐幾里得范數(shù)。在深度學習中，我們通常處理的是矩陣/高維張量，而歐幾里德范數(shù)并不能很好地擴展(超越歐幾里德幾何)。L2范數(shù)實際上是上述方程的一個特例，其中p=q=2被稱為Frobenius或Hilbert-schmidt范數(shù)，它可以推廣到無限維度(即Hilbert空間)。

在深度學習應用中，應用這種L2正則化的一般形式是在代價函數(shù)J的末尾附加一個“懲罰”項:

很簡單，這個方程定義了代價函數(shù)J為MSE損失，以及L2范數(shù)。L2范數(shù)的影響代價乘以這個前因子λ；這在許多實現(xiàn)中被稱為“權值衰減”超參數(shù)，通常在0到1之間。因為它控制了正則化的數(shù)量，所以我們需要了解這對我們的模型有什么影響!

在一系列的實驗中，我們將重復與之前相同的訓練/驗證/可視化周期，但是這是在一系列的λ值上。首先，它是如何影響我們的訓練的?

讓我們來分析一下。更深的紅色對應于更大的λ值(盡管這不是一個線性映射!),將訓練損失的痕跡顯示為MSE損失的日志。記住，在我們的非正則化模型中，這些曲線是單調遞減的。在這里,當我們增加λ的值，最終訓練誤差大大增加,并且早期損失的減少也沒有那么顯著。當我們試圖使用這些模型來預測我們的功能時，會發(fā)生什么?

我們可以看到，當λ值很小時，函數(shù)仍然可以很好地表達。轉折點似乎在λ=0.01附近，在這里，曲線的定性形狀被再現(xiàn)，但不是實際的數(shù)據(jù)點。從λ>0.01，模型只是預測整個數(shù)據(jù)集的平均值。如果我們把這些解釋為我們在訓練上的損失，那么損失就會停止，這也就不足為奇了。

那么參數(shù)的分布呢?

我們看到,參數(shù)值的傳播大大受阻,正如我們的 λ 從低到高。與均勻分布相比，參數(shù)值的擴展越來越接近于零，λ=1.0時，θ的分布看起來就像一個在0處的狄拉克δ函數(shù)。由此，我們可以消除L2正則化作用于約束參數(shù)空間——強制θ非常稀疏并且接近零。

dropouts呢?

另一種流行且成本高效的正則化方法是在模型中包含dropouts。這個想法是，每次模型通過時，一些神經(jīng)元通過根據(jù)概率p將它們的權值設置為0來失活。換句話說，我們對參數(shù)應用一個布爾掩碼，每次數(shù)據(jù)通過不同的單元時都被激活。這背后的基本原理是將模型學習分布在整個網(wǎng)絡中，而不是特定的一層或兩層/神經(jīng)元。

在我們的實驗中，我們將在每個隱藏層之間加入dropout層，并將dropout概率p從0調整為1。在前一種情況下，我們應該有一個非正則化的模型，而在后一種情況下，我們各自的學習能力應該有所下降，因為每一個隱藏層都被停用了。

我們看到了與L2正則化非常相似的效果:總體而言，模型的學習能力下降，并且隨著dropout概率值的增大，最終損失的比例也增大。

當我們試圖使用這些模型來預測我們的功能時:

如圖，我們逐步增加了dropout概率。從p=0.1開始，我們可以看到我們的模型對于它的預測開始變得相當不可靠:最有趣的是，它似乎近似地跟蹤了我們的數(shù)據(jù)，包括噪音!

在p=0.2和0.3時，這一點在x=11時更加明顯——回想一下，我們的非正則化模型很難得到正確的函數(shù)區(qū)域。我們看到，帶dropout的預測實際上使這一區(qū)域難以置信的模糊，這幾乎就像模型告訴我們，它是不確定的!(后面會詳細介紹)。

從p=0.4開始，模型的能力似乎受到了極大的限制，除了第一部分之外，它幾乎無法再現(xiàn)曲線的其他部分。在p=0.6時，預測結果似乎接近數(shù)據(jù)集的平均值，這似乎也發(fā)生在L2正則化的大值上。

我們的模型參數(shù)呢?

將此結果與我們的L2范數(shù)結果進行比較:對于dropout，我們的參數(shù)分布更廣，這增加了我們的模型表達的能力。除p=1.0外，dropout概率的實際值對參數(shù)的分布影響不大，如果有影響的話。在p=1.0時，我們的模型沒有學到任何東西，只是類似于均勻分布。在p值降低時，盡管速度降低了，模型仍然能夠學習。

最后

從我們簡單的實驗中，我希望你已經(jīng)從我們探索的三個角度，對這兩種正則化方法如何影響神經(jīng)網(wǎng)絡模型形成了一些直觀認識。

L2正則化非常簡單，只需要調整一個超參數(shù)。當我們增加L2懲罰的權重時，因為參數(shù)空間的變化，對于大的值(0.01-1)，模型容量下降得非常快。對于較小的值,你甚至可能不會看到模型預測有什么變化。

Dropouts是一種更復雜的正則化方法，因為現(xiàn)在必須處理另一層超參數(shù)復雜性(p可以為不同的層提供不同的值)。盡管如此，這實際上可以提供模型表達的另一個維度:模型不確定性的形式。

在這兩種方法中，我們看到正則化增加了最終的訓練損失。這些人工形式的正則化(與獲取更多的訓練數(shù)據(jù)相反)的代價是它們會降低模型的容量: 除非你確定你的模型需要正則化，否則在這樣的結果下，你不會希望正則化。但是，通過本指南，你現(xiàn)在應該知道這兩種形式如何影響你的模型!

如果你感興趣，可以在Binder上（https://mybinder.org/v2/gh/laserkelvin/understanding-ml/master） 運行一些代碼。我不需要運行torch模型(這會耗盡它們的資源)，但是你可以使用它在notebook中查看代碼。

返回列表