ICLR 最佳論文作者張馳原演講全文：理解深度學習，為何我們需要重新思考泛化問題？（附視頻）| ICLR 2017

雷鋒網 AI 科技評論按：ICLR 2017 上，爭議最大的 best paper 莫過于這篇名為《Understanding Deep Learning Requires Rethinking Generalization》（《理解深度學習，需要重新思考泛化問題》）的論文。作者名單可謂群星薈萃，分別為 MIT 博士生張馳原，谷歌大腦團隊、深度學習三巨頭 Yoshua Bengio 的親兄弟 Samy Bengio、谷歌大腦團隊 Modiz Hardt、加州伯克利大學的 Benjamin Racht，以及谷歌 DeepMind 的 Oriol Vinyals。

雖然關于這篇論文的討論很多，但張馳原在發給雷鋒網的郵件中表示，他沒有計劃對論文進行公開解讀或接受訪談。因此在 ICLR 的現場，張馳原的現場演講便成為了為數不多的了解論文思路的方式。雷鋒網對他的演講全文進行聽譯及整理，未經許可不得轉載。

演講視頻：

以下為演講實錄：

謝謝。今天我想談談理解泛化在通用深度學習上的表現。和我一同合作的研究者包括 Samy Bengio、Modiz Hardt、Benjamin Racht 和 Oriol Vinyals。

接下來，我們將談談泛化。如果你想讓系統獲得一個好的訓練表現，那么通常會根據你手頭所擁有的數據量選擇合適的模型復雜度。

因此，一般而言你不會選擇一個太簡單的模型，因為可能容易導致欠擬合的問題，無法涵蓋有趣的模式；當然，你也不愿選擇一個太復雜的模型（雷鋒網按：或者說過參數化的模型），因為這樣一來，非常容易導致泛化誤差，即過擬合問題。

不過，過參數化的模型在一些領域的應用其實非常流行，也很成功。舉個例子，當我們看著這幅圖上的紫色小點時，包括我以及在座的各位來賓都很難猜出這是什么。但如果我給出所需要的背景圖示，那么你會很快知道這是「水蛇星座」（A Water Snake）。也就是說，當我們試圖理解星象結構和圖案時，我們會運用豐富的想象力和創造力腦補出星座的畫面。通過星星所形成的點的各種組合，我們能夠創造出一幅美麗的圖畫。

當然，過參數化在深度學習中運用得很多，大家也非常熟悉，比如在計算機視覺領域非常典型的 CNN、LeNet、Inception Network，還有 152 層的 Deep Residual Network 等網絡。

我們接下來回到這張圖討論偏差-方差問題（bias-variance），你會看到，實際上深度學習在位于坐標軸的右邊很遠的地方。我認為非常奇怪的地方在于，我們在測試過程中有著非常高的方差，但在實踐中，深度學習的性能與泛化表現卻非常好。

更奇怪的地方是，如果你將參數數量（parameter count）與訓練樣本的數量（number of Training Samples）之比（p/n）進行比較，你會發現，當這個數字增加時，神經網絡的錯誤實際上有時會下降。從圖表中我們看到，MLP 1*512 網絡大概是綠毛蟲的級別，p/n 為 24，如果達到 50% 的錯誤率，可能效果并不理想。如果采用了像 Alexnet 這樣更大的模型（像比卡丘一樣），p/n 接近 30，錯誤率就相對下降了。如果用更大的 Inception 甚至是 Wide Resnet（達到卡比獸和大巖蛇的規模），就能獲得非常高的準確度。

這個結果仿佛告訴我們，測量參數數量并不能有效地測量模型的復雜度，當然，結構也是我們需要考慮的內容，但測量參數數量顯然并不明智。那么，我們如何測量模型的有效復雜度？

為了實現這一點，我想介紹一下隨機化檢驗。首先我要說明的是，我們發現深度神經網絡非常容易擬合隨機標簽。

那么隨機化檢驗是什么？即一系列設計用來測量擬合隨機噪聲情況的實驗，數據集并不總是涵蓋有意義的樣本，因此你可以用此來檢驗模型的能力。此處我們采用隨機標簽來考量，首先我們采用 CIFAR 10 及 ImageNet 上已經標注好的數據集，隨后，我們通過擲骰子的方式對數據集隨機排序，并給它賦予一個新的標簽名字。也就是說，每個圖像集都標記為不同的名字，比如同為「花」內容的數據集，可能會有不同的名字，如「鳥」和「狗」。

隨后，我們通過谷歌搜到一些成功的模型和開源應用，隨即我們將張量先后 flow 進原始的數據集和隨機標簽的數據集里，隨后對數據進行比較。

從圖表中我們可以發現，橫坐標左邊是沒有標簽噪聲的 CIFAR 10 數據集，右邊為全是隨機標簽噪聲的數據集。我們可以發現，不論標簽是否加入了隨機噪聲，訓練數據的準確度都是 100%，但測試準確度就會逐漸下降到 10%，這就形成了一個泛化鴻溝（generalization gap）。在其它條件不變的情況下（同樣的結構、同樣的算法、同樣的 p/n），泛化誤差依然會隨之變大。

那么這又回到了我們一開始所說的結論：深度神經網絡非常容易擬合隨機標簽。由此引申的一點是，不論你給出任意的訓練數據集，神經網絡都會有效地記住整個數據集，不論我們需要它學些什么，或是摻入了怎樣的噪聲。

我想提的另一點是，我們并不是想提出一個普適于任何情況的論點，我們并不是在說，任何神經網絡都能夠完美擬合隨機噪聲。因為確實存在一些網絡在面對隨機標簽時呈現無法擬合，或者說過擬合的情況。我們想說明的點是，確實有一些成功的模型，一方面能夠適應 CIFAR 或 ImageNet 等自然數據集，Inception 及 Alexnet 等網絡在 ImageNet 等很多數據集同樣呈現相似的結果。但它們無法呈現不同的泛化誤差，而這也是引起泛化討論的一個原因。

我們接下來要說的是正則化（regularizers）問題。我們都知道，正則化是為了限制假設空間，這里可以用一只胖胖的貓來類比大的假設空間，而被塞進更小容器里的小貓就是正則化的模型。當你向神經網絡加入了正則化矩陣，實際上你也縮小了假設空間。因此，被縮小的假設空間也無法很好地擬合隨機標簽。

我們做出了一些嘗試，對神經網絡采用了一些常用的正則化方法，包括以下三種：

• 數據增強：涉及特定域的轉化

• 權重衰減：非常流行的正則化方法

• 隨機遮擋：因 LeCun 而發揚光大

我們采用對比的方式，一組用正則化擬合，一組不采用。得到兩個結果：

• 一個是，訓練數據在準確度上并沒有變化；

• 第二個是沒有正則化與正則化的測試準確率并沒有太大差異。在 CIFAR-10 及 ImageNet 上的結果呈現相似的結果。

如果我們采用隨機化檢驗的方式，并予以正則化，在不同的網絡下是否還能擬合隨機噪聲？答案是肯定的，在大部分的案例下，神經網絡確實能夠擬合隨機噪聲。在這個實驗中，我們發現 Alexnet 不能 converge，但就像我們之前說的一樣，我們并不是為了提出通用的論斷。

而且不可否認的是，如果你持續增加泛化的權重，終究會無法擬合隨機標簽，就更不要說自然標簽了。這樣一來，我們又陷入了欠擬合的狀態。對吧？

很遺憾的是，正則化在我們的通常理解中，是一種能夠限制模型或增強數據的方法。而如今，在重新思考正則化之后，它可能更像是「任何會損害訓練過程的東西」。這可能會導致，比如，提前停止（early stopping）獲得所謂的全局最小值，或讓隨機梯度下降（SGD）產生不必要的梯度噪音（gradient noice）。

而在采用 SGD 擬合隨機標簽時，真實標簽與隨機標簽的平均 loss 一開始呈現非常大的差距，但到接近 1500 steps 時，兩者會趨向一致。而如果采用的是混合像素、隨機像素甚至是高斯像素的圖片，它們最終都會趨于損失最小化（0），并獲得全局最小值。

因此，我們論文中提及的隱式泛化基本上并沒有改變圖像，實際上所用的模型也有著它強大的有效能力（effective capacity），而采用偏差-方差理解泛化能力看上去很難。

對于深度學習而言，優化問題并不難。優化的難點與泛化的難點并不相同，因此學習泛化很可能需要從另一個角度思考，且并不容易，它們兩者并不能混為一談。

據此，我們團隊的結論是：

• 提出了一個簡單的實驗框架，以理解深度學習模型的有效表達能力。

• 成功的深度網絡能夠碾壓性地擬合訓練集。

• 要解釋過參數化深度模型的泛化問題，我們需要提出其他的方式，來衡量模型/算法/數據集的復雜度。

以上便是張馳原團隊的演講全文，更多 ICLR 2017 的文章，敬請前往專題頁面了解。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。