ICLR 17最具爭議的最佳論文，實至名歸還是盛名過譽？

ICLR 2017 的論文評審結果于今天新鮮出爐，雷鋒網 AI 科技評論了解到，經過近三個月的評選，本次 ICLR 的 507 篇論文中共誕生 15 篇口頭展示論文，181 篇海報展示論文，而三篇最佳論文也于今天正式公布。

其中，三篇優秀論文中爭議最大的莫過于這篇名為《Understanding Deep Learning Requires Rethinking Generalization》（《理解深度學習，需要重新思考泛化問題》）的論文。作者為 Chiyuan Zhang（MIT博士生，師從Tomaso Poggio）、Samy Bengio（谷歌大腦團隊，深度學習三巨頭 Yoshua Bengio的親兄弟）、Modiz Hardt（谷歌大腦團隊）、Benjamin Racht（加州伯克利大學），Oriol Vinyals（谷歌DeepMind）。從標題到陣容，不得不承認是非常豪華的。不過，觀點在 OpenReview 上呈現兩極分化，以紐約大學博士生張翔為代表的研究者認為此文被高估，而評審的最終結果卻認為它具有重要的學術意義。

首先我們先和雷鋒網 AI 科技評論回顧一下論文的內容。成功的神經網絡在訓練與測試性能之間存在非常小的差異，但傳統觀點認為這是泛化誤差的結果。這篇論文就以「重新思考泛化問題」為主題，通過系統試驗，展示傳統方法無法解釋大規模神經網絡在實踐中的泛化表現好的原因。而在實驗中，研究者證明了用隨機梯度訓練、用于圖像分類的 CNN 很容易擬合隨機標簽數據，而且本質上并不受顯式正則化的影響。

最終的評審結果是這樣評價的：

• 評論：

  作者在論文中闡述了深度神經網絡擬合隨機標簽數據的能力，并給出了非常不錯的實驗結果。這個調查不僅全面，也具有啟發意義。作者提出了 a) 一個理論實例，說明一個具有足夠規模參數的簡單淺層網絡能夠產生完美的有限樣本表達性；b) 系統廣泛的實驗評估得以支持研究結果。這個實驗評價是一個具有徹底性的模型。

  毋庸置疑，這是一項具有顛覆性的工作，將會啟發未來數年的許多研究。

• 決定：

  采納（口頭展示）

MIT 博士生周博磊也認為這篇論文加深了研究者們「對神經網絡的理解，也給人們開了個新的視角來看問題」。在知乎的相關回答里，他對論文做出了肯定，經本人授權后節選引用如下：

「……深度學習越來越演變成了門實驗科學，本身跟煉丹差不多（笑），有人云亦云，也有意外和反直覺，里面很多東西很難用理論解釋清楚。比如說之前那篇蠻有名的 CVPR'15 oral 論文 Deep Neural Networks are Easily Fooled，也是偏實驗說理，得到了個反直覺的結論，對我們理解 CNN 的運作原理有很大幫助。我自己是蠻喜歡基于 empirical （經驗主義）的實驗結果說理的工作。ICLR'17 還有篇類似的論文 Adversial Examples in the Physical World，可惜沒被接收，但是論文本身也激起了挺多有意思的討論。

這篇文章也是類似的路子，蠻值得一讀，而且讀起來輕松愉快。論文利用損壞的標簽和打亂的像素等對比實驗，測試了幾種不同的正則化技術, 諸如 data augmentation, weight decay, dropout, bnorm 等，然而發現對深度模型的過擬合問題效果都不好。隨后作者進一步討論神經網絡的表達能力問題，然后給了個簡化的線性模型，證明正則化同樣不能改進線性模型的泛化能力。……這些工作無疑加深了我們對神經網絡的理解，給人們開了個新的視角來看問題。」

不過，師從 Yann LeCun 的紐約大學博士生張翔則在 OpenReview 上公開對這篇論文提出了不同意見，認為此文獲得 oral 的殊榮對于理論學界并不公平。他也在評論中強調，他的觀點與實驗室及導師無關，純粹是闡述他個人的意見。雷鋒網 AI 科技評論第一時間聯系了張翔，并與他進行了簡短的交流。

從張翔的角度來看，他認為這篇論文歸根結底可以總結為：在跟輸入無關的隨機標簽下，模型的泛化能力很差。「我的反對意見是，論文實驗中采用的與輸入無關的隨機標簽訓練神經網絡模型，是極端顯而易見且沒有意義的，這個結果并沒有教給研究人員任何新的知識。」

根據論文的介紹，張翔認為這樣數據下訓練的模型在遇到沒有見過的測試輸入時也會輸出無意義的標簽，因此它在隨機標簽問題下過擬合得很厲害。而論文中還使用哈德瑪克復雜度（Rademacher complexity，下稱哈氏復雜度）來說明傳統機器學習理論會達到復雜度的最大值，得出了需要「重新思考泛化」的結論。

而張翔在 OpenReview 上表達的反對意見，則指出論文中僅靠一種哈氏復雜度的構造方式，就一定要找到這種構造方式下的對立問題，用他的玩笑話來說就是「拿著錘子，看什么都是釘子」。

「在理論方面，隨機標簽的數據和正常標簽的數據完全就是兩個不同的問題，這篇文章用前者說明問題，而學術界對后者才有最大的興趣。同時，這篇論文中對于傳統機器學習理論的使用（基于哈氏復雜度）僅僅是其中一種構造方式，如果我們將哈氏復雜度用于優化目標而不是分類錯誤率上，由于這兩個函數的上下界存在性上的不同，我們并不能夠得到論文中『復雜度可以達到最大值』的結果。此外，對于隨機標簽問題和正常標簽問題，理論學界的研究已經有所進展，論文中說『需要重新思考泛化』是非常不合適的，對理論界的諸多前輩的研究工作非常不公平。」

這篇論文能夠引起學界的思考自然意義深遠，但會議評審與領域主席的觀點最終會對論文的入選與否產生決定性影響。而對于為何這篇引起巨大爭議的文章能夠拿下最佳論文，張翔表示原因也很簡單，因為評審與領域主席的評價高。因此，張翔也希望會議評審和領域主席能夠更仔細慎重一些，「對于一些某個學界共同體（比如ICLR的實踐學者）不太了解的內容要找到合適的評審方式和評審人。」

在此之前，雷鋒網也報道過另一篇在 ICLR 17 引起爭議的論文《LipNet: End-to-End Sentence-level Lipreading》，這篇由 DeepMind、牛津大學及加拿大高等研究院 (CIFAR) 聯合發布的論文最終被拒絕，在公開評審環節中，作者與評審爭論得不可開交，但最終還是被評審們拒絕。

「學術會議的論文評審是一個學界內部的民主過程，其結果需要大家都接受。但是不論什么論文都是可以有不同意見的。」在談論起論文的評審模式時，張翔向雷鋒網如是說，他也希望能通過表達自己的不同意見，引起大家的討論。

周博磊也在知乎中表達了類似的觀點，認為「往往有爭議的文章，激發大家討論的文章，才是有意思的文章（好與壞本身太主觀）。」而雷鋒網也將持續關注這篇論文的討論進展，并為大家提供更全面豐富的觀點及意見。

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。