0
雷鋒網(wǎng)AI科技評論：我們通常都會學習前輩或大牛的經(jīng)典作品，而引用次數(shù)自然也成為了論文的一個重要標桿。在GitHub上，@Terryum整理了一份精心編寫的論文推薦列表，其中包含了在深度學習領域中引用次數(shù)最多的前100篇論文（自2012年起）。囿于篇幅限制，雷鋒網(wǎng)整理編譯了理解/泛化/遷移領域的七篇論文，并增加了論文的概要，方便讀者快速了解。
有一些深度學習論文，無論它們屬于哪個應用領域，都值得仔細研習。文章在精不在多，雷鋒網(wǎng)提供的這些文章，都被認為是值得一讀的優(yōu)秀論文。
除此列表之外，還有一些優(yōu)秀的深度學習論文推薦列表，比如《Deep Vision》,《Awesome Recurrent neural networks》和《Deep Learning Papers Reading Roadmap》。其中《Deep Learning Papers Reading Roadmap》是一個適合深度學習初學者的論文推薦列表，包含了很多重要的論文，被很多深度學習的研究者所喜愛，但是想要讀完其中包含的所有論文還是有一定難度的。正如我在介紹中提到的一樣，任何應用領域的開創(chuàng)性工作都會讓我們受益匪淺。因此，我將介紹前一百篇深度學習論文，作為概述深度學習研究的起點。
入選論文的發(fā)表年份限于2012年至2016年間
每當一篇新的論文入選此列表(通常從《More Papers from 2016》選擇)，那么就會有另一篇論文被淘汰，確保始終只提供前100篇論文。（選擇淘汰論文的工作與選擇加入的工作同樣重要）
有一些沒有入選的重要論文，將會在《More than Top 100》中陳列
對于2012年前或者近六個月發(fā)表的論文，請參考《New Papers and Old papers》
按論文發(fā)表的時間：
<6 個月: 新論文（經(jīng)討論決定）
2016年 : 引用次數(shù)大于60次或者入選了《More Papers from 2016》
2015年 : 引用次數(shù)大于200次
2014年 : 引用次數(shù)大于400次
2013年 : 引用次數(shù)大于600次
2012年 : 引用次數(shù)大于800次
~2012年 : 舊論文（經(jīng)討論決定）
注意：我們優(yōu)先選擇學術(shù)領域而不是應用領域的開創(chuàng)性論文，入選的論文影響力相對較大，也更加適用于其他研究匱乏的學術(shù)領域，因此有些滿足評選標準的論文沒有被選中，而有些選中了。
論文集目前包括以下幾個分類：理解/泛化/遷移、最優(yōu)化/訓練技巧、無監(jiān)督學習/生成模型等十個子類，本篇文章只簡單對理解/泛化/遷移的論文進行介紹。
對于大型的機器學習任務，通常在訓練階段和應用階段會使用相似的模型。為了使特征提取更容易，我們愿意訓練一個相對復雜的模型，甚至是訓練幾個模型的集合。一旦這樣的集合模型訓練完成，使用一種叫做“壓縮”的技術(shù)把復雜模型的知識轉(zhuǎn)化到一個較小的模型中以便應用模型使用。Caruana曾經(jīng)提出過一種將一個大的模型集合轉(zhuǎn)化為小的單一模型的方法，來自谷歌的Geoffrey Hinton, Oriol Vinyals和Jeff Dean三位技術(shù)專家合著了《Distilling the knowledge in a neural network 》，他們改善了Caruana的方法，應用了一種不同的壓縮方法并在MNIST數(shù)據(jù)集上取得了驚人的成績。論文表明，把集合模型中的知識 “壓縮” 到單一模型中可以顯著地改善一種頻繁使用的商業(yè)系統(tǒng)的聲學模型。
[1]Distilling the knowledge in a neural network (2015), G. Hinton et al. [pdf]
深度神經(jīng)網(wǎng)絡 (DNN) 在分類圖片物體的問題上達到了近乎人類的程度，很多人會有疑問，計算機視覺和人類視覺究竟有何不同？ Anh Nguyen, Jason Yosinski和 Jeff Clune在《Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images 》一文中提出了DNN和人類視覺的差異，文章認為，在面對人類完全不能辨認的圖片時，DNN很容易被糊弄。文中通過進化算法或者梯度下降方法來處理圖片，實驗顯示，即使對于人類無法辨別的圖片，DNN依然能夠呈現(xiàn)很高的置信度。其中，處理過后的MNIST數(shù)據(jù)集，DNN的辨別置信度達到了99%，而辨別ImageNet數(shù)據(jù)集的置信度則相對較低些。
很多深度神經(jīng)網(wǎng)絡在分類自然圖片時都表現(xiàn)出了同一種奇怪的現(xiàn)象，它們在第一層網(wǎng)絡層學習的特征與Gabor 濾波器和Color blobs很像，無論選擇怎樣的數(shù)據(jù)集和損失函數(shù)，似乎這樣的第一層特征都會出現(xiàn)，具有普遍性。另外，我們知道訓練的網(wǎng)絡最后一層的特征與選擇的數(shù)據(jù)集和訓練任務緊密相關(guān)，具有特殊性。網(wǎng)絡層的特征在訓練過程中會由一般轉(zhuǎn)變?yōu)樘厥猓悄壳斑@種轉(zhuǎn)變過程還沒有研究的很透徹。由Jason Yosinski, Jeff Clune, Yoshua Bengio和Hod Lipson合著的《How transferable are features in deep neural networks? 》通過實驗量化了深度卷積神經(jīng)網(wǎng)絡每一層中的神經(jīng)元的普遍性和特殊性。實驗表明，有兩個因素會造成遷移特征的性能下降：高層特征本身的特殊性；由于在協(xié)同工作的相鄰網(wǎng)絡層之間進行分割造成的優(yōu)化困難。另外，實驗觀察了這兩個因素在不同遷移方式下的表現(xiàn)，量化了因訓練任務不同而改變的遷移差異性變化，結(jié)果表明，即使是從完全不同的訓練任務遷移過來的特征，表現(xiàn)的性能都要優(yōu)于隨機設置權(quán)重的網(wǎng)絡。另外，實驗表明，即使是進行微調(diào)參，使用遷移的特征還是可以提高泛化性能，這可以作為提高深度神經(jīng)網(wǎng)絡性能的有效手段。
[3]How transferable are features in deep neural networks? (2014), J. Yosinski et al. [pdf]
已有研究表明從卷積神經(jīng)網(wǎng)絡中提取出的通用描述符是非常有用的，從CNN網(wǎng)絡中學習到的通用特征，可以成功應用于其他的識別任務。《CNN Features off-the-shelf: an Astounding Baseline for Recognition》再次證明了這一點，論文作者Ali Sharif Razavian等進行了一系列實驗，使用已有的OverFeat網(wǎng)絡加上簡單的分類器SVM，來處理不同種類的識別任務，包括物體對象識別，場景識別，精細分類，屬性檢測，圖像檢索，OverFeat+SVM在這些任務上都表現(xiàn)出了非常優(yōu)異的性能。結(jié)果表明，卷積網(wǎng)絡獲得的特征可作為大多數(shù)視覺識別任務的首選。
CNN模型的訓練過程，相當于在擁有大量標簽過的圖片樣本的情況下，估算百萬個參數(shù)的值。CNN的這一性質(zhì)使得它無法在訓練數(shù)據(jù)有限的情況下使用，由Maxime Oquab, Leon Bottou，Ivan Laptev，Josef Sivic等人合著的《Learning and transferring mid-Level image representations using convolutional neural networks 》展現(xiàn)了使用大規(guī)模標簽數(shù)據(jù)集和CNN模型訓練過的圖片表征，可以有效地應用到其他的視覺識別任務上。論文設計了一種方法，在ImageNet數(shù)據(jù)集訓練過的網(wǎng)絡層可以重用，用于計算PASCAL數(shù)據(jù)集的中層圖片表征。
來自紐約大學的Matthew D. Zeiler和Rob Fergus合著了《Visualizing and Understanding Convolutional Networks》，這篇論文解釋了為什么很多CNN模型在ImageNet上表現(xiàn)優(yōu)異并介紹了如何提升這些模型的性能。論文引入了一種新的可視化技術(shù)展示中間層特征函數(shù)和分類器的操作。可視化使得我們可以找到這些在ImageNet分類基準中比Krizhevsky模型表現(xiàn)更好的模型結(jié)構(gòu)。
[6]Visualizing and understanding convolutional networks (2014), M. Zeiler and R. Fergus [pdf]
對于一個大的, 固定的物體的識別任務，在全監(jiān)督學習中訓練過的深度卷積網(wǎng)絡的激勵層提取出來的特征，是否能夠在新的通用任務中再利用?《DeCAF: A Deep Convolutional Activation Feature for Generic Visual Recognition》一文討論了這個問題。論文中調(diào)查并可視化了不同任務的深度卷積特征的語義聚類，比較了不同網(wǎng)絡層次的效果來定義固定特征。報告的新成果明顯優(yōu)異于目前在視覺任務挑戰(zhàn)中表現(xiàn)的最優(yōu)水平。
本文介紹了列表中屬于理解/泛化/遷移領域的七篇引用次數(shù)最多的論文，對于其他類別的論文，請參考原文鏈接：https://github.com/terryum/awesome-deep-learning-papers#unsupervised--generative-models
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
