1
| 本文作者： 奕欣 | 2016-10-20 17:02 |
編者按：新手上路都會有一個疑問，如果自己沒有相關(guān)基礎(chǔ)，如何學(xué)習晦澀的專業(yè)知識？此前雷鋒網(wǎng)編譯了《從0到1：我是如何在一年內(nèi)無師自通機器學(xué)習的？》，這篇文章講述了 Per Harald Borgen 的自學(xué)歷程。而關(guān)于深度學(xué)習，GitHub的 songrotek 同樣有話要說。原文名為《Deep Learning Papers Reading Roadmap》，雷鋒網(wǎng)奕欣及老呂IO整理編譯，未經(jīng)許可不得轉(zhuǎn)載。
0. 深度學(xué)習的“圣經(jīng)”
提到入門級的書，就不得不提這一本 Bengio Yoshua，Ian J. Goodfellow 和 Aaron Courville共同撰寫的《深度學(xué)習》（Deep Learning）。
“這本關(guān)于深度學(xué)習的教課書是一本為了幫助學(xué)生及從業(yè)者入門機器學(xué)習，并專注于深度學(xué)習領(lǐng)域的教材?！敝档靡惶岬氖牵@本 MIT 出版的“書”數(shù)年來一直在網(wǎng)上實時更新和完善，不斷補充研究成果和新的參考文獻，也向公眾開放評論，接受修改意見，其火爆程度甚至被譽為深度學(xué)習的“圣經(jīng)”。 目前該書可在亞馬遜預(yù)定，今年年底就會送到你手上。
《深度學(xué)習》閱讀網(wǎng)址：http://www.deeplearningbook.org/
1. 調(diào)研
Yann LeCun , Yoshua Bengio和Geoffrey Hinton被作者譽為深度學(xué)習界三大天王，他們所發(fā)布在 Nature上的“Deep Learning”包含了大量的研究和調(diào)查，五星推薦，值得一讀！
[1] http://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
2. 建立深度學(xué)習的知識網(wǎng)
作為 AI 領(lǐng)袖級人物，Geoffrey Hinton 目前就職于谷歌，而其與E., Simon Osindero和Yee-Whye The的代表作《A fast learning algorithm for deep belief nets》更是被奉為圭臬，不妨看看。
[2] http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf
此外，他還有一篇署名第一作者的《Reducing the dimensionality of data with neural networks》，可以說是深度學(xué)習的里程碑之作。
[3] http://www.cs.toronto.edu/~hinton/science.pdf
3. ImageNet 革命
當你讀完了上面的幾篇論文，相信你對深度學(xué)習也有了一個大致的了解。那么深度學(xué)習的突破點在哪呢？在 2012 年，Krizhevsky 的《Imagenet classification with deep convolutional neural networks》預(yù)示著神經(jīng)網(wǎng)絡(luò)的出現(xiàn)和發(fā)展有了突破性的研究進展。來不及了，趕緊上車吧，推薦指數(shù)五顆星。
[4] http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
而深度對于網(wǎng)絡(luò)有多重要？《Very deep convolutional networks for large-scale image recognition》是牛津大學(xué)視覺幾何組（VGG）Karen Simonyan 和 Andrew Zisserman 于 2014 年撰寫的論文，主要探討了深度對于網(wǎng)絡(luò)的重要性；并建立了一個 19層的深度網(wǎng)絡(luò)并獲得了很好的結(jié)果。該論文在 ILSVRC上定位第一，分類第二。
[5] https://arxiv.org/pdf/1409.1556.pdf
如果想要了解下神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是如何改進的，那一定得讀下這篇。Szegedy 和 Christian 都是當代著名的計算機科學(xué)家，他們曾在 2015 年合寫了《Going deeper with convolutions》，這篇論文是為 ImageNet2014 的比賽而作，論文中的方法獲得了比賽的第一名，包括 task1 分類任務(wù)和 task2 檢測任務(wù)。本文主要關(guān)注針對計算機視覺的高效深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，通過改進神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)達到不增加計算資源需求的前提下提高網(wǎng)絡(luò)的深度，從而達到提高效果的目的。
在第六屆 ImageNet 年度圖像識別測試中，微軟研究院的計算機圖像識別系統(tǒng)在幾個類別的測試中拔得頭籌，擊敗了谷歌、英特爾、高通、騰訊以及一些創(chuàng)業(yè)公司和學(xué)術(shù)實驗室的系統(tǒng)。微軟的獲勝系統(tǒng)名為“圖像識別的深度殘差學(xué)習”(Deep Residual Learning for Image Recognition)，由微軟研究員何愷明、張祥雨、任少卿和孫劍組成的團隊開發(fā)。因此，記錄這一團隊系統(tǒng)開發(fā)心得的《Deep Residual Learning for Image Recognition》絕對是學(xué)習必備啊，五星推薦。
[7] https://arxiv.org/pdf/1512.03385.pdf
4. 語音識別大法好
Hinton 與 Geoffrey 等技術(shù)專家合著的《Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups》是語音識別領(lǐng)域的巨大突破。它融合了四個小組利用深度神經(jīng)網(wǎng)絡(luò)和聲學(xué)建模完成語音識別的實例。
[8] http://cs224d.stanford.edu/papers/maas_paper.pdf
除了上面的幾篇論文，Geoffrey Hinton 大神 在《Speech recognition with deep recurrent neural networks》一文中也是思如泉涌，他向我們介紹了深度循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）在語音識別中的重要性。
[9] https://arxiv.org/pdf/1303.5778.pdf
想必我們對語音輸入并不陌生，但這是如何實現(xiàn)的呢？這篇名為《Towards End-To-End Speech Recognition with Recurrent Neural Networks》由 Graves、Alex 和多倫多大學(xué)教授 Navdeep Jaitly 共同撰寫。它向我們描述了一個無需中繼語音重構(gòu)的音頻轉(zhuǎn)文字識別系統(tǒng)。
[10] http://www.jmlr.org/proceedings/papers/v32/graves14.pdf
如果你要問谷歌語音識別系統(tǒng)之源是什么，那我一定會向你推薦這篇名為《Fast and accurate recurrent neural network acoustic models for speech recognition》的論文由 Sak 和 Hasim 等多位專家撰寫而成，它是谷歌語音識別系統(tǒng)的重要理論基礎(chǔ)之一。
[11] https://arxiv.org/pdf/1507.06947.pdf
百度近日公布了其硅谷人工智能實驗室（SVAIL）的一項新的研究成果，被稱為 Deep Speech 2。Deep Speech 通過使用一個單一的學(xué)習算法實現(xiàn)了準確識別英語和漢語的能力。這一成果就發(fā)表在論文《Deep speech 2: End-to-end speech recognition in english and mandarin》之中。
[12] https://arxiv.org/pdf/1512.02595.pdf
本月 18 日，微軟人工智能與研究部門的研究員和工程師發(fā)表了一篇名為《Achieving Human Parity in Conversational Speech Recognition》的論文。論文表明，微軟的對話語音識別技術(shù)在產(chǎn)業(yè)標準 Switchboard 語音識別基準測試中實現(xiàn)了詞錯率（word error rate, 簡稱WER）低至 5.9% 的好成績，首次達成與人類專業(yè)速記員持平，并且要優(yōu)于絕大多數(shù)人的表現(xiàn)。雷鋒網(wǎng)此前也有提及，詳情可點擊原文查看。同時，也刷新了自己的一個月前創(chuàng)造的 6.3% 的記錄。微軟首席語音科學(xué)家黃學(xué)東是這一研究的參與者之一。
[13] https://arxiv.org/pdf/1610.05256v1.pdf
讀完了上面推薦的論文，你一定對深度學(xué)習的歷史有了一個基本了解，其基本的模型架構(gòu)（CNN/RNN/LSTM）與深度學(xué)習如何應(yīng)用在圖片和語音識別上肯定也不在話下了。下一部分，我們將通過新一批論文，讓你對深度學(xué)習的方式與深度學(xué)習在不同領(lǐng)域的運用有個清晰的了解。由于第二部分的論文開始向細化方向延展，因此你可以根據(jù)自己的研究方向酌情進行選擇。
推薦閱讀：
微軟研究院新成果！對話語音識別水平超人類，錯誤率僅為 5.9 %
從0到1：我是如何在一年內(nèi)無師自通機器學(xué)習的？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
