1
| 本文作者： 溫曉樺 | 2016-03-15 19:43 |
編者注：本文是在“人機大戰”AlphaGo 4:1 獲勝后，雷鋒網采編的《人類群星閃耀時》系列文章的第一篇。謹以此系列向在人工智能和深度學習領域做出了接觸貢獻的天才們致敬。
20世紀60年代的英國：杰夫·辛頓（Geoff Hinton）還在讀高中時，他的同學給他安利了一個說法：大腦的工作就像一張全息圖。他深以為然。
80年代初期：辛頓發起了雄心壯志的計劃——利用計算機硬件和軟件來模擬人類大腦，創建一個純粹的人工智能。
2006年：辛頓突破性地提出深度學習的概念，讓人工智能變成現實成為可能。
他是深度學習鼻祖杰夫·辛頓（Geoff Hinton），是反向傳播和對比發散訓練算法的共同發明人，當年高中基友的觀點看起來只是一個小小的啟示，但對他以及世界科技發展來說，卻是一個關鍵時刻——辛頓回憶起來時表示：“聽到那個觀點時，我真的很興奮。”沒錯，這就是后來深度學習的靈感來源。
三十年之間，深度學習的研究在學術界看來似乎是個異類。但現在，辛頓和他的深度學習團隊——包括紐約大學（NYU）教授、卷積網絡之父燕樂存（Yann LeCun）和加拿大蒙特利爾大學教授、機器學習大神本吉奧（ Yoshua Bengio），儼然稱為互聯網領域最星光熠熠的名字。辛頓是加拿大多倫多大學的教授，目前也有一部分時間為Google工作。在Google，他利用深度學習技術來提高語音識別，圖像識別等其他在線工具。樂存則就職于Facebook，做著相似的工作。是的，近年來人工智能突然在微軟、IBM、Facebook、百度等巨頭中風靡了起來。
本吉奧
20世紀50年代，數字神經網絡就被發明了出來，但計算機科學家花費了數十年來研究如何駕馭百萬乃至億級神經元之間那龐大到如天文數字一般的組合關系。這一過程的關鍵是要將神經網絡組織成為堆疊層（stacked layer）。一個相對來說比較簡單的任務就是人臉識別。當某神經網絡中的一組比特被發現能夠形成某種圖案——例如，一只眼睛——這一結果就會被向上轉移至該神經網絡的另一層以做進一步分析。接下來的這一層可能會將兩只眼睛拼在一起，將這一有意義的數據塊傳遞到層級結構的第三層，該層可以將眼睛和鼻子的圖像結合到一起來進行分析。識別一張人臉可能需要數百萬個這種節點，并需要堆疊高達15個層級。
60年代，當時正在劍橋大學學習心理學的本科生辛頓意識到，科學家并沒有真正理解大腦，他們并沒有完全了解十億神經元是如何學習或計算的，以及如何提升智力。而在辛頓看來，這些都是關乎1950年代人工智能研究夢想的大問題。受到當年高中那段對話的啟發，辛頓開始在劍橋大學和蘇格蘭愛丁堡大學探索神經網絡。
1978年，辛頓從愛丁堡獲得人工智能博士學位。80年代初期，辛頓發起了雄心壯志的計劃——利用計算機硬件和軟件來模擬人類大腦，創建一個純粹的人工智能——這是后人所稱的“深度學習”。
1989年，辛頓、燕樂存等人開始將1974年提出的標準反向傳播算法應用于深度神經網絡。當年，盡管算法可以成功執行，但計算代價非常巨大。那時的電腦性能還遠遠不能處理神經網絡需要的巨大數據集，神經網路的訓練時間達到3天，因而無法投入實際使用。與此同時，神經網絡也受到了其他更加簡單模型的挑戰，比如支持向量機等模型在20世紀90年代到21世紀初成為更加流行的機器學習算法。
為了解決這些問題，在1992年9月和1993年10月之間，辛頓撰寫了近200篇領域相關的文章，介紹他利用神經網絡進行學習，記憶，感知和符號處理方法的研究。
對如今來說最重要的創新之一是，辛頓是多層神經網絡訓練的最重要研究者之一，他在訓練“專家乘積”中最早提出單層RBM的訓練方法——對比分歧（contrast divergence，CD）。對比分歧提供了一種對最大似然的近似，被理想地用于學習受限玻爾茲曼機的權重。當單層RBM被訓練完畢后，另一層RBM可被堆疊在已經訓練完成的RBM上，形成一個多層模型。每次堆疊時，原有的多層網絡輸入層被初始化為訓練樣本。
燕樂存
也就是說，辛頓發明的訓練方法對50年代的數字神經網絡進行了極大的改進，因為它能夠從數學層面上優化每一層的結果從而使神經網絡在形成堆疊層時加快學習速度。
辛頓和樂存如今回憶起來，都表示這過程異常地艱難。事實是，直到2004年——距離辛頓第一次研究反向傳播算法神經網絡已經20年——學術界仍然對其毫無興趣。
同樣在2004年，在加拿大先進項目研究所（CIFAR）的微薄資金支持下，以及樂存和本吉奧的幫助下，辛頓建立了神經計算和自適應感知項目。
辛頓邀請了些計算機科學家、生物學家、電氣工程師、神經科學家、物理學家和心理學家，來開始他的模擬生物智能研究——模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應對它的環境。他們的成果，不僅證明了辛頓的研究的意義，也推動了世界人工智能的發展。
2006年開始，辛頓將畢生的研究成為“深度學習”，這一概念也從此逐漸受人關注。數年后，當深度學習算法被移植到GPU集群中后，其速度有了顯著提高。
也許僅靠深度學習的代碼并不足以產生復雜的邏輯思維，但是它是IBM的沃森電腦、Google搜索引擎以及Facebook算法等當下所有人工智能產品的主要組成部分，而結合了并行計算、大數據和更深層次算法的深度學習也讓匍匐前進60年的人工智能一鳴驚人。
圖片來源：wired
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
