0
| 本文作者： 大壯旅 | 2017-03-15 14:41 |
一直以來，計算機程序都是個“左耳進，右耳出”的“傻小子”，它們很快就會忘掉所做過的任務。DeepMind 決定改變傳統的學習法則，讓程序在學習新任務時也不忘掉舊任務。在追逐更智能程序的道路上，這是很重要的一步，能漸進學習的程序才能適應更多任務。
眼下，在解決文本翻譯、圖像分類和圖像生成等任務時，深度神經網絡是機器學習中最成功最有效的方式。不過，只有將數據一股腦地塞給它，深度神經網絡才能變得“多才多藝”。
神經網絡輸入時，它會在數字神經元與輸出方案之間建立聯系，而當它學習新事物時，神經網絡不得不重新建立新的聯系，同時有效覆蓋舊的聯系。這樣的情況被稱之為“災難性忘卻”（catastrophic forgetting），業內普遍認為這是阻礙神經網絡技術不斷進步的最大絆腳石。
與深度神經網絡相比，人類大腦的工作方式就大不相同。我們可以漸進式的學習，一次掌握一些技巧，在學習新技巧時，此前的經驗還能提高我們的學習效率。
雷鋒網了解到，DeepMind 在美國國家科學院院刊（PNAS）上發表的論文就提出了一個解決“災難性忘卻”的有效方式，這一方法的靈感來自神經科學的研究成果，即人類和哺乳動物擁有鞏固先前獲得的技能和記憶的能力。
神經科學家已經能區分大腦中兩種類型的鞏固方式：系統鞏固（systems consolidation ）與突觸鞏固（synaptic consolidation）。系統鞏固的過程中，人類大腦將快速學習部分獲得的記憶轉印進了緩慢學習的部分。這一轉印過程有有意識的回憶參與，也有無意識回憶的參與，人類做夢時就能完成這一轉印過程。而在突觸鞏固中，如果一種技能在此前的學習中非常重要，神經元之間連接就不會被覆蓋。DeepMind 的算法就是沾了突觸鞏固的光，成功解決了“災難性忘卻”的問題。
神經網絡中神經元的連接與大腦非常相似，在學習完一個技巧后，DeepMind 會計算出在神經網絡中的哪個連接對已學到的任務最為重要。隨后在學習新技巧時，這些重要的連接就會被保護起來不被覆蓋。這樣一來，在計算成本沒有顯著升高的情況下，“左耳進，右耳出”的問題就解決了。
如果用數學術語來解釋，可理解為在一個新任務中把每個連接所附加的保護比作彈簧，彈簧的強度與其連接的重要性成比例。因此，DeepMind 將這種算法稱之為“彈性權重鞏固”（Elastic Weight Consolidation，EWC）。
為了測試該算法，DeepMind 讓程序不斷嘗試玩 Atari 游戲。據雷鋒網了解，單單從得分來學習一個游戲是一項具有挑戰性的任務，但是依次學習多個游戲則更加困難，因為每個游戲需要單獨的戰略。如下圖所示，如果沒有 EWC 算法，程序會在游戲停止后快速將之前的事忘得一干二凈（藍色），這就意味著其實程序什么游戲都沒學會。不過，如果用上 EWC 算法（棕色和紅色），程序就不那么容易遺忘，且可以逐個學會多個游戲。
眼下計算機程序還不能適應即時學習的節奏，不過 DeepMind 的新算法已經攻克了“災難性忘卻”這座大山。未來，這項研究結果可能是計算機程序通往靈活高效學習的敲門磚。
同時，這項研究也深化了 DeepMind 對“鞏固”在人類大腦中產生過程的理解。事實上，該算法所基于的神經科學理論都是在非常簡單的例子中得到證實的。通過將該理論應用在更現實和復雜的機器學習環境中，DeepMind 希望進一步加強對突觸鞏固在記憶保存中的作用及其機制的研究。
Via. DeepMind.com，雷鋒網編譯
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
