1
雷鋒網(wǎng) AI 科技評論按：因為AlphaGo而名聲大噪的人工智能公司DeepMind近期發(fā)表了一篇論文介紹自己在神經(jīng)網(wǎng)絡的解釋性問題上最新探索。論文被ICML接受后，DeepMind的研究員們又寫了一篇通俗的介紹文章讓更多的人理解他們的方法和效果。
以下為雷鋒網(wǎng) AI 科技評論對DeepMind介紹文章的翻譯。
人類已經(jīng)教會了深度神經(jīng)網(wǎng)絡做許多驚人的事情，從識別和推理圖像中的物體，到在Atari游戲和圍棋中發(fā)揮出超越人類的水平，不一而足。隨著神經(jīng)網(wǎng)絡的結構和所做的任務變得越來越復雜，神經(jīng)網(wǎng)絡學到的解題方法也越來越難以被人類理解。
人們把這個問題稱作“黑箱”。隨著神經(jīng)網(wǎng)絡越來越多地參與解決現(xiàn)實世界中的問題，解決這個黑箱問題也變得越發(fā)重要。
為了能夠了解和解釋這些神經(jīng)網(wǎng)絡系統(tǒng)，DeepMind的研究人員們一直在探索新的工具和方法。最近ICML就收錄了一篇來自DeepMind的論文，文中他們提出了一種新的、來自認知心理學的方法，來理解深度神經(jīng)網(wǎng)絡。認知心理學通過對行為的測量來推測認知過程的機理，有許多的認知心理學論文詳細解釋了這些機理，同時介紹了許多驗證機理的實驗方法。隨著最新的神經(jīng)網(wǎng)絡在特定任務上達到人類水平，認知心理學的方法就能對解決黑箱問題起到不小幫助。
DeepMind在論文中研究了一個具體案例來展現(xiàn)觀點，他們設計了一個闡明人類的認知過程的實驗，用來對比幫助理解深度神經(jīng)網(wǎng)絡如何解決圖像分類任務。
結果是，認知科學家在人類身上觀察到的行為，在這些深度神經(jīng)網(wǎng)絡中也能觀察到。更進一步地，人們可以從這些結果中深入理解神經(jīng)網(wǎng)絡是如何解決圖像分類任務的，這些理解不僅很有用，而且還令人驚訝。總的來說，這項案例研究的成功展現(xiàn)出了用認知心理學方法理解深度學習系統(tǒng)的潛力。
在DeepMind的案例研究中，他們思考了這樣一個問題：人類小孩是如何識別并分類物體的，這個問題也在發(fā)展認知心理學中得到了豐富研究。小孩有從單個例子猜測單詞意思的能力，人們稱作“一次性詞匯學習”，這種能力非常容易獲得，人們也往往以為這個過程非常簡單。然而，哲學家Willard Van Orman Quine提出過一個經(jīng)典思想實驗，展示出了這個過程到底有多復雜：
一位實地語言學家前去體驗另一種文化，這種文化中使用的語言和他以前使用的完全不一樣。這位語言學家就需要找肯幫忙的當?shù)厝私趟恍﹩卧~。當有一只兔子跑過的時候，當?shù)厝苏f“gavagai”，語言學家就要猜當?shù)厝说倪@個詞是什么意思。對語言學家來說，這個詞可以指代的內(nèi)容有很多種，可能是兔子、動物、白色的東西、特指這只兔子，甚至是兔子身上單獨某個部位。實際上這個詞可以代指的意象是無窮多的，人類是如何在其中選中正確的那個的呢？
50年以后，面對著能夠做一次性詞匯學習的深度神經(jīng)網(wǎng)絡，同樣的問題又出現(xiàn)在了人們的眼前。拿DeepMind開發(fā)的“匹配網(wǎng)絡”舉例，這個模型中用到了注意力模型和記憶模型方面的近期發(fā)展，達到了僅憑單張分類示例就可以對ImageNet圖像進行分類的頂尖水平。但是我們并不知道網(wǎng)絡在給圖像分類的時候采取了怎樣的假設。
為了深入探究這個問題，DeepMind的研究人員參考了一些發(fā)展心理學方面的研究。這些心理學家們發(fā)現(xiàn)了小孩有歸納偏好的證據(jù)。這種偏好可以消除很多不正確的指代，從而讓他們找到正確的指代。這種偏好包括：
整個物體偏好，小孩會假定一個單詞指代的是整個物體而不是它的組成部分（消除了Quine對指代兔子身上單獨某個部位的擔心）
分類偏好，小孩會假定一個單詞指代的是一個物體所屬的基礎分類（消除了Quine對指代“全體動物”而不是“兔子”這個基礎含義的擔心）
形狀偏好，小孩會假定一個名詞的含義是根據(jù)物體的形狀而不是顏色或者紋理來確定的（消除了Quine對指代所有白色的東西而不是“兔子”這個具體對象的擔心）
DeepMind的研究人員測量了他們的神經(jīng)網(wǎng)絡的形狀偏好，這是因為人類形狀偏好的相關研究尤其多。
DeepMind的研究人員所用的經(jīng)典形狀偏好實驗是這樣進行的：給深度神經(jīng)網(wǎng)絡展示三個物體的照片，一個試驗物體、一個形狀匹配物體（跟試驗物體的形狀相同）、還有一個顏色匹配物體（跟試驗物體的顏色相同、形狀不同）。然后把形狀偏好定義為試驗物體和形狀匹配物體被網(wǎng)絡劃分為同一類的情況出現(xiàn)的比例，從而進行測量。
實驗中用到的圖像就是印第安納大學認知發(fā)展實驗室的人類實驗中所用的圖像。
DeepMind團隊用他們的深度神經(jīng)網(wǎng)絡（匹配網(wǎng)絡和一個基準Inception模型）進行了實驗，發(fā)現(xiàn)他們的網(wǎng)絡對物體形狀的偏好比顏色或者材質的偏好強得多，就像人類一樣。換句話說，它們確實有“形狀偏好”。
這種結果就表明，匹配網(wǎng)絡和Inception分類器中都用到對形狀的歸納偏好來消除錯誤的假設，讓研究者對這些網(wǎng)絡解決一次性詞匯學習的方法有了一個明確的了解。
除了形狀偏向，DeepMind團隊還發(fā)現(xiàn)了一些有意思的事情：
他們發(fā)現(xiàn)形狀偏好在網(wǎng)絡的早期訓練中逐漸出現(xiàn)。這讓人聯(lián)想到人類形狀偏好的出現(xiàn)：心理學家發(fā)現(xiàn)更小的小孩比大一些的小孩的形狀偏好要弱，成年人的形狀偏好最強烈。
他們發(fā)現(xiàn)選用不同的隨機種子做初始化和訓練會導致網(wǎng)絡的偏好程度也有所不同。這說明當研究深度學習系統(tǒng)并做出結論時，研究的樣本數(shù)量需要很大才行，就像心理學家已經(jīng)知道不能只研究單個對象就得出結論。
他們發(fā)現(xiàn)即便幾個網(wǎng)絡的形狀偏好有很大區(qū)別，它們的一次性詞匯學習表現(xiàn)卻都差不多，說明不同的網(wǎng)絡可以找到很多種同樣有效的方法解決復雜問題。
這種偏好在標準的神經(jīng)網(wǎng)絡架構中就存在，但以前沒有人認識到過。此次發(fā)現(xiàn)了這種偏好，表明了用人類創(chuàng)立的認知心理學闡釋神經(jīng)網(wǎng)絡解題方案的潛力。其它心理學領域的研究也有可能起到幫助，情景記憶文獻中的觀點可能可以幫助理解情景記憶架構，語義認知文獻中的方法可能可以幫助理解近期的概念形成模型，以上在內(nèi)的許多心理學領域都有豐富的文獻，很有可能會給人類帶來強有力的新工具，幫助解決“黑箱”的問題，也讓人類更好地理解神經(jīng)網(wǎng)絡的各種行為。
論文地址：https://arxiv.org/abs/1706.08606
via DeepMind Blog，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
