0
| 本文作者： 楊曉凡 | 編輯：郭奕欣 | 2018-04-13 09:45 | 專題：ICLR 2018 |
雷鋒網 AI 科技評論按：ICLR 2018 （International Conference on Learning Representations）于去年 10 月截至投稿后，論文評審已于今年 1 月結束，接收名單可以在 openreview.net 上查詢到。3 篇最佳論文的名單今天也于今天公布了。
此屆 ICLR 共收到 935 篇論文投稿，337 篇被接受為會議論文，接受率為 36%；其中 23 篇為 oral（口頭報告論文）、314 篇為 poster（海報展示論文）；另外還有 90 篇 workshop 論文。
作為人工智能領域最年輕的會議，ICLR 的成長速度可以說是飛快。ICLR 在 2013 年才舉辦了第一屆，以「表征學習以及在視覺、語音、音頻及 NLP 領域的作用」這一重要且熱門的課題為主旨，借著 OpenReview 評審機制以及 Yoshua Bengio 和 Yann LeCun 兩人的鼎力支持，到 2017 年舉辦第五屆時已經得到了學術研究者們的廣泛認可，被看作為「深度學習的頂級會議」。
在人工智能持續火熱的背景下，ICLR 的投稿數量也依然在迅猛增長，ICLR 2015、2016、2017 收到的投稿分別為 143 篇、超過 265 篇、490 篇，今年 ICLR 2018 繼續翻倍到了 935 篇。華盛頓大學計算機系教授 Pedro Domingos 都在推特上開玩笑說：「這已經成了深度學習界的摩爾定律了，ICLR 的投稿數目每年都要翻一倍。」
ICLR 2018 共評選出三篇最佳論文。
《On the Convergence of Adam and Beyond》
關于 Adam 等算法的收斂性的研究
作者：Sashank J. Reddi，Satyen Kale，Sanjiv Kumar ( 谷歌紐約 )
摘要：近期人們提出了許多種隨機優化方法，RMSProp、Adam、Adadelta、Nadam 等方法都是以之前步驟中的梯度平方的指數移動平均值的平方根為比例對梯度更新做縮放，然后成功應用在了深度神經網絡的訓練中。然而在許多應用中，比如具有很大輸出空間的學習任務中，研究人員們都已經實證地觀察到了這些算法無法收斂到一個最優解（或者無法在非凸場景下收斂到一個極值點）。在這篇論文中，作者們證明了算法出現這些問題的原因之一就是其中使用的指數移動平均值。作者們設置了一個簡單的凸優化場景作為例子，其中 Adam 無法收斂到最優解，然后結合以往對 Adam 算法的分析詳細描述了這個問題。作者們經過分析后認為，如果給這些算法增加對之前步驟中的梯度的「長期記憶」，就可以解決這個收斂性問題。作者們也一并提出了新的 Adam 算法變體，它不僅解決了收斂性問題，而且也可以在許多任務中提高實證表現。
《Spherical CNNs》
球面卷積神經網絡
作者：（三位并列一作）Taco S. Cohen ( 阿姆斯特丹大學 )，Mario Geiger ( 瑞士聯邦理工學院 )，Jonas K?hler ( 阿姆斯特丹大學 )，Max Welling ( 阿姆斯特丹大學 & CIFAR )
摘要：對于涉及到 2D 平面圖像的學習問題，卷積神經網絡（CNN）已經成為了默認選擇的方法。不過最近也有一些研究課題對于能夠處理球面圖像的模型產生了需求，比如無人機、機器人、自動駕駛汽車的全方位視覺問題，分子回歸問題，以及地球的天氣和氣候建模問題。簡單地把球面分布的信號投影到平面上，然后在上面應用卷積神經網絡的做法是肯定會失敗的，因為這種投影帶來的空間變化扭曲失真會讓共享變換權重不再有效。
在這篇論文中作者們介紹了構建球面 CNN 所需的基礎理論。作者們提出了一種球面互相關的定義，它不僅有良好的表達性，而且具有旋轉不變性。這種球面相關性可以滿足一般性的 Fourier 定理，也就使得我們可以使用一般性的（非交換的）快速 Fourier 變換（FFT）算法對其進行高效的計算。作者們也展現了把球面 CNN 用于 3D 模型識別和霧化能量回歸問題中的計算效率、數值精度以及有效性。
《Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments》
在非穩態和競爭性環境中通過元學習方法實現連續適應
作者：Maruan Al-Shedivat ( CMU )，Trapit Bansal ( 馬薩諸塞大學阿默斯特分校 )，Yura Burda、Ilya Sutskever、Igor Mordatch ( OpenAI )，Pieter Abbeel ( UC 伯克利 )
摘要：達成通用智能的其中一個重要里程碑，是掌握在非穩態環境中根據有限的經驗連續學習和適應的能力。在這篇論文中，作者們把持續適應的問題放在了「學習如何學習」（learning-to-learn）框架中進行研究。作者們開發了一個簡單的基于梯度的元學習算法，它適用于在動態變化以及對抗性的場景中進行適應。除此之外，作者們還設計了一個新的多智能體競爭環境 RoboSumo，并且定義了多種迭代適應游戲，用于測試連續適應的各個方面。作者們表明，基于元學習的方法要比基于小樣本學習思路設計的響應式基準模型的適應效率高得多。作者們對大批智能體進行的一系列學習、競爭實驗結果也顯現出基于元學習的學習者是適應能力最強的。
ICLR 2017 的三篇最佳論文如下，雷鋒網 AI 科技評論也編譯了其中兩篇的作者現場演講，感興趣的讀者可以點擊鏈接回顧。
《用半監督知識遷移解決深度學習中訓練隱私數據的問題》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data），演講者/論文一作：Nicolas Papernot
《通過遞歸實現神經編程架構通用化》（Making Neural Programming Architectures Generalize via Recursion）
《泛化——一個理解深度學習需要重新思考的問題》（Understanding deep learning requires rethinking generalization），演講者/論文一作：張馳原
ICLR 2018 正會將于 4 月 30 日到 5 月 3 日在加拿大溫哥華舉行，到時雷鋒網 AI 科技評論也將繼續帶來即時報道。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
專題
