0
| 本文作者： 高云河 | 編輯：楊曉凡 | 2018-08-16 15:24 | 專題：ICML 2018 |
雷鋒網(wǎng) AI 科技評論按：本篇屬于「頂會見聞系列」。每年這么多精彩的人工智能/機(jī)器學(xué)習(xí)會議，沒去現(xiàn)場的自然可惜，在現(xiàn)場的也容易看花眼。那么事后看看別的研究員的見聞總結(jié)，也許會有新的收獲呢。
曾在中科院自動化研究所模式識別國家重點(diǎn)實(shí)驗室實(shí)習(xí)的 Gautier Marti 現(xiàn)在是 NLP 量化分析研究員。機(jī)器學(xué)習(xí)+金融的研究人員對理論性較強(qiáng)的 ICML 有何感悟呢？雷鋒網(wǎng) AI 科技評論把他的個人博客文章全文編譯如下。本篇為下篇，共兩篇。上篇見 這里。
ICML 2018 的正會第二天由阿姆斯特丹大學(xué)機(jī)器學(xué)習(xí)研究主席 Max Welling 的以「每千瓦能量的智能」為標(biāo)題的會議報告開頭。他討論了物理和 AI 之間的聯(lián)系（比如能源，熵，信息，比特，最小可描述長度原理等），包括模型方面和能源成本方面。當(dāng)前的模型（如深度神經(jīng)網(wǎng)絡(luò)）需要大量的能量。從物理能量（建模）思想出發(fā)推導(dǎo)出深度學(xué)習(xí)的一個貝葉斯形式，能帶來（現(xiàn)實(shí)中）更能源高效的模型。最終這些事情都能一一連接起來。這里有一個他關(guān)于該主題的另一個報告，與 ICML 的這個報告相比有較大不同。
我參加了會議的以下 session，其中一些論文讓我印象很深刻：
生成模型（session 1）
Geometry Score: A Method For Comparing Generative Adversarial Networks（幾何分?jǐn)?shù)：一種比較生成對抗網(wǎng)絡(luò)的方法）
作者通過比較原始數(shù)據(jù)的流型和生成數(shù)據(jù)的流形的幾何性質(zhì)，構(gòu)建了一種新的 GAN（生成對抗網(wǎng)絡(luò)）的性能評價方法，為評估提供了定性和定量的手段。具體的說，為了研究數(shù)據(jù)流形，作者使用了拓?fù)鋽?shù)據(jù)分析（Topological Data Analysis），如一組在離散點(diǎn)云上進(jìn)行拓?fù)浞治龅姆椒ㄐ问剑▍⒁?Gunnar Carlsson 的這篇文章，深度介紹了 TDA；以及 GUDHI（Geometry Understaning in Higher Dimensions) github code）
排名與偏好學(xué)習(xí)（session 2A）
加速光譜排名（Accelerated Spectral Ranking)
問題：給定 n 項之間的成對或多項比較，目標(biāo)為要學(xué)習(xí)每項的分?jǐn)?shù)。這些分?jǐn)?shù)可以進(jìn)一步用于這些項目的排名。例如，在推薦系統(tǒng)中，目標(biāo)可能是通過觀察用戶在面對這些項目的不同子集時所做的選擇，來學(xué)習(xí)這些項目全部放在一起時的排名。在多路比較的情況下，有一種稱為 Luce 光譜排名的方法（LSR， Luce spectral ranking）， 它通過在 n 個項目的比較圖上構(gòu)建隨機(jī)游走（random walk，等效于一個馬爾科夫鏈）來解決問題。如果兩項之間存在成對或者多向比較的話，則該兩項之間有一條邊。構(gòu)造該隨機(jī)游走的目的是使得其靜止分布對應(yīng)于 MNL、BTL 模型的權(quán)重。作者提出了一種更快的算法來做到這一點(diǎn)。
該 session 的其他論文似乎也很有意思，但是我目前對這個領(lǐng)域并不是很熟悉，就不多加評論了。我可能會在最近嘗試一下這些方法。這里是 SQL-Rank: A Listwise Approach to Collaborative Ranking 的 github 地址。
監(jiān)督學(xué)習(xí)（session 2B）
監(jiān)督學(xué)習(xí)的 session 包含了很多機(jī)器學(xué)習(xí)的實(shí)踐者們非常關(guān)心的問題討論：在充滿噪聲的標(biāo)簽上學(xué)習(xí)；提高模型的實(shí)證收斂速度。后者可以通過課程設(shè)置學(xué)習(xí)（curriculum learning）來實(shí)現(xiàn)，即先使用簡單的樣本學(xué)習(xí)，然后逐漸增加樣本的難度。本 session 的論文似乎都能夠在很短的時間內(nèi)對工業(yè)界產(chǎn)生影響，論文的作者中有 Uber 的負(fù)責(zé)人 Raquel Urtasun 和 Google AI 的負(fù)責(zé)人李飛飛。
Curriculun Learning 的論文：
MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels.（MentorNet：在受損的標(biāo)簽上為非常深的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)驅(qū)動的課程學(xué)習(xí)）
Learning to Reweight Examples for Robust Deep Learning（學(xué)習(xí)重新為樣本設(shè)置權(quán)重，用于魯棒深度學(xué)習(xí)）， 非原作者 github
Dimensionality-Driven Learning with Noisy Labels（有噪聲的標(biāo)簽上的維度驅(qū)動學(xué)習(xí)），github
深度學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)架構(gòu)）（session 3）
Extracting Automata from Recurrent Neural Networks Using Queries and Counterexamples（通過查詢與反例從 RNN 中抽取自動機(jī)），對于那些經(jīng)過理論計算機(jī)科學(xué)和深度學(xué)習(xí)訓(xùn)練的人來說，這篇論文應(yīng)該是非常有趣的。
Autoregressive Convolutional Neural Networks for Asynchronous Time Series（用于異步時間序列的自回歸卷積神經(jīng)網(wǎng)絡(luò)），github。這是我們的論文，是一個自回歸模型，其權(quán)重是非線性的，可以處理異步多變量時間序列。對于一個應(yīng)用的例子，想象經(jīng)銷商在場外交易市場中提供報價：這些報價到達(dá)的時間隨機(jī)（或多或少與經(jīng)銷商有些關(guān)系），報價可能存在一些偏差和方差（bias and variance)，同時在轉(zhuǎn)給其他經(jīng)銷商時可能有一些滯后。該模型旨在捕捉這些關(guān)系，并且主網(wǎng)絡(luò)的權(quán)重允許對這些經(jīng)銷商之間的關(guān)系（超前-滯后）進(jìn)行一些解釋和可視化。我們可以將這項工作推廣到其他計量經(jīng)濟(jì)模型。
正會會場之外，JP Morgan 也在自己的展臺上展示了自己的深度對沖方法。
ICML 正會第三天開場的是 Ronan Collobert 與 Jason Weston 的 ICML 2008 論文《A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning》（一個自然語言處理的統(tǒng)一架構(gòu)：多任務(wù)學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)）獲得「時間檢驗獎」的演講。在 這里 可以看到 10 年前作者們的一些討論以及當(dāng)時是否被接受。我沒能現(xiàn)場聽到他們的演講，因為斯德哥爾摩的城際列車被停運(yùn)了。
我參加了這幾個 session：
時間序列分析（session 1）
遷移學(xué)習(xí)與多任務(wù)學(xué)習(xí)（session 2）
自然語言與語音處理（session 3）
一共有四個演講，三個是 Facebook 的研究員在講，還有一個是谷歌的人在講
（全文完。雷鋒網(wǎng) AI 科技評論的 ICML 報道參見 ICML 2018 斯德哥爾摩開幕，公平性研究戴上光環(huán)，金句頻出，16位大神在ICML上展開了一場機(jī)器學(xué)習(xí)的Great Debates）
via Gautier Mari's Wander，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
