重磅 | ICML 2017最佳論文公布！機(jī)器學(xué)習(xí)的可解釋性成熱點(diǎn)

雷鋒網(wǎng)消息，8月6日，機(jī)器學(xué)習(xí)領(lǐng)域最具影響力的學(xué)術(shù)會(huì)議之一的ICML 2017在澳大利亞悉尼正式開幕。當(dāng)天，除了舉行多場(chǎng)Tutorial外，ICML還在官網(wǎng)正式公布了本次會(huì)議的最佳論文評(píng)選結(jié)果。在前線雷鋒網(wǎng)AI科技評(píng)論的兩位編輯（張馳和劉芳平）第一時(shí)間為大家?guī)?lái)獲獎(jiǎng)?wù)撐牡膱?bào)道。

本屆ICML最佳論文的主題是，利用影響函數(shù)理解黑箱預(yù)測(cè)。機(jī)器學(xué)習(xí)中的一個(gè)關(guān)鍵問(wèn)題就是，系統(tǒng)為何做出某種預(yù)測(cè)？

我們不僅需要表現(xiàn)優(yōu)異的模型，更需要可解釋的模型。理解了模型如何做出決策，也就能進(jìn)一步改善它。更重要的是，要讓機(jī)器學(xué)習(xí)應(yīng)用于現(xiàn)實(shí)中的重要問(wèn)題，比如醫(yī)療診斷、做出決策、災(zāi)難響應(yīng)，我們就需要一個(gè)能被人類理解和信任的系統(tǒng)。只有這樣它才能有更多的應(yīng)用，畢竟誰(shuí)都不希望機(jī)器給出診斷結(jié)果和治療意見，但不給出具體原因。

雷鋒網(wǎng)了解到，可解釋性在機(jī)器學(xué)習(xí)中正變得越來(lái)越重要。巧合的是，在今天上午的一場(chǎng)tutorial中，Google Brain的研究科學(xué)家Been Kim也談到了機(jī)器學(xué)習(xí)的可解釋性。她還指出，除了應(yīng)用的角度，讓機(jī)器學(xué)習(xí)可解釋還能促進(jìn)它更公平地被使用。她認(rèn)為，機(jī)器學(xué)習(xí)這樣強(qiáng)大的工具不能僅被少數(shù)人理解和使用，而是應(yīng)該讓更多的人受益，成為人人可用的工具。

機(jī)器學(xué)習(xí)的可解釋性已經(jīng)有了不少的研究，但多數(shù)著重于解釋模型如何做預(yù)測(cè)，而這次的最佳論文提出的問(wèn)題是，如何解釋模型是從哪來(lái)的？這一研究通過(guò)模型的學(xué)習(xí)算法來(lái)追溯其預(yù)測(cè)，并上溯到了訓(xùn)練數(shù)據(jù)中。或許正是這種進(jìn)一步追溯根源的新的視角，才讓它獲得了最佳論文獎(jiǎng)。

值得一提的是，最佳論文的兩位作者都是華人。

Pang Wei Koh是來(lái)自新加坡的斯坦福大學(xué)在讀博士生。他此前在斯坦福獲得了計(jì)算機(jī)科學(xué)學(xué)士與碩士學(xué)位，并在斯坦福的AI實(shí)驗(yàn)室與吳恩達(dá)一同工作過(guò)。在2012年，他加入了吳恩達(dá)聯(lián)合創(chuàng)立的在線教育平臺(tái)Coursera，成為其第三位員工。在2016年他開始在斯坦福攻讀博士學(xué)位。

Percy Liang是斯坦福大學(xué)的助理教授，此前曾在MIT和UCB學(xué)習(xí)及做研究。他的研究大方向是機(jī)器學(xué)習(xí)與NLP，目前的研究重點(diǎn)是可信任的代理，這些代理能與人類進(jìn)行有效溝通，并通過(guò)互動(dòng)逐步改善。

ICML 2017最佳論文獎(jiǎng)

最佳：Understanding Black-box Predictions via Influence Functions

作者：Pang Wei Koh, Percy Liang

簡(jiǎn)介：如何解釋黑箱模型的預(yù)測(cè)呢？這篇論文利用影響函數(shù)（穩(wěn)健統(tǒng)計(jì)學(xué)中的經(jīng)典技術(shù)），通過(guò)學(xué)習(xí)算法跟蹤模型的預(yù)測(cè)并追溯到訓(xùn)練數(shù)據(jù)，從而確定對(duì)給定預(yù)測(cè)影響最大訓(xùn)練點(diǎn)。為了將影響函數(shù)擴(kuò)展到現(xiàn)代機(jī)器學(xué)習(xí)中，論文中設(shè)計(jì)了一個(gè)簡(jiǎn)單，高效的實(shí)現(xiàn)，僅需梯度oracle訪問(wèn)和Hessian矢量積。而且即使在非凸和非微分模型上，影響函數(shù)的近似值算法仍然可以提供有價(jià)值的信息。在線性模型和卷積神經(jīng)網(wǎng)絡(luò)中，論文中也證明，影響函數(shù)可用于理解模型行為，調(diào)試模型，檢測(cè)數(shù)據(jù)集錯(cuò)誤，甚至是生成視覺上無(wú)法區(qū)分的訓(xùn)練集攻擊。

論文下載：https://arxiv.org/pdf/1703.04730.pdf

榮譽(yù)獎(jiǎng)（Honorable Mentions）

論文：Lost Relatives of the Gumbel Trick

作者：Matej Balog, Nilesh Tripuraneni, Zoubin Ghahramani, Adrian Weller

簡(jiǎn)介：Gumbel是從離散概率分布中抽樣或估計(jì)其規(guī)格化配分函數(shù)的方法，它會(huì)以特定方式重復(fù)地對(duì)分布進(jìn)行隨機(jī)擾動(dòng)，每次解決最可能的配置。論文中得出了一系列相關(guān)方法，其中包括Gumbel，這些新方法在幾種情況下具有優(yōu)異的屬性，同時(shí)僅需最小的額外計(jì)算成本。特別的，要讓Gumbel在離散圖模型中產(chǎn)生計(jì)算優(yōu)勢(shì)，Gumbel擾動(dòng)通常會(huì)被低秩擾動(dòng)（low-rank perturbation）取代。而論文中的一種新方法，可以為Gibbs分布生成一系列連續(xù)抽樣器。論文最后還展示了，Gumbel的簡(jiǎn)單的解析形式如何得到額外的理論成果。

論文下載：https://arxiv.org/pdf/1706.04161.pdf

論文：Modular Multitask Reinforcement Learning with Policy Sketches

作者：Jacob Andreas, Dan Klein, Sergey Levine

簡(jiǎn)介：論文描述了一個(gè)以策略草圖（policy sketches）為指導(dǎo)的多任務(wù)深度增加學(xué)習(xí)框架。草圖使用指定的子任務(wù)序列注釋任務(wù)，提供關(guān)于任務(wù)之間的高級(jí)結(jié)構(gòu)關(guān)系的信息，但沒有如何實(shí)現(xiàn)的信息。為了從草圖中學(xué)習(xí)，論文中提出了一個(gè)將每個(gè)子任務(wù)與模塊化子策略相關(guān)聯(lián)的模型，并通過(guò)在共享子策略之間綁定參數(shù)，共同最大限度地提高對(duì)完整任務(wù)特定策略的回報(bào)。論文中在三種環(huán)境中評(píng)估了方法的有效性，包括離散和連續(xù)控制環(huán)境，以及僅在完成一些高級(jí)子目標(biāo)之后才能獲得稀少獎(jiǎng)勵(lì)的情況。實(shí)驗(yàn)表明，用論文中的方法學(xué)習(xí)草圖指導(dǎo)的策略，比現(xiàn)有的學(xué)習(xí)特定任務(wù)策略或共享策略的技術(shù)表現(xiàn)更好。

論文下載：https://arxiv.org/pdf/1611.01796

論文：A Unified Maximum Likelihood Approach for Estimating Symmetric Properties of Discrete Distributions

作者：Jayadev Acharya, Hirakendu Das, Alon Orlitsky, Ananda Suresh

論文下載：http://people.ece.cornell.edu/acharya/papers/pml-opt.pdf

ICML 2017 “時(shí)間考驗(yàn)”獎(jiǎng)（Test of Time Award）

最佳：Combining Online and Offline Knowledge in UCT

作者：Sylvain Gelly and David Silver

簡(jiǎn)介：UCT算法使用基于樣本的搜索在線學(xué)習(xí)值函數(shù)。 TD（λ）算法可以離線學(xué)習(xí)一個(gè)價(jià)值函數(shù)，用于策略分配。我們考慮了在UCT算法中組合離線和在線值函數(shù)的三種方法。首先，在Monte-Carlo模擬中，離線值函數(shù)被用作默認(rèn)策略。其次，UCT值函數(shù)與快速在線估計(jì)的行動(dòng)值（action value）相結(jié)合。第三，離線值函數(shù)用作UCT搜索樹中的先驗(yàn)知識(shí)。我們?cè)? x 9 Go GnuGo 3.7.10中評(píng)估這些算法。第一種算法比隨機(jī)模擬策略優(yōu)于UCT，但令人驚訝的是，比更弱的手工模擬策略更差。第二種算法完全勝過(guò)UCT。第三種算法勝過(guò)擁有人工先驗(yàn)知識(shí)的UCT。我們將這些算法結(jié)合在MoGo中，它是世界上最強(qiáng)大的9 x 9 Go程序。每種技術(shù)都顯著提高了MoGo的發(fā)揮力度。

論文下載：http://suo.im/2Ki4I

榮譽(yù)獎(jiǎng)

論文：Pegasos: Primal estimated sub-gradient solver for SVM

作者：Shai Shalev-Shwartz, Yoram Singer, Nathan Srebro

簡(jiǎn)介：我們描述和分析了一個(gè)簡(jiǎn)單有效的隨機(jī)子梯度下降算法，用于解決支持向量機(jī)（SVM）提出的優(yōu)化問(wèn)題。我們證明獲得精度εε求解所需的迭代次數(shù)為?（1 /ε）O?（1 /ε），其中每次迭代在單個(gè)訓(xùn)練樣本上運(yùn)行。相比之下，先前對(duì)SVM的隨機(jī)梯度下降法的分析需要Ω（1 /ε2）Ω（1 /ε2）迭代。如先前設(shè)計(jì)的SVM求解器，迭代次數(shù)也以1 /λ線性縮放，其中λ是SVM的正則化參數(shù)。對(duì)于線性內(nèi)核，我們的方法的總運(yùn)行時(shí)間是?（d /（λε））O?（d /（λε）），其中d是每個(gè)示例中非零特征數(shù)量的約束。由于運(yùn)行時(shí)間不直接取決于訓(xùn)練集的大小，因此得到的算法特別適合于從大型數(shù)據(jù)集學(xué)習(xí)。我們的方法也擴(kuò)展到非線性內(nèi)核，同時(shí)僅基于原始目標(biāo)函數(shù)，盡管在這種情況下，運(yùn)行時(shí)確實(shí)依賴于訓(xùn)練集大小。我們的算法特別適用于大文本分類問(wèn)題，在這些問(wèn)題中，我們展示了超過(guò)以前的SVM學(xué)習(xí)方法的數(shù)量級(jí)加速。

論文下載：http://suo.im/2kC6PR

論文：A Bound on the Label Complexity of Agnostic Active Learning）

作者：Steve Hanneke

簡(jiǎn)介：我們研究了不可知PAC模型中基于池的主動(dòng)學(xué)習(xí)的標(biāo)簽復(fù)雜度。 具體來(lái)說(shuō)，我們得出了Balcan，Beygelzimer和Langford提出的A2算法所做的標(biāo)簽請(qǐng)求數(shù)量的一般界限（Balcan et al. , 2006）。 這代表了不可知PAC模型中標(biāo)簽復(fù)雜度的第一個(gè)非常重要的通用上限。

論文下載：http://suo.im/2wFVX3

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。