圍觀騰訊 AI Lab 的4篇 ICML 入選論文 | ICML 2017

ICML是國際頂級的機(jī)器學(xué)習(xí)會議，它與NIPS一起，是機(jī)器學(xué)習(xí)與人工智能研究領(lǐng)域影響力極高的兩個主要會議。今年的ICML將于8月6-11日在澳大利亞悉尼召開，屆時雷鋒網(wǎng) AI 科技評論也將前往現(xiàn)場進(jìn)行報道。

作為國內(nèi)著名的人工智能研究機(jī)構(gòu)，騰訊 AI Lab 也有4篇論文入選了今年的 ICML。雷鋒網(wǎng) AI 科技評論對這4篇論文簡單介紹如下。

Efficient Distributed Learning with Sparsity

• 「高效的分布式稀疏學(xué)習(xí)」

• 論文作者：王佳磊（芝加哥大學(xué)），Mladen Kolar（芝加哥大學(xué)）, Nathan Srebro（豐田芝加哥技術(shù)研究院），張潼（騰訊 AI Lab）

• 論文簡介：論文中介紹了一種新穎、高效的分布式稀疏學(xué)習(xí)方法，數(shù)據(jù)可以隨機(jī)分配在多臺計(jì)算機(jī)中進(jìn)行學(xué)習(xí)。在所提方法的每一輪中，下屬工作計(jì)算機(jī)會根據(jù)其上的數(shù)據(jù)計(jì)算損失梯度，總計(jì)算機(jī)則會對一個偏移的 L1 正則化損失最小值問題求解。可以證明，在經(jīng)過一定數(shù)量的循環(huán)后，這個分布式方法的估計(jì)誤差可以達(dá)到中心化計(jì)算的同等水平，而循環(huán)數(shù)量僅僅與計(jì)算機(jī)數(shù)目的對數(shù)成正比，而且與問題中其它的參數(shù)無關(guān)。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML3-%E7%8E%8B%E4%BD%B3%E7%A3%8A.pdf 

Projection-free Distributed Online Learning in Networks

• 「無需投影的網(wǎng)絡(luò)中的在線分布式學(xué)習(xí)」
  

• 論文作者：張文鵬（清華大學(xué)計(jì)算機(jī)系），Peilin Zhao（螞蟻金服人工智能部），朱文武（清華大學(xué)計(jì)算機(jī)系“” 教授，IEEE、AAAS、SPIE Fellow），Steven C. H. Hoi（新加坡大學(xué)信息系統(tǒng)學(xué)院），張潼（騰訊 AI Lab）

• 論文簡介：條件梯度算法由于其應(yīng)對大規(guī)模機(jī)器學(xué)習(xí)問題時高效的特點(diǎn)，近幾年來重新成為了研究的熱門話題。然而，目前為止的研究都沒有考慮過在線分布式環(huán)境下的算法表現(xiàn)，這種情況下本地的計(jì)算量就很輕微。在這篇論文中，作者們提出了在線分布式狀況下的條件梯度算法，通過應(yīng)用簡單得多的線性優(yōu)化步驟，避免了算法副本中高成本的投影操作，填補(bǔ)了這一研究空白。作者們在所提的算法中加入了一個約束邊界，它是網(wǎng)絡(luò)大小和拓?fù)湫问降暮瘮?shù)，對于更小的圖或者連接狀況更好的圖，這個邊界就會越小。根據(jù)兩個真實(shí)的大規(guī)模數(shù)據(jù)集進(jìn)行的多類別分類任務(wù)實(shí)驗(yàn)表明了所提算法帶來的計(jì)算優(yōu)勢，并且驗(yàn)證了理論的約束邊界。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML-%E5%BC%A0%E6%96%87%E9%B9%8F.pdf 

GSOS: Gauss-Seidel Operator Splitting Algorithm for Multi-Term Nonsmooth Convex Composite Optimization

• 「GSOS：用于多項(xiàng)非平滑凸組合優(yōu)化問題的高斯 - 賽德爾算子分裂算法」

• 論文作者：沈力（騰訊 AI Lab），劉威（騰訊 AI Lab），Ganzhao Yuan（中山大學(xué)），Shiqian Ma（香港中文大學(xué)）

• 論文簡介：這篇論文中介紹了一種快速的“高斯 - 賽德爾”算子分裂算法（Gauss-Seidel Operator Splitting，GSOS），用于解決多項(xiàng)非平滑凸組合優(yōu)化問題；這種算法未來可以在機(jī)器學(xué)習(xí)、信號處理和統(tǒng)計(jì)中得到廣泛運(yùn)用。所提的 GSOS 算法繼承了高斯 - 賽德爾算法的優(yōu)點(diǎn)，能夠加速優(yōu)化過程，并且借助算計(jì)分裂技巧降低了計(jì)算復(fù)雜度。另外，作者們還開發(fā)了一種新技術(shù)來為GSOS算法建立全局收斂。具體來說，作者們首先重構(gòu)GSOS的迭代過程，通過應(yīng)用算子優(yōu)化理論讓它成為一個兩步的迭代算法。接下來，作者們基于這個兩步的迭代算法重構(gòu)建立了GSOS的收斂。最后，作者們應(yīng)用這種GSOS算法解決重疊群套索和圖引導(dǎo)稠套索問題。數(shù)值實(shí)驗(yàn)結(jié)果表明所提的GSOS算法在效率和有效性方面都比當(dāng)前最好的方法有提升。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML1-%E6%B2%88%E5%8A%9B-%E5%88%98%E5%A8%81.pdf 

Scaling Up Sparse Support Vector Machines by Simultaneous Feature and Sample Reduction

• 「同時降低特征和樣本數(shù)量，提高稀疏SVM的規(guī)模」

• 論文作者：張衛(wèi)忠（浙江大學(xué)計(jì)算機(jī)系），Bin Hong（密歇根大學(xué)），劉威（騰訊 AI Lab），Jieping Ye（密歇根大學(xué)），Deng Cai（浙江大學(xué)計(jì)算機(jī)系），Xiaofei He（浙江大學(xué)計(jì)算機(jī)系），Jie Wang（密歇根大學(xué)）

• 論文簡介：稀疏支持向量機(jī)（SVM）是一種常見的分類方法，它可以同時學(xué)習(xí)一組數(shù)量不多、解釋性強(qiáng)的特征并找到支持向量。這種方法在許多實(shí)際應(yīng)用中都取得了不錯的效果。然而，在樣本數(shù)量非常多、特征維度非常高的大規(guī)模問題中，求稀疏SVM仍然是一個有難度的問題。作者們注意到稀疏SVM會導(dǎo)致特征空間和樣本空間都出現(xiàn)稀疏性，從而提出了一種全新的方法，它基于對原始和雙重優(yōu)化SVM的精確估計(jì)，然后同時找到能夠確認(rèn)與輸出相關(guān)的支持向量和樣本。這樣，作者們就可以從訓(xùn)練過程中去掉已經(jīng)找到的非活動樣本和特征，從而在不降低正確率的前提下顯著降低內(nèi)存占用和計(jì)算成本。據(jù)作者們所知，所提的這種方法是第一個用于稀疏SVM的統(tǒng)計(jì)性特征和樣本削減方法。論文中分別基于生成的和真實(shí)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)（真實(shí)數(shù)據(jù)集例如包含大約2千萬樣本和3千萬特征的kddb數(shù)據(jù)集），結(jié)果表明所提的方法相比現(xiàn)有方法得到了明顯提升，而且所提的方法有若干數(shù)量級的速度提升。

• 論文地址：http://ai.tencent.com/ailab/media/publications/ICML2-%E5%BC%A0%E5%8D%AB%E5%BF%A0.pdf 

ICML 2017即將開幕，雷鋒網(wǎng) AI 科技評論會前往現(xiàn)場報道。CVPR 2017 和 ACL 2017中的精彩內(nèi)容也還在繼續(xù)，請繼續(xù)關(guān)注我們哦。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。