Twitter 又一力作：對(duì)Few-shot learning中的優(yōu)化進(jìn)行建模 | ICLR 2017

雷鋒網(wǎng)AI科技評(píng)論按：ICLR 2017 于4月24-26日在法國(guó)土倫舉行，雷鋒網(wǎng)AI科技評(píng)論的編輯們?cè)诜▏?guó)帶來(lái)一線報(bào)道。在這個(gè)深度學(xué)習(xí)會(huì)議舉辦之際，雷鋒網(wǎng)也將圍繞會(huì)議議程及論文介紹展開(kāi)一系列的覆蓋和專(zhuān)題報(bào)道，敬請(qǐng)期待。

據(jù)雷鋒網(wǎng)了解，這是一篇來(lái)自Twitter的研究員給ICLR 2017投遞的論文。目前論文已經(jīng)被錄用而且還獲得了ICLR委員會(huì)的高度評(píng)價(jià)。想知道研究員在論文中又提出了什么新的研究思路？或者ICLR委員會(huì)對(duì)這項(xiàng)工作的評(píng)價(jià)如何？那就趕緊跟隨小編來(lái)看看吧。

以下內(nèi)容是AI科技評(píng)論根據(jù)論文內(nèi)容進(jìn)行的部分編譯。

論文摘要

雖然當(dāng)下深度神經(jīng)網(wǎng)絡(luò)算法在大規(guī)模數(shù)據(jù)集上取得了巨大的成功，但是這類(lèi)算法在少量學(xué)習(xí)（Few-shot Learning）任務(wù)中的表現(xiàn)卻往往不如人意，這是因?yàn)樵谏倭繉W(xué)習(xí)任務(wù)中要求分類(lèi)器能夠在經(jīng)過(guò)每個(gè)類(lèi)別的少量樣本訓(xùn)練之后快速具備泛化能力。

現(xiàn)在大家通常都認(rèn)為，要使得一個(gè)基于梯度下降優(yōu)化算法的分類(lèi)器能具備較好的表現(xiàn)就需要在大量訓(xùn)練樣本上進(jìn)行多次訓(xùn)練迭代。而在本次的論文工作中，來(lái)自Twitter的研究員推出了基于LSTM的元學(xué)習(xí)模型（LSTM-based meta-learner model），該模型可以學(xué)習(xí)到精確的優(yōu)化算法來(lái)訓(xùn)練另外一個(gè)用于少量學(xué)習(xí)任務(wù)的神經(jīng)網(wǎng)絡(luò)分類(lèi)器。

• 圖1：該圖展示了元學(xué)習(xí)（Meta-learning）過(guò)程的一個(gè)示例。圖片分為兩大部分，上半部分的表示元訓(xùn)練集（Meta-train set），記為D_meta-train，其中包含有若干個(gè)灰色矩形框分別表示每一條樣本，而矩形框內(nèi)部又被虛線劃分為左右兩個(gè)部分，虛線左側(cè)的包含有訓(xùn)練集D_train，而虛線的右側(cè)包含有測(cè)試集D_test。該示例所展示的是一個(gè)5種分類(lèi)別的類(lèi)任務(wù)，其中在每一條樣本的訓(xùn)練集上都包含有5個(gè)類(lèi)別的樣例（每一類(lèi)分別被標(biāo)注為1-5），然后測(cè)試集中則包含有2個(gè)樣例用于評(píng)估模型。圖片下半部分的表示元測(cè)試集（Meta-train set），記為D_meta-test，它的定義方式與D_meta-train完全一致，但是D_meta-test包含有D_meta-train中沒(méi)有覆蓋到的類(lèi)別。此外，上圖中雖然沒(méi)有展示出來(lái)，但是數(shù)據(jù)集中還劃分了元驗(yàn)證集（Meta-validation set）用于確定模型中的超參數(shù)。

基于LSTM的元學(xué)習(xí)模型的參數(shù)化特性允許它針對(duì)在需要一定量更新的特定場(chǎng)景下學(xué)習(xí)合適的參數(shù)更新方式，同時(shí)也可以學(xué)習(xí)到那些分類(lèi)器網(wǎng)絡(luò)參數(shù)的通用初始化方式，從而加速分類(lèi)器的訓(xùn)練和擬合過(guò)程。

并且在論文中，研究員們還證明了這種元學(xué)習(xí)模式與用于少量學(xué)習(xí)的深度度量學(xué)習(xí)技術(shù)相比具有很強(qiáng)的競(jìng)爭(zhēng)力。

ICLR 委員會(huì)的定稿意見(jiàn)

該論文的作者提出了一種元學(xué)習(xí)模式來(lái)解決少量學(xué)習(xí)的問(wèn)題。論文中提到的算法非常有趣并且實(shí)驗(yàn)結(jié)果也非常具有說(shuō)服力。這是篇非常適合時(shí)宜的文章，它將在社區(qū)中受到廣泛的關(guān)注。三位評(píng)審員都給出了一致的意見(jiàn)——接受，而且其中兩位還顯得特別熱情。論文的作者也回復(fù)了其他一些對(duì)該論文持負(fù)面態(tài)度的審稿人所提出的疑問(wèn)。不過(guò)該論文還需要繼續(xù)完善以便把其中的更多細(xì)節(jié)闡述清楚?？偟膩?lái)說(shuō)，這篇論文已經(jīng)被接受了。

匿名審稿人3

這項(xiàng)工作提出了一個(gè)基于LSTM的元學(xué)習(xí)框架，該框架可以學(xué)習(xí)到優(yōu)化算法以用于訓(xùn)練其它的學(xué)習(xí)算法（這里是神經(jīng)網(wǎng)絡(luò)算法）。本文通篇都寫(xiě)得很好，并且主要材料的介紹也寫(xiě)得很清楚。本文的核心：繪制Robbins Monroe更新規(guī)則和LSTM更新規(guī)則之間的并行，并利用它來(lái)滿足少量學(xué)習(xí)的兩個(gè)主要目標(biāo)這一點(diǎn)非常有趣。

匿名審稿人2

這篇論文通過(guò)將隨機(jī)梯度下降法（SGD）的更新規(guī)則解釋為具有可訓(xùn)練參數(shù)的門(mén)控循環(huán)模型（Gated recurrent model），從而提出了一種全新的元學(xué)習(xí)方法。這個(gè)創(chuàng)意對(duì)于遷移學(xué)習(xí)（Transfer learning）的研究具有重要意義。論文的結(jié)構(gòu)清晰，但是在某些細(xì)節(jié)方面的描述還可以提升。

via Optimization as a Model for Few-Shot Learning

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。