0
| 本文作者： AI研習(xí)社-譯站 | 2018-05-07 11:33 |
雷鋒網(wǎng)按：本文為雷鋒字幕組編譯的技術(shù)博客，原標(biāo)題NanoNets : How to use Deep Learning when you have Limited Data，作者Sarthak Jain。
翻譯 | 葉青 洪振亞 整理 | 吳璇
我覺(jué)得人工智能就像是去建造一艘火箭飛船。你需要一個(gè)巨大的引擎和許多燃料。如果你有了一個(gè)大引擎，但燃料不夠，那么肯定不能把火箭送上軌道；如果你有一個(gè)小引擎，但燃料充足，那么說(shuō)不定根本就無(wú)法成功起飛。所以，構(gòu)建火箭船，你必須要一個(gè)巨大的引擎和許多燃料。
深度學(xué)習(xí)（創(chuàng)建人工智能的關(guān)鍵流程之一）也是同樣的道理，火箭引擎就是深度學(xué)習(xí)模型，而燃料就是海量數(shù)據(jù)，這樣我們的算法才能應(yīng)用上。——吳恩達(dá)
使用深度學(xué)習(xí)解決問(wèn)題的一個(gè)常見(jiàn)障礙是訓(xùn)練模型所需的數(shù)據(jù)量。對(duì)大數(shù)據(jù)的需求是因?yàn)槟Ｐ椭杏写罅繀?shù)需要學(xué)習(xí)。
以下是幾個(gè)例子展示了最近一些模型所需要的參數(shù)數(shù)量：
深度學(xué)習(xí)模型的詳細(xì)信息
神經(jīng)網(wǎng)絡(luò)又名深度學(xué)習(xí)，是可以堆疊起來(lái)的層狀結(jié)構(gòu)（想想樂(lè)高）
深度學(xué)習(xí)只不過(guò)是大型神經(jīng)網(wǎng)絡(luò)，它們可以被認(rèn)為是流程圖，數(shù)據(jù)從一邊進(jìn)來(lái)，推理或知識(shí)從另一邊出來(lái)。
你可以拆分神經(jīng)網(wǎng)絡(luò)，把它拆開(kāi)，從任何你喜歡的地方取出推理。你可能沒(méi)有得到任何有意義的東西，但你依然可以這么做，例如Google DeepDream。
模型大小 ∝ 數(shù)據(jù)大小 ∝ 問(wèn)題復(fù)雜度
在所需的數(shù)據(jù)量和模型的大小之間有一個(gè)有趣的近乎線性的關(guān)系。 基本的推理是，你的模型應(yīng)該足夠大，以便捕捉數(shù)據(jù)中的關(guān)系（例如圖像中的紋理和形狀，文本中的語(yǔ)法和語(yǔ)音中的音素）以及問(wèn)題的具體細(xì)節(jié)（例如類別數(shù)量）。模型早期的層捕捉輸入的不同部分之間的高級(jí)關(guān)系（如邊緣和模式）。后面的層捕捉有助于做出最終決策的信息，通常能夠幫助在想要的輸出間進(jìn)行區(qū)分。因此，如果問(wèn)題的復(fù)雜性很高（如圖像分類），參數(shù)數(shù)量和所需數(shù)據(jù)體量也非常大。
AlexNet在每一步能夠看到什么
遷移學(xué)習(xí)來(lái)解圍！
在處理一個(gè)您的特定領(lǐng)域的問(wèn)題時(shí)，通常無(wú)法找到構(gòu)建這種大小模型所需的數(shù)據(jù)量。 然而，訓(xùn)練一個(gè)任務(wù)的模型捕獲數(shù)據(jù)類型中的關(guān)系，并且可以很容易地再用于同一個(gè)領(lǐng)域中的不同問(wèn)題。 這種技術(shù)被稱為遷移學(xué)習(xí)。
轉(zhuǎn)移學(xué)習(xí)就像沒(méi)有人試圖保留但卻保存的最好的秘密一樣。 業(yè)內(nèi)人人都知道，但外界沒(méi)有人知道。
Google 趨勢(shì)機(jī)器學(xué)習(xí) vs 深度學(xué)習(xí) vs 遷移學(xué)習(xí)
參考Awesome?—?Most Cited Deep Learning Papers，看看深度學(xué)習(xí)中的頂級(jí)論文： 引用最多的深度學(xué)習(xí)論文，超過(guò)50％的論文使用某種形式的轉(zhuǎn)移學(xué)習(xí)或預(yù)訓(xùn)練。 轉(zhuǎn)移學(xué)習(xí)變得越來(lái)越適用于資源有限（數(shù)據(jù)和計(jì)算）的人們，但不幸的是，這個(gè)想法還沒(méi)有得到應(yīng)有的社會(huì)化。 最需要它的人還不知道它。
如果深度學(xué)習(xí)是圣杯，數(shù)據(jù)是守門人，轉(zhuǎn)移學(xué)習(xí)是關(guān)鍵。
通過(guò)轉(zhuǎn)移學(xué)習(xí)，我們可以采用已經(jīng)在大型現(xiàn)成數(shù)據(jù)集上訓(xùn)練好的預(yù)訓(xùn)練模型（在完全不同的任務(wù)上進(jìn)行訓(xùn)練，輸入相同但輸出不同）。 然后嘗試查找輸出可重復(fù)使用特征的圖層。 我們使用該層的輸出作為輸入特征來(lái)訓(xùn)練需要更少參數(shù)的小得多的網(wǎng)絡(luò)。 這個(gè)較小的網(wǎng)絡(luò)已經(jīng)從預(yù)訓(xùn)練模型了解了數(shù)據(jù)中的模式，現(xiàn)在只需要了解它與你特定問(wèn)題的關(guān)系。 貓咪檢測(cè)模型可以被重利用于梵高作品重現(xiàn)的模型就是這樣訓(xùn)練的。
使用轉(zhuǎn)移學(xué)習(xí)的另一個(gè)主要優(yōu)勢(shì)是模型的泛化效果很好。 較大的模型傾向于過(guò)度擬合數(shù)據(jù)（即對(duì)數(shù)據(jù)進(jìn)行建模而不是對(duì)潛在的現(xiàn)象建模），并且在對(duì)未見(jiàn)數(shù)據(jù)進(jìn)行測(cè)試時(shí)效果不佳。 由于轉(zhuǎn)移學(xué)習(xí)允許模型看到不同類型的數(shù)據(jù)，因此它更好地學(xué)習(xí)了世界的基本規(guī)則。
把過(guò)擬合看做是記憶而不是學(xué)習(xí)。——?James Faghmous
由于遷移學(xué)習(xí)導(dǎo)致的數(shù)據(jù)減少
假設(shè)想結(jié)束藍(lán)黑禮服vs白金禮服的爭(zhēng)論。你開(kāi)始收集驗(yàn)證的藍(lán)黑禮服和白金禮服的圖像。如果想自己建立一個(gè)像上文提到的那樣精確的模型（有140百萬(wàn)個(gè)參數(shù)）。為了訓(xùn)練這個(gè)模型，你需要找到120萬(wàn)張圖像，這是一個(gè)不可能完成的任務(wù)。 所以可以試試遷移學(xué)習(xí)。
計(jì)算一下使用遷移學(xué)習(xí)解決該問(wèn)題所需要的參數(shù)數(shù)量：
參數(shù)數(shù)量 = [輸入大小 + 1] * [輸出大小 + 1]
= [2048+1]*[1+1]~ 4098 個(gè)參數(shù)
我們看到參數(shù)數(shù)量從1.4×10?減少到4×103，這是5個(gè)數(shù)量級(jí)。 所以我們要收集不到一百個(gè)連衣裙的圖像，這樣應(yīng)該還好。唷！
如果你不耐煩，等不及要找出衣服的實(shí)際顏色，向下滾動(dòng)，看看如何建立自己的禮服模型。
· · ·
轉(zhuǎn)移學(xué)習(xí)的分步指南——使用與情感分析相關(guān)的實(shí)例
在這個(gè)實(shí)例中我們有72個(gè)電影評(píng)論
1、62個(gè)沒(méi)有分配情緒，這些將被用于預(yù)先模型
2、8個(gè)分配了情緒，它們將被用于訓(xùn)練模型
3、2個(gè)分配了情緒，它們將被用于測(cè)試模型
由于我們只有8個(gè)有標(biāo)記的句子（那些有感情相關(guān)的句子），我們首先直接訓(xùn)練模型來(lái)預(yù)測(cè)上下文。 如果我們只用8個(gè)句子訓(xùn)練一個(gè)模型，它會(huì)有50％的準(zhǔn)確率（50％如同用拋硬幣進(jìn)行決策）。
為了解決這個(gè)問(wèn)題，我們將使用轉(zhuǎn)移學(xué)習(xí)，首先在62個(gè)句子上訓(xùn)練一個(gè)模型。 然后，我們使用第一個(gè)模型的一部分，并在其基礎(chǔ)上訓(xùn)練情感分類器。 使用8個(gè)句子進(jìn)行訓(xùn)練，并在剩下的2個(gè)句子上進(jìn)行測(cè)試時(shí)，模型會(huì)產(chǎn)生100％的準(zhǔn)確率。
步驟一
我們將訓(xùn)練一個(gè)對(duì)詞語(yǔ)之間的關(guān)系進(jìn)行建模的網(wǎng)絡(luò)。將句子中的一個(gè)詞語(yǔ)傳遞進(jìn)去，并嘗試預(yù)測(cè)該詞語(yǔ)出現(xiàn)在同一個(gè)句子中。在下列的代碼中嵌入的矩陣大小為vocabulary x embedding_size，其中存儲(chǔ)了代表每個(gè)詞語(yǔ)的向量（這里的大小為“4”）。
Github地址: https://gist.github.com/sjain07/98266a854d19e01608fa13d1ae9962e3#file-pretraining_model-py
步驟二
我們會(huì)對(duì)這個(gè)圖標(biāo)進(jìn)行訓(xùn)練，讓相同上下文中出現(xiàn)的詞語(yǔ)可以獲得類似的向量表征。我們會(huì)對(duì)這些句子進(jìn)行預(yù)處理，移除所有停止詞并標(biāo)記他們。隨后一次傳遞一個(gè)詞語(yǔ)， 盡量縮短該詞語(yǔ)向量與周邊詞語(yǔ)之間的距離，并擴(kuò)大與上下文不包含的隨機(jī)詞語(yǔ)之間的距離。
Github地址:https://gist.github.com/sjain07/3e9ef53a462a9fc065511aeecdfc22fd#file-training_the_pretrained_model-py
步驟三
隨后我們會(huì)試著預(yù)測(cè)句子索要表達(dá)的情緒。目前已經(jīng)有10個(gè)（8個(gè)訓(xùn)練用，2個(gè)測(cè)試用）句子帶有正面和負(fù)面的標(biāo)簽。由于上一步得到的模型已經(jīng)包含從所有詞語(yǔ)中習(xí)得的向量，并且這些向量的數(shù)值屬性可以代表詞語(yǔ)的上下文，借此可進(jìn)一步簡(jiǎn)化情緒的預(yù)測(cè)。
此時(shí)我們并不直接使用句子，而是將句子的向量設(shè)置為所含全部詞語(yǔ)的平均值（這一任務(wù)實(shí)際上是通過(guò)類似LSTM的技術(shù)實(shí)現(xiàn)的）。句子向量將作為輸入傳遞到網(wǎng)絡(luò)中，輸出結(jié)果為內(nèi)容為正面或負(fù)面的分?jǐn)?shù)。我們用到了一個(gè)隱藏的中間層，并通過(guò)帶有標(biāo)簽的句子對(duì)模型進(jìn)行訓(xùn)練。如你所見(jiàn)，雖然每次只是用了10個(gè)樣本，但這個(gè)模型實(shí)現(xiàn)了100%的準(zhǔn)確度。
Github地址:https://gist.github.com/sjain07/a45ef4ff088e01abbcc89e91b030b380#file-training_the_sentiment_model-py
雖然這只是個(gè)示例，但可以發(fā)現(xiàn)在遷移學(xué)習(xí)技術(shù)的幫助下，精確度從50%飛速提升至100%。若要查看完整范例和代碼請(qǐng)?jiān)L問(wèn)下列地址：
https://gist.github.com/prats226/9fffe8ba08e378e3d027610921c51a78
遷移學(xué)習(xí)的一些真實(shí)案例
圖像識(shí)別：圖像增強(qiáng)、風(fēng)格轉(zhuǎn)移、對(duì)象檢測(cè)、皮膚癌檢測(cè)。
文字識(shí)別：Zero Shot翻譯、情緒分類。
遷移學(xué)習(xí)實(shí)現(xiàn)過(guò)程中的難點(diǎn)
雖然可以用更少量的數(shù)據(jù)訓(xùn)練模型，但該技術(shù)的運(yùn)用有著更高的技能要求。只需要看看上述例子中硬編碼參數(shù)的數(shù)量，并設(shè)想一下要在模型訓(xùn)練完成前不斷調(diào)整這些參數(shù)，遷移學(xué)習(xí)技術(shù)使用的難度之大可想而知。
1、遷移學(xué)習(xí)技術(shù)目前面臨的問(wèn)題包括：
2、找到預(yù)訓(xùn)練所需的大規(guī)模數(shù)據(jù)集
3、決定用來(lái)預(yù)訓(xùn)練的模型
4、兩種模型中任何一種無(wú)法按照預(yù)期工作都將比較難以調(diào)試
5、不確定為了訓(xùn)練模型還需要額外準(zhǔn)備多少數(shù)據(jù)
6、使用預(yù)訓(xùn)練模型時(shí)難以決定在哪里停止
7、在預(yù)訓(xùn)練模型的基礎(chǔ)上，確定模型所需層和參數(shù)的數(shù)量
8、托管并提供組合后的模型
9、當(dāng)出現(xiàn)更多數(shù)據(jù)或更好的技術(shù)后，對(duì)預(yù)訓(xùn)練模型進(jìn)行更新
數(shù)據(jù)科學(xué)家難覓。找到能發(fā)現(xiàn)數(shù)據(jù)科學(xué)家的人其實(shí)一樣困難 --Krzysztof Zawadzki
讓遷移學(xué)習(xí)變得更簡(jiǎn)單
親身經(jīng)歷過(guò)這些問(wèn)題后，我們開(kāi)始著手通過(guò)構(gòu)建支持遷移學(xué)習(xí)技術(shù)的云端深度學(xué)習(xí)服務(wù)，并嘗試通過(guò)這種簡(jiǎn)單易用的服務(wù)解決這些問(wèn)題。該服務(wù)中包含一系列預(yù)訓(xùn)練的模型，我們已針對(duì)數(shù)百萬(wàn)個(gè)參數(shù)進(jìn)行過(guò)訓(xùn)練。你只需要上傳自己的數(shù)據(jù)（或在網(wǎng)絡(luò)上搜索數(shù)據(jù)），該服務(wù)即可針對(duì)你的具體任務(wù)選擇最適合的模型，在現(xiàn)有預(yù)訓(xùn)練模型的基礎(chǔ)上建立新的NanoNet，將你的數(shù)據(jù)輸入到NanoNet中進(jìn)行處理。
NanoNets的遷移學(xué)習(xí)技術(shù)（該架構(gòu)僅為基本呈現(xiàn)）
構(gòu)建你的首個(gè)NanoNet（圖像分類）
1、在這里選擇你要處理的分類。
2、 一鍵點(diǎn)擊開(kāi)始搜索網(wǎng)絡(luò)并構(gòu)建模型（你也可以上傳自己的圖片）。
3、 解決藍(lán)金裙子的爭(zhēng)議（模型就緒后，我們會(huì)通過(guò)簡(jiǎn)單易用的Web界面讓你上傳測(cè)試圖片，同時(shí)還提供不依賴特定語(yǔ)言的API）。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
