Facebook利用深度學(xué)習(xí)記憶網(wǎng)絡(luò)訓(xùn)練聊天機(jī)器人，與客戶自由對(duì)話 | ICLR 2017

雷鋒網(wǎng)AI科技評(píng)論按：ICLR 2017 將于4月24-26日在法國(guó)土倫舉行，雷鋒網(wǎng)AI科技評(píng)論的編輯們也在法國(guó)帶來(lái)一線報(bào)道。在這個(gè)深度學(xué)習(xí)會(huì)議舉辦之前，雷鋒網(wǎng)也將圍繞會(huì)議議程及論文介紹展開一系列的覆蓋和專題報(bào)道，敬請(qǐng)期待。

今天介紹的這篇論文由Facebook AI Research兩位大牛Antonie Bordes和 Jason Weston 2016 年發(fā)表于arXiv，并當(dāng)選 ICLR 2017 oral paper。

論文展示了一種即可以做自由對(duì)話又可以與知識(shí)庫(kù)的API調(diào)用相結(jié)合的聊天機(jī)器人，針對(duì)目標(biāo)導(dǎo)向的聊天機(jī)器人進(jìn)行了研究。傳統(tǒng)面向目標(biāo)的對(duì)話系統(tǒng)在應(yīng)用時(shí)的需要做大量的特定領(lǐng)域的手工修正，每擴(kuò)展到一個(gè)新領(lǐng)域也需要做對(duì)應(yīng)的修改。而基于深度學(xué)習(xí)的目標(biāo)導(dǎo)向聊天機(jī)器人掃除了這一障礙。

面向目標(biāo)的聊天機(jī)器人定義了兩種不同的評(píng)價(jià)標(biāo)準(zhǔn)：每一次回復(fù)和針對(duì)每一個(gè)目標(biāo)的一輪完整對(duì)話的正確率。該系統(tǒng)期望去理解用戶的需求并通過(guò)有限輪次的對(duì)話完成明確的目標(biāo)，文中以餐館預(yù)訂為例，目標(biāo)是通過(guò)對(duì)話的方式幫助用戶預(yù)訂餐館。每個(gè)餐館的屬性包括：口味，地點(diǎn)，價(jià)格區(qū)間，桌子大小，地址，電話，用戶評(píng)分7個(gè)維度。整個(gè)訂餐任務(wù)被劃分為5個(gè)子任務(wù)：

圖1 基于端到端深度學(xué)習(xí)的目標(biāo)導(dǎo)向聊天機(jī)器人服務(wù)示例

任務(wù)1. 用戶使用的給定的請(qǐng)求語(yǔ)句，向系統(tǒng)發(fā)起預(yù)定餐廳的請(qǐng)求，對(duì)話系統(tǒng)比對(duì)API調(diào)用所需的參數(shù)，通過(guò)提問(wèn)題的方式向用戶請(qǐng)求缺失的字段信息。

任務(wù)2.獲取任務(wù)1中得到的字段后，詢問(wèn)用戶是否更改當(dāng)前查詢信息，給用戶1~4次修改需求的機(jī)會(huì)。

任務(wù)3. 根據(jù)用戶需求調(diào)用相應(yīng) API查詢知識(shí)庫(kù)中存儲(chǔ)的餐館信息，并將候選結(jié)果按評(píng)分由高至低的順序，列舉給用戶，直到用戶接受為止。

任務(wù)4. 待用戶選定候選餐廳后，提供該餐廳的其他信息服務(wù)，比如提供詳細(xì)電話、地址信息。

任務(wù)5. 整合所有的對(duì)話，返回用戶在第三個(gè)任務(wù)中選擇的結(jié)果。

Facebook團(tuán)隊(duì)把訂餐這個(gè)場(chǎng)景，人為得分為了5種不同難度等級(jí)的任務(wù)，從最簡(jiǎn)單的能夠發(fā)出API Call，到能夠完成整段對(duì)話。這樣拆成5個(gè)步驟的對(duì)話系統(tǒng)，每個(gè)任務(wù)的目標(biāo)都很明確，從而一定程度上避開了對(duì)話質(zhì)難以評(píng)估的問(wèn)題。

團(tuán)隊(duì)還測(cè)試目前的模型能夠達(dá)到的性能以及未來(lái)的研究方向。文中所用數(shù)據(jù)并非全部為真實(shí)數(shù)據(jù)，F(xiàn)acebook團(tuán)隊(duì)生成了一些模擬的對(duì)話數(shù)據(jù)，5個(gè)任務(wù)用的都是模擬對(duì)話，模擬的方法是用43種語(yǔ)言模式生成用戶會(huì)話，用20種語(yǔ)言模式生成聊天機(jī)器人會(huì)話。也使用了DSTC(Dialog State Tracking Challenge)的訂餐數(shù)據(jù)，并將DSTC的數(shù)據(jù)轉(zhuǎn)換成為了系統(tǒng)所定義的格式。因此，大家并不能直接比較這篇文章和DSTC里其他工作做性能比較。

該系統(tǒng)使用的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)是 端到端記憶網(wǎng)絡(luò)結(jié)構(gòu)(End-to-End Memory Networks)，為了適用目標(biāo)導(dǎo)向的應(yīng)用場(chǎng)景，作者對(duì)Memory Networks做了如下的擴(kuò)展：

• 每一步對(duì)話中，當(dāng)前的用戶語(yǔ)句和系統(tǒng)的回答都需要存入Memory里面（這個(gè)Memory不是一般的Memory，而是Facebook 重量級(jí)項(xiàng)目Memory Networks的一個(gè)特殊設(shè)施）；

• 除此以外，系統(tǒng)還需要存放額外的信息，包括Time Index和目前是誰(shuí)（用戶還是系統(tǒng)）在說(shuō)話，有一個(gè)注意力機(jī)制（Attention Mechanism）來(lái)Memory里查找合適的信息。

• 最后，輸出機(jī)制是在一大堆自然語(yǔ)言輸出和API 調(diào)用之間進(jìn)行選擇。

其中Memory Network為了處理新出現(xiàn)的餐廳名等實(shí)體詞(OOV)導(dǎo)致缺失word embbeding或者不同電話號(hào)碼的embeddings不可區(qū)分問(wèn)題, 作者對(duì)實(shí)體詞添加7種預(yù)定義的類型詞(type word)，取得不錯(cuò)效果。

在餐廳預(yù)定模擬的語(yǔ)料上，為了驗(yàn)證處理Out-of-Vocabulary等能力, 作者進(jìn)一步把菜系和地點(diǎn)實(shí)體詞分成兩份，然后根據(jù)兩份實(shí)體詞把KB分成兩個(gè)，一個(gè)KB用于產(chǎn)生訓(xùn)練集，測(cè)試集和驗(yàn)證集，另一個(gè)KB只產(chǎn)生測(cè)試集(OOV test sets)。然后把對(duì)話任務(wù)分解成5個(gè)子任務(wù)，在這個(gè)模擬語(yǔ)料上訓(xùn)練，用每一次回復(fù)和每一輪完整對(duì)話的正確率作為評(píng)價(jià)標(biāo)準(zhǔn)。為了驗(yàn)證模型遷移到其他真實(shí)場(chǎng)景的能力，作者收集禮賓服務(wù)的語(yǔ)料數(shù)據(jù)。

文章中分別對(duì)基于記憶神經(jīng)網(wǎng)絡(luò)的方法、有監(jiān)督的嵌入模型、基于檢索的方法以及基于規(guī)則的方法進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)表明基于記憶神經(jīng)網(wǎng)絡(luò)的方法優(yōu)于其他方法。Memory Networks在所有的任務(wù)上都有不錯(cuò)的表現(xiàn)。由于模型定義得非常個(gè)性化，在適應(yīng)性方面，記憶絡(luò)網(wǎng)結(jié)構(gòu)相比其他模型有較大差距。

ICLR對(duì)這篇文章的的評(píng)語(yǔ)：

目前大多數(shù)對(duì)話系統(tǒng)都是基于自由聊天模型， 本文探討了目標(biāo)導(dǎo)向的對(duì)話系統(tǒng)，類似訂餐館時(shí)的對(duì)話， 雖然該方法論適應(yīng)場(chǎng)景少，但這不是本文的主要重點(diǎn)。本文的成果是作者提供了具有創(chuàng)意的對(duì)話評(píng)估標(biāo)準(zhǔn)和開放的數(shù)據(jù)集。會(huì)議評(píng)論者喜歡這篇論文，這篇論文在一個(gè)廣泛探索的話題上樹立了很好的口碑，并開辟了一個(gè)相當(dāng)新穎的方向。

Via  Learning End-to-End GoalOriented Dialog

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。