清華對話式人工智能課題組六篇長文被ACL 2018、IJCAI-ECAI 2018錄用

雷鋒網(wǎng) AI 科技評論按：本文首發(fā)于「人工智能THU」，作者錢橋，雷鋒網(wǎng) AI 科技評論獲授權(quán)轉(zhuǎn)載。

ACL 2018, the 56th Annual Meeting of the Association for Computational Linguistics 將于 2018 年 7 月 15 日至 20 日在澳大利亞墨爾本舉行。ACL 是自然語言處理領(lǐng)域的頂級國際會議，被評定為 CCF-A 類會議，起于 1963 年每年舉辦一次。本屆會議共收到 1621 篇投稿（長文 1045 篇，短文 576 篇），錄取文章約占投稿總量的 20%。

IJCAI-ECAI 2018, the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence 將于 2018 年 7 月 13 日至 19 日在瑞典斯德哥爾摩舉行，由 IJCAI、EurAI 和 SAIS 聯(lián)合發(fā)起舉辦。IJCAI 是人工智能領(lǐng)域的頂級國際會議，被評定為 CCF-A 類會議。IJCAI 起于 1969 年，每兩年舉辦一次，隨著投稿量的增加，2016 年起每年舉辦一次。本屆會議共收到 3470 篇長文投稿，其中 710 篇被錄取。

清華大學(xué)計算機系對話式人工智能課題組多篇論文被 ACL 2018 和 IJCAI-ECAI 2018 會議錄用，涉及對話系統(tǒng)、語言生成、強化學(xué)習(xí)等領(lǐng)域。下面是論文列表及介紹：

? Generating Informative Responses with Controlled Sentence Function

作者：柯沛、關(guān)健、黃民烈、朱小燕

會議：ACL 2018 長文

本文著眼于閑聊對話生成領(lǐng)域，研究如何控制生成回復(fù)的全局功能特征，并解決功能控制和內(nèi)容豐富性的兼容問題。句子功能（Sentence Function）是一種重要的語言學(xué)特征，按句子功能可將語言劃分為疑問句、陳述句、祈使句等多個類別，該特征在對話中能夠體現(xiàn)說話者的目的。本文引入條件變分自編碼器，利用隱變量來建模和控制生成回復(fù)的功能特征；同時，我們在模型中設(shè)計了類別控制器，解碼回復(fù)中的每個詞之前會先根據(jù)隱變量和當(dāng)前解碼狀態(tài)預(yù)測待生成詞所屬的類別（即功能控制詞、話題詞或普通詞），再根據(jù)類別信息解碼出相應(yīng)的詞，使得功能特征和內(nèi)容信息能夠在生成的回復(fù)中有機結(jié)合。自動評測和人工評測的結(jié)果表明，我們的模型生成的回復(fù)不僅在結(jié)構(gòu)上符合設(shè)定的功能類別，而且在內(nèi)容上具備豐富的信息量。

? Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders

作者：王延森，劉辰屹，黃民烈，聶禮強

會議：ACL 2018 長文

（本篇文章與山東大學(xué)聶老師合作）

本文研究如何賦予開放領(lǐng)域?qū)υ捪到y(tǒng)提問的能力，從而增強閑聊系統(tǒng)的交互性與持續(xù)性。如何提一個好問題，也較大程度體現(xiàn)了機器理解的能力。我們發(fā)現(xiàn)，一個好的提問由三種類型的詞構(gòu)成：疑問詞、主題詞與普通詞，為此我們提出了"類型化解碼器"（Soft/Hard Typed Decoder）。在每個解碼的位置上，解碼器會先決定生成詞的類型分布，并利用概率偏置提高生成對應(yīng)類型詞的可能性。對于 Soft 類型化解碼器而言，每個解碼位置上詞的類別分布與詞的生成概率分布進行混合；對于 Hard 類型化解碼器，我們采用了 Gumbel-Softmax 的概率操作技巧（近似 argmax 功能），使得解碼器具有選擇動態(tài)詞表的能力。自動評測和人工評測的結(jié)果說明了我們的模型所生成的提問相對基線模型具有明顯的優(yōu)勢，更容易驅(qū)動對話繼續(xù)下去。

? Commonsense Knowledge Aware Conversation Generation with Graph Attention

作者：周昊，楊天吉，黃民烈，趙海舟，許靜芳，朱小燕

會議：IJCAI-ECAI 2018 長文

（本篇文章與搜狗公司許靜芳團隊合作）

本文研究如何通過常識知識的引入提升對話模型在開放領(lǐng)域?qū)υ捝扇蝿?wù)上的語言理解和生成能力。給定用戶輸入的語句，對話模型首先從常識知識庫中檢索出相關(guān)的知識圖譜，然后使用一種靜態(tài)的圖注意力機制，將這些知識圖譜編碼成向量輸入到編碼器中，通過豐富語義知識從而提升模型對語言的理解能力。在語言生成的過程中，模型通過動態(tài)的圖注意力機制根據(jù)當(dāng)前解碼器狀態(tài)注意到合適的知識圖譜以及其內(nèi)的知識三元組，之后選擇合適的常識知識或普通單詞去生成，從而加強了模型的語言生成的信息量和知識方面的連貫性。自動評測和人工評測結(jié)果說明了我們提出的引入常識知識的對話模型可以生成語義合適且富有信息量的回復(fù)。

? A Weakly Supervised Method for Topic Segmentation and Labeling in Goal-oriented Dialogues via Reinforcement Learning

作者：高信龍一，黃民烈，陳海青，趙中州，李鳳麟，朱小燕，聶禮強

會議：IJCAI-ECAI 2018 長文

（本篇文章與阿里巴巴陳海青團隊合作）

本文研究話題結(jié)構(gòu)分析在理解任務(wù)導(dǎo)向性對話上的作用，我們基于弱監(jiān)督學(xué)習(xí)對大規(guī)模無標(biāo)簽的對話語料進行話題分割與標(biāo)注，采用深度強化學(xué)習(xí)方法來建模對聊天對話中意圖識別的未來獎勵。模型由一個基于層次化 LSTM 的表示學(xué)習(xí)網(wǎng)絡(luò)，和一個在對話主題的局部連續(xù)性與全局結(jié)構(gòu)性的獎勵序列上實現(xiàn)最優(yōu)的強化學(xué)習(xí)網(wǎng)絡(luò)兩部分組成。首先用簡單的先驗知識自動對數(shù)據(jù)進行粗標(biāo)注，然后通過兩個網(wǎng)絡(luò)的迭代訓(xùn)練來進一步提煉數(shù)據(jù)。大量實驗的評價與分析證明了我們新提出的訓(xùn)練模式在該任務(wù)上有顯著的提升。

? Assigning Personality to a Chatting Machine for Coherent Conversation Generation

作者：錢橋 黃民烈 趙海舟 許靜芳 朱小燕

會議：IJCAI-ECAI 2018 長文

（本篇文章與搜狗公司許靜芳團隊合作）

為聊天機器人賦予固定的人物設(shè)定是對話領(lǐng)域的重大挑戰(zhàn)之一，本文著眼于聊天機器人在提及自身屬性時是否可以給出與人設(shè)相符的答案，同時保證了前后回答的一致性。我們提出了一種方法，使用從社交媒體上抓取的通用對話數(shù)據(jù)訓(xùn)練生成模型，使用有監(jiān)督的屬性檢測器 (Profile Detector) 判斷用戶的問題是否提及聊天機器人的屬性設(shè)定，以及具體哪一條預(yù)設(shè)的屬性值。隨后使用訓(xùn)練好的雙向解碼器 (Bidirectional Decoder) 生成包含屬性值的回復(fù)。此外，為了消除訓(xùn)練數(shù)據(jù)與預(yù)設(shè)屬性值不一致的問題，我們使用無監(jiān)督的屬性值定位器 (Position Detector) 來幫助模型更好地訓(xùn)練。我們同時使用了自動評價和人工評價，實驗結(jié)果表明我們生成的回復(fù)通順、邏輯正確并且語言多樣化。

? Densely Connected CNN with Multi-scale Feature Attention for Text Classification

作者：王詩瑤 黃民烈 鄧志東

會議：IJCAI-ECAI 2018 長文

（注：王詩瑤是鄧志東教授的博士生，黃民烈老師合作指導(dǎo)該論文工作）

用于文本分類的卷積神經(jīng)網(wǎng)絡(luò)大多數(shù)采用固定窗口大小的卷積核，因此無法靈活地學(xué)習(xí)可變 n-gram 特征。在本文中，我們提出了一種密集連接的卷積神經(jīng)網(wǎng)絡(luò)，其包含基于多尺度特征的注意力模型。密集的連接建立了底層特征和高層特征之間的跨層連接，從而產(chǎn)生豐富的多尺度特征，即可變的 n-gram 特征。此外，我們提出了多尺度特征的注意力模型，使其可以自適應(yīng)地選擇合適的特征尺度用于文本分類。實驗表明，我們的模型在六個公開數(shù)據(jù)集上達到了超過基線的效果。注意力模型的可視化進一步揭示了該模型具有為文本分類選擇合適的 n-gram 特征的能力。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。