0
雷鋒網 AI 開發者：近日，谷歌宣布開放兩個新的自然語言對話數據集，分別是 Coached Conversational Preference Elicitation（CCPE）和 Taskmaster-1。這兩個數據集旨在對更接近人類對話的數據進行更詳細的標注，并提供到自然語言處理相關研究者更符合生活實際的數據內容。谷歌發布了相關內容詳細介紹該開放數據集，雷鋒網 AI 開發者將其整理及編譯如下。
目前，智能助理能夠完成多類任務并返回多個主題的個性化結果，例如：電影列表、餐廳預訂和旅行計劃等。然而，盡管近年來，我們在這方面取得了巨大進步，但智能助理依舊未能達到人類理解的水平。
產生這樣的結果，一部分是由于智能助理缺乏高質量的訓練數據；而這些數據恰好能夠準確地反映人們向智能助理表達的需求和偏好方式。
正是因為這些系統的局限性會影響我們表達的「我們希望得到理解」的內容，因此我們常常選擇調整自己的言辭，而反過來去適應智能助理所能理解的內容。換言之，現在的智能助理對話理解能力，遠遠沒有達到人類所需的對話復雜程度。
為了解決這個問題，我們發布了 Coached Conversational Preference Elicitation（CCPE）和 Taskmaster-1 對話框數據集。兩個集合都使用了 Wizard-of-Oz 平臺（https://en.wikipedia.org/wiki/Wizard_of_Oz_experiment），該平臺能夠將兩個進行口語對話的人匹配，就像那些想要擁有真正有效的智能助理的人一樣。
對于這兩個數據集，Wizard-of-Oz 平臺內部的設計旨在獨特地模仿現在基于語音的智能助理，在自動化系統的環境中保留口語對話的特征。
由于「人類助理」可以準確地理解用戶所要求的內容，因此我們能夠捕捉用戶如何將自己真實地表達給「完美」的智能助理，以便我們可以繼續改進這樣的系統。
CCPE 全稱為 Coached Conversational Preference Elicitation，它是我們提出的一種在對話中獲得用戶偏好的新方法，即它允許收集自然但結構化的會話偏好。通過研究一個領域的對話，我們對人們如何描述電影偏好進行了簡要的定量分析；并且向社區發布了 CCPE-M 數據集，該數據集中有超過 500 個電影偏好對話，表達了 10,000 多個偏好。
具體而言，它由 502 個對話框組成的數據集，在用戶和助理之間用自然語言討論電影首選項時有 12,000 個帶注釋的發音。它通過兩個付費人群工作者之間的對話收集，其中一個工作人員扮演「助手」的角色，而另一個工作人員扮演「用戶」的角色。「助手」按照 CCPE 方法引出關于電影的「用戶」偏好。
助理提出的問題旨在盡量減少「用戶」用來盡可能多地傳達他或她的偏好的術語中的偏見，并以自然語言獲得這些偏好。每個對話框都使用實體提及、關于實體表達的首選項、提供的實體描述以及實體的其他語句進行注釋。
偏好啟發
在面向電影的 CCPE 數據集中，冒充用戶的個人對著麥克風講話，并且音頻直接播放給冒充數字助理的人。「助手」則輸出他們的響應，然后通過文本到語音向用戶播放。
這些雙人自然對話包括在使用合成對話難以復制的雙方之間自發發生的不流暢和錯誤。這創建了一系列關于人們電影偏好的自然且有條理的對話。
在對這個數據集的觀察中，我們發現人們描述他們的偏好的方式非常豐富。該數據集是第一個大規模表征該豐富度的數據集。我們還發現，偏好也稱為選項的特征，并不總是與智能助理的方式相匹配，或者與推薦網站的方式相匹配。換言之，你最喜愛的電影網站或服務上的過濾器，可能與你在尋求個人推薦時描述各種電影時使用的語言并不匹配。
有關 CCPE 數據集的詳細信息，請參閱我們的研究論文（https://ai.google/research/pubs/pub48414），該論文將在 2019 年話語與對話特別興趣小組（https://www.aclweb.org/portal/content/sigdial-2019-annual-meeting-special-interest-group-discourse-and-dialogue-call-special）年會上發布。
在 Taskmaster-1 的對話框數據集中，已經累計了 13215 個基于任務的對話框，包含 7708 個書面表達以及 5507 個口語表達數據。該數據集內容覆蓋了六個生活領域，包括：訂購披薩，創建汽車維修預約，設置租車，訂購電影票，訂購咖啡飲料和預訂餐廳。
面向任務的對話框
該數據集通過兩個程而創建，每個程序都具有獨特的優勢。第一個涉及兩個人口頭交流的「Wizard-of-Oz」方法，其中受過訓練的智能體和人互動以完成任務；而第二個是「自我對話」，其中由單人書面技術增加語料庫大小和說話者多樣性，包含了大約 7700 寫入「自我對話」條目和約 5500 個雙人口語對話。
對于書面對話，我們讓人們根據每個任務概述的場景自己創建完整的對話，從而扮演用戶和助手的角色。因此，雖然口語對話更接近地反映了會話語言，但書面對話既適當豐富又復雜，但更便宜且更容易收集。
我們不會將工作者限制在詳細的腳本或小型知識庫中，因此我們觀察到與現有數據集相比，這一數據集包含更真實和多樣化的對話。
我們還提供了幾種基線模型，包括具有基準性能的最先進神經機器翻譯架構以及定性人體評估。對話框標有 API 調用和參數，這是一種簡單且經濟有效的方法，可避免復雜注釋模式的要求。對話模型和服務提供者 API 之間的抽象層允許給定模型與提供類似功能的多個服務交互。
與傳統的，詳細的策略相比，我們只關注每種類型的會話的 API 參數，而不僅僅是執行事務所需的變量。例如，在關于安排乘坐共享的對話框中，我們將「到」和「從」位置標記為汽車類型（經濟、豪華、帶游泳池等）。對于電影票，我們標記電影名稱、劇院、時間、票數，有時還有屏幕類型（例如 3D 或標準）。語料庫版本中都包含了完整的標簽列表。
Taskmaster-1 數據集（https://ai.google/research/pubs/pub48484）相關內容，在 2019 年自然語言處理經驗方法會議（https://www.emnlp-ijcnlp2019.org/）上出現的研究論文中進行了詳細描述。
我們希望這些數據集對于研究界在對話系統和會話推薦中的實驗和分析都是有用的。
文章鏈接
CCPE 數據集下載相關：
https://storage.googleapis.com/dialog-data-corpus/CCPE-M-2019/data.json
Taskmaster-1 數據集下載相關：
https://storage.googleapis.com/dialog-data-corpus/TASKMASTER-1-2019/landing_page.html
雷鋒網 AI 開發者
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
