0
最新消息，華人學者 Steven Y. Feng 與四位學者Jessica Huynh、Chaitanya Narisetty、Eduard Hovy與Varun Gangal 共同發表的題為“SAPPHIIRE: Approaches for Enhanced Concept-to-Text Generation”的研究論文獲得了2021年 INLG 的最佳長論文獎！
今晚，論文作者 Steven Y. Feng 將作為代表出席第14屆INLG會議，線上分享自然語言生成的團隊研究。
INLG（International Conference on Natural Language Generation ）始于1980年代，旨在討論和傳播自然語言生成領域的突破性成果。今年，會議于9月20日至24日在蘇格蘭阿伯丁舉行，與會者會通過虛擬會議介紹他們的研究。
除了世界級的研究報告外，今年的會議還包括研討會、學習教程、受邀專家的講座和一個討論小組（討論題目為“用戶希望從NLG的現實應用中獲得什么”）。小組討論由目前在計算機學習、NLG 和認知 AI 輔助行業任職的權威學者領導。
雖然自然語言生成（NLG）的研究已經持續了70多年，但旨在將NLG落地的基礎技術卻是在近些年才出現。最近，越來越多學術界與產業界的資深人員也已認識到 NLG 是一種核心能力。INLG也稱，會議現已從小眾的專業學術組織發展成了一個產學研相結合的國際性學術交流平臺。
Steven Y. Feng，現為卡耐基梅隆大學（CMU）研究生，對NLP、機器學習、深度學習和人工智能研究有著豐富的經驗和極高的研究熱情。
個人主頁：https://mobile.twitter.com/stevenyfeng
論文地址：tinyurl.com/sapphirelNLG
人類能夠從常識推理，甚至反演，這種能力可以定義為從一組概念生成邏輯句子來描述日常場景。在這種情況下，這些概念是必須以某種形式在輸出文本中表示的單個單詞。
因此，論文作者提出了一套簡單而有效的概念到文本生成改進方案，稱為“SAPPHIRE”。具體來說，SAPPHIRE由兩種主要方法組成：
1）增加輸入概念集
2）將從baseline中提取的短語重組成更流暢、更有邏輯的文本。這些主要是與模型無關的（model-agnostic）改進，分別依賴于數據本身和模型自己的初始代。
通過使用BART和T5模型的實驗，他們證明了這兩種模型在CommonGen任務上的有效性。通過廣泛的自動和人工評估，SAPPHIRE能顯著提高模型的性能。深入的定性分析表明，SAPPHIRE有效地解決了基線模型生成的許多問題，包括缺乏常識、不夠具體和流利性差等問題。
6種語言生成模型的對比
以上幾種NLG模型對比揭示了baseline的幾個問題：
1）概念覆蓋率與概念集大小密切相關，概念集越大，概念的覆蓋率越低，即遺漏概念的概率越高
2）許多短語不完整
3）反應遲鈍
Baseline和人工的對比
如何解決BL模型的固有問題？近年來，隨著模型改進的研究取得了重大進展，許多文本生成任務的性能也得到了顯著改善。
在獲獎團隊中，他們設計了兩步走戰略：通過提取關鍵字和注意矩陣，在訓練期間從參考文獻中擴充概念。對于短語重組直覺，他們提出了基于新訓練階段和掩蔽填充的兩個方法。最后，通過綜合評估，他們展示了SAPPHIRE是如何通過各種指標提高模型性能，以及解決baseline在常識、特異性和流暢性方面的問題。
他們的第一個方法：Kw-aug和Att-aug，分別在訓練現成的關鍵字提取模型注意值時，從參考文獻中提取關鍵字，使用它們在訓練時擴展輸入概念集。（通過動作聯想場景，通過名詞聯想動作，也就是由名詞擴增動詞，由動詞擴增狀語等）
概念擴增
概念擴增的方法激發了Steven Y. Feng五人的想象力：是否有簡單有效的方法可以從數據本身來提高這些自然語言生成的性能? 此外，是否有可能利用這些模型本身的輸出來進一步提高它們的任務表現——某種"自我反省"?
在第二種方法中，他們從模型輸出中提取非重疊的關鍵短語，然后構建一個新的概念集，其中包含這些關鍵短語和原始概念集中的其他非重疊概念。
也就是說，從原有的低端模型中輸出“不那么流暢的句子”，然后提取新句子中的關鍵詞，再根據新的關鍵詞“擴增概念”。多次迭代，就能從相似逼近到精確。
如此，機器完成一輪“自我啟發”，雖然并不算是自然語言范疇的“藝術創作”，卻在實驗中貫穿了形象思維與抽象思維經過復雜的辯證關系構成的思維方式。想象與聯想，靈感與直覺，理智與情感，意識與無意識，它們在未來能否卡定在不同的向量圖中，建模、量化，或許一問出口，便已有知。
雷鋒網雷鋒網雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
