0
| 本文作者： 奕欣 | 2018-01-06 09:26 | 專題：AAAI 2018 |
雷鋒網 AI 科技評論按：AAAI 2018 將于 2 月 2 日 - 2 月 7 日 在美國新奧爾良舉行，雷鋒網(公眾號：雷鋒網) AI 科技評論也將到現場進行一線報道。
在今年的 AAAI 2018 上，阿里巴巴共有 11 篇論文被錄用，并做了一系列的論文解讀。本文為阿里巴巴業務平臺事業部供稿，雷鋒網 AI 科技評論經授權發布。
論文名稱：Syntax-aware Entity Embedding for Neural Relation Extraction（句法敏感的實體表示用于神經網絡關系抽取）
團隊名稱：業務平臺事業部
作者：何正球，陳文亮，張梅山，李正華，張偉，張民
關系抽取任務大規模應用的一個主要瓶頸就是語料的獲取。近年來基于神經網絡的關系抽取模型把句子表示到一個低維空間。這篇論文的創新在于把句法信息加入到實體的表示模型里。首先，基于 Tree-GRU，把實體上下文的依存樹放入句子級別的表示。其次，利用句子間和句子內部的注意力，來獲得含有目標實體的句子集合的表示。
關系抽取任務大規模應用的一個主要瓶頸就是語料的獲取。遠程監督模型通過將知識庫應用于非結構化文本對齊來自動構建大規模訓練數據，從而減輕對人工構建數據的依賴程度，并使得模型跨領域適應能力得到增強。然而，在利用遠程監督構建語料的過程中，僅僅利用實體名稱進行對齊，而不同實體在不同關系下應該具有更加豐富的多樣的語義表示，從而導致錯誤標注等問題。因此，一套更加豐富的實體表示顯得尤為重要。
另一方，基于語法信息的方法通常作用于兩個實體之間的關系上，而語法信息是可以更加豐富實體的表示的。因此，本文基于句法上下文的實體表示來豐富實體在不同關系模式下的語義，并結合神經網絡模型處理關系抽取任務。
我們把相關的工作大致分成早期基于遠程監督的方法和近年來基于神經網絡模型兩類。
為了解決關系抽取任務嚴重依賴于標注語料的問題，Mintz et al.(2009)率先提出了基于遠程監督的方法構建標注語料。然而，這樣構建的自動標注語料含有大量的噪聲。為了緩解語料中噪聲帶來的影響，Riedel et al.(2010)將關系抽取看成是一個多實例單類別的問題。進一步的，Hoffmann et al.(2011)和Surdeanu et al.(2012)采取了多實例多類別的策略。同時，采用最短依存路徑作為關系的一個語法特征。上述方法典型的缺陷在于模型的性能依賴于特征模板的設計。
近年來，神經網絡被廣泛的應用于自然語言處理任務上。在關系抽取領域，Socher et al.(2012)采用循環神經網絡來處理關系抽取。Zeng et al.(2014)則構建了端到端的卷積神經網絡，進一步的，Zeng et al.(2015)假設多實例中至少有一個實例正確地表示了相應的關系。相比于假設有一個實例表示一對實體的關系，Lin et al.(2016)通過注意力機制挑選正面的實例更充分的使用了標注語料含有的信息。
以上這些基于神經網絡的方法大多數都使用詞層次的表示來生成句子的向量表示。另一方面，基于語法信息的表示也受到了眾多研究者的青睞，其中最主要的即最短依存路徑( Miwa and Bansal (2016)和 Cai et al.(2016))。
首先，基于依存句法樹，利用基于樹結構的循環神經網絡（Tree-GRU）模型生成實體在句子級別的表示。如上圖所示，有別于僅僅使用實體本身，我們能夠更好地表達出長距離的信息。具體的實體語義表示如下圖所示。我們使用 Tree-GRU 來獲得實體的語義表示。
其次，利用基于子節點的注意力機制（ATTCE，上圖）和基于句子級別的實體表示注意力機制(ATTEE，下圖)來減輕句法錯誤和錯誤標注的負面影響。
本文在 NYT 語料上進行了實驗。最終結果如上圖所示。其中，SEE-CAT 和 SEE-TRAINS 分別是本文使用的兩種結合三種向量表示（句子的向量表示，兩個實體的向量表示）的策略。從圖中可以看出，本文提出的模型在相同數據集上取得了比現有遠程監督關系抽取模型更好的性能。
本文的實驗結果表明，更豐富的命名實體語義表示能夠有效地幫助到最終的關系抽取任務。
如果您也有論文被 AAAI 錄用 ，歡迎關注雷鋒網 AI 科技評論（aitechtalk），在后臺留下聯系方式，雷鋒網將與您聯系，并進行更多交流！
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
專題
