EMNLP2021 Findings｜字節火山翻譯提出：基于自修正編碼器的神經機器翻譯

隨著網絡上各種信息的指數級增長，以及跨語言獲取信息的需求不斷增加，機器翻譯逐漸成為網上沖浪??♀?時必不可少的工具。網頁翻譯讓我們在 Reddit 等外國論壇里和網友談笑風生；火山同傳等智能字幕翻譯系統讓我們無需等待字幕組，直接觀看“生肉”劇集；聊天翻譯讓我們建立跨國貿易，結交外國友人。

然而，上面提到的場景往往有一個共同點，那就是被翻譯的文本往往是不規范的。無論是聊天時手誤導致的錯別字，還是視頻語音原文識別的錯誤，都會極大地影響譯文質量。因此，實際應用場景下的機器翻譯對翻譯模型的魯棒性有很高的要求。

今天就為大家介紹一篇由字節跳動人工智能實驗室火山翻譯團隊發表在 EMNLP 2021 Findings 的短文 - Secoco: Self-Correcting Encoding for Neural Machine Translation。這篇論文讓翻譯模型在學習翻譯任務的同時，學習如何對輸入的帶噪文本進行糾錯，從而改善翻譯質量。

論文地址：https://arxiv.org/abs/2108.12137

代碼地址：https://github.com/rgwt123/Secoco

1

研究背景和動機

神經機器翻譯在近些年取得了很大進展，但是大部分工作都是基于干凈的數據集。在現實生活中，神經機器翻譯系統面對的輸入往往都是包含噪聲的，這對翻譯模型的魯棒性提出了很大挑戰。

之前的翻譯魯棒性工作主要分為三類：

• 第一類是針對模型生成對抗樣例，這些生成的對抗樣例被用于一起重新訓練模型。

• 第二類是針對訓練數據，通過過濾訓練數據中的噪聲來提升模型質量。

• 第三類則是專注于處理輸入中包含的天然噪聲，他們使用規則，回翻等方法來合成噪聲，并混合到原始數據中一起訓練。

可以看到，大部分的工作都專注于如何生成噪聲，很少探究如何進一步使用它們；本文則想要通過建模從噪聲數據到干凈數據的修正過程，從而增強模型的魯棒性。

圖1 一個簡單的修正過程

如圖 1 所示，如果想要把一個帶噪序列 "abbd" 修正為 "abcd" ，那么可以先刪除第三個位置的 "b"，再在第三個位置插入 "c"。也就是說，可以將對帶噪文本的修正轉化為插入和刪除的序列，并在編碼器端顯式地建模這一過程。

2

自修正模型Secoco

作者針對神經機器翻譯提出了具有魯棒性的自修正框架Secoco (Self-correcting Encoding)。

圖2 整體模型架構

正如圖2左側所示，Secoco 和普通的翻譯模型不同之處在于 Secoco 有兩個修正操作的預測模塊，這些預測模塊基于輸入序列的表示生成相應的操作序列。刪除預測器 (Deletion Predictor) 根據當前詞的表示預測是否要刪除，而插入預測器 (Insertion Predictor) 則根據兩個連續的詞的表示預測中間是否要插入新的詞。

雖然這種迭代編輯的過程每一步都需要前面的操作，但是為了簡化訓練過程，插入預測器和刪除預測器都是相互獨立的，并與普通的翻譯任務同時進行訓練。

一個關鍵的問題是如何生成這些訓練數據？關鍵點在于獲取從帶噪數據轉化為干凈數據的編輯操作。作者提供了兩種方式。一種是針對有帶噪數據和對應干凈 reference 數據的情況，一種是沒有帶噪數據的情況。

對于有reference的數據，可以使用類似計算最短編輯距離的方法，獲取從帶噪數據轉化為干凈數據的最短編輯過程，然后將替換操作轉化為刪除-插入操作。

對于沒有reference的數據，可以使用基于規則的方法生成偽數據。針對不同的場景，可以設計對應的規則，然后從干凈的數據中生成帶噪數據，最后反向這個過程就可以得到編輯過程。

訓練完成后，便可以進行解碼。正如圖2右側展示的，Secoco 有兩種解碼方式。第一種是僅使用編碼器-解碼器結構直接進行翻譯 (Secoco-E2E)，另一種則是對輸入進行迭代編輯后再進行翻譯 (Secoco-Edit)。

3

性能一覽

作者在三個測試集進行了實驗，包括一個基于電視劇的中英對話測試集，一個內部的中英語音翻譯測試集，以及加入人工噪聲的英德WMT14測試集。

表1  測試集統計

如表1所示，對話測試集包含主語省略，標點省略，錯別字等問題；語音測試集包含口語詞，錯別字等 ASR 引起的問題；WMT14 則包含由規則構造的隨機插入，隨機刪除，重復等問題。

實驗結果如表2所示。除了 Secoco 之外，作者還和3種方法進行了對比，分別是將合成的噪聲數據加入原始數據中一起訓練 (BASE+synthetic)；使用修復模型加上翻譯模型的 pipeline 級聯結構 (REPAIR)；以及多編碼器-單解碼器的結構 [1] (RECONSTRUCTION)。可以看出，所有的方法相較于基線模型都有所提升。Secoco 在三個測試集上都獲得了最好的效果。

表2 實驗結果

此外，在這三個測試集中，對話測試集明顯包含更多的噪聲，Secoco 最多可以帶來3個 BLEU 的提升。語音測試集由于是由 ASR 導出的，因此最好的結果也僅有12.4。

表3 迭代編輯樣例

表格3中給出了一些迭代編輯的具體例子。針對每一句輸入，模型對其進行迭代刪除和插入操作，直到文本不再發生變化。從例子中可以看到，一次編輯操作可以同時刪除或者插入多個詞。此外，對于上述的測試集，平均每個句子需要2-3次編輯操作。

4

總結

針對互聯網中非規范輸入帶來的魯棒性問題，本文主要介紹了一個具有自我修正能力的神經機器翻譯框架 Secoco，該框架通過兩個獨立的編輯操作預測器建模修正帶噪輸入的過程。實驗表明，Secoco 在多個測試集上都優于基線模型，增強了翻譯模型的魯棒性，并提供了一定的可解釋性。

[1] Shuyan Zhou, Xiangkai Zeng, Yingqi Zhou, Antonios Anastasopoulos, and Graham Neubig. 2019. Improving robustness of neural machine translation with multi-task learning. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pages 565–571.

雷峰網(公眾號：雷峰網)

雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。