0
近期，字節跳動人工智能實驗室在 EMNLP 2021 上發表了一篇關于在線更新機器翻譯系統的論文。
機器翻譯系統在線更新指的是使用單個翻譯樣本更新機器翻譯系統。工業應用中對機器翻譯系統在線更新的需求主要來自于兩類場景：
在線修復 bad case。機器翻譯系統不是完美無缺的，有時系統對某些輸入會生成錯誤的譯文，這樣的輸入我們稱之為 bad case。快速修復 bad case 是機器翻譯系統實際應用中的硬需求。而使用 bad case 及其對應的正確譯文更新機器翻譯系統為快速修復 bad case 提供了一種巧妙的思路。
使用流式生成的翻譯數據增量更新機器翻譯系統。機器翻譯的訓練數據不總是固定的，在一些場景中語言專家每天都會標注出新的機器翻譯數據。使用這種流式生成的數據對機器翻譯系統做全量的更新是成本很高的，而借助在線更新機器翻譯系統的方法，對翻譯系統做增量的更新不僅可以提升翻譯性能，更新成本也大大降低。
當前主流的機器翻譯系統都是基于神經網絡搭建的，而參數眾多結構復雜的神經網絡模型難以做到在線更新。基于樣本的機器翻譯系統卻很容易做到在線更新。在基于樣本的機器翻譯系統中，通常存在一個大規模的翻譯語料庫。給定一條源語言句子，生成對應翻譯結果的過程中，需要從翻譯語料庫中檢索出若干相似的翻譯樣本，并利用檢索到的樣本生成最終的譯文。更新基于樣本的機器翻譯系統只需要更新翻譯語料庫就可以了，無需更新機器翻譯模型的參數。
但是基于樣本的機器翻譯系統泛化性較差，在檢索不到相似樣本的情況下，很難生成高質量的譯文。因此，最近一些工作將樣本檢索與神經機器翻譯結合，在神經機器翻譯模型解碼的過程中檢索相似的翻譯樣本輔助譯文生成。這種樣本檢索機制賦予了機器翻譯系統在線更新的能力。
在這個方向上，一個經典的工作是發表在 ICLR 2021 上的 kNN-MT[2]。kNN-MT 為神經機器翻譯引入了詞級別的樣本檢索機制，使得翻譯系統在無需額外訓練的情況下，顯著提升多領域機器翻譯和領域適應機器翻譯的能力，同時具有了在線更新的能力。
但是 kNN-MT 仍然存在一些問題，使用固定的將神經機器翻譯輸出和樣本檢索進行組合的策略使得它難以適應多變的輸入樣本。如圖1所示，帶有領域內翻譯語料庫的 kNN-MT 領域內的翻譯質量取得了明顯提升，而通用領域翻譯質量卻劇烈下滑。造成這種現象的原因是，kNN-MT 過度依賴了檢索到的樣本，在檢索到的樣本與測試樣本不相似時，檢索到的樣本對于機器翻譯而言反而是噪聲，從而降低了翻譯質量。
這篇工作主要針對該問題[3]，提出了一種動態結合樣本檢索和神經機器翻譯的方法 KSTER (Kernel-Smoothed Translation with Example Retrieval)，使得翻譯系統在檢索到相似樣本的情況下能夠提升翻譯效果，在檢索不到相似樣本時，也能保持原有的翻譯質量，同時保持在線更新的能力。
圖1 帶有領域內數據庫的kNN-MT，在領域內數據和通用領域數據上的翻譯效果。
在這篇工作的模型結構中，翻譯系統由兩個部分組成，分別是一個通用領域的神經機器翻譯模型——采用經典的 Transformer 結構[1]，和一個樣本檢索模塊——用于執行相似樣本檢索、相似度計算和概率估計。自回歸的機器翻譯模型生成譯文是按相似的方式逐詞生成，因此只需考慮單步的解碼過程。在解碼生成譯文的每一步中，翻譯系統的兩個部分都會產生一個下一個詞對應的概率分布。這兩個分布會根據一個混合系數進行線性插值，估計出一個混合的概率分布。下一個詞將由這個混合的分布預測出。
為了在解碼過程中進行樣本檢索，作者構建了一些詞級別的翻譯數據庫。數據庫中存儲的是詞級別的翻譯樣本，每一個樣本是一個鍵值對 。這個鍵指的是目標端語言的句子中一個詞出現的上下文的向量表示 ，值指的是對應的目標端語言的詞 。使用一個通用領域上訓練好的 Transformer 模型，對每一條訓練數據做強制解碼，即可計算出目標語言每個詞的上下文相關向量表示，構造出一組詞級別翻譯樣本以供檢索。
樣本檢索
在解碼的每一步中，NMT 模型會計算出一個基于模型的下一個詞分布 。另外，NMT 模型會計算當前上下文的向量表示作為查詢 ，從翻譯數據庫中檢索Top- k 個 L2 距離最小的樣本。
可學習的核函數
然后利用核密度估計根據檢索到的樣本估計出一個基于樣本的分布 ，其中核函數是一個具有可學習帶寬參數的高斯核或拉普拉斯核。帶寬參數基于當前上下文和檢索到的樣本動態估計得出，主要是為了調整 的銳度。當檢索出的 k 個樣本只有幾個頭部樣本與當前上下文相似時，低帶寬的核密度估計會生成一個尖銳的分布，將絕大多數概率質量分配給頭部樣本，忽略尾部樣本引入的噪聲。
圖3 核函數的帶寬參數越小，估計出的分布越尖銳。
基于模型的分布 將和基于樣本的分布 按一定權重 進行線性插值，得到一個混合分布 ，并由混合分布預測出下一個詞。混合權重 決定了翻譯系統預測下一個詞是更多地依賴 NMT 模型的輸出還是檢索到的樣本。如圖4 所示，在解碼的每一步中，混合權重都是不同的，根據當前上下文和檢索到的樣本估計出。翻譯系統自適應地決定更多地依賴哪個部分。
圖4 動態的混合權重。Memory 表示基于樣本的分布權重 ，Translation 表示基于模型的分布權重 。
模型訓練策略
在 KSTER 訓練過程中，NMT模型參數是固定不變的，需要訓練的部分只有一個帶寬參數估計器和一個混合權重估計器。作者使用交叉熵損失函數對翻譯系統整體進行優化，但只更新帶寬參數估計器和混合權重估計器的參數。
由于訓練翻譯系統的數據與構建翻譯數據庫的數據是相同的，在訓練時總能檢索到 top 1 相似的翻譯樣本就是查詢自身。而測試數據通常在翻譯數據庫中沒有出現過。這種訓練和測試的不一致性，導致翻譯系統容易過度依賴檢索到的樣本，產生過擬合的現象。為了緩解訓練和測試的不一致性，作者在訓練時檢索最相似的 k + 1 個樣本，并把第 1 相似的樣本丟棄，保留剩下的 k 個樣本用于后續的計算。這種訓練策略被稱為檢索丟棄，在測試時并不使用這種策略。
這篇工作在機器翻譯領域適應和多領域機器翻譯兩種任務上進行了實驗，KSTER 相比 kNN-MT 在兩種任務上均有提升。
圖6 多領域機器翻譯任務上的實驗結果
圖7 不同領域的核函數帶寬和混合權重分布
圖8 檢索不同數量樣本 k 時，kNN-MT 和 KSTER 的翻譯效果
圖9 驗證了檢索丟棄這種訓練策略的必要性。在不使用檢索丟棄策略時，KSTER模型產生了嚴重的過擬合。而使用檢索丟棄策略后，過擬合的現象得到明顯緩解。
圖9 檢索丟棄訓練策略有助于緩解過擬合
作者基于 KSTER 開發了一個基于在線干預機器翻譯系統，用于展示翻譯系統在線修復bad case的能力。圖10 - 14 展示了一些具體的樣例。
如 圖10 所示，由于訓練數據中沒有出現過“字節跳動”這種新興實體，以及“C位”這類新詞，翻譯系統對它們的翻譯效果是不好的。
圖10 Base 模型翻譯結果
圖11 KSTER 翻譯結果
圖12 向 KSTER 翻譯數據庫中添加以上樣本
圖13 添加樣本之后KSTER的翻譯結果
圖14 KSTER 在相關樣本上的翻譯結果
本文主要介紹了 KSTER，一種有效的機器翻譯系統在線更新方法。其在機器翻譯領域適應和多領域機器翻譯上均表現出優異的效果。同時展示了它的在線修復 bad case的能力。
參考文獻
[1] Vaswani et al. "Attention is All You Need". Proceedings of the 31st International Conference on Neural Information Processing Systems.
[2] Khandelwal et al. "Nearest Neighbor Machine Translation". ICLR 2021: The Ninth International Conference on Learning Representations.
[3] Jiang et al. "Learning Kernel-Smoothed Machine Translation with Retrieved Examples". Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing.
雷鋒網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
