本文英中雙語版來自“翻譯技術速遞”網站（transtech.lingosail.com)， 由沙龍君編譯自RWS對高級解決方案架構師Miklós Urbán的采訪。
本文介紹用于評估機器翻譯質量、譯后編輯質量的幾種方法。
點擊文末“閱讀原文”，訪問我們的網站，了解更多機器翻譯、翻譯項目管理、本地化知識。
一、機器翻譯質量自動評估指標
“對機器翻譯進行質量評估是提高機器翻譯質量的關鍵。但是，衡量機器翻譯(MT)質量的最佳指標是什么呢？
衡量機器翻譯(MT)質量的方法有兩種類型：人工評估和自動評估。人工綜合評估往往是最有效的解決方案,但也主觀性強、耗時長、花費高昂。因此，行業學者引入了標準的、自動的指標來衡量 MT 的表現。許多研究表明，這些指標產出的結果甚至能和人工評估相差無幾。
隨著神經機器翻譯(NMT)的出現，對數據驅動的 MT 質量量化方法的需求不斷增長。NMT 的輸出特性明顯不同于統計機器翻譯(SMT)，因此研究人員正在尋找新的指標，以便更可靠地評估神經機器翻譯的質量。
”指標一：BLEU
BLEU 評分是業內第一個常用的評估指標，其原理是比較機器翻譯和人工翻譯。假設一個文檔由人工翻譯一次，由機器翻譯一次，BLEU的值為同時出現在機器翻譯和人工翻譯中的單詞的比例。
BLEU在10到15年前普及時，人們都認為這種方法和人工的質量評估最為相似。該方法廣為應用，盡管有著眾所周知的局限性。例如，它不能很好地處理同義詞或語法上的單詞變化，而且也非常不平衡，因為只進行從機器翻譯到人工翻譯一個方向的比較。
指標二：METEOR
METEOR 的算法更加細致，因為它不僅雙向比較了機器翻譯和人工翻譯，而且還考慮到了語言語法等因素。與BLEU不同， METEOR考慮到了語言的變化性。在英語中，ride 或 riding 在BLEU方法中算作不同的詞，但在 METEOR 中它們算作同一個單詞，因為詞根相同。
二、譯后編輯質量自動評估指標
評估譯后編輯的重要部分是比較機器翻譯譯文和譯后編輯譯文的差異，用的指標是改動的數量，其中改動包括刪減、替換和增加單詞。通過一個公式，計算改動的數量，并給出一個數值結果。
那么，常用的評估譯后編輯手段有哪些呢？
Levenshtein Distance 算法（編輯距離算法）
Levenshtein Distance 算法（編輯距離算法）可計算機器翻譯譯文和譯后編輯譯文的差別。舉個例子，如果機器翻譯輸出是“the cat is barking”，譯后編輯將其修改為“the dog is barking”。那么差異值是6，因為從“cat”改到“dog”，刪掉了3個字母、增加了3個字母，然后用整個部分的字母數除以6，得到一個百分比的結果。
TER (Translation Edit Rate)
TER方法與“編輯距離算法”的不同在于，“編輯距離算法”計算字符級別的變化數量（即字符的增刪、替換），而TER方法基于編輯的次數、而非基于字符變化的數量，計算譯文變化的類型。
在“the cat is barking”與“the dog is barking”的例子中，“編輯距離算法”既計算了被刪的3個字符，也計入了增加的3個字符；而TER只識別出一處替換：也就是一個字符串被另一個字符串替換，這個字符串有三個長度。因此，它計入一次長度為三個字符的編輯。
因此， 在實際上只進行了一次長編輯的情況下，Levenshtein 實際上可能高估譯后編輯的幅度——例如，如果你在長句的各處替換一兩個字符，Levenshtein 不能分辨出這種編輯與重寫整個句子之間的差異。在這種情況下， TER 更可靠，因為它的邏輯更符合實際的譯后編輯。
三、機器翻譯的質量評估：人工評估還是自動評估？
自動化評估的目的是模仿人工評估的結果。但最終，自動化評估只能顯示機器翻譯與人工翻譯或編輯后翻譯之間差異的百分比。
相反，人工評估可以更加精細，人類可以給出更詳細的機器翻譯質量概述。我們通常使用 TAUS DQF 基準來指導人工評估，在此過程中，我們可以更好地了解語言質量的不同方面，比如準確性（信息傳遞的好壞）和流暢性（拼寫和語法），而自動化度量返回的單個數字更容易準確性高。
流暢度更難衡量，因為語言的流暢度是主觀的。但是，我們可以通過開發自動化的指標，檢測同時出現的單詞詞組，即n-grams （其中“ n ”代表連續出現的單詞的數量）。理論上， 機器翻譯和人類翻譯中出現的相同詞序的詞組越長，機器翻譯譯文就越流暢。
您還了解哪些機器翻譯/譯后編輯質量評估方法呢？在評論區留言告訴沙龍君吧~
點擊“閱讀原文”，訪問我們的網站“翻譯技術速遞”（transtech.lingosail.com）
該網站致力于傳播行業前沿訊息，從各個角度介紹機器翻譯、翻譯管理、本地化知識，敬請收藏、關注。
Ref:
英文原文：https://www.rws.com/insights/rws-moravia-blog/interview-with-an-expert-how-do-you-measure-mt/#
封面圖：https://www.entrepreneur.com/