MTスコアの使用について

BLEUが少なくとも5ポイント（絶対値、例：40対35）向上、またはchrfが少なくとも4ポイント向上。

COMETスコアの大幅な低下がないこと。

Overview

COMETは、機械学習モデルを使用して翻訳を評価する、より新しい指標です。従来の指標とは異なり、表面的なテキストの比較のみに依存するわけではありません。

Working Mechanism

COMETは、人間の判断による大規模なデータセットでトレーニングされたニューラルネットワークモデルを使用します。流暢さ、妥当性、意味の保持など、翻訳品質のさまざまな側面を考慮して翻訳を評価します。

使用例

COMETは、翻訳品質のより深い理解が必要とされるシナリオで効果的です。これは、逐語的な対応よりも文脈的および意味的な正確さが重要となる翻訳を評価する場合に特に有用です。

Overview

BLEUは、最も初期から広く使用されている指標の1つであり、1つ以上の高品質な参考資料の翻訳と比較することで、機械翻訳されたテキストの品質を評価します。BLEUは、機械生成されたテキストと参考資料のテキストとの間のフレーズの一致度を測定し、単語の一致の精度に焦点を当てます。

Working Mechanism

BLEUは、さまざまなn-gram長（通常1〜4語）のn-gram精度を計算し、それらのスコアを幾何平均を使用して結合します。また、過度に短い翻訳という問題に対処するために、短さに対するペナルティも組み込まれています。

使用例

BLEUは、フレーズや語順の正確な一致が重要な翻訳を評価するのに特に効果的です。しかし、正確な一致に依存しているため、より流暢な翻訳や慣用的な翻訳の品質を捉える上で制限となる可能性があります。

Overview

TERは、機械翻訳されたテキストを参考資料の翻訳に変更するために必要な編集の数を測定する指標です。これは編集距離の概念に基づいており、挿入、削除、置換などの操作が含まれます。この一覧にある他の指標とは異なり、TERスコアが低いほど、より良い翻訳であることを示します。

Working Mechanism

TERは、機械翻訳をいずれかの参考資料に変換するために必要な最小限の編集回数を計算します。スコアは、参考資料に含まれる総単語数によって正規化されます。

使用例

TERは、ポストエディットの仕事量に重点を置く翻訳の評価に役立ちます。これは、翻訳が人間によってポストエディットされるシナリオにおいて特に重要です。

Overview

chrf3、または文字 n-gram F-スコアは、文字レベルの n-gram に基づいて翻訳を評価するメトリクスです。これは適合率と再現率の両方を考慮し、両者のバランスを提供します。

Working Mechanism

chrf3は、機械翻訳と参考資料の間の文字 n-gram の重複に基づいて、適合率と再現率の調和平均であるF-スコアを計算します。

使用例

chrf3は、セグメンテーションが困難な言語や、形態論的に豊かな言語において有利です。また、BLEUよりも語順の影響を受けにくいため、異なる言い回しであっても許容される翻訳を評価する際に柔軟性が高まります。

低品質MTのしきい値を下回るスコアは深刻な問題を示している可能性があり、そのようなシステムは通常、さらなる解析なしに展開すべきではありません。

高品質MTのしきい値を超えるスコアは、通常、流暢で適切な翻訳を生成する非常に優れたシステムであることを示しています。