自動評価メトリクスは、機械翻訳システムによって生成された翻訳の品質を評価する上で重要な役割を果たします。主観的で時間がかかる可能性のある人間による評価とは異なり、自動メトリクスはMTシステムのパフォーマンスを測定するための迅速かつ客観的で再現可能な方法を提供します。
Phrase Custom AIには、機械翻訳の品質を評価するために、確立されたいくつかの自動メトリクスが組み込まれています:BLEU、TER、chrf3、およびCOMET。
以下の両方の条件が満たされている場合は、カスタマイズされたシステムを本番環境にデプロイすることをお勧めします:
-
BLEUが少なくとも5ポイント(絶対値、例:40対35)向上、またはchrfが少なくとも4ポイント向上。
-
COMETスコアの大幅な低下がないこと。
多くの場合、この程度の改善は翻訳者にとって容易に認識でき、ポストエディット時間の短縮につながります。
推奨されるアプローチ
一般的に、メトリクスの絶対値は言語ペア、ドメイン、その他の要因によって異なります。カスタマイズプロセスがどの程度成功したかを評価するには、汎用システムとカスタマイズ済みシステムのスコアの差を確認してください。
BLEU、chrf、およびTERはすべて、MT出力と参照翻訳間の文字列の重複を測定します。定義上、これらのスコアが大幅に向上することは、翻訳者のポストエディット作業が軽減されることを意味します。
COMETは、一般的な意味での翻訳品質を測定します。COMETは、カスタマイズ後に必ずしも向上するとは限りません(カスタマイズ済みシステムは同程度の品質の翻訳を出力する可能性があり、違いは翻訳が顧客のスタイル、トーン、用語などに一致しているかどうかです)。ただし、COMETが大幅に低下した場合は、カスタマイズ済みシステムに問題がある可能性があります。
利用可能なメトリクス
Phrase Custom AIには、機械翻訳の品質を評価するために、定評のある複数の自動評価指標が組み込まれています:BLEU、TER、chrf3、およびCOMET。これらの各メトリクスは、翻訳品質を評価するための独自のアプローチを提供し、翻訳のさまざまな側面に対応しています。
COMETスコアは、PhraseユーザーインターフェースのCustom AIでのみ表示されます。COMETはPhrase Dataには含まれておらず、そのソースから取得することはできません。BLEU、chrf3、およびTERスコアは、Custom AIとPhrase Dataの両方で利用可能です。
COMET (Cross-lingual Optimized Metric for Evaluation of Translation)
-
概要
COMETは、機械学習モデルを採用して翻訳を評価する、より新しい指標です。従来の指標とは異なり、表面的なテキスト比較のみに依存するわけではありません。
-
仕組み
COMETは、人間の判断による大規模なデータセットでトレーニングされたニューラルネットワークモデルを使用します。これは、流暢さ、適切さ、意味の保持など、翻訳品質のさまざまな側面を考慮して翻訳を評価します。
-
使用例
COMETは、翻訳品質のより深い理解が求められるシナリオで効果的です。これは、逐語的な対応よりも文脈的および意味的な正確さが重要となる翻訳の評価に特に役立ちます。
BLEU (Bilingual Evaluation Understudy)
-
概要
最も初期に登場し、最も広く使用されているメトリクスの1つであるBLEUは、機械翻訳されたテキストを1つ以上の高品質な参照翻訳と比較することで、その品質を評価します。BLEUは、機械翻訳されたテキストと参照テキストのフレーズの一致度を、単語の一致に関する適合率を重視して測定します。
-
仕組み
BLEUは、さまざまな長さのn-gram(通常は1~4単語)について適合率を計算し、それらのスコアを幾何平均で統合します。また、過度に短い翻訳という問題に対処するために、短さに対するペナルティも組み込まれています。
-
使用例
BLEUは、フレーズや語順の正確な一致が重要となる翻訳の評価に特に効果的です。しかし、正確な一致に依存しているため、より流暢な翻訳や慣用的な翻訳の品質を捉える上では制限となる可能性があります。
TER(翻訳編集率)
-
概要
TERは、機械翻訳されたテキストを参照翻訳に変更するために必要な編集回数を測定する指標です。これは編集距離の概念に基づいており、挿入、削除、置換といった操作が含まれます。このリストにある他の指標とは異なり、TERスコアは低いほど翻訳の質が高いことを意味します。
-
仕組み
TERは、機械翻訳を参照翻訳のいずれかに変換するために必要な最小限の編集回数を計算します。スコアは、参照翻訳の総単語数によって正規化されます。
-
使用例
TERは、ポストエディット作業の量に重点を置く翻訳の評価に役立ちます。これは、翻訳が人間によってポストエディットされるシナリオにおいて特に重要です。
chrf3(文字n-gram Fスコア)
-
概要
chrf3(文字n-gram Fスコア)は、文字レベルのn-gramに基づいて翻訳を評価する指標です。適合率と再現率の両方を考慮し、その両者のバランスをとっています。
-
仕組み
chrf3は、機械翻訳と参照テキスト間の文字n-gramの重複に基づき、適合率と再現率の調和平均であるFスコアを算出します。
-
使用例
chrf3は、単語の区切りを特定することが難しい言語や、語形変化が豊富な言語に適しています。また、BLEUよりも語順の影響を受けにくいため、異なる言い回しであっても許容される翻訳を評価する際に柔軟性が高まります。
スコアの範囲
指標の絶対値は、言語ペア、ドメイン、その他の要因によって大きく異なります。そのため、スコアの解釈について一般的な指針を示すことは困難です。主に、同一のデータセットで評価した汎用システムとカスタマイズ済みシステムのスコアの差に基づいて判断してください。
この表は、個々の指標の値を解釈する際の有用な出発点となります。
-
低品質MTのしきい値を下回るスコアは深刻な問題を示している可能性があり、そのようなシステムは通常、追加の分析なしに導入すべきではありません。
-
高品質MTのしきい値を超えるスコアは、通常、流暢で適切な翻訳を生成する非常に優れたシステムであることを示しています。
|
指標 |
範囲 |
低品質MTのしきい値 |
高品質MTのしきい値 |
|---|---|---|---|
|
COMET |
通常0から1 |
< 0.3 |
> 0.8 |
|
BLEU |
0から100 |
< 15 |
> 50 |
|
TER |
0から100、低いほど良い |
> 70 |
< 30 |
|
chrf3 |
0から100 |
< 20 |
> 60 |