翻訳メモリの管理は長年続く広範な問題であり、手動でのクリーンアップは骨の折れるプロセスです。クリーンな翻訳メモリは、言語専門家にとってより良い参照となり、より高品質な機械翻訳につながります。これは、翻訳メモリや用語集のような言語資産を活用するための高度な機能を備えたPhrase NextMTにおいて特に重要です。
TMSで管理されたTMを使用する目的でデータセットを作成するには、以下の手順に従ってください。
-
Datasetsページで、Clean a translation memoryをクリックします。
ページが開きます。
-
データセットの名前を入力します。
-
言語選択機能では、さまざまなオプションが可能です。
-
一般的な言語データセットを作成するには、原文言語と訳文言語およびロケールの選択機能で、同じ原文言語と訳文言語を選択します。
-
ロケール固有のデータセットを作成するには、最初のドロップダウン一覧から原文言語と訳文言語を選択し、2番目のドロップダウン一覧から原文ロケールと訳文ロケールを指定します。
より多くのデータソースを活用するために、複数の訳文ロケール（つまり、同じ言語の異なるバリエーション）を追加することもできます。
-
複数の原文ロケールと訳文ロケールを持つデータセットを作成するには、最初のドロップダウン一覧から原文言語と訳文言語を選択し、2番目のドロップダウン一覧から原文ロケールと訳文ロケールを指定して（同じ訳文言語の異なるバリエーションを追加可能）、+ Add more locale pairsをクリックします。
ウィンドウが表示されます。
-
-
Add translation memoriesをクリックします。
ページが検索機能
と共に開きます。
-
TMをデータセットに追加するには、
アイコンをクリックします。TMが列に追加されます。
複数のTMを追加でき、最大200個のTM、最大800万セグメントまで対応可能です。データセットには、理想的には少なくとも10,000セグメントを含める必要があります。
TM名をクリックすると、translation memory page上でその選択内容が表示されます。
アイコンをクリックして、 列から TM を削除します。
-
保存をクリックします。
ページが開きます。
-
詳細を確認し、正しい場合は 続ける をクリックします。
ページが開きます。
-
必要なフィルタを適用し、作成 をクリックします。
データセットが作成され、 ページの一覧に追加されます。初期ステータスは 、 列のステータスは となります。
Phrase Custom AI を使用すると、AI を活用したルールベースのクリーニングフィルタを使用して TM をキュレートできます。新規ユーザーに適したデフォルト設定が提供されています。
このプロセスでは、元の TM segment metadata と TM tags が保持されるため、TMS でクリーニングされた TM を使用する際に TM のレバレッジを維持できます。
利用可能なフィルタのセットには、ルールベースのフィルタと ML ベースのフィルタの両方が含まれます。
-
ルールベース
人間が容易に理解できる、明確に定義されたルールで動作するフィルタです。このフィルタカテゴリには、、、、、、、 が含まれます。
-
ML ベース
固定されたルールセットに従うのではなく、テキスト自体のコンテンツを解析して判断を下すフィルタです。このフィルタカテゴリには、 および が含まれます。
Date range
設定された日付範囲外のセグメントを除外します。終了日と開始日は、セグメントの最終変更日とともに含まれます。
Misaligned source and target
このフィルタは、意味および意味的類似性の観点からセグメントがどの程度一致するかを判断し、評価の低いものを削除します。文ペアのアライメントは、LASERメトリックを使用して測定されます。
AIエンジンを使用して、原文と訳文が同じ意味であるか、あるいはどの程度同じ意味であるかを確認します。推奨設定では、最も悪い10%のセグメントを破棄し、最も良い90%のセグメントを保持します。
詳細設定では、アライメントの変更や、0から1の数値（1は完全なアライメントを意味します）を使用した生の類似度スコアに基づくフィルタの設定が可能です。各言語ペアでスコアの分布が異なり、ある言語ペアにとって良いスコアとされるものが別の言語ペアでは不十分なスコアとなる可能性があるため、生の類似度スコアを使用する場合は注意が必要です。
一般的に0.5未満のセグメントはあまり質が良くなく、1に近い、または1を超えるセグメントは両言語で同一のセグメントです。
例：
最小文字数および文字数
文字数にはすべての文字が含まれます。これには、すべての文字、空白、句読点、および記号が含まれます。トレーニングの目的で、文字を含まないセグメントを破棄すると便利な場合があります。
文字数は、英語のアルファベットのような文字だけでなく、発音区別符号付きのより複雑な文字や漢字もカウントします。中国語の文字は、たとえそれが複数の文字を表していても、1文字としてカウントされます。文字ベースの言語の場合、デフォルト値は1ですが、単語ベースの言語の場合、デフォルト値は4（文字）および3（文字）です。最小値は1で、最大値は500です。
データ内に短いセグメント（頭字語など）を多く保持する場合は、フィルタの値を低く設定してください。
例：
文字列 "Hello, World!"1 2 3\"は19文字と10個のアルファベットで構成されています。
文ペアの長さ
このフィルタは、ユーザーが設定したしきい値よりも長いすべてのセグメントを削除します。
合計文字数には、原文と訳文の両方の文に含まれるすべての文字（文字、空白、句読点）が含まれます。言語の種類を考慮してください（例：中国語と英語）。原文の言語がCJK系ではなく、訳文の言語がCJKである場合（またはその逆の場合）、このフィルタは無視されます。
長さの比率
このフィルタは、原文のセグメントと訳文のセグメントを比較した際に、長さが大幅に異なるセグメントを特定します。原文から訳文の言語に翻訳する際、長さが増減する翻訳があります。長すぎる、または短すぎる翻訳は、品質の低いセグメントを示している可能性があります。
原文の言語がCJK系ではなく、訳文の言語がCJK系である場合（またはその逆の場合）、このフィルタは無視されます。CJK
言語によっては冗長なものもあるため、200%が適切なデフォルト値です。訳文の言語が原文の言語と類似している場合、またはより多くのデータをフィルタリングする必要がある場合は、値を低く設定できます。
例：
一方の言語がCJKである場合、比率は1です。破棄されません：
{"source": "This is a sentence.", "target": "这是一个句子。", "ratio": 1}
ドイツ語の訳文は英語の原文と同等の長さであり、破棄されません：
{"source": "This is a sentence.", "target": "Dies ist ein Satz.", "ratio": 1.1}
ドイツ語の訳文は英語の原文よりもはるかに長く、破棄されます：
{"source": "This is a sentence.", "target": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "ratio": 3.1}
翻訳不要箇所
翻訳不要箇所とは、原文のセグメントと訳文のセグメントが同じであるセグメントのことです。訳文が原文から変更されていないすべての翻訳不要箇所の文ペアを除外します。
重複
同じ原文を持つセグメントのグループが作成されます。各グループから最適なセグメントのみが保持されるため、セグメントの原文がユニークな場合は自動的に保持されます。それ以外の場合は、類似度スコアが最も高いセグメントが保持されます。
ニアデュプリケート
ニアデュプリケートをテストする際、（わずかにクリーンアップされたバージョンの）原文は正規化されます。すべての非文字（例：“,?)!-）はスペースに置き換えられ、すべての文字は小文字に変換されます。
正規化された原文を使用して、同じ正規化原文を持つセグメントのグループが作成されます。各グループから最適なセグメントのみが保持されるため、セグメントの正規化された原文はユニークとなり、自動的に保持されます。それ以外の場合は、類似度スコアが最も高いセグメントが保持されます。
言語識別
AIエンジンを使用して、文に基づいて原文と訳文の言語を識別します。セグメントは、エンジンが（原文/訳文の）言語を認識し（例えば、短い文ではエンジンが言語を特定するのに十分でないことがよくあります）、その言語が期待されるものと異なる場合にのみ削除されます。
QPS
QPS（品質評価スコア）フィルタを使用すると、翻訳メモリ内の品質が最も低い文ペアを削除し、結果として得られるセグメントの品質を最高に保つことができます。
QPS（品質評価スコア）フィルタは、以下の2つの方法で設定できます。
-
QPS（品質評価スコア）スコアが最も低い文ペアを、指定した割合で削除する。推奨値は10%です。
-
スコアのしきい値を選択する。詳細設定を使用して、調整可能なQPS（品質評価スコア）しきい値を下回る文ペアを削除します。推奨される開始値は50です。
これら2つのオプションにより、ユーザーの品質目標に合わせて翻訳メモリを自動的にキュレーションできます。
翻訳メモリのクリーニングプロセスには数時間かかる場合があり、キュレーション済みTMを使用するには、このプロセスが完了している必要があります。
TMSでキュレーション済みTMを使用するには、以下の手順に従ってください。
これによりデータセットのエクスポートプロセスが開始され、数分で完了します。結果として得られたキュレーション済みTM（ファイル形式は.TMX）は、最大1 Gbの新しいキュレーション済みTMとしてTMSにアップロードできます。
同じTMに対して2つ以上のクリーニングプロセスが実行されている場合、タブから異なるバージョンにアクセスできます。