维护翻译记忆库是一个长期存在且普遍的问题，手动清理是一个费力的过程。干净的翻译记忆库可以为语言专家提供更好的参考，并带来更高质量的机器翻译，这对于 Phrase NextMT 尤为重要，因为它在利用语言资产（如翻译记忆库和术语表）方面具有先进的功能。
要创建用于在 TMS 中使用已维护翻译记忆库的数据集，请遵循以下步骤：
-
在 数据集 页面上，点击 清理翻译记忆库。
页面随即打开。
-
为数据集提供一个名称。
-
语言选择器允许进行各种选项设置：
-
要创建通用语言数据集，请在原文和译文语言及区域选择器中选择相同的原文和译文语言。
-
要创建特定区域的数据集，请从第一个下拉列表中选择原文和译文语言，然后从第二个下拉列表中指定原文和译文区域。
也可以添加多个译文区域（即同一语言的不同变体）以利用更多数据源。
-
要创建包含多个原文和译文区域的数据集，请从第一个下拉列表中选择原文和译文语言，从第二个下拉列表中指定原文和译文区域（可以添加同一译文语言的不同变体），然后点击 + 添加更多区域对。
窗口随即出现。
-
-
点击 添加翻译记忆库。
页面打开，其中包含搜索功能
。
-
要将翻译记忆库添加到数据集，请点击
图标。该翻译记忆库已添加到 列。
最多可以添加 200 个翻译记忆库，且最多包含 800 万个片段。数据集理想情况下应至少包含 10,000 个片段。
点击翻译记忆库名称将在 翻译记忆库页面 上显示该选择。
点击
图标以从 列中移除翻译记忆库。
-
点击保存。
页面随即打开。
-
查看所呈现的详细信息，如果正确，请点击 继续。
页面打开。
-
应用所需的筛选器并点击 创建。
数据集已创建并添加到 页面的列表中，初始状态为 ， 列中的状态为 。
Phrase Custom AI 允许在 AI 驱动和基于规则的清理筛选器的帮助下管理翻译记忆库。提供了可能适合新用户的默认设置。
此过程保留了原始的 翻译记忆库句段元数据 和 翻译记忆库标记，这允许用户在 TMS 中使用清理后的翻译记忆库时保持翻译记忆库的杠杆作用。
可用的筛选器集包括基于规则的筛选器和基于机器学习的筛选器：
-
基于规则
以人类易于理解的明确定义规则运行的筛选器。此筛选器类别包括 、、、、、、。
-
基于机器学习
通过分析文本本身的内容来做出决定，而不是仅仅遵循一组固定规则的筛选器。此筛选器类别包括 和 。
日期范围
排除设定日期之外的句段。结束日期和开始日期以及句段的最后修改日期均包含在内。
原文/源语与译文不匹配
此筛选器用于确定片段在含义和语义相似度方面的匹配程度，并移除评分最低的片段。句子对对齐使用 LASER 指标进行衡量。
AI 引擎被用于检查原文和译文表达的意思是否相同，或相同程度如何。推荐设置会丢弃最差的 10% 的片段，同时保留最好的 90% 的片段。
高级设置允许更改对齐方式，或者可以作为基于原始相似度分数的筛选器，使用 0 到 1 之间的数字（1 表示完全对齐）。如果使用原始相似度分数，建议谨慎行事，因为每个语言对的分数分布都不同，对于一个语言对来说被认为是好的分数，对于另一个语言对来说可能是不令人满意的分数。
通常低于0.5的片段质量不是很好，而接近或超过1的片段则是两种语言中相同的片段。
示例：
最小字符和字母计数
字符计数包含所有字符。这包括所有字母、空格以及标点符号。出于训练目的，丢弃不包含任何字母的片段可能会很有用。
字母计数仅计算字母，例如英语字母表中的字母，但也包括带有变音符号的更复杂字符或汉字。一个汉字被计为一个字母，即使它代表不止一个字符。对于基于字符的语言，默认值为 1，但对于基于词的语言，默认值为 4（字符）和 3（字母）。最小值为1，最大值为500。
如果数据中保留了大量短片段（例如缩写），请保持较低的筛选值。
示例：
字符串 "Hello, World!"1 2 3\" 有 19 个字符和 10 个字母。
句子对长度
此筛选会移除所有长度超过用户所设阈值的句段。
总字符数包含所有字符——字母、空格和标点符号——涵盖原文和译文句段。考虑语言类型（例如中文和英文）；如果原文语言不是中日韩语 (CJK) 类，而译文语言是 CJK（反之亦然），则此筛选将被忽略。
长度比
此筛选用于识别原文句段与译文句段相比长度明显过大的句段。从原文语言翻译为译文语言时，某些译文的长度会增加或减少。过长或过短的译文可能表明句段质量较低。
如果原文语言不是中日韩语 (CJK) 类，而译文语言是（反之亦然），则此筛选将被忽略。CJK
某些语言比其他语言更冗长，因此 200% 是一个不错的默认值。如果译文语言与原文语言相似，或者需要筛选出更多数据，则该值可以设得更低。
示例：
其中一种语言为中日韩语 (CJK) - 比率为 1。它将不会被丢弃：
{"source": "This is a sentence.", "target": "这是一个句子。", "ratio": 1}
德语译文的长度与英语原文相当，因此不会被丢弃：
{"source": "This is a sentence.", "target": "Dies ist ein Satz.", "ratio": 1.1}
德语译文比英语原文长得多，因此会被丢弃：
{"source": "This is a sentence.", "target": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "ratio": 3.1}
非译元素
非译元素是指原文句段与译文句段相同的句段。排除所有译文文本与原文文本保持不变的非译元素句对。
重复项
创建具有相同原文句子的句段组。从每个组中，仅保留最佳句段，因此如果句段的原文句子是唯一的，它会被自动保留。否则，保留相似度分数最高的句段。
近重复项
在测试近重复项时，原文句子（略微精简的版本）会被标准化；所有非字母字符（例如：“,?)!-）都会被替换为空格，并且所有字母都会转换为小写。
使用标准化后的原文句子，创建具有相同标准化原文句子的句段组。从每个组中，仅保留最佳句段，因此句段的标准化原文句子是唯一的，并会被自动保留。否则，保留相似度分数最高的句段。
语言识别
使用AI引擎根据句子识别原文和译文语言。仅当引擎识别出（原文/译文）语言（例如，较短的句子通常不足以让引擎确定语言）且该语言与预期不同时，才会移除句段。
QPS
QPS（质量评估分数）筛选器可以移除翻译记忆库中质量最低的句子对，以确保生成的句段具有最高质量。
QPS（质量评估分数）筛选器可以通过两种方式进行配置：
-
移除指定百分比的QPS（质量评估分数）分数最低的句子对。建议值为10%。
-
选择分数阈值。使用高级设置来剔除低于可调QPS（质量评估分数）阈值的句子对。建议的起始点为50。
这两个选项提供了自动化的翻译记忆库整理功能，以符合用户的质量目标。
翻译记忆库清理过程可能需要几个小时，必须在完成之后才能使用精选翻译记忆库。
要在 TMS 中使用精选翻译记忆库，请遵循以下步骤：
这将触发数据集导出过程，仅需几分钟即可完成。生成的 .TMX 格式精选翻译记忆库随后可以 上传 到 TMS，作为大小不超过 1 Gb 的新精选翻译记忆库。
如果对同一个翻译记忆库执行了两次或多次清理过程，则可以在 选项卡中访问不同版本。