Курирование память переводов — это давняя повсеместная проблема, а ручная очистка — трудоемкий процесс. Чистая память переводов обеспечивает лучшие справочные материалы для лингвистов и более качественный машинный перевод, что особенно актуально для Phrase NextMT, учитывая его расширенные возможности по использованию языковых активов, таких как память переводов и глоссарии.
Чтобы Создать набор данных для использования курируемой память переводов (TM) в TMS, выполните следующие действия:
-
На странице Наборы данных нажмите Очистить память переводов.
Откроется страница .
-
Укажите название набора данных.
-
Селекторы язык позволяют использовать различные параметры:
-
Чтобы Создать набор данных для общего языка, Выбрать одинаковые оригинал и перевод языки в селекторах оригинал и перевод язык и языковой стандарт.
-
Чтобы Создать набор данных для конкретного языкового стандарта, Выбрать оригинал и перевод языки из первого выпадающего список, затем укажите оригинал и перевод языковой стандарт из второго выпадающего список.
Можно также добавить несколько перевод языковой стандарт (т.е. различные варианты одного и того же язык), чтобы использовать больше источников данных.
-
Чтобы Создать набор данных с несколькими оригинал и перевод языковой стандарт, Выбрать оригинал и перевод языки из первого выпадающего список, укажите оригинал и перевод языковой стандарт из второго выпадающего список (можно добавить различные варианты одного и того же перевод язык) и нажмите + добавить больше пар языковой стандарт.
Откроется окно .
-
-
Нажмите добавить память переводов (TM).
Откроется страница с функцией поиска
.
-
Чтобы добавить память переводов (TM) в набор данных, нажмите значок
. память переводов (TM) будет добавлена в столбец .
Можно добавить несколько память переводов (TM), максимум до 200 память переводов (TM) и максимум 8 миллионов сегментов. В идеале набор данных должен содержать не менее 10 000 сегментов.
Нажатие на имя память переводов (TM) откроет выбор на странице памяти переводов.
Нажмите значок
, чтобы удалить память переводов (TM) из столбца .
-
Нажмите «Сохранить».
Откроется страница .
-
Просмотрите представленные данные и, если они верны, нажмите продолжить.
Откроется страница .
-
Примените необходимые фильтры и нажмите создать.
Набор данных создан и добавлен в список на странице с начальным статус и статус в столбце .
Phrase Custom искусственный интеллект (ИИ) позволяет курировать память переводов с помощью фильтров очистки на основе искусственный интеллект (ИИ) и правил. Предоставляются настройки по умолчанию, которые могут подойти новым пользователям.
Этот процесс сохраняет исходные метаданные сегмента памяти переводов (TM) и теги памяти переводов (TM), что позволяет пользователям сохранять эффективность памяти переводов (TM) при использовании очищенных память переводов (TM) в TMS.
Набор доступных фильтров включает как фильтры на основе правил, так и фильтры на основе машинного обучения:
-
На основе правил
Фильтры, которые работают с четко определенными правилами, легко понятными для людей. Эта категория фильтров включает , , , , , , .
-
На основе машинного обучения
Фильтры, которые анализируют контент самого текста для принятия решения, а не просто следуют фиксированному набору правил. Эта категория фильтров включает и .
Диапазон дат
Исключает сегменты вне установленных дат. Конечная и начальная даты включены вместе с датой последнего изменения сегмента.
Несоответствие между оригинал и перевод
Этот фильтровать определяет, насколько хорошо сегменты соответствуют друг другу с точки зрения значения и семантического сходства, удаляя сегменты с наихудшей оценка. Выравнивание пары предложений измеряется с помощью метрики LASER.
Система искусственный интеллект (ИИ) используется для проверки того, означают ли оригинал и перевод одно и то же, или насколько они близки по значению. Рекомендуемые настройки позволяют Сбросить 10% наихудших сегментов, сохраняя при этом 90% наилучших сегментов.
Дополнительные настройки позволяют изменять выравнивание или могут служить фильтровать на основе необработанной оценка сходства, используя число от 0 до 1 (1 означает Завершить выравнивание). Рекомендуется соблюдать осторожность при использовании необработанной оценка сходства, так как каждая языковая пара имеет разное распределение оценка, и то, что считается хорошей оценка для одной языковая пара, может быть неудовлетворительной оценка для другой.
Как правило, сегменты ниже 0,5 не очень хороши, а сегменты, близкие к 1 или превышающие его, — это сегменты, которые одинаковы на обоих языках.
Примеры:
Минимальное количество символ и букв
Количество символ включает все символ. Это включает все буквы, пробелы, знаки препинания и символ. Для целей обучения может быть полезно Сбросить сегменты, которые не содержат никаких букв.
Количество букв подсчитывает только буквы, например, английского алфавита, а также более сложные символ с диакритическими знаками или китайские иероглифы. Один китайский иероглиф считается как одна буква, даже если он представляет собой более одного символ. Для языков, основанных на символ, значения по умолчанию равны 1, но для языков, основанных на словах, значения по умолчанию равны 4 (символ) и 3 (буквы). Минимальное значение равно 1, а максимальное значение равно 500.
Если в данных сохраняется много коротких сегментов (например, аббревиатур), держите значения фильтровать низкими.
Пример:
Строка \"Hello, World!" 1 2 3\" содержит 19 символ и 10 букв.
Длина пары предложений
Этот фильтровать удаляет все сегмент, которые длиннее порогового значения, установленного пользователями.
Общее количество символ включает все символ - буквы, пробелы и знаки препинания - как из оригинал, так и из перевод сегмент. Примите во внимание тип язык (например, китайский и английский); если оригинал язык не похож на CJK, а перевод язык — CJK (или наоборот), этот фильтровать будет проигнорирован.
Соотношение длины
Этот фильтровать определяет сегмент, длина которых значительно выше при сравнении оригинал сегмент и перевод сегмент. Длина некоторых перевод увеличивается или уменьшается при переводе с оригинал язык на перевод язык. Слишком длинные или слишком короткие перевод могут указывать на низкое качество сегмент.
Если оригинал язык не похож на CJK, а перевод язык — (или наоборот), этот фильтровать будет проигнорирован.CJK
Некоторые языки более многословны, чем другие, поэтому 200% — это хороший вариант по умолчанию. Если перевод язык похож на оригинал язык, или необходимо отфильтровать больше данных, значение может быть ниже.
Примеры:
Один язык — CJK, соотношение равно 1. Он не будет отброшен:
{"оригинал": "This is a sentence.", "перевод": "这是一个句子。", "соотношение": 1}
Немецкий перевод сопоставим по длине с английским оригинал и не будет отброшен:
{"оригинал": "This is a sentence.", "перевод": "Dies ist ein Satz.", "соотношение": 1.1}
Немецкий перевод намного длиннее английского оригинал и будет отброшен:
{"оригинал": "This is a sentence.", "перевод": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "соотношение": 3.1}
Непереводимые элементы
Непереводимый — это сегмент, в котором оригинал и перевод совпадают. Исключает все непереводимый пары предложений, в которых текст перевод остается неизменным по сравнению с текстом оригинал.
Дубликаты
Создаются группы сегмент, имеющие одинаковый оригинал предложения. Из каждой группы сохраняется только лучший сегмент, поэтому если оригинал предложения сегмент уникален, он сохраняется автоматически. В противном случае сохраняется сегмент с самой высокой оценка сходства.
Почти дубликаты
При проверке на почти дубликаты (слегка очищенная версия) оригинал предложения нормализуется; все небуквенные символы (некоторые примеры: “,?)!-) заменяются на каталог, а все буквы приводятся к нижнему регистру.
С использованием нормализованного оригинал предложения создаются группы сегмент, имеющие одинаковый нормализованный оригинал предложения. Из каждой группы сохраняется только лучший сегмент, поэтому если нормализованный оригинал сегмента уникален, он сохраняется автоматически. В противном случае сохраняется сегмент с самой высокой оценка сходства.
Идентификация язык
Для определения язык оригинала и перевод на основе предложений используется система искусственный интеллект (ИИ). Сегмент удаляется только в том случае, если система распознает язык (оригинал/перевод) (например, коротких предложений часто недостаточно для того, чтобы система определила язык) и этот язык отличается от ожидаемого.
ОЦЕНКА КАЧЕСТВА (QPS)
Фильтр Оценка качества (QPS) позволяет удалить пары предложений с самым низким качеством из память переводов, чтобы гарантировать, что полученные сегменты будут самого высокого качества.
Фильтр Оценка качества (QPS) можно настроить двумя способами:
-
Удаление указанного процента пар предложений с самыми низкими оценка Оценка качества (QPS). Рекомендуемое значение — 10%.
-
Выбор порогового значения оценка. Использовать расширенные настройки, чтобы удалить пары предложений, которые не достигают настраиваемого порога Оценка качества (QPS). Рекомендуемая начальная точка — 50.
Эти две опции обеспечивают автоматизированную курацию память переводов (TM) для соответствия целям качества пользователей.
Процесс очистки память переводов (TM), который может занять несколько часов, должен Завершить перед тем, как можно будет использовать очищенную память переводов (TM).
Чтобы использовать очищенную память переводов (TM) в TMS, выполните следующие действия:
Это запустит процесс экспортировать набора данных, который займет всего несколько минут. Полученная очищенная память переводов (TM) в формат .TMX может быть затем загружена в TMS как новая очищенная память переводов (TM) размером до 1 Гб.
Если для одной и той же память переводов (TM) было выполнено два или более процессов очистки, доступ к различным версиям можно получить на вкладка .