Кураторство памяти переводов является давней и распространенной проблемой, а ручная очистка — трудоемким процессом. Чистая память переводов приводит к лучшим ссылкам для лингвистов и более качественному машинному переводу, что особенно актуально для Фраза NextMT, учитывая его передовые возможности использования языковых ресурсов, таких как память переводов и глоссарии.
Чтобы создать набор данных для использования кураторской памяти переводов в TMS, выполните следующие шаги:
-
На странице Наборы данных нажмите Очистить память переводов.
Открывается страница .
-
Укажите имя для набора данных.
-
Выбор языков позволяет различные варианты:
-
Чтобы создать общий языковой набор данных, выберите одни и те же языки источника и перевода в селекторах языков источника и перевода и языкового стандарта.
-
Чтобы создать набор данных, специфичный для языкового стандарта, выберите языки источника и перевода из первого выпадающего списка, затем укажите языковые стандарты источника и перевода из второго выпадающего списка.
Также можно добавить несколько языковых стандартов перевода (т.е. разные варианты одного и того же языка), чтобы использовать больше источников данных.
-
Чтобы создать набор данных с несколькими языковыми стандартами источника и перевода, выберите языки источника и перевода из первого выпадающего списка, укажите языковые стандарты источника и перевода из второго выпадающего списка (можно добавить разные варианты одного и того же языка) и нажмите + Добавить больше пар языковых стандартов.
Окно появляется.
-
-
Нажмите Добавить память переводов.
Открывается страница с функцией поиска
.
-
Чтобы добавить память переводов в набор данных, нажмите на иконку
. Память переводов добавляется в колонку .
Можно добавить несколько памяти переводов, максимум 200 ТМ и максимум 8 миллионов сегментов. Набор данных должен содержать как минимум 10,000 сегментов.
Нажатие на имя TM откроет выбор на странице память переводов.
Нажмите на иконку
, чтобы удалить TM из колонки .
-
Нажмите Сохранить.
Открывается страница .
-
Просмотрите представленные детали и, если они верны, нажмите Продолжить.
Открывается страница .
-
Примените необходимые фильтры и нажмите Создать.
Набор данных создан и добавлен в список на странице с начальным статусом и статусом в колонке .
Пользовательский ИИ позволяет курировать память переводов с помощью фильтров очистки на основе ИИ и правил. Предоставлены настройки по умолчанию, которые могут подойти новым пользователям.
Этот процесс сохраняет оригинальные метаданные сегмента TM и теги TM, что позволяет пользователям сохранять преимущества TM при использовании очищенных TM в TMS.
Набор доступных фильтров включает как фильтры на основе правил, так и фильтры на основе машинного обучения:
-
На основе правил
Фильтры, которые работают с четко определенными правилами, которые легко понимаемы людьми. Эта категория фильтров включает , , , , , , .
-
На основе машинного обучения
Фильтры, которые анализируют содержание текста, чтобы принять решение, а не просто следуют фиксированному набору правил. Эта категория фильтров включает и .
Диапазон дат
Исключает сегменты вне установленных дат. Даты начала и окончания включены вместе с датой последнего изменения сегмента.
Несоответствующий оригинал и перевод
Этот фильтр определяет, насколько хорошо сегменты совпадают по смыслу и семантическому сходству, удаляя наихудшие. Выравнивание пар предложений измеряется с использованием метрики LASER.
Используется система ИИ для проверки того, означают ли оригинал и перевод одно и то же или насколько они схожи. Рекомендуемая настройка сбрасывает 10% наихудших сегментов, сохраняя 90% лучших сегментов.
Расширенные настройки позволяют изменять выравнивание или могут быть фильтром на основе сырого балла сходства, используя число от 0 до 1 (1 означает полное выравнивание). Рекомендуется проявлять осторожность при использовании сырого балла сходства, так как каждая языковая пара имеет различное распределение баллов, и то, что считается хорошим баллом для одной языковой пары, может быть неудовлетворительным для другой.
Как правило, сегменты ниже 0.5 не очень хороши, а сегменты, близкие к 1 или превышающие 1, являются сегментами, которые одинаковы на обоих языках.
Примеры:
Минимальное количество символов и букв
Количество символов включает все символы. Это включает все буквы, пробелы и знаки препинания и символы. Для учебных целей может быть полезно сбрасывать сегменты, которые не содержат никаких букв.
Количество букв учитывает только буквы, такие как в английском алфавите, но также более сложные символы с диакритиками или китайские символы. Один китайский символ считается одной буквой, даже если он представляет более одного символа. Для языков, основанных на символах, значения по умолчанию равны 1, но для языков, основанных на словах, значения по умолчанию равны 4 (символы) и 3 (буквы). Минимальное значение равно 1, а максимальное значение равно 500.
Если в данных хранится много коротких сегментов (например, акронимов), держите значения фильтра низкими.
Пример:
Строка "Привет, мир!" 1 2 3" содержит 19 символов и 10 букв.
Длина пары предложений
Этот фильтр удаляет все сегменты, которые длиннее порогового значения, установленного пользователями.
Общее количество символов включает все символы - буквы, пробелы и знаки препинания - как из исходных, так и из целевых предложений. Учитывайте тип языка (например, китайский и английский); если исходный язык не похож на CJK, а целевой язык является CJK (или наоборот), этот фильтр будет проигнорирован.
Соотношение длины
Этот фильтр определяет сегменты, где длина значительно выше при сравнении исходного сегмента и целевого сегмента. Некоторые переводы увеличиваются или уменьшаются в длине при переводе с одного языка на другой. Слишком длинные или слишком короткие переводы могут указывать на низкое качество сегментов.
Если исходный язык не похож на CJK, а целевой язык является (или наоборот), этот фильтр будет проигнорирован.CJK
Некоторые языки более многословны, чем другие, поэтому 200% - это хорошее значение по умолчанию. Если целевой язык похож на исходный язык или нужно отфильтровать больше данных, значение может быть ниже.
Примеры:
Один язык - CJK - соотношение 1. Он не будет отброшен:
{"source": "Это предложение.", "target": "这是一个句子。", "ratio": 1}
Немецкий перевод сопоставим по длине с английским исходником и не будет отброшен:
{"source": "Это предложение.", "target": "Dies ist ein Satz.", "ratio": 1.1}
Немецкий перевод значительно длиннее английского исходника и будет отброшен:
{"source": "Это предложение.", "target": "Это предложение с дополнительными ненужными заполнителями.", "ratio": 3.1}
Непереводимые элементы
Непереводимые элементы — это сегменты, где исходные и целевые сегменты совпадают. Исключает все непереводимые пары предложений, где целевой текст остается неизменным по сравнению с исходным текстом.
Дубликаты
Создаются группы сегментов, которые имеют одно и то же исходное предложение. Из каждой группы сохраняется только лучший сегмент, поэтому если исходное предложение сегмента уникально, оно автоматически сохраняется. В противном случае сохраняется сегмент с наивысшим баллом схожести.
Почти дубликаты
При проверке на почти дубликаты (немного более чистая версия) исходное предложение нормализуется; все не буквенные символы (некоторые примеры: “,?)!-) заменяются на пробел, а все буквы приводятся к нижнему регистру.
Используя нормализованное исходное предложение, создаются группы сегментов, которые имеют одно и то же нормализованное исходное предложение. Из каждой группы сохраняется только лучший сегмент, поэтому нормализованное исходное предложение сегмента уникально и автоматически сохраняется. В противном случае сохраняется сегмент с наивысшим баллом схожести.
Идентификация языка
Используется система ИИ для определения исходного и целевого языка на основе предложений. Сегмент удаляется только в том случае, если система распознает (исходный/целевой) язык (например, короткие предложения часто недостаточны для определения языка) и язык отличается от ожидаемого.
QPS
Фильтр QPS позволяет удалить пары предложений с наименьшим качеством в памяти переводов, чтобы гарантировать, что полученные сегменты имеют наивысшее качество.
Фильтр QPS можно настроить двумя способами:
-
Удаление указанного процента пар предложений с наименьшими баллами QPS. Рекомендуется 10%.
-
Выбор порога оценки. Используйте расширенные настройки, чтобы исключить пары предложений, которые находятся ниже настраиваемого порога оценки качества (QPS). Рекомендуемая отправная точка — 50.
Эти два варианта обеспечивают автоматизированную кураторскую память переводов для соответствия целям качества пользователей.
Процесс очистки памяти переводов, который может занять несколько часов, должен быть завершен, прежде чем кураторская ТМ может быть использована.
Чтобы использовать кураторскую ТМ в TMS, выполните следующие шаги:
Это запустит процесс экспорта набора данных, который займет всего несколько минут. Полученная кураторская ТМ в формате .TMX может быть затем загружена в TMS как новая кураторская ТМ размером до 1 Гб.
Если на одной и той же ТМ было выполнено два или более процессов очистки, разные версии могут быть доступны на вкладке .