Автоматические метрики играют важную роль в оценке качества переводов, создаваемых системами машинного перевода. В отличие от оценки человеком, которая может быть субъективной и трудоемкой, автоматизированные метрики обеспечивают быстрый, объективный и повторяемый способ оценки качества работы систем машинного перевода.
Для оценки качества машинного перевода в Phrase Custom AI используются несколько проверенных автоматических метрик: BLEU, TER, chrf3 и COMET.
Рекомендуется развертывать настроенные системы в производственной среде, если соблюдены оба следующих условия:
-
Улучшение показателя BLEU как минимум на 5 баллов (в абсолютном выражении, например 40 против 35) или показателя chrf как минимум на 4 балла.
-
Отсутствие значительного снижения оценки COMET.
В большинстве случаев улучшения такого масштаба легко заметны для переводчиков и приводят к сокращению времени постредактирования.
Рекомендуемый подход
В целом абсолютные значения метрик зависят от языковой пары, предметной области и других факторов. Чтобы оценить успешность процесса настройки, изучите разницу между показателями базовой и настроенной систем.
BLEU, chrf и TER измеряют степень совпадения текстовых фрагментов результатов машинного перевода и эталонных переводов. По определению, значительное улучшение этих показателей означает, что переводчикам потребуется меньше усилий для постредактирования.
COMET измеряет качество перевода в общем смысле. Оценка по метрике COMET не обязательно вырастет после настройки (настроенная система может выдавать переводы аналогичного качества; разница в том, соответствуют ли переводы стилю, тону и терминологии клиента и т. д.). Однако значительное снижение оценки по метрике COMET может указывать на проблему с настроенной системой.
Доступные метрики
Для оценки качества машинного перевода в Phrase Custom AI используются несколько проверенных автоматических метрик: BLEU, TER, chrf3 и COMET. Каждая из этих метрик оценивает качество перевода по-своему, уделяя внимание разным его аспектам.
Оценки COMET отображаются только в разделе «Custom AI» пользовательского интерфейса Phrase. Метрика COMET отсутствует в Phrase Data, поэтому получить ее оценку оттуда нельзя. Оценки BLEU, chrf3 и TER доступны как в Custom AI, так и в Phrase Data.
COMET (Cross-lingual Optimized Metric for Evaluation of Translation)
-
Обзор
COMET — это более современная метрика, которая использует модели машинного обучения для оценки переводов. В отличие от традиционных метрик, COMET не ограничивается сравнением текстов по внешнему совпадению.
-
Принцип работы
COMET использует модель нейронной сети, обученную на больших наборах данных с оценками, выставленными людьми. COMET оценивает переводы по нескольким критериям, включая естественность, адекватность и сохранение смысла.
-
Варианты использования
COMET особенно полезна, когда требуется более глубокая оценка качества перевода. Эта метрика особенно полезна для оценки переводов, в которых точность передачи контекста и смысла важнее дословного соответствия.
BLEU (Bilingual Evaluation Understudy)
-
Обзор
BLEU, одна из самых ранних и широко используемых метрик, оценивает качество машинного перевода путем сравнения его с одним или несколькими высококачественными эталонными переводами. BLEU измеряет степень совпадения фраз в машинном и эталонном переводах, уделяя особое внимание точности совпадения слов.
-
Принцип работы
BLEU вычисляет точность совпадения n-грамм различной длины (обычно от 1 до 4 слов), а затем объединяет полученные оценки с помощью среднего геометрического. При расчете также применяется штраф за краткость, чтобы учесть чрезмерно короткие переводы.
-
Варианты использования
BLEU особенно эффективен для оценки переводов, где важно точное совпадение фраз и порядка слов. Однако требование точного совпадения ограничивает возможности BLEU при оценке более естественных или идиоматических переводов.
TER (коэффициент редактирования перевода)
-
Обзор
TER — это метрика, которая измеряет количество правок, необходимых для преобразования машинного перевода в эталонный перевод. Она основана на понятии расстояния редактирования и включает такие операции, как вставки, удаления и замены. В отличие от других метрик в этом списке, более низкий показатель TER означает лучший перевод.
-
Принцип работы
TER вычисляет минимальное количество правок, необходимых для преобразования машинного перевода в один из эталонных переводов. Затем оценка нормализуется по общему количеству слов в эталонном переводе.
-
Варианты использования
TER полезна для оценки переводов, когда основное внимание уделяется объему необходимой работы по постредактированию. Она особенно актуальна в случаях, когда переводы будут проходить постредактирование специалистами.
chrf3 (F-мера символьных n-грамм)
-
Обзор
chrf3, или F-мера символьных n-грамм, — это метрика, которая оценивает переводы на основе символьных n-грамм. Она учитывает как точность, так и полноту, обеспечивая баланс между ними.
-
Принцип работы
chrf3 вычисляет F-меру — гармоническое среднее точности и полноты — на основе совпадения символьных n-грамм в машинном и эталонном переводах.
-
Варианты использования
chrf3 полезна для языков, в которых трудно выделить границы слов, а также для языков с развитой морфологией. Она также менее чувствительна к порядку слов, чем BLEU, что делает ее более гибкой при оценке переводов с различными, но приемлемыми формулировками.
Диапазоны оценок
Абсолютные значения метрик значительно варьируются в зависимости от языковой пары, предметной области и других факторов. Поэтому трудно дать общие рекомендации по интерпретации оценок. Решение следует принимать прежде всего на основе разницы между показателями базовой и настроенной систем, оцененных на одном и том же наборе данных.
Эту таблицу можно считать полезной отправной точкой для интерпретации значений отдельных метрик:
-
Оценки ниже порога низкого качества машинного перевода могут указывать на серьезные проблемы, и такие системы, как правило, не следует развертывать без дополнительного анализа.
-
Оценки выше порога высокого качества машинного перевода, как правило, указывают на то, что система работает очень хорошо и создает естественные и адекватные переводы.
|
Показатель |
Диапазон |
Порог низкого качества машинного перевода |
Порог высокого качества машинного перевода |
|---|---|---|---|
|
COMET |
Обычно от 0 до 1 |
< 0,3 |
> 0,8 |
|
BLEU |
от 0 до 100 |
< 15 |
> 50 |
|
TER |
от 0 до 100, чем ниже, тем лучше |
> 70 |
< 30 |
|
chrf3 |
от 0 до 100 |
< 20 |
> 60 |