Использование метрик машинного перевода (МТ)

Контент автоматически переведен с английского языка с помощью Phrase Language AI.

Автоматизированные метрики оценки играют решающую роль в оценке качества переводов, созданных системами машинного перевода. В отличие от оценки человеком, которая может быть субъективной и трудоемкой, автоматизированные метрики обеспечивают быстрый, объективный и повторяемый способ оценки производительности систем машинного перевода (МТ).

Phrase Custom AI включает несколько хорошо зарекомендовавших себя автоматизированных метрик для оценки качества машинного перевода: BLEU, TER, chrf3 и COMET.

Рекомендуется развертывать пользовательские системы в производственной среде, если соблюдены оба следующих условия:

BLEU улучшение как минимум на 5 пунктов (абсолютное, например, 40 против 35) или chrf улучшение как минимум на 4 пункта.
Отсутствие значительного снижения оценки COMET.

В большинстве случаев улучшения такого масштаба легко заметны для переводчиков и приводят к сокращению времени постредактирования.

Доступные метрики

Phrase Custom AI включает несколько хорошо зарекомендовавших себя автоматизированных метрик для оценки качества машинного перевода: BLEU, TER, chrf3 и COMET. Каждая из этих метрик предлагает уникальный подход к оценке качества перевода, учитывая различные аспекты перевода.

COMET (Cross-lingual Optimized Metric for Evaluation of Translation)

Обзор

COMET — это более современная метрика, которая использует модели машинного обучения для оценки переводов. В отличие от традиционных метрик, она не полагается исключительно на поверхностное сравнение текста.
Принцип работы

COMET использует модель нейронной сети, обученную на больших наборах данных человеческих оценок. Она оценивает переводы, учитывая различные аспекты качества перевода, включая беглость, адекватность и сохранение смысла.
Варианты использования

COMET эффективна в сценариях, где требуется более глубокое понимание качества перевода. Она особенно полезна для оценки переводов, где контекстуальная и семантическая точность важнее, чем буквальное соответствие слово в слово.

BLEU (Bilingual Evaluation Understudy)

Обзор

BLEU, одна из самых ранних и широко используемых метрик, оценивает качество машинного перевода путем сравнения его с одним или несколькими высококачественными справочными файлами перевода. BLEU измеряет соответствие фраз между машинным текстом и справочными файлами, фокусируясь на точности совпадения слов.
Принцип работы

BLEU вычисляет точность n-грамм для различных длин n-грамм (обычно от 1 до 4 слов), а затем объединяет эти оценки с помощью среднего геометрического. Она также включает штраф за краткость для решения вопроса чрезмерно коротких переводов.
Варианты использования

BLEU особенно эффективна для оценки переводов, где важно точное совпадение фраз и порядок слов. Однако ее зависимость от точных совпадений может быть ограничением при оценке качества более естественных или идиоматических переводов.

TER (Translation Edit Rate)

Обзор

TER — это метрика, которая измеряет количество операций, необходимых, чтобы изменить машинный перевод в справочный файл перевода. Она основана на концепции расстояния редактирования и включает такие операции, как вставки, удаления и замены. В отличие от других метрик в этом список, более низкая оценка TER означает лучший перевод.
Принцип работы

TER вычисляет минимальное количество правок, необходимых для преобразования машинного перевода в один из справочных файлов. Затем оценка нормализуется по общему количеству слов в справочном файле.
Варианты использования

TER полезен для оценки переводов, где основное внимание уделяется объему необходимой работы по постредактированию. Это особенно актуально в сценариях, где переводы будут подвергаться постредактированию людьми.

chrf3 (символьная F-оценка n-грамм)

Обзор

chrf3, или символьная F-оценка n-грамм, — это метрика, которая оценивает переводы на основе символьных n-грамм. Она учитывает как точность, так и полноту, обеспечивая баланс между ними.
Принцип работы

chrf3 вычисляет F-оценку, гармоническое среднее точности и полноты, основанное на совпадении символьных n-грамм между машинным переводом и справочным файлом.
Варианты использования

chrf3 предпочтителен для языков, где сегментация слов затруднена, или для морфологически богатых языков. Он также менее чувствителен к порядку слов, чем BLEU, что делает его более гибким при оценке переводов с разными, но приемлемыми формулировками.

Диапазоны оценки

Абсолютные значения метрик значительно варьируются в зависимости от языковой пары, отрасли и других факторов. Поэтому трудно установить общие рекомендации по интерпретации значений оценки, и пользователям следует принимать решение, основываясь прежде всего на различиях между общей и специализированной системой (оцененными на идентичном наборе данных).

Эту таблицу можно считать полезной отправной точкой для интерпретации значений отдельных метрик:

Оценки ниже порога низкого качества машинного перевода (МТ) могут указывать на серьезные проблемы, и такие системы, как правило, не следует развертывать без дополнительного анализа.
Оценки, превышающие порог высокого качества машинного перевода (МТ), обычно указывают на очень хорошо работающую систему, которая создает грамотные и адекватные переводы.

Показатель	Диапазон	Порог низкого качества машинного перевода (МТ)	Порог высокого качества машинного перевода (МТ)
COMET	Обычно от 0 до 1	< 0.3	> 0,8
BLEU	от 0 до 100	< 15	> 50
TER	от 0 до 100, чем ниже, тем лучше	> 70	< 30
chrf3	от 0 до 100	< 20	> 60