Использование машинного перевода (МТ)

Контент автоматически переведен с английского языка с помощью Phrase Language AI.

Автоматизированные оценочные метрики играют решающую роль в оценке качества переводов, создаваемых системами машинного перевода. В отличие от оценки человеком, которая может быть субъективной и трудоемкой, автоматизированные оценки обеспечивают быстрый, объективный и повторяемый способ измерения производительности систем машинного перевода (МТ).

Phrase Custom AI включает несколько хорошо зарекомендовавших себя автоматизированных оценок для оценки качества машинного перевода: BLEU, TER, chrf3 и COMET.

Рекомендуется развертывать пользовательские системы в производственной среде, если соблюдены оба следующих условия:

BLEU улучшение как минимум на 5 пунктов (абсолютное, например, 40 против 35) или chrf улучшение как минимум на 4 пункта.
Отсутствие значительного снижения оценки COMET.

В большинстве случаев улучшения такого масштаба легко заметны для переводчиков и приводят к сокращению времени на постредактирование.

Доступные оценки

Phrase Custom AI включает несколько хорошо зарекомендовавших себя автоматизированных оценок для оценки качества машинного перевода: BLEU, TER, chrf3 и COMET. Каждая из этих оценок предлагает уникальный подход к оценке качества перевода, учитывая различные аспекты перевода.

COMET (Cross-lingual Optimized Metric for Evaluation of Translation)

Overview

COMET — это более современная метрика, которая использует модели машинного обучения для оценки переводов. В отличие от традиционных метрик, она не полагается исключительно на поверхностное сравнение текста.
Working Mechanism

COMET использует модель нейронной сети, обученную на больших наборах данных человеческих оценок. Она оценивает переводы, учитывая различные аспекты качества перевода, включая беглость, адекватность и сохранение смысла.
Варианты использования

COMET эффективна в сценариях, где требуется более глубокое понимание качества перевода. Она особенно полезна для оценки переводов, где контекстуальная и семантическая точность важнее, чем буквальное соответствие слово в слово.

BLEU (Bilingual Evaluation Understudy)

Overview

BLEU, одна из самых ранних и широко используемых метрик, оценивает качество машинного перевода путем сравнения его с одним или несколькими высококачественными справочными файлами перевода. BLEU измеряет соответствие фраз между машинным текстом и справочными файлами, фокусируясь на точности совпадения слов.
Working Mechanism

BLEU вычисляет точность n-грамм для различных длин n-грамм (обычно от 1 до 4 слов), а затем объединяет эти оценки с помощью среднего геометрического. Она также включает штраф за краткость, чтобы решить вопрос чрезмерно коротких переводов.
Варианты использования

BLEU особенно эффективна для оценки переводов, где важно точное совпадение фраз и порядка слов. Однако ее зависимость от точных совпадений может быть ограничением при оценке качества более плавных или идиоматических переводов.

TER (Translation Edit Rate)

Overview

TER — это метрика, которая измеряет количество правок, необходимых, чтобы изменить машинный перевод в справочный файл. Она основана на концепции расстояния редактирования и включает такие операции, как вставки, удаления и замены. В отличие от других метрик в этом списке, более низкая оценка TER означает лучший перевод.
Working Mechanism

TER вычисляет минимальное количество правок, необходимых для преобразования машинного перевода в один из справочных файлов. Затем оценка нормализуется по общему количеству слов в справочном файле.
Варианты использования

TER полезен для оценки переводов, где основное внимание уделяется объему необходимой работы по постредактированию. Это особенно актуально в сценариях, где переводы будут подвергаться постредактированию людьми.

chrf3 (символьная F-оценка n-грамм)

Overview

chrf3, или символьная F-оценка n-грамм, — это метрика, которая оценивает переводы на основе символьных n-грамм. Она учитывает как точность, так и полноту, обеспечивая баланс между ними.
Working Mechanism

chrf3 вычисляет F-оценку, гармоническое среднее точности и полноты, на основе совпадения символьных n-грамм между машинным переводом и справочным файлом.
Варианты использования

chrf3 предпочтителен для языков, где сегментация слов затруднена, или для морфологически богатых языков. Он также менее чувствителен к порядку слов, чем BLEU, что делает его более гибким при оценке переводов с разными, но приемлемыми формулировками.

Диапазоны оценки

Абсолютные значения метрик значительно варьируются в зависимости от языковой пары, отрасли и других факторов. Поэтому трудно установить общие рекомендации по интерпретации значений оценки, и пользователям следует принимать решение в первую очередь на основе различий между общей и специализированной системой (оцененными на идентичном наборе данных).

Эту таблицу можно считать полезной отправной точкой для интерпретации значений отдельных метрик:

Оценки ниже порога низкого качества машинного перевода (МТ) могут указывать на серьезные проблемы, и такие системы, как правило, не следует развертывать без дополнительного анализа.
Оценки, превышающие порог высокого качества машинного перевода (МТ), обычно указывают на очень хорошо работающую систему, которая создает грамотные и адекватные переводы.

Показатель	Диапазон	Порог низкого качества машинного перевода (МТ)	Порог высокого качества машинного перевода (МТ)
COMET	Обычно от 0 до 1	< 0.3	> 0,8
BLEU	от 0 на 100	< 15	> 50
TER	от 0 на 100, чем ниже, тем лучше	> 70	< 30
chrf3	от 0 на 100	< 20	> 60