Custom AI

Использование метрик машинного перевода

Контент автоматически переведен с английского языка с помощью Phrase Language AI.

Автоматические метрики играют важную роль в оценке качества переводов, создаваемых системами машинного перевода. В отличие от оценки человеком, которая может быть субъективной и трудоемкой, автоматизированные метрики обеспечивают быстрый, объективный и повторяемый способ оценки качества работы систем машинного перевода.

Для оценки качества машинного перевода в Phrase Custom AI используются несколько проверенных автоматических метрик: BLEU, TER, chrf3 и COMET.

Рекомендуется развертывать настроенные системы в производственной среде, если соблюдены оба следующих условия:

  • Улучшение показателя BLEU как минимум на 5 баллов (в абсолютном выражении, например 40 против 35) или показателя chrf как минимум на 4 балла.

  • Отсутствие значительного снижения оценки COMET.

В большинстве случаев улучшения такого масштаба легко заметны для переводчиков и приводят к сокращению времени постредактирования.

Рекомендуемый подход

В целом абсолютные значения метрик зависят от языковой пары, предметной области и других факторов. Чтобы оценить успешность процесса настройки, изучите разницу между показателями базовой и настроенной систем.

BLEU, chrf и TER измеряют степень совпадения текстовых фрагментов результатов машинного перевода и эталонных переводов. По определению, значительное улучшение этих показателей означает, что переводчикам потребуется меньше усилий для постредактирования.

COMET измеряет качество перевода в общем смысле. Оценка по метрике COMET не обязательно вырастет после настройки (настроенная система может выдавать переводы аналогичного качества; разница в том, соответствуют ли переводы стилю, тону и терминологии клиента и т. д.). Однако значительное снижение оценки по метрике COMET может указывать на проблему с настроенной системой.

Доступные метрики

Для оценки качества машинного перевода в Phrase Custom AI используются несколько проверенных автоматических метрик: BLEU, TER, chrf3 и COMET. Каждая из этих метрик оценивает качество перевода по-своему, уделяя внимание разным его аспектам.

Оценки COMET отображаются только в разделе «Custom AI» пользовательского интерфейса Phrase. Метрика COMET отсутствует в Phrase Data, поэтому получить ее оценку оттуда нельзя. Оценки BLEU, chrf3 и TER доступны как в Custom AI, так и в Phrase Data.

COMET (Cross-lingual Optimized Metric for Evaluation of Translation)

  • Обзор

    COMET — это более современная метрика, которая использует модели машинного обучения для оценки переводов. В отличие от традиционных метрик, COMET не ограничивается сравнением текстов по внешнему совпадению.

  • Принцип работы

    COMET использует модель нейронной сети, обученную на больших наборах данных с оценками, выставленными людьми. COMET оценивает переводы по нескольким критериям, включая естественность, адекватность и сохранение смысла.

  • Варианты использования

    COMET особенно полезна, когда требуется более глубокая оценка качества перевода. Эта метрика особенно полезна для оценки переводов, в которых точность передачи контекста и смысла важнее дословного соответствия.

BLEU (Bilingual Evaluation Understudy)

  • Обзор

    BLEU, одна из самых ранних и широко используемых метрик, оценивает качество машинного перевода путем сравнения его с одним или несколькими высококачественными эталонными переводами. BLEU измеряет степень совпадения фраз в машинном и эталонном переводах, уделяя особое внимание точности совпадения слов.

  • Принцип работы

    BLEU вычисляет точность совпадения n-грамм различной длины (обычно от 1 до 4 слов), а затем объединяет полученные оценки с помощью среднего геометрического. При расчете также применяется штраф за краткость, чтобы учесть чрезмерно короткие переводы.

  • Варианты использования

    BLEU особенно эффективен для оценки переводов, где важно точное совпадение фраз и порядка слов. Однако требование точного совпадения ограничивает возможности BLEU при оценке более естественных или идиоматических переводов.

TER (коэффициент редактирования перевода)

  • Обзор

    TER — это метрика, которая измеряет количество правок, необходимых для преобразования машинного перевода в эталонный перевод. Она основана на понятии расстояния редактирования и включает такие операции, как вставки, удаления и замены. В отличие от других метрик в этом списке, более низкий показатель TER означает лучший перевод.

  • Принцип работы

    TER вычисляет минимальное количество правок, необходимых для преобразования машинного перевода в один из эталонных переводов. Затем оценка нормализуется по общему количеству слов в эталонном переводе.

  • Варианты использования

    TER полезна для оценки переводов, когда основное внимание уделяется объему необходимой работы по постредактированию. Она особенно актуальна в случаях, когда переводы будут проходить постредактирование специалистами.

chrf3 (F-мера символьных n-грамм)

  • Обзор

    chrf3, или F-мера символьных n-грамм, — это метрика, которая оценивает переводы на основе символьных n-грамм. Она учитывает как точность, так и полноту, обеспечивая баланс между ними.

  • Принцип работы

    chrf3 вычисляет F-меру — гармоническое среднее точности и полноты — на основе совпадения символьных n-грамм в машинном и эталонном переводах.

  • Варианты использования

    chrf3 полезна для языков, в которых трудно выделить границы слов, а также для языков с развитой морфологией. Она также менее чувствительна к порядку слов, чем BLEU, что делает ее более гибкой при оценке переводов с различными, но приемлемыми формулировками.

Диапазоны оценок

Абсолютные значения метрик значительно варьируются в зависимости от языковой пары, предметной области и других факторов. Поэтому трудно дать общие рекомендации по интерпретации оценок. Решение следует принимать прежде всего на основе разницы между показателями базовой и настроенной систем, оцененных на одном и том же наборе данных.

Эту таблицу можно считать полезной отправной точкой для интерпретации значений отдельных метрик:

  • Оценки ниже порога низкого качества машинного перевода могут указывать на серьезные проблемы, и такие системы, как правило, не следует развертывать без дополнительного анализа.

  • Оценки выше порога высокого качества машинного перевода, как правило, указывают на то, что система работает очень хорошо и создает естественные и адекватные переводы.

Показатель

Диапазон

Порог низкого качества машинного перевода

Порог высокого качества машинного перевода

COMET

Обычно от 0 до 1

< 0,3

> 0,8

BLEU

от 0 до 100

< 15

> 50

TER

от 0 до 100, чем ниже, тем лучше

> 70

< 30

chrf3

от 0 до 100

< 20

> 60

Была ли эта статья полезной?
★ ★ ★ ★ ★

Sorry about that! In what way was it not helpful?

The article didn’t address my problem.
I couldn’t understand the article.
The feature doesn’t do what I need.
Other reason.

Note that feedback is provided anonymously so we aren't able to reply to questions.
If you'd like to ask a question, submit a request to our Support team.
Thank you for your feedback.