Usando Métricas de MT

BLEU melhoria de pelo menos 5 pontos (absoluto, por exemplo, 40 vs 35), ou chrf melhoria de pelo menos 4 pontos.

Nenhuma diminuição significativa da pontuação do COMET.

Visão Geral

COMET é uma métrica mais recente que utiliza modelos de aprendizado de máquina para avaliar traduções. Ao contrário das métricas tradicionais, não se baseia apenas em comparações de texto superficiais.

Mecanismo de Funcionamento

COMET utiliza um modelo de rede neural treinado em grandes conjuntos de dados de julgamentos humanos. Avalia traduções considerando vários aspectos da qualidade da tradução, incluindo fluência, adequação e preservação do significado.

Casos de Uso

COMET é eficaz em cenários onde uma compreensão mais profunda da qualidade da tradução é necessária. É particularmente útil para avaliar traduções onde a precisão contextual e semântica é mais importante do que a correspondência literal palavra por palavra.

Visão Geral

BLEU, uma das métricas mais antigas e amplamente utilizadas, avalia a qualidade do texto traduzido por máquina comparando-o com uma ou mais traduções de referência de alta qualidade. BLEU mede a correspondência de frases entre o texto gerado pela máquina e os textos de referência, focando na precisão das correspondências de palavras.

Mecanismo de Funcionamento

BLEU calcula a precisão de n-gramas para vários comprimentos de n-gramas (tipicamente de 1 a 4 palavras) e, em seguida, combina essas pontuações usando uma média geométrica. Também incorpora uma penalidade de brevidade para abordar o problema de traduções excessivamente curtas.

Casos de Uso

BLEU é particularmente eficaz para avaliar traduções onde a correspondência exata de frases e a ordem das palavras são importantes. No entanto, sua dependência de correspondências exatas pode ser uma limitação na captura da qualidade de traduções mais fluentes ou idiomáticas.

Visão Geral

TER é uma métrica que mede o número de edições necessárias para transformar um texto traduzido por máquina em uma tradução de referência. Baseia-se no conceito de distância de edição e inclui operações como inserções, exclusões e substituições. Ao contrário de outras métricas nesta lista, uma pontuação TER mais baixa significa uma melhor tradução.

Mecanismo de Funcionamento

O TER calcula o número mínimo de edições necessárias para transformar a tradução automática em uma das traduções de referência. A pontuação é então normalizada pelo número total de palavras na tradução de referência.

Casos de Uso

O TER é útil para avaliar traduções onde o foco está na quantidade de trabalho de pós-edição necessário. É particularmente relevante em cenários onde as traduções serão pós-editadas por humanos.

Visão Geral

chrf3, ou F-score de n-grama de caractere, é uma métrica que avalia traduções com base em n-gramas de nível de caractere. Ela considera tanto a precisão quanto a recuperação, proporcionando um equilíbrio entre as duas.

Mecanismo de Funcionamento

O chrf3 calcula o F-score, uma média harmônica de precisão e recuperação, com base na sobreposição de n-gramas de caracteres entre a tradução automática e o texto de referência.

Casos de Uso

O chrf3 é vantajoso para idiomas onde a segmentação de palavras é desafiadora ou para idiomas morfologicamente ricos. Ele também é menos sensível à ordem das palavras do que o BLEU, tornando-o mais flexível na avaliação de traduções com formulações diferentes, mas aceitáveis.

Pontuações abaixo do limite de MT de baixa qualidade podem ser indicativas de problemas sérios e tais sistemas geralmente não devem ser implantados sem uma análise adicional.

Pontuações que excedem o limite para MT de alta qualidade geralmente indicam um sistema de desempenho muito bom que produz traduções fluentes e adequadas.