Métricas de avaliação automatizadas desempenham um papel crucial na avaliação da qualidade das traduções produzidas por sistemas de tradução automática. Ao contrário das avaliações humanas, que podem ser subjetivas e demoradas, as métricas automatizadas fornecem uma maneira rápida, objetiva e repetível de avaliar o desempenho de sistemas de tradução automática.
O Phrase Custom IA incorpora várias métricas automatizadas bem estabelecidas para avaliar a qualidade da tradução automática: BLEU, TER, chrf3 e COMET.
É aconselhável implantar sistemas personalizados em um ambiente de produção se ambas as condições a seguir forem atendidas:
-
BLEU melhoria de pelo menos 5 pontos (absolutos, por exemplo, 40 vs 35), ou chrf melhoria de pelo menos 4 pontos.
-
Nenhuma diminuição significativa da pontuação COMET.
Na maioria dos casos, melhorias dessa magnitude são facilmente perceptíveis para tradutores humanos e levam a tempos de pós-edição aprimorados.
Abordagem recomendada
Em geral, os valores absolutos das métricas variam dependendo do par de idiomas, domínio e outros fatores. Para avaliar o sucesso do processo de personalização, examine a diferença entre as pontuações do sistema genérico e do sistema personalizado.
BLEU, chrf e TER medem a sobreposição de string entre as saídas de tradução automática e as traduções de referência. Por definição, uma melhoria significativa nessas pontuações implica menos esforço de pós-edição para os tradutores.
COMET mede a qualidade da tradução em um sentido geral. COMET não aumentará necessariamente após a personalização (o sistema personalizado pode gerar traduções de qualidade semelhante; a diferença é se as traduções correspondem ao estilo, tom de voz, terminologia, etc., do cliente). No entanto, uma diminuição significativa de COMET pode sinalizar um problema com o sistema personalizado.
Métricas disponíveis
O Phrase Custom IA incorpora várias métricas automatizadas bem estabelecidas para avaliar a qualidade da tradução automática: BLEU, TER, chrf3 e COMET. Cada uma dessas métricas oferece uma abordagem única para avaliar a qualidade da tradução, atendendo a diferentes aspectos da tradução.
COMET (Métrica Otimizada Interlinguística para Avaliação de Tradução)
-
Overview
COMET é uma métrica mais recente que emprega modelos de aprendizado de máquina para avaliar traduções. Ao contrário das métricas tradicionais, ela não depende apenas de comparações de texto em nível de superfície.
-
Working Mechanism
COMET usa um modelo de rede neural treinado em grandes conjuntos de dados de julgamentos humanos. Ele avalia traduções considerando vários aspectos da qualidade da tradução, incluindo fluência, adequação e a preservação do significado.
-
Casos de usar
COMET é eficaz em cenários onde uma compreensão mais profunda da qualidade da tradução é necessária. Ele é particularmente útil para avaliar traduções onde a precisão contextual e semântica são mais importantes do que a correspondência literal palavra por palavra.
BLEU (Bilingual Evaluation Understudy)
-
Overview
BLEU, uma das métricas mais antigas e amplamente usadas, avalia a qualidade de texto traduzido por máquina comparando-o com uma ou mais traduções de referência de alta qualidade. BLEU mede a correspondência de frases entre o texto gerado por máquina e os textos de referência, focando na precisão das correspondências de palavras.
-
Working Mechanism
BLEU calcula a precisão de n-gramas para vários comprimentos de n-gramas (tipicamente de 1 a 4 palavras) e então combina essas pontuação usando uma média geométrica. Ele também incorpora uma penalidade de brevidade para abordar o problema de traduções excessivamente curtas.
-
Casos de usar
BLEU é particularmente eficaz para avaliar traduções onde a correspondência exata de frases e a ordem do pedido são importantes. No entanto, sua dependência de correspondências exatas pode ser uma limitação ao capturar a qualidade de traduções mais fluentes ou idiomáticas.
TER (Translation Edit Rate)
-
Overview
TER é uma métrica que mede o número de editar necessárias para alterar um texto traduzido por máquina em uma tradução de referência. Ele é baseado no conceito de distância de edição e inclui operações como inserções, exclusões e substituições. Diferente de outras métricas nesta lista, uma pontuação TER menor significa uma tradução melhor.
-
Working Mechanism
O TER calcula o número mínimo de edições necessárias para transformar a tradução automática em uma das traduções de referência. A pontuação é então normalizada pelo número total de palavras na tradução de referência.
-
Casos de usar
O TER é útil para avaliar traduções onde o foco está na quantidade de trabalho de pós-edição necessário. É particularmente relevante em cenários onde as traduções serão pós-editadas por humanos.
chrf3 (Pontuação F de n-gramas de caractere)"},translation_6:
-
Overview
chrf3, ou pontuação F de n-gramas de caractere, é uma métrica que avalia traduções com base em n-gramas de nível de caractere. Ela considera tanto a precisão quanto a revocação, proporcionando um equilíbrio entre as duas.
-
Working Mechanism
O chrf3 calcula a pontuação F, uma média harmônica da precisão e da revocação, com base na sobreposição de n-gramas de caractere entre a tradução automática e o texto de referência.
-
Casos de usar
O chrf3 é vantajoso para idiomas onde a segmentação de palavras é desafiadora ou para idiomas morfologicamente ricos. É também menos sensível à ordem das palavras do que o BLEU, tornando-o mais flexível na avaliação de traduções com formulações diferentes, porém aceitáveis.
Intervalos de pontuação
Os valores absolutos das métricas variam significativamente dependendo do par de idiomas, domínio e outros fatores. Portanto, é difícil estabelecer diretrizes gerais para interpretar os valores de pontuação e os usuários devem decidir principalmente com base nas diferenças entre o sistema genérico e o personalizado (avaliado em um conjunto de dados idêntico).
Esta tabela pode ser considerada um ponto de partida útil para interpretar os valores das métricas individuais:
-
Pontuações abaixo do limite de tradução automática de baixa qualidade podem ser indicativas de problemas graves e tais sistemas normalmente não devem ser implantados sem uma análise mais aprofundada.
-
Pontuações que excedem o limite para tradução automática de alta qualidade normalmente indicam um sistema com excelente desempenho que produz traduções fluentes e adequadas.
|
Métrica |
Intervalo |
Limite de tradução automática de baixa qualidade |
Limite de tradução automática de alta qualidade |
|---|---|---|---|
|
COMET |
Normalmente de 0 a 1 |
< 0.3 |
> 0,8 |
|
BLEU |
0 para 100 |
< 15 |
> 50 |
|
TER |
0 para 100, quanto menor, melhor |
> 70 |
< 30 |
|
chrf3 |
0 para 100 |
< 20 |
> 60 |