Métricas de avaliação automatizadas desempenham um papel crucial na avaliação da qualidade das traduções produzidas por sistemas de tradução automática. Ao contrário das avaliações humanas, que podem ser subjetivas e demoradas, as métricas automatizadas fornecem uma maneira rápida, objetiva e repetível de avaliar o desempenho de sistemas de tradução automática.
O Phrase Custom IA incorpora várias métricas automatizadas bem estabelecidas para avaliar a qualidade da tradução automática: BLEU, TER, chrf3 e COMET.
É aconselhável implantar sistemas personalizados em um ambiente de produção se ambas as condições a seguir forem atendidas:
-
BLEU melhoria de pelo menos 5 pontos (absolutos, por exemplo, 40 vs 35), ou chrf melhoria de pelo menos 4 pontos.
-
Nenhuma diminuição significativa da pontuação COMET.
Na maioria dos casos, melhorias dessa magnitude são facilmente perceptíveis para tradutores humanos e levam a tempos de pós-edição aprimorados.
Abordagem recomendada
Em geral, os valores absolutos das métricas variam dependendo do par de idiomas, domínio e outros fatores. Para avaliar o sucesso do processo de personalização, examine a diferença entre as pontuações do sistema genérico e do sistema personalizado.
BLEU, chrf e TER medem a sobreposição de string entre as saídas de tradução automática e as traduções de referência. Por definição, uma melhoria significativa nessas pontuações implica menos esforço de pós-edição para os tradutores.
COMET mede a qualidade da tradução em um sentido geral. COMET não aumentará necessariamente após a personalização (o sistema personalizado pode gerar traduções de qualidade semelhante; a diferença é se as traduções correspondem ao estilo, tom de voz, terminologia, etc., do cliente). No entanto, uma diminuição significativa de COMET pode sinalizar um problema com o sistema personalizado.
Métricas disponíveis
O Phrase Custom IA incorpora várias métricas automatizadas bem estabelecidas para avaliar a qualidade da tradução automática: BLEU, TER, chrf3 e COMET. Cada uma dessas métricas oferece uma abordagem única para avaliar a qualidade da tradução, atendendo a diferentes aspectos da tradução.
COMET (Métrica Otimizada Interlinguística para Avaliação de Tradução)
-
Visão geral
COMET é uma métrica mais recente que emprega modelos de aprendizado de máquina para avaliar traduções. Ao contrário das métricas tradicionais, ela não depende apenas de comparações de texto em nível de superfície.
-
Mecanismo de funcionamento
COMET usa um modelo de rede neural treinado em grandes conjuntos de dados de julgamentos humanos. Ele avalia traduções considerando vários aspectos da qualidade da tradução, incluindo fluência, adequação e a preservação do significado.
-
Casos de uso
COMET é eficaz em cenários onde é necessária uma compreensão mais profunda da qualidade da tradução. É particularmente útil para avaliar traduções onde a precisão contextual e semântica são mais importantes do que a correspondência literal palavra por palavra.
BLEU (Bilingual Evaluation Understudy)
-
Visão geral
BLEU, uma das métricas mais antigas e amplamente usadas, avalia a qualidade do texto traduzido por máquina comparando-o com uma ou mais traduções de referência de alta qualidade. BLEU mede a correspondência de frases entre o texto gerado por máquina e os textos de referência, focando na precisão das correspondências de palavras.
-
Mecanismo de funcionamento
BLEU calcula a precisão de n-gramas para vários comprimentos de n-gramas (normalmente de 1 a 4 palavras) e, em seguida, combina essas pontuação usando uma média geométrica. Ele também incorpora uma penalidade de brevidade para resolver o problema de traduções excessivamente curtas.
-
Casos de uso
BLEU é particularmente eficaz para avaliar traduções onde a correspondência exata de frases e a ordem das palavras são importantes. No entanto, sua dependência de correspondências exatas pode ser uma limitação para capturar a qualidade de traduções mais fluentes ou idiomáticas.
TER (Translation Edit Rate)
-
Visão geral
TER é uma métrica que mede o número de editar necessárias para alterar um texto traduzido por máquina em uma tradução de referência. Ele é baseado no conceito de distância de edição e inclui operações como inserções, exclusões e substituições. Ao contrário de outras métricas nesta lista, uma pontuação TER menor significa uma tradução melhor.
-
Mecanismo de funcionamento
O TER calcula o número mínimo de edições necessárias para transformar a tradução automática em uma das traduções de referência. A pontuação é então normalizada pelo número total de palavras na tradução de referência.
-
Casos de uso
O TER é útil para avaliar traduções onde o foco está na quantidade de trabalho de pós-edição necessário. É particularmente relevante em cenários onde as traduções serão pós-editadas por humanos.
chrf3 (Pontuação F de n-gramas de caractere)"
-
Visão geral
chrf3, ou pontuação F de n-gramas de caractere, é uma métrica que avalia traduções com base em n-gramas de nível de caractere. Ela considera tanto a precisão quanto a revocação, proporcionando um equilíbrio entre as duas.
-
Mecanismo de funcionamento
O chrf3 calcula a pontuação F, uma média harmônica da precisão e da revocação, com base na sobreposição de n-gramas de caractere entre a tradução automática e o texto de referência.
-
Casos de uso
O chrf3 é vantajoso para idiomas onde a segmentação de palavras é desafiadora ou para idiomas morfologicamente ricos. É também menos sensível à ordem das palavras do que o BLEU, tornando-o mais flexível na avaliação de traduções com frases diferentes, porém aceitáveis.
Intervalos de pontuação
Os valores absolutos das métricas variam significativamente dependendo do par de idiomas, domínio e outros fatores. Portanto, é difícil estabelecer diretrizes gerais para interpretar os valores de pontuação e os usuários devem decidir principalmente com base nas diferenças entre o sistema genérico e o personalizado (avaliados em um conjunto de dados idêntico).
Esta tabela pode ser considerada um ponto de partida útil para interpretar os valores das métricas individuais:
-
Pontuações abaixo do limite de tradução automática de baixa qualidade podem ser indicativas de problemas graves e tais sistemas normalmente não devem ser implantados sem uma análise mais aprofundada.
-
Pontuações que excedem o limite para tradução automática de alta qualidade normalmente indicam um sistema com excelente desempenho que produz traduções fluentes e adequadas.
|
Métrica |
Intervalo |
Limite de tradução automática de baixa qualidade |
Limite de tradução automática de alta qualidade |
|---|---|---|---|
|
COMET |
Normalmente 0 a 1 |
< 0,3 |
> 0,8 |
|
BLEU |
0 para 100 |
< 15 |
> 50 |
|
TER |
0 para 100, quanto menor, melhor |
> 70 |
< 30 |
|
chrf3 |
0 para 100 |
< 20 |
> 60 |