Utilisation des métriques de TA

BLEU amélioration d'au moins 5 points (absolu, par ex. 40 vs 35), ou chrf amélioration d'au moins 4 points.

Aucune diminution significative du score COMET.

Overview

COMET est une métrique plus récente qui utilise des modèles d'apprentissage automatique pour évaluer les traductions. Contrairement aux métriques traditionnelles, elle ne repose pas uniquement sur des comparaisons de texte au niveau de la surface.

Working Mechanism

COMET utilise un modèle de réseau neuronal entraîné sur de grands ensembles de données de jugements humains. Il évalue les traductions en prenant en compte divers aspects de la qualité de la traduction, notamment la fluidité, l'adéquation et la préservation du sens.

Cas d'utilisation

COMET est efficace dans les scénarios où une compréhension plus approfondie de la qualité de la traduction est requise. Il est particulièrement utile pour évaluer les traductions où la précision contextuelle et sémantique est plus importante qu'une correspondance littérale mot à mot.

Overview

BLEU, l'une des métriques les plus anciennes et les plus utilisées, évalue la qualité du texte traduit par machine en le comparant à une ou plusieurs traductions de référence de haute qualité. BLEU mesure la correspondance des expressions entre le texte généré par la machine et les textes de référence, en se concentrant sur la précision des correspondances de mots.

Working Mechanism

BLEU calcule la précision des n-grammes pour diverses longueurs de n-grammes (généralement de 1 à 4 mots) et combine ensuite ces score en utilisant une moyenne géométrique. Il intègre également une pénalité de brièveté pour résoudre le problème des traductions trop courtes.

Cas d'utilisation

BLEU est particulièrement efficace pour évaluer les traductions où la correspondance exacte des expressions et de l'ordre des mots est importante. Cependant, sa dépendance aux correspondances exactes peut être une limite pour capturer la qualité de traductions plus fluides ou idiomatiques.

Overview

TER est une métrique qui mesure le nombre de modifier nécessaires pour modifier un texte traduit par machine en une traduction de référence. Il est basé sur le concept de distance de modifier et inclut des opérations comme les insertions, les suppressions et les substitutions. Contrairement aux autres métriques de cette liste, un score TER plus bas signifie une meilleure traduction.

Working Mechanism

TER calcule le nombre minimum de modifications nécessaires pour transformer la traduction automatique en l'une des traductions de référence. Le score est ensuite normalisé par le nombre total de mots dans la traduction de référence.

Cas d'utilisation

TER est utile pour évaluer les traductions où l'accent est mis sur la quantité de travail de post-édition requis. Il est particulièrement pertinent dans les scénarios où les traductions seront post-éditées par des humains.

Overview

chrf3, ou score F de n-grammes de caractère, est une métrique qui évalue les traductions basées sur des n-grammes de caractère. Il prend en compte à la fois la précision et le rappel, offrant un équilibre entre les deux.

Working Mechanism

chrf3 calcule le score F, une moyenne harmonique de la précision et du rappel, basée sur le chevauchement des n-grammes de caractère entre la traduction automatique et le texte de référence.

Cas d'utilisation

chrf3 est avantageux pour les langues où la segmentation est difficile ou pour les langues morphologiquement riches. Il est également moins sensible à l'ordre des mots que BLEU, ce qui le rend plus flexible pour évaluer des traductions avec des formulations différentes mais acceptables.

Les scores inférieurs au seuil de TA de faible qualité peuvent être révélateurs de problèmes sérieux et de tels systèmes ne devraient généralement pas être déployés sans analyse supplémentaire.

Les scores qui dépassent le seuil de TA de haute qualité indiquent généralement un système très performant qui produit des traductions fluides et adéquates.