Automated Evaluations

Le contenu est traduit de l’anglais par Phrase Language AI.

Des évaluations automatisées sont fournies pour chaque modèle TA. Cliquez sur le nom d'un modèle ou le d'ellipse dans la colonne Plus pour les afficher.

Phrase Custom AI offre des données riches et un support visuel avancé conçu pour offrir une compréhension plus approfondie de la qualité du modèle NextMT personnalisé :

L'onglet Vue d'ensemble présente un résumé des résultats de l'évaluation, au moyen de visualisations intuitives et de métadonnées sur le modèle de TA.
- Le tableau de comparaison des performances compare les performances des modèles NextMT génériques et personnalisés pour quatre métriques de qualité TA. Le tableau comporte deux sections principales :
  - Baseline Performance
    
    Affiche les scores de qualité TA automatisés pour Phrase NextMT et un modèle NextMT personnalisé sans effet de levier MT.
  - RAG Performance
    
    Affiche les scores de qualité de TA automatisés pour lesquels les correspondances correspondance approximative de MT sont exploitées pour adapter la sortie de TA
  La colonne Meilleur moteur met en évidence le modèle le plus performant pour chaque métrique.
- Le panneau des métadonnées du modèle fournit des informations essentielles sur le modèle NextMT personnalisé évalué.
L ' onglet Visualisations présente les résultats de l ' évaluation TA sous forme de graphiques en forme de donuts, ventilant les segments de traduction évalués par catégorie de qualité.
- Sélectionner la métrique de qualité TA souhaitée dans le menu déroulant en haut pour comparer le modèle NextMT personnalisé au modèle Phrase NextMT générique.
- Passez la souris sur chaque catégorie du ou des graphiques de donuts pour afficher le pourcentage et le nombre de segments affectés pour cette catégorie.
L'onglet Exemple d'évaluation présente un aperçu du segment sélectionné à partir de l'ensemble d'évaluation, affichant une liste des segments source présentant des scores de référence et de performance RAG pertinents.

Lorsqu'un segment est sélectionné, le panneau de droite affiche:
- Scores spécifiques aux segments et indicateurs de niveau de qualité pour les performances de référence et de RAG.
- Une comparaison de la sortie de traduction générée par les modèles NextMT personnalisés et génériques par rapport à la traduction de référence du jeu de données. Sélectionner Afficher les différences dans la sortie moteur pour mettre en évidence les différences par rapport à la traduction de référence.