La gestion des mémoire de traduction est un problème omniprésent de longue date et le nettoyage manuel est un processus laborieux. Des mémoire de traduction propres conduisent à de meilleures références pour les linguistes et à une traduction automatique de meilleure qualité, ce qui est particulièrement pertinent pour Phrase NextMT, étant donné ses capacités avancées à tirer parti des ressources de langue, comme les mémoire de traduction et les glossaires.
Pour Créer un jeu de données dans le but d'utiliser une MT organisée dans TMS, suivre ces étapes :
-
Sur la page Jeux de données, cliquer sur Nettoyer une mémoire de traduction.
La page s'ouvre.
-
Fournir un nom pour le jeu de données.
-
Les sélecteurs de langue permettent diverses options :
-
Pour Créer un jeu de données de langue générale, Sélectionner les mêmes langue source et cible dans les sélecteurs de langue source et cible et de paramètre linguistique.
-
Pour Créer un jeu de données spécifique à un paramètre linguistique, Sélectionner les langue source et cible dans la première liste déroulante, puis spécifier les paramètre linguistique source et cible dans la seconde liste déroulante.
Plusieurs paramètre linguistique cible (c.-à-d. différentes variantes de la même langue) peuvent également être ajouter pour tirer parti de davantage de sources de données.
-
Pour Créer un jeu de données avec plusieurs paramètre linguistique source et cible, Sélectionner les langue source et cible dans la première liste déroulante, spécifier les paramètre linguistique source et cible dans la seconde liste déroulante (différentes variantes de la même langue cible peuvent être ajouter) et cliquer sur + ajouter plus de paires de paramètre linguistique.
La fenêtre apparaît.
-
-
Cliquer sur ajouter des mémoire de traduction.
La page s'ouvre avec une fonctionnalité de recherche
.
-
Pour ajouter une MT au jeu de données, cliquer sur l'icône
. La MT est ajouter à la colonne .
Plusieurs MT peuvent être ajouter jusqu'à un maximum de 200 MT et un maximum de 8 millions de segments. Un jeu de données devrait idéalement contenir au moins 10 000 segments.
Cliquer sur le nom de la MT présentera la sélection sur la page mémoire de traduction.
Cliquez sur l'icône
pour retirer la MT de la colonne .
-
Cliquez sur Enregistrer.
La page s'ouvre.
-
Examinez les détails tels qu'ils sont présentés et, s'ils sont corrects, cliquez sur Continuer.
La page s'ouvre.
-
Appliquez les filtres requis et cliquez sur Créer.
Le jeu de données est créé et ajouté à la liste sur la page avec le statut initial de et le statut de dans la colonne .
Phrase Custom IA permet de gérer les mémoires de traduction avec l'aide de filtres de nettoyage basés sur des règles et sur l'IA. Des paramètres par défaut sont fournis, ce qui peut convenir aux nouveaux utilisateurs.
Ce processus préserve les TM segment metadata et les TM tags d'origine, ce qui permet aux utilisateurs de conserver l'effet de levier de la MT lors de l'utilisation des MT nettoyées dans le TMS.
L'ensemble des filtres disponibles comprend à la fois des filtres basés sur des règles et des filtres basés sur l'apprentissage automatique :
-
Basé sur des règles
Filtres qui fonctionnent avec des règles clairement définies et facilement compréhensibles par les humains. Cette catégorie de filtre inclut , , , , , , .
-
Basé sur l'apprentissage automatique
Filtres qui analysent le contenu du texte lui-même pour prendre une décision, plutôt que de simplement suivre un ensemble fixe de règles. Cette catégorie de filtre inclut et .
Plage de dates
Exclut les segments en dehors des dates définies. Les dates de début et de fin sont incluses, ainsi que la date de dernière modification d'un segment.
Source et cible mal alignées
Ce filtre détermine dans quelle mesure les segments présentent une correspondance en termes de sens et de similarité sémantique, en supprimant les moins bien notés. L'alignement des paires de phrases est mesuré à l'aide de la métrique LASER.
Un moteur d'IA est utilisé pour vérifier que le texte source et le texte cible signifient la même chose ou dans quelle mesure ils signifient la même chose. Le paramètre recommandé rejette les 10 % de segments les moins bons tout en conservant les 90 % de segments les meilleurs.
Les paramètres avancés permettent de modifier l'alignement ou peuvent servir de filtre basé sur le score de similarité brut en utilisant un nombre compris entre 0 et 1 (1 signifiant un alignement Terminer). La prudence est de mise si vous utilisez le score de similarité brut, car chaque paire de langues a une distribution de scores différente et ce qui est considéré comme un bon score pour une paire de langues peut être un score insatisfaisant pour une autre.
En général, les segments inférieurs à 0,5 ne sont pas très bons et les segments proches ou supérieurs à 1 sont des segments identiques dans les deux langues.
Exemples :
Nombre minimal de caractères et de lettres
Nombre de caractères inclut tous les caractères. Cela inclut toutes les lettres, les espaces, ainsi que la ponctuation et les symboles. À des fins de formation, il peut être utile d'ignorer les segments qui ne contiennent aucune lettre.
Le nombre de lettres ne compte que les lettres telles que celles de l'alphabet anglais, mais aussi des caractères plus complexes avec des signes diacritiques ou des caractères chinois. Un caractère chinois est compté comme une lettre, même s'il représente plus d'un caractère. Pour les langues basées sur les caractères, les valeurs par défaut sont 1, mais pour les langues basées sur les mots, les valeurs par défaut sont 4 (caractères) et 3 (lettres). La valeur minimale est 1 et la valeur maximale est 500.
Si vous conservez un grand nombre de segments courts dans les données (par exemple des acronymes), maintenez les valeurs de filtre à un niveau bas.
Exemple :
La chaîne \"Hello, World!" 1 2 3\" comporte 19 caractères et 10 lettres.
Longueur de la paire de phrases
Ce filtre supprime tous les segments qui sont plus longs que la valeur seuil définie par les utilisateurs.
Le nombre total de caractère inclut tous les caractère - lettres, espaces et ponctuation - provenant à la fois des phrases source et cible. Prenez en compte le type de langue (par exemple le chinois et l'anglais) ; si la langue source n'est pas de type CJK et que la langue cible est CJK (ou inversement), ce filtre sera ignoré.
Rapport de longueur
Ce filtre identifie les segments dont la longueur est significativement plus élevée lors de la comparaison du segment source et du segment cible. Certaines traductions augmentent ou diminuent en longueur lors de la traduction d'une langue source vers une langue cible. Des traductions trop longues ou trop courtes peuvent indiquer des segments de faible qualité.
Si la langue source n'est pas de type CJK et que la langue cible l'est (ou inversement), ce filtre sera ignoré.CJK
Certaines langue sont plus prolixes que d'autres, donc 200 % est une bonne valeur par défaut. Si la langue cible est similaire à la langue source, ou si davantage de données doivent être filtrées, la valeur peut être inférieure.
Exemples :
Une langue est CJK - le rapport est de 1. Il ne sera pas ignoré :
{"source": "This is a sentence.", "target": "这是一个句子。", "ratio": 1}
La traduction allemande est d'une longueur comparable à la source anglaise et ne sera pas ignorée :
{"source": "This is a sentence.", "target": "Dies ist ein Satz.", "ratio": 1.1}
La traduction allemande est beaucoup plus longue que la source anglaise et sera ignorée :
{"source": "This is a sentence.", "target": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "ratio": 3.1}
Non-translatables
Les éléments non traduisibles sont des segments où les segment source et segment cible sont identiques. Exclut toutes les paires de phrases à ne pas traduire où le texte cible reste identique au texte source.
Duplicates
Des groupes de segments sont créés avec la même phrase source. De chaque groupe, seul le meilleur segment est conservé, donc si la phrase source d'un segment est unique, il est automatiquement conservé. Sinon, le segment avec le score de similarité le plus élevé est conservé.
Near-duplicates
Lors du test des quasi-doublons, la (version légèrement plus propre d'une) phrase source est normalisée ; tous les caractères non alphabétiques (quelques exemples : “,?)!-) sont remplacés par un Espace et toutes les lettres sont converties en minuscules.
En utilisant la phrase source normalisée, des groupes de segments ayant la même phrase source normalisée sont créés. De chaque groupe, seul le meilleur segment est conservé, donc la phrase source normalisée d'un segment est unique et est automatiquement conservée. Sinon, le segment avec le score de similarité le plus élevé est conservé.
Identification de la langue
Un moteur IA est utilisé pour identifier la langue source et la langue cible en fonction des phrases. Un segment est uniquement retiré si le moteur reconnaît une langue (source/cible) (par exemple, des phrases plus courtes ne suffisent souvent pas au moteur pour déterminer une langue) et que la langue est différente de celle attendue.
QPS
Le filtre QPS permet de retirer les paires de phrases de moindre qualité dans la mémoire de traduction afin de garantir que les segments résultants sont de la plus haute qualité.
Le filtre QPS peut être configuré de deux manières :
-
Retirer un pourcentage spécifié de paires de phrases ayant les scores QPS les plus bas. La recommandation est de 10 %.
-
Sélectionner un seuil de score. Utiliser les paramètres avancés pour éliminer les paires de phrases tombant en dessous d'un seuil QPS réglable. Le point de départ recommandé est 50.
Ces deux options fournissent une curation automatisée de la mémoire de traduction pour s'aligner sur les objectifs de qualité des utilisateurs.
Le processus de nettoyage de la mémoire de traduction, qui peut prendre plusieurs heures, doit être Terminer avant qu'une MT curée puisse être utiliser.
Pour utiliser une MT curée dans TMS, suivez ces étapes :
Cela déclenchera un processus d'exporter de jeu de données qui ne prendra que quelques minutes. La MT curée résultante au format .TMX peut ensuite être uploaded vers TMS en tant que nouvelle MT curée d'une taille maximale de 1 Go.
Si deux processus de nettoyage ou plus ont été effectués sur la même MT, différentes versions sont accessibles dans l'onglet .