Créer un jeu de données

Domaine unique :

Il est préférable que le jeu de données se concentre sur du contenu couvrant un style et une terminologie uniques. Si le jeu de données contient un mélange de domaines (par exemple, à la fois les conditions juridiques d'un site web et les descriptions de produits), le modèle peut ne pas réussir à apprendre quel est le style souhaité.

Type de contenu unique :

Le modèle de TA Personnalisé s'appuie sur des modèles génériques entraînés sur de vastes quantités de données publiques collectées sur Internet. Si la mémoire de traduction contient des données assez similaires aux données génériques utilisées pour construire les modèles génériques, le processus de personnalisation n'apportera pas grand-chose.

Qualité des données :

Le modèle supposera que chaque paire de Phrase dans la mémoire de traduction est un exemple de la sortie qu'il sera censé produire. La mémoire de traduction doit être de bonne qualité, idéalement créée à partir de traductions humaines professionnelles. Le pipeline de nettoyage des données peut Aide à filtre les parties les plus nuisibles du jeu de données.

Volume attendu :

Pour que la personnalisation ait un impact en termes de retour sur investissement, le jeu de données doit être représentatif de la majeure partie du contenu où la qualité de la TA aura plus d'impact. Par exemple, si une partie de la sortie de la TA doit être soumise à une post-édition par des traducteurs humains, pour maximiser le retour sur investissement, les données doivent être représentatives du contenu qui sera soumis à une post-édition.