Criar um Conjunto de Dados

Domínio único:

É melhor se o conjunto de dados se concentrar em conteúdo que abrange um único estilo e terminologia. Se o conjunto de dados contiver uma mistura de domínios (por exemplo, tanto os termos legais de um site quanto as descrições de produtos), o modelo pode falhar em aprender qual é o estilo desejado.

Tipo de conteúdo único:

O modelo de MT personalizado é construído sobre modelos genéricos treinados em grandes quantidades de dados públicos coletados da internet. Se a memória de tradução contiver dados que são bastante semelhantes aos dados genéricos usados para construir os modelos genéricos, não haverá muito a ganhar com o processo de personalização.

Qualidade dos dados:

O modelo assumirá que cada par de frases na memória de tradução é um exemplo da saída que se espera produzir. A memória de tradução deve ser de boa qualidade, idealmente criada a partir de traduções humanas profissionais. O pipeline de limpeza de dados pode ajudar a filtrar as partes mais prejudiciais do conjunto de dados.

Volume esperado:

Para que a personalização tenha impacto em termos de RoI, o conjunto de dados precisa ser representativo da maior parte dos dados onde a qualidade da MT terá mais impacto. Por exemplo, se parte da saída da MT for pós-editada por tradutores humanos, para maximizar o RoI, os dados precisam ser representativos do conteúdo que será pós-editado.