Criar um conjunto de dados

Domínio único:

É melhor se o conjunto de dados se concentrar em conteúdo que cubra um único estilo e terminologia. Se o conjunto de dados contiver uma mistura de domínios (por exemplo, tanto os termos legais de um site quanto as descrições de produtos), o modelo pode falhar em aprender qual é o estilo desejado.

Tipo de conteúdo exclusivo:

O modelo de MT personalizado é construído sobre modelos genéricos treinados com grandes quantidades de dados públicos coletados da internet. Se a memória de tradução contiver dados que sejam bastante semelhantes aos dados genéricos usados para construir os modelos genéricos, não haverá muito a ganhar com o processo de personalização.

Qualidade dos dados:

O modelo assumirá que cada par de frases na memória de tradução é um exemplo da saída que se espera que ele produza. A memória de tradução deve ser de boa qualidade, idealmente criada a partir de traduções humanas profissionais. O pipeline de limpeza de dados pode ajudar a filtrar as partes mais prejudiciais do conjunto de dados.

Volume esperado:

Para que a personalização seja impactante em termos de RoI, o conjunto de dados precisa ser representativo da maior parte dos dados onde a qualidade da tradução automática terá mais impacto. Por exemplo, se parte da saída da tradução automática for pós-editada por tradutores humanos, para maximizar o RoI, os dados precisam ser representativos do conteúdo que será pós-editado.