Os aspectos mais importantes do treinamento de mecanismos de tradução automática não são apenas o volume, mas a qualidade dos dados. A limpeza de dados é um problema abrangente e a limpeza manual é trabalhosa. Dados limpos levam a um treinamento mais rápido e modelos de maior qualidade.
O Phrase Custom IA adapta memórias de tradução em conjuntos de dados com a Ajuda de filtros de limpeza baseados em regras e alimentados por IA. As configurações padrão são fornecidas e devem ser adequadas para novos usuários.
O conjunto de filtros disponíveis inclui filtros baseados em regras e filtros baseados em ML:
-
Baseado em regras
Filtros que operam com regras claramente definidas que são facilmente compreensíveis por humanos. Esta categoria de filtrar inclui , , , , , , .
-
Baseado em ML
Filtros que analisam o conteúdo do texto em si para tomar uma decisão, em vez de simplesmente seguir um conjunto fixo de regras. Esta categoria de filtrar inclui e .
Todos os filtros avaliam versões limpas dos segmentos; entre outras coisas, múltiplos espaços são reduzidos a um e as tags do Phrase são removidas.
Intervalo de datas
Exclui segmentos fora das datas definidas. As datas de início e fim são incluídas juntamente com a data da última modificação de um segmento.
Texto original e tradução desalinhados
Este filtrar determina o quão bem os segmentos correspondem em termos de significado e similaridade semântica, removendo os com pior classificação. O alinhamento do par de frases é medido usando a métrica LASER.
Um mecanismo de IA é usado para verificar se o texto original e a tradução significam a mesma coisa ou o quanto significam a mesma coisa. A configuração recomendada Descartar os 10% piores segmentos enquanto mantém os 90% melhores segmentos.
Configurações avançadas permitem alterar o alinhamento ou podem ser um filtrar baseado na pontuação de similaridade bruta usando um número entre 0 e 1 (1 significando Concluir alinhamento). Recomenda-se cautela ao usar a pontuação de similaridade bruta, pois cada par de idiomas tem uma distribuição diferente de pontuações e o que é considerado uma boa pontuação para um par de idiomas pode ser uma pontuação insatisfatória para outro.
Normalmente, segmentos abaixo de 0,5 não são muito bons e segmentos próximos ou acima de 1 são segmentos que são iguais em ambos os idiomas.
Exemplos:
{"source": "Super.", "target": "Super.", "similarity": 1.05}
{"source": "Hello", "target": "http://wwww.sdsadsa.com", "similarity": 0.3}
Contagem mínima de caractere e letra
Contagem de caractere inclui todos os caracteres. Isso inclui todas as letras, espaços em branco, pontuação e símbolos. Para fins de treinamento, pode ser útil Descartar segmentos que não contenham letras.
Contagem de letras conta apenas letras como as do alfabeto inglês, mas também caracteres mais complexos com diacríticos ou caracteres chineses. Um caractere chinês é contado como uma letra, mesmo que represente mais de um caractere. Para idiomas baseados em caractere, os valores padrão são 1, mas para idiomas baseados em palavras, os valores padrão são 4 (caracteres) e 3 (letras). O valor mínimo é 1 e o valor máximo é 500.
Se mantiver muitos segmentos curtos nos dados (por exemplo, siglas), mantenha os valores do filtrar baixos.
Exemplo:
Comprimento do par de frases
Este filtrar remove todos os segmentos que são mais longos do que o valor limite definido pelos usuários. O motivo deste filtrar é que a maioria dos sistemas de NMT não treinará de fato em segmentos que sejam mais longos do que seu limite interno.
Por exemplo, o limite interno do NextMT é de 200 tokens, o que equivale a aproximadamente 100 - 1.000 palavras. Para treinar um mecanismo Personalizado em frases mais curtas, defina este valor abaixo do padrão.
A contagem total de caractere inclui todos os caracteres - letras, espaços em branco e pontuação - tanto do texto original quanto das frases de tradução. Leve em consideração o tipo de idioma (por exemplo, chinês e inglês); se o idioma de texto original não for do tipo CJK e o idioma de tradução for CJK (ou vice-versa), este filtrar será ignorado.
proporção de comprimento
Este filtrar identifica segmentos onde o comprimento é significativamente maior ao comparar o segmento de texto original e o segmento de tradução. Algumas traduções aumentam ou diminuem de comprimento ao traduzir de um idioma de texto original para um idioma de tradução. Traduções muito longas ou muito curtas podem indicar dados de treinamento de baixa qualidade.
Se o idioma de texto original não for do tipo CJK e o idioma de tradução for (ou vice-versa), este filtrar será ignorado.CJK
Alguns idiomas são mais prolixos que outros, portanto 200% é um bom padrão. Se o idioma de tradução for semelhante ao idioma de texto original, ou se for necessário filtrar mais dados, o valor pode ser menor.
Exemplos:
Um idioma é CJK - a proporção é 1. Não será descartado:
{"source": "This is a sentence.", "target": "这是一个句子。", "ratio": 1}
A tradução alemã tem um comprimento comparável ao texto original em inglês e não será descartada:
{"source": "This is a sentence.", "target": "Dies ist ein Satz.", "ratio": 1.1}
A tradução alemã é muito mais longa que o texto original em inglês e será descartada:
{"source": "This is a sentence.", "target": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "ratio": 3.1}
Non-translatables
Não traduzíveis são segmentos onde o segmento de texto original e o segmento de tradução são iguais. Exclui todos os pares de frases não traduzível onde a tradução permanece inalterada em relação ao texto original.
Duplicatas
Grupos de segmentos são criados com o mesmo texto original da frase. De cada grupo, apenas o melhor segmento é mantido, portanto, se o texto original de um segmento for único, ele é mantido automaticamente. Caso contrário, o segmento com a maior pontuação de similaridade é mantido.
Quase duplicatas
Ao testar quase duplicatas, a (versão ligeiramente mais limpa de) um texto original é normalizada; todos os caracteres que não são letras (alguns exemplos: “,?)!-) são substituídos por um espaço e todas as letras são convertidas para minúsculas.
Usando o texto original normalizado, são criados grupos de segmentos que possuem o mesmo texto original normalizado. De cada grupo, apenas o melhor segmento é mantido, portanto, o texto original normalizado de um segmento é único e é mantido automaticamente. Caso contrário, o segmento com a maior pontuação de similaridade é mantido.
Identificação de idioma
Um mecanismo de IA é usado para identificar o idioma do texto original e da tradução com base nas frases. Um segmento só é removido se o mecanismo reconhecer um idioma (texto original/tradução) (como exemplo, frases mais curtas muitas vezes não são suficientes para o mecanismo determinar um idioma) e o idioma for diferente do esperado.
QPS
O filtro QPS remove os pares de frases de menor qualidade no conjunto de dados para garantir que os modelos de IA resultantes sejam treinados com os dados de maior qualidade disponíveis. Geralmente, quanto maior a qualidade dos dados de treinamento, melhor o desempenho do modelo personalizado.
O filtro QPS pode ser configurado de duas maneiras:
-
Remover uma porcentagem especificada de pares de frases com as pontuações de QPS mais baixas. A recomendação é 10%.
-
Selecionar um limite de pontuação. Usar as configurações avançadas para eliminar pares de frases que fiquem abaixo de um limite de QPS ajustável. O ponto de partida recomendado é 50.
Estas duas opções fornecem curadoria automatizada de conjuntos de dados para alinhar com os objetivos de qualidade dos usuários.