A curadoria de memória de tradução é um problema persistente de longa data e a limpeza manual é um processo trabalhoso. Uma memória de tradução limpa leva a melhores referências para linguistas e a uma tradução automática de maior qualidade, o que é especialmente relevante para Phrase NextMT, dadas as suas capacidades avançadas para aproveitar ativos de idioma, como memória de tradução e glossários.
Para Criar um conjunto de dados com o objetivo de usar uma memória de tradução com curadoria no TMS, siga estas etapas:
-
Na página Conjuntos de dados, clique em Limpar uma memória de tradução.
A página abre.
-
Forneça um nome para o conjunto de dados.
-
Os seletores de idioma permitem várias opções:
-
Para Criar um conjunto de dados de idioma geral, Selecionar o mesmo texto original e tradução nos seletores de texto original e tradução de idioma e local.
-
Para Criar um conjunto de dados específico de local, Selecionar o texto original e a tradução na primeira lista suspensa e, em seguida, especificar o texto original e a tradução de local na segunda lista suspensa.
Vários locais de tradução (ou seja, variantes diferentes do mesmo idioma) para aproveitar mais fontes de dados também podem ser adicionados.
-
Para Criar um conjunto de dados com vários locais de texto original e tradução, Selecionar o texto original e a tradução na primeira lista suspensa, especificar o texto original e a tradução de local na segunda lista suspensa (variantes diferentes do mesmo idioma de tradução podem ser adicionadas) e clicar em + adicionar mais pares de local.
A janela aparece.
-
-
Clique em adicionar memória de tradução.
A página abre com uma funcionalidade de pesquisa
.
-
Para adicionar uma memória de tradução ao conjunto de dados, clique no ícone
. A memória de tradução é adicionada à coluna .
Várias memória de tradução podem ser adicionadas até um máximo de 200 memória de tradução e um máximo de 8 milhões de segmentos. Um conjunto de dados deve conter, idealmente, pelo menos 10.000 segmentos.
Clicar no nome da memória de tradução apresentará a seleção na página de memória de tradução.
Clique no ícone
para remover a memória de tradução da coluna .
-
Clique em Gravar.
A página abre.
-
Revise os detalhes conforme apresentados e, se estiverem corretos, clique em continuar.
A página é aberta.
-
Aplique os filtros necessários e clique em criar.
O conjunto de dados é criado e adicionado à lista na página com o estado inicial de e o estado de na coluna .
O Phrase Custom AI permite a curadoria de memórias de tradução com a ajuda de filtros de limpeza baseados em regras e IA. São fornecidas configurações padrão que podem ser adequadas para novos usuários.
Este processo preserva os metadados do segmento da memória de tradução e as tags da memória de tradução originais, o que permite aos usuários manter o aproveitamento da memória de tradução ao usar as memórias de tradução limpas no TMS.
O conjunto de filtros disponíveis inclui filtros baseados em regras e filtros baseados em ML:
-
Baseado em regras
Filtros que operam com regras claramente definidas que são facilmente compreensíveis por humanos. Esta categoria de filtro inclui , , , , , , .
-
Baseado em ML
Filtros que analisam o conteúdo do próprio texto para tomar uma decisão, em vez de simplesmente seguir um conjunto fixo de regras. Esta categoria de filtro inclui , e .
Intervalo de datas
Exclui segmentos fora das datas definidas. As datas de início e fim são incluídas juntamente com a data da última modificação de um segmento.
Texto original e tradução desalinhados
Este filtrar determina quão bem os segmentos têm correspondência em termos de significado e similaridade semântica, removendo os com pior pontuação. O alinhamento do par de idiomas é medido usando a métrica LASER.
Um mecanismo de IA é usado para verificar se o texto original e a tradução significam a mesma coisa ou o quanto significam a mesma coisa. A configurações recomendada Descartar os 10% piores segmentos enquanto mantém os 90% melhores segmentos.
Configurações avançadas permitem alterar o alinhamento ou podem ser um filtrar baseado na pontuação de similaridade bruta usando um número entre 0 e 1 (1 significando correspondência Concluir). Recomenda-se cautela ao usar a pontuação de similaridade bruta, pois cada par de idiomas tem uma distribuição diferente de pontuação e o que é considerado uma boa pontuação para um par de idiomas pode ser uma pontuação insatisfatória para outro.
Normalmente, segmentos abaixo de 0,5 não são muito bons e segmentos próximos ou acima de 1 são segmentos que são iguais em ambos os idiomas.
Exemplos:
Contagem mínima de caractere e letra
Contagem de caractere inclui todos os caracteres. Isso inclui todas as letras, espaços em branco, pontuação e símbolos. Para fins de treinamento, pode ser útil Descartar segmentos que não contenham letras.
Contagem de letras conta apenas letras, como as do alfabeto inglês, mas também caracteres mais complexos com diacríticos ou caracteres chineses. Um caractere chinês é contado como uma letra, mesmo que represente mais de um caractere. Para idiomas baseados em caractere, os valores padrão são 1, mas para idiomas baseados em palavras, os valores padrão são 4 (caracteres) e 3 (letras). O valor mínimo é 1 e o valor máximo é 500.
Se mantiver muitos segmentos curtos nos dados (por exemplo, siglas), mantenha os valores do filtrar baixos.
Exemplo:
A string \"Hello, World!" 1 2 3\" tem 19 caracteres e 10 letras.
Comprimento do par de frases
Este filtrar remove todos os segmento que são mais longos que o valor limite definido pelos usuários.
A contagem total de caractere inclui todos os caractere - letras, espaços em branco e pontuação - tanto do texto original quanto da tradução das frases. Leve em consideração o tipo de idioma (por exemplo, chinês e inglês); se o idioma do texto original não for semelhante ao CJK e o idioma de tradução for CJK (ou vice-versa), este filtrar será ignorado.
proporção de comprimento
Este filtrar identifica segmento onde o comprimento é significativamente maior ao comparar o segmento do texto original e o segmento da tradução. Algumas tradução aumentam ou diminuem de comprimento ao traduzir de um idioma do texto original para um idioma de tradução. Tradução muito longas ou muito curtas podem indicar segmento de baixa qualidade.
Se o idioma do texto original não for semelhante ao CJK e o idioma de tradução for (ou vice-versa), este filtrar será ignorado.CJK
Alguns idiomas são mais prolixos que outros, portanto 200% é um bom padrão. Se o idioma de tradução for semelhante ao idioma do texto original, ou se mais dados precisarem ser filtrados, o valor pode ser menor.
Exemplos:
Um idioma é CJK - a proporção é 1. Não será descartado:
{"source": "This is a sentence.", "target": "这是一个句子。", "ratio": 1}
A tradução em alemão tem um comprimento comparável ao do texto original em inglês e não será descartada:
{"source": "This is a sentence.", "target": "Dies ist ein Satz.", "ratio": 1.1}
A tradução em alemão é muito mais longa que o texto original em inglês e será descartada:
{"source": "This is a sentence.", "target": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "ratio": 3.1}
Non-translatables
Não traduzíveis são segmento onde o segmento do texto original e o segmento da tradução são os mesmos. Exclui todos os pares de frases não traduzível onde a tradução permanece inalterada em relação ao texto original.
Duplicatas
Grupos de segmentos são criados com a mesma frase do texto original. De cada grupo, apenas o melhor segmento é mantido, portanto, se a frase do texto original de um segmento for única, ele é mantido automaticamente. Caso contrário, o segmento com a maior pontuação de similaridade é mantido.
Quase duplicatas
Ao testar quase duplicatas, a (versão ligeiramente mais limpa de) uma frase do texto original é normalizada; todos os caracteres que não são letras (alguns exemplos: “,?)!-) são substituídos por um espaço e todas as letras são convertidas para minúsculas.
Usando a frase do texto original normalizada, grupos de segmentos que possuem a mesma frase do texto original normalizada são criados. De cada grupo, apenas o melhor segmento é mantido, portanto, a frase do texto original normalizada de um segmento é única e é mantida automaticamente. Caso contrário, o segmento com a maior pontuação de similaridade é mantido.
Identificação de idioma
Um mecanismo de IA é usado para identificar o idioma do texto original e da tradução com base nas frases. Um segmento só é removido se o mecanismo reconhecer um idioma (texto original/tradução) (como exemplo, frases mais curtas muitas vezes não são suficientes para o mecanismo determinar um idioma) e o idioma for diferente do esperado.
QPS
O filtro QPS torna possível remover os pares de frases de menor qualidade na memória de tradução para garantir que os segmentos resultantes sejam da mais alta qualidade.
O filtro QPS pode ser configurado de duas maneiras:
-
Remover uma porcentagem especificada de pares de frases com as pontuações de QPS mais baixas. A recomendação é 10%.
-
Selecionar um limite de pontuação. Usar as configurações avançadas para eliminar pares de frases que fiquem abaixo de um limite de QPS ajustável. O ponto de partida recomendado é 50.
Estas duas opções fornecem curadoria automatizada de memória de tradução para alinhar com os objetivos de qualidade dos usuários.
O processo de limpeza de memória de tradução, que pode levar várias horas, deve Concluir antes que uma memória de tradução com curadoria possa ser usada.
Para usar uma memória de tradução com curadoria no TMS, siga estas etapas:
Isso acionará um processo de exportar conjunto de dados que levará apenas alguns minutos. A memória de tradução com curadoria resultante no formato .TMX pode ser então carregada para o TMS como uma nova memória de tradução com curadoria de até 1 Gb de tamanho.
Se dois ou mais processos de limpeza tiverem sido realizados na mesma memória de tradução, diferentes versões podem ser acessadas na aba .