La curación de memorias de traducción es un problema generalizado desde hace mucho tiempo y la limpieza manual es un proceso laborioso. Las memorias de traducción limpias conducen a mejores referencias para los lingüistas y a una traducción automática de mayor calidad, lo cual es especialmente relevante para Phrase NextMT, dadas sus capacidades avanzadas para aprovechar los activos de idioma, como las memorias de traducción y los glosarios.
Para Crear un conjunto de datos con el fin de utilizar una TM curada en TMS, sigue estos pasos:
-
En la página Conjuntos de datos, haz clic en Limpiar una memoria de traducción.
Se abre la página .
-
Proporciona un nombre para el conjunto de datos.
-
Los selectores de idioma permiten varias opciones:
-
Para Crear un conjunto de datos de idioma general, Seleccionar los mismos idiomas fuente y meta en los selectores de idioma y localización fuente y meta.
-
Para Crear un conjunto de datos específico de localización, Seleccionar los idiomas fuente y meta de la primera lista desplegable y luego especificar las localizaciones fuente y meta de la segunda lista desplegable.
También se pueden agregar múltiples localizaciones meta (es decir, diferentes variantes del mismo idioma) para aprovechar más fuentes de datos.
-
Para Crear un conjunto de datos con múltiples localizaciones fuente y meta, Seleccionar los idiomas fuente y meta de la primera lista desplegable, especificar las localizaciones fuente y meta de la segunda lista desplegable (se pueden agregar diferentes variantes del mismo idioma meta) y hacer clic en + Agregar más pares de localización.
Aparece la ventana .
-
-
Haz clic en Agregar memorias de traducción.
Se abre la página con una funcionalidad de búsqueda
.
-
Para agregar una TM al conjunto de datos, haz clic en el icono
. La TM se agrega a la columna .
Se pueden agregar múltiples TM hasta un máximo de 200 TM y un máximo de 8 millones de segmentos. Un conjunto de datos debería contener idealmente al menos 10 000 segmentos.
Al hacer clic en el nombre de la TM se presentará la selección en la página de memoria de traducción.
Haga clic en el icono
para eliminar la TM de la columna .
-
Haz clic en Guardar.
Se abre la página .
-
Revise los detalles tal como se presentan y, si son correctos, haga clic en continuar.
Se abre la página .
-
Aplique los filtros requeridos y haga clic en crear.
El conjunto de datos se crea y se añade a la lista en la página con el estado inicial de y el estado de en la columna .
Phrase Custom IA permite curar memorias de traducción con la ayuda de filtros de limpieza basados en reglas y potenciados por IA. Se proporciona una configuración predeterminada que puede ser adecuada para nuevos usuarios.
Este proceso conserva los metadatos del segmento de TM originales y las etiquetas de TM, lo que permite a los usuarios mantener el apalancamiento de la TM al utilizar las TM limpiadas en TMS.
El conjunto de filtros disponibles incluye tanto filtros basados en reglas como filtros basados en IA:
-
Basado en reglas
Filtros que operan con reglas claramente definidas que son fácilmente comprensibles para los humanos. Esta categoría de filtro incluye , , , , , , .
-
Basado en IA
Filtros que analizar el contenido del texto en sí para tomar una decisión, en lugar de simplemente seguir un conjunto fijo de reglas. Esta categoría de filtro incluye y .
Rango de fechas
Excluye segmentos fuera de las fechas establecidas. Las fechas de inicio y fin se incluyen junto con la fecha de última modificación de un segmento.
Fuente y meta desalineados
Este filtrar determina qué tan bien coinciden los segmentos en términos de significado y similitud semántica, eliminando los peor calificados. La alineación de pares de oraciones se mide utilizando la métrica LASER.
Se utiliza un motor de IA para verificar que el texto fuente y el texto meta signifiquen lo mismo o cuánto de lo mismo significan. La configuración recomendada Descartar el 10% de los peores segmentos mientras mantiene el 90% de los mejores segmentos.
La configuración avanzada permite cambiar la alineación o puede ser un filtrar basado en la puntuación de similitud bruta utilizando un número entre 0 y 1 (1 significa Completar alineación). Se recomienda precaución si utiliza la puntuación de similitud bruta, ya que cada combinación tiene una distribución diferente de puntuación y lo que se considera una buena puntuación para una combinación puede ser una puntuación insatisfactoria para otra.
Normalmente, los segmentos por debajo de 0.5 no son muy buenos y los segmentos cercanos o superiores a 1 son segmentos que son iguales en ambos idiomas.
Ejemplos:
La cadena \"Hello, World!"}}}e-mail: 19 characters and 10 letters. 1 2 3\" tiene 19 carácter y 10 letras.
Recuento mínimo de carácter y letra
Recuento de carácter incluye todos los carácter. Esto incluye todas las letras, espacios en blanco, puntuación y símbolos. Para fines de entrenamiento, puede ser útil Descartar segmentos que no contengan ninguna letra.
Recuento de letras cuenta solo letras como las del alfabeto inglés, pero también carácter más complejos con diacríticos o carácter chinos. Un carácter chino se cuenta como una letra, incluso si representa más de un carácter. Para idiomas basados en carácter, los valores predeterminados son 1, pero para idiomas basados en palabras, los valores predeterminados son 4 (carácter) y 3 (letras). El valor mínimo es 1 y el valor máximo es 500.
Si mantiene muchos segmentos cortos en los datos (por ejemplo, acrónimos), mantenga los valores de filtrar bajos.
Ejemplo:
La cadena \"Hello, World!"}}}e-mail: 19 characters and 10 letters. 1 2 3\" tiene 19 carácter y 10 letras.
Longitud del par de oraciones
Este filtrar elimina todos los segmento que son más largos que el valor de umbral establecido por los usuarios.
El recuento total de carácter incluye todos los carácter - letras, espacios en blanco y puntuación- tanto de la fuente como de la meta oraciones. Tenga en cuenta el tipo de idioma (por ejemplo, chino e inglés); si el idioma fuente no es similar a CJK y el idioma meta es CJK (o viceversa), este filtrar será ignorado.
Relación de longitud
Este filtrar identifica segmento donde la longitud es significativamente mayor al comparar el segmento fuente y el segmento meta. Algunas traducciones aumentan o disminuyen en longitud al traducir de un idioma fuente a un idioma meta. Las traducciones demasiado largas o demasiado cortas pueden indicar segmento de baja calidad.
Si el idioma fuente no es similar a CJK y el idioma meta es (o viceversa), este filtrar será ignorado.CJK
Algunos idioma son más verbosos que otros, por lo que 200% es un valor predeterminado adecuado. Si el idioma meta es similar al idioma fuente, o se necesita filtrar más datos, el valor puede ser menor.
Ejemplos:
Un idioma es CJK - la relación es 1. No se descartará:
{"fuente": "This is a sentence.", "meta": "这是一个句子。", "ratio": 1}
La traducción al alemán es de una longitud comparable a la fuente en inglés y no se descartará:
{"fuente": "This is a sentence.", "meta": "Dies ist ein Satz.", "relación": 1.1}
La traducción al alemán es mucho más larga que la fuente en inglés y se descartará:
{"fuente": "This is a sentence.", "meta": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "relación": 3.1}
No traducibles
No traducibles son segmento donde el segmento fuente y el segmento meta son iguales. Excluye todos los pares de oraciones no traducibles donde el texto meta permanece sin cambios respecto al texto fuente.
Duplicados
Se crean grupos de segmentos que tienen la misma oración fuente. De cada grupo, solo se conserva el mejor segmento, por lo que si la oración fuente de un segmento es única, se conserva automáticamente. De lo contrario, se conserva el segmento con la puntuación de similitud más alta.
Casi duplicados
Al probar si hay casi duplicados, se normaliza (la versión ligeramente más limpia de) una oración fuente; todos los caracteres que no son letras (algunos ejemplos: “,?)!-) se reemplazan con un espacio y todas las letras se convierten a minúsculas.
Utilizando la oración fuente normalizada, se crean grupos de segmentos que tienen la misma oración fuente normalizada. De cada grupo, solo se conserva el mejor segmento, por lo que la oración fuente normalizada de un segmento es única y se conserva automáticamente. De lo contrario, se conserva el segmento con la puntuación de similitud más alta.
Identificación de idioma
Se utiliza un motor de IA para identificar el idioma fuente y meta basándose en las oraciones. Un segmento solo se elimina si el motor reconoce un idioma (fuente/meta) (como ejemplo, las oraciones más cortas a menudo no son suficientes para que el motor determine un idioma) y el idioma es diferente al esperado.
QPS
El filtro QPS permite eliminar los pares de oraciones de menor calidad en la memoria de traducción para garantizar que los segmentos resultantes sean de la más alta calidad.
El filtro QPS se puede configurar de dos maneras:
-
Eliminar un porcentaje especificado de pares de oraciones con las puntuaciones QPS más bajas. La recomendación es del 10%.
-
Seleccionar un umbral de puntuación. Use la configuración avanzada para eliminar los pares de oraciones que caigan por debajo de un umbral de QPS ajustable. El punto de partida recomendado es 50.
Estas dos opciones proporcionan una curación automatizada de la memoria de traducción para alinearse con los objetivos de calidad de los usuarios.
El proceso de limpieza de la memoria de traducción, que puede tardar varias horas, debe Completar antes de que se pueda usar una TM curada.
Para usar una TM curada en TMS, siga estos pasos:
Esto activará un proceso de exportar de conjunto de datos que solo tardará unos minutos. La TM curada resultante en formato .TMX se puede entonces uploaded a TMS como una TM nueva y curada de hasta 1 Gb de tamaño.
Si se han realizado dos o más procesos de limpieza en la misma TM, se puede acceder a diferentes versiones en la pestaña .