La cura delle memorie di traduzione è un problema pervasivo di lunga data e la pulizia manuale è un processo laborioso. Memorie di traduzione pulite portano a riferimenti migliori per i linguisti e a una traduzione automatica di qualità superiore, il che è particolarmente rilevante per Phrase NextMT, date le sue funzionalità avanzate per sfruttare le risorse linguistiche, come memorie di traduzione e glossari.
Per creare un dataset allo scopo di utilizzare una TM curata nel TMS, segui questi passaggi:
-
Nella pagina Dataset, fai clic su Pulire una memoria di traduzione.
Si apre la pagina .
-
Fornisci un nome per il dataset.
-
I selettori di lingua consentono varie opzioni:
-
Per creare un dataset di lingua generale, seleziona la stessa lingua di origine e di destinazione nei selettori di lingua di origine e di destinazione e impostazioni locali.
-
Per creare un dataset specifico per le impostazioni locali, seleziona la lingua di origine e di destinazione dal primo elenco a discesa, quindi specifica le impostazioni locali di origine e di destinazione dal secondo elenco a discesa.
È possibile aggiungere anche più impostazioni locali di destinazione (ovvero diverse varianti della stessa lingua) per sfruttare più fonti di dati.
-
Per creare un dataset con più impostazioni locali di origine e di destinazione, seleziona la lingua di origine e di destinazione dal primo elenco a discesa, specifica le impostazioni locali di origine e di destinazione dal secondo elenco a discesa (è possibile aggiungere diverse varianti della stessa lingua di destinazione) e fai clic su + aggiungere altre coppie di impostazioni locali.
Viene visualizzata la finestra .
-
-
Fai clic su aggiungere memoria di traduzione.
Si apre la pagina con una funzionalità di ricerca
.
-
Per aggiungere una TM al dataset, fai clic sull'icona
. La TM viene aggiunta alla colonna .
È possibile aggiungere più TM fino a un massimo di 200 TM e un massimo di 8 milioni di segmenti. Un dataset dovrebbe idealmente contenere almeno 10.000 segmenti.
Facendo clic sul nome della TM verrà presentata la selezione nella pagina della memoria di traduzione.
Fare clic sull'icona
per rimuovere la TM dalla colonna .
-
Clicca su Salva.
Si apre la pagina .
-
Rivedere i dettagli come presentati e, se corretti, fare clic su continuare.
Si apre la pagina .
-
Applicare i filtri richiesti e fare clic su creare.
Il dataset viene creato e aggiunto all'elenco nella pagina con lo stato iniziale di e lo stato di nella colonna .
Phrase Custom IA consente di curare le memorie di traduzione con l'aiuto di filtri di pulizia basati su IA e su regole. Vengono fornite le impostazioni predefinite che potrebbero essere adatte ai nuovi utenti.
Questo processo preserva i metadati del segmento TM originali e i tag TM, il che consente agli utenti di mantenere la leva della TM quando utilizzano le TM pulite nel TMS.
Il set di filtri disponibili include sia filtri basati su regole che filtri basati su ML:
-
Basato su regole
Filtri che operano con regole chiaramente definite che sono facilmente comprensibili dagli esseri umani. Questa categoria di filtri include , , , , , , .
-
Basato su ML
Filtri che analizzano il contenuto del testo stesso per prendere una decisione, piuttosto che seguire semplicemente un set fisso di regole. Questa categoria di filtri include e .
Intervallo di date
Esclude i segmenti al di fuori delle date impostate. Le date di inizio e fine sono incluse insieme alla data dell'ultima modifica di un segmento.
Origine e destinazione non allineate
Questo filtrare determina quanto bene i segmenti hanno una corrispondenza in termini di significato e similarità semantica, rimuovendo quelli con il punteggio peggiore. L'allineamento della coppia di frasi viene misurato utilizzando la metrica LASER.
Un motore IA viene utilizzato per verificare che il testo di origine e di destinazione significhi la stessa cosa o quanto della stessa cosa. L'impostazioni consigliata Ignora il 10% dei segmenti peggiori mantenendo il 90% dei segmenti migliori.
Le impostazioni avanzate consentono di modificare l'allineamento o possono essere un filtrare basato sul punteggio di similarità grezzo utilizzando un numero compreso tra 0 e 1 (1 significa Completa allineamento). Si consiglia cautela se si utilizza il punteggio di similarità grezzo poiché ogni combinazione linguistica ha una diversa distribuzione di punteggio e ciò che è considerato un buon punteggio per una combinazione linguistica potrebbe essere un punteggio insoddisfacente per un'altra.
In genere i segmenti inferiori a 0,5 non sono molto buoni e i segmenti vicini o superiori a 1 sono segmenti che sono uguali in entrambe le lingue.
Esempi:
Conteggio minimo di carattere e lettere
Conteggio carattere include tutti i carattere. Ciò include tutte le lettere, gli spazi vuoti, la punteggiatura e i simboli. Ai fini dell'addestramento, può essere utile Ignora i segmenti che non contengono alcuna lettera.
Conteggio lettere conta solo le lettere come quelle dell'alfabeto inglese, ma anche carattere più complessi con diacritici o carattere cinesi. Un carattere cinese viene conteggiato come una lettera, anche se rappresenta più di un carattere. Per le lingue basate sui carattere i valori predefiniti sono 1, ma per le lingue basate sulle parole i valori predefiniti sono 4 (carattere) e 3 (lettere). Il valore minimo è 1 e il valore massimo è 500.
Se si mantengono molti segmenti brevi nei dati (ad esempio acronimi), mantenere bassi i valori di filtrare.
Esempio:
La stringa \"Hello, World!" 1 2 3\" ha 19 caratteri e 10 lettere.
Lunghezza della coppia di frasi
Questo filtrare rimuove tutti i segmento che sono più lunghi del valore soglia impostato dagli utenti.
Il conteggio totale dei carattere include tutti i carattere - lettere, spazi bianchi e punteggiatura - sia dal segmento di origine che dal segmento di destinazione. Prendere in considerazione il tipo di lingua (ad esempio cinese e inglese); se la lingua di origine non è simile al CJK e la lingua di destinazione è CJK (o viceversa), questo filtrare verrà ignorato.
Rapporto di lunghezza
Questo filtrare identifica i segmento in cui la lunghezza è significativamente maggiore quando si confrontano il segmento di origine e il segmento di destinazione. Alcune traduzioni aumentano o diminuiscono di lunghezza quando si traduce da una lingua di origine a una lingua di destinazione. Traduzioni troppo lunghe o troppo brevi possono indicare segmento di bassa qualità.
Se la lingua di origine non è simile al CJK e la lingua di destinazione è (o viceversa), questo filtrare verrà ignorato.CJK
Alcune lingue sono più prolisse di altre, quindi il 200% è un buon valore predefinito. Se la lingua di destinazione è simile alla lingua di origine, o è necessario filtrare più dati, il valore può essere inferiore.
Esempi:
Una lingua è CJK - il rapporto è 1. Non verrà scartato:
{"origine": "This is a sentence.", "destinazione": "这是一个句子。", "ratio": 1}
La traduzione tedesca ha una lunghezza paragonabile all'origine inglese e non verrà scartata:
{"origine": "This is a sentence.", "destinazione": "Dies ist ein Satz.", "ratio": 1.1}
La traduzione tedesca è molto più lunga dell'origine inglese e verrà scartata:
{"origine": "This is a sentence.", "destinazione": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "ratio": 3.1}
Non traducibili
I Non traducibili sono segmento in cui il segmento di origine e il segmento di destinazione sono uguali. Esclude tutte le coppie di frasi non traducibili in cui il testo di destinazione rimane invariato rispetto al testo di origine.
Duplicati
Vengono creati gruppi di segmenti che hanno la stessa frase di origine. Da ogni gruppo, viene mantenuto solo il segmento migliore, quindi se la frase di origine di un segmento è univoca, viene mantenuta automaticamente. Altrimenti, viene mantenuto il segmento con il punteggio di similarità più alto.
Quasi-duplicati
Quando si esegue il test per i quasi-duplicati, la (versione leggermente più pulita di) una frase di origine viene normalizzata; tutti i caratteri non alfabetici (alcuni esempi: “,?)!-) vengono sostituiti con uno spazio e tutte le lettere vengono rese minuscole.
Usando la frase di origine normalizzata, vengono creati gruppi di segmenti che hanno la stessa frase di origine normalizzata. Da ogni gruppo, viene mantenuto solo il segmento migliore, quindi la frase di origine normalizzata di un segmento è univoca e viene mantenuta automaticamente. Altrimenti, viene mantenuto il segmento con il punteggio di similarità più alto.
Identificazione della lingua
Un motore di IA viene usato per identificare la lingua di origine e di destinazione in base alle frasi. Un segmento viene rimosso solo se il motore riconosce una lingua (di origine/destinazione) (ad esempio, frasi più brevi spesso non sono sufficienti al motore per determinare una lingua) e la lingua è diversa da quella prevista.
QPS
Il filtro QPS rende possibile rimuovere le coppie di frasi di qualità inferiore nella memoria di traduzione per garantire che i segmenti risultanti siano della massima qualità.
Il filtro QPS può essere configurato in due modi:
-
Rimuovere una percentuale specificata di coppie di frasi con i punteggi QPS più bassi. La raccomandazione è il 10%.
-
Selezionare una soglia di punteggio. Usare le impostazioni avanzate per eliminare le coppie di frasi che scendono al di sotto di una soglia QPS regolabile. Il punto di partenza consigliato è 50.
Queste due opzioni forniscono una cura automatizzata della memoria di traduzione per allinearsi agli obiettivi di qualità degli utenti.
Il processo di pulizia della memoria di traduzione, che può richiedere diverse ore, deve essere Completa prima che una TM curata possa essere usata.
Per usare una TM curata in TMS, seguire questi passaggi:
Questo avvierà un processo di esportare del dataset che richiederà solo pochi minuti. La TM curata risultante in formato .TMX può essere quindi caricata in TMS come una nuova TM curata fino a 1 Gb di dimensione.
Se sono stati eseguiti due o più processi di pulizia sulla stessa TM, è possibile accedere a diverse versioni nella scheda .