Custom AI

Utilizzo delle metriche di traduzione automatica

Contenuti tradotti automaticamente dall'inglese con Phrase Language AI.

Le metriche di valutazione automatizzate svolgono un ruolo cruciale nella valutazione della qualità delle traduzioni prodotte dai sistemi di traduzione automatica. A differenza delle valutazioni umane, che possono essere soggettive e richiedere molto tempo, le metriche automatizzate forniscono un modo rapido, oggettivo e ripetibile per misurare le prestazioni dei sistemi di traduzione automatica.

Phrase Custom AI incorpora diverse metriche automatizzate ben consolidate per valutare la qualità della traduzione automatica: BLEU, TER, chrf3 e COMET.

Si consiglia di mettere in produzione i sistemi personalizzati se sono soddisfatte entrambe le seguenti condizioni:

  • Miglioramento del punteggio BLEU di almeno 5 punti (in termini assoluti, ad es. 40 contro 35) o del punteggio chrf di almeno 4 punti.

  • Nessuna diminuzione significativa del punteggio COMET.

Nella maggior parte dei casi, miglioramenti di questa entità sono facilmente percepibili dai traduttori umani e riducono i tempi di post-editing.

Approccio consigliato

In generale, i valori assoluti delle metriche variano a seconda della coppia linguistica, del dominio e di altri fattori. Per valutare il successo della personalizzazione, confronta i punteggi del sistema generico con quelli del sistema personalizzato.

BLEU, chrf e TER misurano tutti la sovrapposizione delle stringhe tra le traduzioni prodotte dai sistemi di traduzione automatica e le traduzioni di riferimento. Per definizione, un miglioramento significativo in questi punteggi implica un minor sforzo di post-editing per i traduttori.

COMET misura la qualità della traduzione in senso generale. Il punteggio COMET non aumenta necessariamente dopo la personalizzazione: il sistema personalizzato può produrre traduzioni di qualità simile, ma più in linea con lo stile, il tono di voce e la terminologia del cliente. Tuttavia, una diminuzione significativa di COMET potrebbe segnalare un problema con il sistema personalizzato.

Metriche disponibili

Phrase Custom AI incorpora diverse metriche automatizzate ben consolidate per valutare la qualità della traduzione automatica: BLEU, TER, chrf3 e COMET. Ognuna di queste metriche valuta la qualità della traduzione con un approccio diverso, concentrandosi su aspetti specifici.

I punteggi COMET vengono visualizzati solo in Custom AI nell'interfaccia utente di Phrase. COMET non è incluso in Phrase Data e non può essere recuperato da tale fonte. I punteggi BLEU, chrf3 e TER sono disponibili sia in Custom AI che in Phrase Data.

COMET (Cross-lingual Optimized Metric for Evaluation of Translation)

  • Panoramica

    COMET è una metrica più recente che impiega modelli di apprendimento automatico per valutare le traduzioni. A differenza delle metriche tradizionali, non si basa esclusivamente sul confronto degli elementi visibili del testo.

  • Meccanismo di funzionamento

    COMET utilizza un modello di rete neurale addestrato su ampi set di dati di giudizi umani. Valuta le traduzioni considerando vari aspetti della qualità della traduzione, tra cui fluidità, adeguatezza e conservazione del significato.

  • Casi d'uso

    COMET è efficace negli scenari in cui è richiesta una comprensione più profonda della qualità della traduzione. È particolarmente utile per valutare traduzioni in cui l'accuratezza contestuale e semantica è più importante della corrispondenza letterale parola per parola.

BLEU (Bilingual Evaluation Understudy)

  • Panoramica

    BLEU, una delle prime metriche e tra le più utilizzate, valuta la qualità del testo tradotto automaticamente confrontandolo con una o più traduzioni di riferimento di alta qualità. BLEU misura quanto le sequenze di parole del testo generato automaticamente corrispondono a quelle dei testi di riferimento, concentrandosi sulla precisione delle corrispondenze tra parole.

  • Meccanismo di funzionamento

    BLEU calcola la precisione degli n-grammi per varie lunghezze (in genere da 1 a 4 parole) e poi combina questi punteggi utilizzando una media geometrica. Incorpora anche una penalità di brevità per affrontare il problema delle traduzioni eccessivamente brevi.

  • Casi d'uso

    BLEU è particolarmente efficace per valutare traduzioni in cui la corrispondenza esatta di frasi e ordine delle parole è importante. Tuttavia, la sua dipendenza dalle corrispondenze esatte può rappresentare un limite nel cogliere la qualità di traduzioni più fluide o idiomatiche.

TER (Translation Edit Rate)

  • Panoramica

    TER è una metrica che misura il numero di modifiche necessarie per trasformare un testo tradotto automaticamente in una traduzione di riferimento. Si basa sul concetto di distanza di modifica e include operazioni come inserimenti, eliminazioni e sostituzioni. A differenza di altre metriche in questo elenco, un punteggio TER più basso indica una traduzione migliore.

  • Meccanismo di funzionamento

    TER calcola il numero minimo di modifiche necessarie per trasformare la traduzione automatica in una delle traduzioni di riferimento. Il punteggio viene quindi normalizzato in base al numero totale di parole nella traduzione di riferimento.

  • Casi d'uso

    TER è utile per valutare traduzioni in cui l'attenzione è rivolta alla quantità di lavoro di post-editing richiesto. È particolarmente utile quando le traduzioni saranno sottoposte a post-editing da parte di traduttori.

chrf3 (Character n-gram F-score)

  • Panoramica

    chrf3, o F-score di n-grammi di caratteri, è una metrica che valuta le traduzioni basandosi su n-grammi a livello di carattere. Considera sia la precisione che il richiamo, fornendo un equilibrio tra le due.

  • Meccanismo di funzionamento

    chrf3 calcola l'F-score, una media armonica di precisione e richiamo, basata sulla sovrapposizione di n-grammi di caratteri tra la traduzione automatica e il testo di riferimento.

  • Casi d'uso

    chrf3 è vantaggioso per le lingue in cui la segmentazione delle parole è complessa o per le lingue morfologicamente ricche. È inoltre meno sensibile all'ordine delle parole rispetto a BLEU, il che rende questa metrica più flessibile nel valutare traduzioni con formulazioni diverse ma accettabili.

Intervalli di punteggio

I valori assoluti delle metriche variano significativamente a seconda della coppia linguistica, del dominio e di altri fattori. È quindi difficile stabilire linee guida generali per interpretare i punteggi. Per decidere, basati soprattutto sulle differenze tra il sistema generico e quello personalizzato, valutati sullo stesso set di dati.

Questa tabella può essere considerata un utile punto di partenza per interpretare i valori delle singole metriche:

  • I punteggi inferiori alla soglia di bassa qualità della traduzione automatica possono indicare problemi gravi. In genere, è opportuno analizzare ulteriormente questi sistemi prima di metterli in produzione.

  • I punteggi che superano la soglia di alta qualità della traduzione automatica indicano in genere un sistema con ottime prestazioni, capace di produrre traduzioni fluenti e adeguate.

Metrica

Periodo

Soglia di bassa qualità della traduzione automatica

Soglia di alta qualità della traduzione automatica

COMET

Tipicamente da 0 a 1

< 0,3

> 0,8

BLEU

da 0 a 100

< 15

> 50

TER

da 0 a 100, più basso è il valore, meglio è

> 70

< 30

chrf3

da 0 a 100

< 20

> 60

Questo articolo ti è stato utile?
★ ★ ★ ★ ★

Sorry about that! In what way was it not helpful?

The article didn’t address my problem.
I couldn’t understand the article.
The feature doesn’t do what I need.
Other reason.

Note that feedback is provided anonymously so we aren't able to reply to questions.
If you'd like to ask a question, submit a request to our Support team.
Thank you for your feedback.