Utilizzo delle metriche MT

BLEU miglioramento di almeno 5 punti (assoluti, ad es. 40 contro 35), o chrf miglioramento di almeno 4 punti.

Nessuna diminuzione significativa del punteggio COMET.

Overview

COMET è una metrica più recente che impiega modelli di apprendimento automatico per valutare le traduzioni. A differenza delle metriche tradizionali, non si basa esclusivamente su confronti testuali a livello superficiale.

Working Mechanism

COMET utilizza un modello di rete neurale addestrato su ampi set di dati di giudizi umani. Valuta le traduzioni considerando vari aspetti della qualità della traduzione, tra cui fluidità, adeguatezza e conservazione del significato.

Casi d'uso

COMET è efficace in scenari in cui è richiesto un riferimento più approfondito della qualità della traduzione. È particolarmente utile per valutare traduzioni in cui l'accuratezza contestuale e semantica sono più importanti della corrispondenza letterale parola per parola.

Overview

BLEU, una delle metriche più antiche e ampiamente utilizzate, valuta la qualità del testo tradotto automaticamente confrontandolo con uno o più traduzioni di riferimento di alta qualità. BLEU misura la corrispondenza delle frasi tra il testo generato dalla macchina e i testi di riferimento, concentrandosi sulla precisione delle corrispondenze delle parole.

Working Mechanism

BLEU calcola la precisione n-gram per varie lunghezze di n-gram (tipicamente da 1 a 4 parole) e quindi combina questi punteggio utilizzando una media geometrica. Incorpora anche una penalità di brevità per affrontare il problema delle traduzioni eccessivamente brevi.

Casi d'uso

BLEU è particolarmente efficace per valutare traduzioni in cui la corrispondenza esatta delle frasi e dell'ordine delle parole è importante. Tuttavia, la sua dipendenza dalle corrispondenze esatte può rappresentare un limite nel catturare la qualità di traduzioni più fluide o idiomatiche.

Overview

TER è una metrica che misura il numero di Modifica necessarie per modificare un testo tradotto automaticamente in una traduzione di riferimento. Si basa sul concetto di distanza di Modifica e include operazioni come inserimenti, eliminazioni e sostituzioni. A differenza di altre metriche in questo elenco, un punteggio TER inferiore indica una traduzione migliore.

Working Mechanism

TER calcola il numero minimo di modifiche necessarie per trasformare la traduzione automatica in una delle traduzioni di riferimento. Il punteggio viene quindi normalizzato in base al numero totale di parole nella traduzione di riferimento.

Casi d'uso

TER è utile per valutare traduzioni in cui l'attenzione è rivolta alla quantità di lavoro di post-editing richiesto. È particolarmente rilevante in scenari in cui le traduzioni saranno sottoposte a post-editing da parte di esseri umani.

Overview

chrf3, o punteggio F di n-grammi di carattere, è una metrica che valuta le traduzioni basandosi su n-grammi a livello di carattere. Considera sia la precisione che il richiamo, fornendo un equilibrio tra i due.

Working Mechanism

chrf3 calcola il punteggio F, una media armonica di precisione e richiamo, basata sulla sovrapposizione di n-grammi di carattere tra la traduzione automatica e il testo di riferimento.

Casi d'uso

chrf3 è vantaggioso per le lingue in cui la segmentazione è complessa o per le lingue morfologicamente ricche. È inoltre meno sensibile all'ordine delle parole rispetto a BLEU, rendendolo più flessibile nella valutazione di traduzioni con formulazioni diverse ma accettabili.

I punteggi al di sotto della soglia di MT di bassa qualità possono essere indicativi di gravi problemi e tali sistemi non dovrebbero solitamente essere distribuiti senza un'ulteriore analisi.

I punteggi che superano la soglia per MT di alta qualità indicano solitamente un sistema con ottime prestazioni che produce traduzioni fluenti e adeguate.