Automatisierte Bewertungsmetriken spielen eine entscheidende Rolle bei der Beurteilung der Qualität von Übersetzungen, die von maschinellen Übersetzungssystemen erstellt wurden. Im Gegensatz zu menschlichen Bewertungen, die subjektiv und zeitaufwendig sein können, bieten automatisierte Metriken eine schnelle, objektive und wiederholbare Möglichkeit, die Leistung von MT-Systemen zu messen.
Phrase Custom AI integriert mehrere bewährte automatisierte Metriken zur Bewertung der Qualität maschineller Übersetzungen: BLEU, TER, chrf3 und COMET.
Es wird empfohlen, angepasste Systeme in einer Produktionsumgebung einzusetzen, wenn beide der folgenden Bedingungen erfüllt sind:
-
BLEU-Verbesserung um mindestens 5 Punkte (absolut, z. B. 40 gegenüber 35) oder chrf-Verbesserung um mindestens 4 Punkte.
-
Keine signifikante Verringerung des COMET-Werts.
In den meisten Fällen sind Verbesserungen in diesem Ausmaß für menschliche Übersetzer leicht erkennbar und führen zu kürzeren Nachbearbeitungszeiten.
Empfohlene Vorgehensweise
Im Allgemeinen variieren die absoluten Werte der Metriken je nach Sprachpaar, Fachgebiet und anderen Faktoren. Um den Erfolg der Anpassung zu beurteilen, die Werte des generischen und des angepassten Systems vergleichen.
BLEU, chrf und TER messen alle die Zeichenfolgenübereinstimmung zwischen den MT-Ausgaben und den Referenzübersetzungen. Per Definition bedeutet eine signifikante Verbesserung dieser Werte einen geringeren Nachbearbeitungsaufwand für Übersetzer.
COMET misst die Übersetzungsqualität im allgemeinen Sinne. COMET steigt nach der Anpassung nicht unbedingt an (das angepasste System liefert möglicherweise Übersetzungen von ähnlicher Qualität; der Unterschied besteht darin, ob die Übersetzungen dem Stil, dem Tonfall, der Terminologie usw. des Kunden entsprechen). Ein signifikanter Rückgang von COMET kann jedoch auf ein Problem mit dem angepassten System hinweisen.
Verfügbare Metriken
Phrase Custom AI integriert mehrere bewährte automatisierte Metriken zur Bewertung der Qualität maschineller Übersetzungen: BLEU, TER, chrf3 und COMET. Jede dieser Metriken bietet einen einzigartigen Ansatz zur Bewertung der Übersetzungsqualität und berücksichtigt verschiedene Aspekte der Übersetzung.
COMET-Werte werden nur in Custom AI auf der Phrase-Benutzeroberfläche angezeigt. COMET ist nicht in Phrase Data enthalten und kann nicht aus dieser Quelle abgerufen werden. BLEU-, chrf3- und TER-Werte sind sowohl in Custom AI als auch in Phrase Data verfügbar.
COMET (Cross-lingual Optimized Metric for Evaluation of Translation)
-
Übersicht
COMET ist eine neuere Metrik, die maschinelle Lernmodelle zur Bewertung von Übersetzungen einsetzt. Im Gegensatz zu herkömmlichen Metriken stützt sie sich nicht ausschließlich auf oberflächliche Textvergleiche.
-
Funktionsweise
COMET verwendet ein neuronales Netzwerkmodell, das auf großen Datensätzen menschlicher Bewertungen trainiert wurde. Es bewertet Übersetzungen anhand verschiedener Aspekte der Übersetzungsqualität, darunter sprachliche Natürlichkeit, inhaltliche Angemessenheit und Bedeutungstreue.
-
Anwendungsfälle
COMET ist effektiv in Szenarien, in denen ein tieferes Verständnis der Übersetzungsqualität erforderlich ist. Es ist besonders nützlich für die Bewertung von Übersetzungen, bei denen kontextuelle und semantische Genauigkeit wichtiger sind als eine wörtliche Entsprechung.
BLEU (Bilingual Evaluation Understudy)
-
Übersicht
BLEU, eine der frühesten und am weitesten verbreiteten Metriken, bewertet die Qualität von maschinell übersetztem Text durch den Vergleich mit einer oder mehreren hochwertigen Referenzübersetzungen. BLEU misst die Übereinstimmung von Phrasen zwischen dem maschinell generierten Text und den Referenztexten und konzentriert sich dabei auf die Präzision von Wortübereinstimmungen.
-
Funktionsweise
BLEU berechnet die N-Gramm-Präzision für verschiedene N-Gramm-Längen (typischerweise 1 bis 4 Wörter) und kombiniert diese Werte anschließend mithilfe eines geometrischen Mittels. BLEU berücksichtigt außerdem einen Strafwert für zu kurze Übersetzungen (Brevity Penalty).
-
Anwendungsfälle
BLEU ist besonders effektiv für die Bewertung von Übersetzungen, bei denen die exakte Übereinstimmung von Phrasen und Wortfolge wichtig ist. Die Abhängigkeit von exakten Übereinstimmungen kann jedoch eine Einschränkung bei der Erfassung der Qualität flüssigerer oder idiomatischerer Übersetzungen darstellen.
TER (Translation Edit Rate)
-
Übersicht
TER ist eine Metrik, die die Anzahl der Bearbeitungen misst, die erforderlich sind, um einen maschinell übersetzten Text in eine Referenzübersetzung umzuwandeln. Sie basiert auf dem Konzept der Editierdistanz und umfasst Operationen wie Einfügungen, Löschungen und Ersetzungen. Im Gegensatz zu anderen Metriken auf dieser Liste bedeutet ein niedrigerer TER-Wert eine bessere Übersetzung.
-
Funktionsweise
TER berechnet die minimale Anzahl an Bearbeitungen, die erforderlich sind, um die maschinelle Übersetzung in eine der Referenzübersetzungen umzuwandeln. Der Wert wird dann durch die Gesamtzahl der Wörter in der Referenzübersetzung normalisiert.
-
Anwendungsfälle
TER ist nützlich für die Bewertung von Übersetzungen, bei denen der Fokus auf dem erforderlichen Nachbearbeitungsaufwand liegt. Es ist besonders relevant in Szenarien, in denen Übersetzungen von Menschen nachbearbeitet werden.
chrf3 (Character n-gram F-score)
-
Übersicht
chrf3, auch Zeichen-N-Gramm-F-Score genannt, ist eine Metrik, die Übersetzungen anhand von Zeichen-N-Grammen bewertet. Sie berücksichtigt sowohl Präzision als auch Recall und bietet ein Gleichgewicht zwischen beiden.
-
Funktionsweise
chrf3 berechnet den F-Score, das harmonische Mittel aus Präzision und Recall, anhand der Übereinstimmung von Zeichen-N-Grammen zwischen der maschinellen Übersetzung und dem Referenztext.
-
Anwendungsfälle
chrf3 eignet sich für Sprachen, bei denen die Wortsegmentierung schwierig ist, sowie für Sprachen mit ausgeprägter Morphologie. Es ist zudem weniger empfindlich gegenüber der Wortstellung als BLEU, was es flexibler bei der Bewertung von Übersetzungen mit unterschiedlichen, aber akzeptablen Formulierungen macht.
Wertebereiche
Die absoluten Werte der Metriken variieren je nach Sprachpaar, Fachgebiet und anderen Faktoren erheblich. Daher lassen sich nur schwer allgemeine Richtlinien für die Interpretation der Werte festlegen; ausschlaggebend sollten vor allem die Unterschiede zwischen dem generischen und dem angepassten System sein, wenn beide anhand desselben Datensatzes bewertet wurden.
Diese Tabelle kann als nützlicher Ausgangspunkt für die Interpretation der Werte der einzelnen Metriken betrachtet werden:
-
Werte unterhalb der Schwelle für qualitativ minderwertige maschinelle Übersetzung können auf schwerwiegende Probleme hinweisen, und solche Systeme sollten typischerweise nicht ohne weitere Analyse eingesetzt werden.
-
Werte, die die Schwelle für qualitativ hochwertige maschinelle Übersetzung überschreiten, deuten typischerweise auf ein sehr gut funktionierendes System hin, das flüssige und adäquate Übersetzungen erstellt.
|
Metrik |
Reichweite |
Schwellenwert für MT niedriger Qualität |
Schwellenwert für MT hoher Qualität |
|---|---|---|---|
|
COMET |
Typischerweise 0 bis 1 |
< 0,3 |
> 0,8 |
|
BLEU |
0 bis 100 |
< 15 |
> 50 |
|
TER |
0 bis 100, niedriger ist besser |
> 70 |
< 30 |
|
chrf3 |
0 bis 100 |
< 20 |
> 60 |