Verwendung von MT-Kennzahlen

Inhalte werden von Phrase Language AI maschinell aus dem Englischen übersetzt.

Automatisierte Bewertungskennzahlen spielen eine entscheidende Rolle bei der Beurteilung der Qualität von Übersetzungen, die von Systemen für maschinelle Übersetzung erstellt wurden. Im Gegensatz zu menschlichen Bewertungen, die subjektiv und zeitaufwendig sein können, bieten automatisierte Kennzahlen eine schnelle, objektive und wiederholbare Möglichkeit, die Leistung von MT-Systemen zu messen.

Phrase Custom AI integriert mehrere bewährte automatisierte Kennzahlen zur Bewertung der Qualität maschineller Übersetzung: BLEU, TER, chrf3 und COMET.

Es wird empfohlen, benutzerdefinierte Systeme in einer Produktionsumgebung einzusetzen, wenn beide der folgenden Bedingungen erfüllt sind:

BLEU Verbesserung um mindestens 5 Punkte (absolut, z. B. 40 vs. 35) oder chrf Verbesserung um mindestens 4 Punkte.
Keine signifikante Verschlechterung der COMET-Kennzahl.

In den meisten Fällen sind Verbesserungen in diesem Ausmaß für menschliche Übersetzer leicht erkennbar und führen zu verbesserten Post-Editing-Zeiten.

Empfohlener Ansatz

Im Allgemeinen variieren die absoluten Werte der Kennzahlen je nach Sprachpaar, Fachbereich und anderen Faktoren. Um zu beurteilen, wie erfolgreich der Anpassungsprozess war, untersuchen Sie den Unterschied zwischen den Kennzahlen des generischen und des benutzerdefinierten Systems.

BLEU, chrf und TER messen alle die Zeichenfolge-Übereinstimmung zwischen den MT-Outputs und den Referenzübersetzungen. Per Definition bedeutet eine signifikante Verbesserung dieser Kennzahlen einen geringeren Post-Editing-Aufwand für Übersetzer.

COMET misst die Übersetzungsqualität im allgemeinen Sinne. COMET steigt nach der Anpassung nicht zwangsläufig an (das benutzerdefinierte System liefert möglicherweise Übersetzungen von ähnlicher Qualität; der Unterschied besteht darin, ob die Übersetzungen dem Stil, dem Tonfall, der Terminologie usw. des Kunden entsprechen). Ein signifikanter Rückgang von COMET kann jedoch auf ein Problem mit dem benutzerdefinierten System hinweisen.

Verfügbare Kennzahlen

Phrase Custom AI integriert mehrere bewährte automatisierte Kennzahlen zur Bewertung der Qualität maschineller Übersetzung: BLEU, TER, chrf3 und COMET. Jede dieser Kennzahlen bietet einen einzigartigen Ansatz zur Bewertung der Übersetzungsqualität und deckt verschiedene Aspekte der Übersetzung ab.

COMET (Cross-lingual Optimized Metric for Evaluation of Translation)

Overview

COMET ist eine neuere Kennzahl, die maschinelle Lernmodelle verwendet, um Übersetzungen zu bewerten. Im Gegensatz zu herkömmlichen Kennzahlen stützt sie sich nicht ausschließlich auf oberflächliche Textvergleiche.
Working Mechanism

COMET verwendet ein neuronales Netzwerkmodell, das auf großen Datensätzen menschlicher Beurteilungen trainiert wurde. Es bewertet Übersetzungen unter Berücksichtigung verschiedener Aspekte der Übersetzungsqualität, einschließlich Flüssigkeit, Angemessenheit und der Wahrung der Bedeutung.
Anwendungsfälle

COMET ist effektiv in Szenarien, in denen ein tieferes Verständnis der Übersetzungsqualität erforderlich ist. Es ist besonders nützlich für die Bewertung von Übersetzungen, bei denen kontextuelle und semantische Genauigkeit wichtiger sind als eine wörtliche Entsprechung.

BLEU (Bilingual Evaluation Understudy)

Overview

BLEU, eine der frühesten und am weitesten verbreiteten Kennzahlen, bewertet die Qualität von maschinell übersetztem Text durch den Vergleich mit einer oder mehreren hochwertigen Referenzübersetzungen. BLEU misst die Übereinstimmung von Phrasen zwischen dem maschinell generierten Text und den Referenztexten und konzentriert sich dabei auf die Genauigkeit von Wortübereinstimmungen.
Working Mechanism

BLEU berechnet die N-Gramm-Genauigkeit für verschiedene N-Gramm-Längen (typischerweise 1 bis 4 Wörter) und kombiniert diese Kennzahlen dann mithilfe eines geometrischen Mittels. Es beinhaltet auch eine Kürze-Strafe, um das Problem zu kurzer Übersetzungen anzugehen.
Anwendungsfälle

BLEU ist besonders effektiv für die Bewertung von Übersetzungen, bei denen die exakte Übereinstimmung von Phrasen und die Reihenfolge der Wörter wichtig sind. Die Abhängigkeit von exakten Übereinstimmungen kann jedoch eine Einschränkung bei der Erfassung der Qualität flüssigerer oder idiomatischerer Übersetzungen darstellen.

TER (Translation Edit Rate)

Overview

TER ist eine Kennzahl, die die Anzahl der Bearbeitungen misst, die erforderlich sind, um einen maschinell übersetzten Text in eine Referenzübersetzung zu ändern. Sie basiert auf dem Konzept der Bearbeitungsdistanz und umfasst Operationen wie Einfügungen, Löschungen und Ersetzungen. Im Gegensatz zu anderen Kennzahlen auf dieser Liste bedeutet eine niedrigere TER-Kennzahl eine bessere Übersetzung.
Working Mechanism

TER berechnet die minimale Anzahl an Bearbeitungen, die erforderlich sind, um die maschinelle Übersetzung in eine der Referenzübersetzungen umzuwandeln. Die Kennzahl wird dann durch die Gesamtzahl der Wörter in der Referenzübersetzung normalisiert.
Anwendungsfälle

TER ist nützlich für die Bewertung von Übersetzungen, bei denen der Fokus auf dem erforderlichen Umfang an Post-Editing-Job liegt. Es ist besonders relevant in Szenarien, in denen Übersetzungen von Menschen post-editiert werden.

chrf3 (Zeichen-n-Gramm-F-Kennzahl)"},translation_6:

Overview

chrf3, oder Zeichen-n-Gramm-F-Kennzahl, ist eine Metrik, die Übersetzungen auf Basis von Zeichen-n-Grammen bewertet. Sie berücksichtigt sowohl Präzision als auch Recall und bietet ein Gleichgewicht zwischen beiden.
Working Mechanism

chrf3 berechnet die F-Kennzahl, ein harmonisches Mittel aus Präzision und Recall, basierend auf der Überlappung von Zeichen-n-Grammen zwischen der maschinellen Übersetzung und dem Referenztext.
Anwendungsfälle

chrf3 ist vorteilhaft für Sprachen, bei denen die Segmentierung schwierig ist, oder für morphologisch reiche Sprachen. Es ist zudem weniger empfindlich gegenüber der Reihenfolge der Wörter als BLEU, was es flexibler bei der Bewertung von Übersetzungen mit unterschiedlichen, aber akzeptablen Formulierungen macht.

Kennzahlbereiche

Die absoluten Werte der Kennzahlen variieren erheblich je nach Sprachpaar, Fachbereich und anderen Faktoren. Es ist daher schwierig, allgemeine Richtlinien für die Interpretation von Kennzahlwerten festzulegen, und Benutzer sollten primär auf Basis der Unterschiede zwischen dem generischen und dem angepassten System (evaluiert auf einem identischen Datensatz) entscheiden.

Diese Tabelle kann als nützlicher Ausgangspunkt für die Interpretation der Werte der einzelnen Kennzahlen betrachtet werden:

Kennzahlen unterhalb des Schwellenwerts für MT mit niedriger Qualität können auf schwerwiegende Probleme hinweisen, und solche Systeme sollten typischerweise nicht ohne weitere Analyse eingesetzt werden.
Kennzahlen, die den Schwellenwert für MT mit hoher Qualität überschreiten, deuten typischerweise auf ein sehr gut funktionierendes System hin, das flüssige und adäquate Übersetzungen erstellt.

Metrik	Reichweite	Schwellenwert für MT mit niedriger Qualität	Schwellenwert für MT mit hoher Qualität
COMET	Typischerweise 0 bis 1	< 0.3	> 0,8
BLEU	0 bis 100	< 15	> 50
TER	0 bis 100, niedriger ist besser	> 70	< 30
chrf3	0 bis 100	< 20	> 60