Custom AI

Verwendung von MT-Metriken

Inhalte werden von Phrase Language AI maschinell aus dem Englischen übersetzt.

Automatisierte Bewertungsmetriken spielen eine entscheidende Rolle bei der Beurteilung der Qualität von Übersetzungen, die von maschinellen Übersetzungssystemen erstellt wurden. Im Gegensatz zu menschlichen Bewertungen, die subjektiv und zeitaufwendig sein können, bieten automatisierte Metriken eine schnelle, objektive und wiederholbare Möglichkeit, die Leistung von MT-Systemen zu messen.

Phrase Custom AI integriert mehrere bewährte automatisierte Metriken zur Bewertung der Qualität maschineller Übersetzungen: BLEU, TER, chrf3 und COMET.

Es wird empfohlen, angepasste Systeme in einer Produktionsumgebung einzusetzen, wenn beide der folgenden Bedingungen erfüllt sind:

  • BLEU-Verbesserung um mindestens 5 Punkte (absolut, z. B. 40 gegenüber 35) oder chrf-Verbesserung um mindestens 4 Punkte.

  • Keine signifikante Verringerung des COMET-Werts.

In den meisten Fällen sind Verbesserungen in diesem Ausmaß für menschliche Übersetzer leicht erkennbar und führen zu kürzeren Nachbearbeitungszeiten.

Empfohlene Vorgehensweise

Im Allgemeinen variieren die absoluten Werte der Metriken je nach Sprachpaar, Fachgebiet und anderen Faktoren. Um den Erfolg der Anpassung zu beurteilen, die Werte des generischen und des angepassten Systems vergleichen.

BLEU, chrf und TER messen alle die Zeichenfolgenübereinstimmung zwischen den MT-Ausgaben und den Referenzübersetzungen. Per Definition bedeutet eine signifikante Verbesserung dieser Werte einen geringeren Nachbearbeitungsaufwand für Übersetzer.

COMET misst die Übersetzungsqualität im allgemeinen Sinne. COMET steigt nach der Anpassung nicht unbedingt an (das angepasste System liefert möglicherweise Übersetzungen von ähnlicher Qualität; der Unterschied besteht darin, ob die Übersetzungen dem Stil, dem Tonfall, der Terminologie usw. des Kunden entsprechen). Ein signifikanter Rückgang von COMET kann jedoch auf ein Problem mit dem angepassten System hinweisen.

Verfügbare Metriken

Phrase Custom AI integriert mehrere bewährte automatisierte Metriken zur Bewertung der Qualität maschineller Übersetzungen: BLEU, TER, chrf3 und COMET. Jede dieser Metriken bietet einen einzigartigen Ansatz zur Bewertung der Übersetzungsqualität und berücksichtigt verschiedene Aspekte der Übersetzung.

COMET-Werte werden nur in Custom AI auf der Phrase-Benutzeroberfläche angezeigt. COMET ist nicht in Phrase Data enthalten und kann nicht aus dieser Quelle abgerufen werden. BLEU-, chrf3- und TER-Werte sind sowohl in Custom AI als auch in Phrase Data verfügbar.

COMET (Cross-lingual Optimized Metric for Evaluation of Translation)

  • Übersicht

    COMET ist eine neuere Metrik, die maschinelle Lernmodelle zur Bewertung von Übersetzungen einsetzt. Im Gegensatz zu herkömmlichen Metriken stützt sie sich nicht ausschließlich auf oberflächliche Textvergleiche.

  • Funktionsweise

    COMET verwendet ein neuronales Netzwerkmodell, das auf großen Datensätzen menschlicher Bewertungen trainiert wurde. Es bewertet Übersetzungen anhand verschiedener Aspekte der Übersetzungsqualität, darunter sprachliche Natürlichkeit, inhaltliche Angemessenheit und Bedeutungstreue.

  • Anwendungsfälle

    COMET ist effektiv in Szenarien, in denen ein tieferes Verständnis der Übersetzungsqualität erforderlich ist. Es ist besonders nützlich für die Bewertung von Übersetzungen, bei denen kontextuelle und semantische Genauigkeit wichtiger sind als eine wörtliche Entsprechung.

BLEU (Bilingual Evaluation Understudy)

  • Übersicht

    BLEU, eine der frühesten und am weitesten verbreiteten Metriken, bewertet die Qualität von maschinell übersetztem Text durch den Vergleich mit einer oder mehreren hochwertigen Referenzübersetzungen. BLEU misst die Übereinstimmung von Phrasen zwischen dem maschinell generierten Text und den Referenztexten und konzentriert sich dabei auf die Präzision von Wortübereinstimmungen.

  • Funktionsweise

    BLEU berechnet die N-Gramm-Präzision für verschiedene N-Gramm-Längen (typischerweise 1 bis 4 Wörter) und kombiniert diese Werte anschließend mithilfe eines geometrischen Mittels. BLEU berücksichtigt außerdem einen Strafwert für zu kurze Übersetzungen (Brevity Penalty).

  • Anwendungsfälle

    BLEU ist besonders effektiv für die Bewertung von Übersetzungen, bei denen die exakte Übereinstimmung von Phrasen und Wortfolge wichtig ist. Die Abhängigkeit von exakten Übereinstimmungen kann jedoch eine Einschränkung bei der Erfassung der Qualität flüssigerer oder idiomatischerer Übersetzungen darstellen.

TER (Translation Edit Rate)

  • Übersicht

    TER ist eine Metrik, die die Anzahl der Bearbeitungen misst, die erforderlich sind, um einen maschinell übersetzten Text in eine Referenzübersetzung umzuwandeln. Sie basiert auf dem Konzept der Editierdistanz und umfasst Operationen wie Einfügungen, Löschungen und Ersetzungen. Im Gegensatz zu anderen Metriken auf dieser Liste bedeutet ein niedrigerer TER-Wert eine bessere Übersetzung.

  • Funktionsweise

    TER berechnet die minimale Anzahl an Bearbeitungen, die erforderlich sind, um die maschinelle Übersetzung in eine der Referenzübersetzungen umzuwandeln. Der Wert wird dann durch die Gesamtzahl der Wörter in der Referenzübersetzung normalisiert.

  • Anwendungsfälle

    TER ist nützlich für die Bewertung von Übersetzungen, bei denen der Fokus auf dem erforderlichen Nachbearbeitungsaufwand liegt. Es ist besonders relevant in Szenarien, in denen Übersetzungen von Menschen nachbearbeitet werden.

chrf3 (Character n-gram F-score)

  • Übersicht

    chrf3, auch Zeichen-N-Gramm-F-Score genannt, ist eine Metrik, die Übersetzungen anhand von Zeichen-N-Grammen bewertet. Sie berücksichtigt sowohl Präzision als auch Recall und bietet ein Gleichgewicht zwischen beiden.

  • Funktionsweise

    chrf3 berechnet den F-Score, das harmonische Mittel aus Präzision und Recall, anhand der Übereinstimmung von Zeichen-N-Grammen zwischen der maschinellen Übersetzung und dem Referenztext.

  • Anwendungsfälle

    chrf3 eignet sich für Sprachen, bei denen die Wortsegmentierung schwierig ist, sowie für Sprachen mit ausgeprägter Morphologie. Es ist zudem weniger empfindlich gegenüber der Wortstellung als BLEU, was es flexibler bei der Bewertung von Übersetzungen mit unterschiedlichen, aber akzeptablen Formulierungen macht.

Wertebereiche

Die absoluten Werte der Metriken variieren je nach Sprachpaar, Fachgebiet und anderen Faktoren erheblich. Daher lassen sich nur schwer allgemeine Richtlinien für die Interpretation der Werte festlegen; ausschlaggebend sollten vor allem die Unterschiede zwischen dem generischen und dem angepassten System sein, wenn beide anhand desselben Datensatzes bewertet wurden.

Diese Tabelle kann als nützlicher Ausgangspunkt für die Interpretation der Werte der einzelnen Metriken betrachtet werden:

  • Werte unterhalb der Schwelle für qualitativ minderwertige maschinelle Übersetzung können auf schwerwiegende Probleme hinweisen, und solche Systeme sollten typischerweise nicht ohne weitere Analyse eingesetzt werden.

  • Werte, die die Schwelle für qualitativ hochwertige maschinelle Übersetzung überschreiten, deuten typischerweise auf ein sehr gut funktionierendes System hin, das flüssige und adäquate Übersetzungen erstellt.

Metrik

Reichweite

Schwellenwert für MT niedriger Qualität

Schwellenwert für MT hoher Qualität

COMET

Typischerweise 0 bis 1

< 0,3

> 0,8

BLEU

0 bis 100

< 15

> 50

TER

0 bis 100, niedriger ist besser

> 70

< 30

chrf3

0 bis 100

< 20

> 60

War dieser Beitrag hilfreich?
★ ★ ★ ★ ★

Sorry about that! In what way was it not helpful?

The article didn’t address my problem.
I couldn’t understand the article.
The feature doesn’t do what I need.
Other reason.

Note that feedback is provided anonymously so we aren't able to reply to questions.
If you'd like to ask a question, submit a request to our Support team.
Thank you for your feedback.