Automatizované hodnotící metriky hrají klíčovou roli při posuzování kvality překladů vytvořených systémy strojový překlad. Na rozdíl od lidských hodnocení, která mohou být subjektivní a časově náročná, poskytují automatizované metriky rychlý, objektivní a opakovatelný způsob, jak měřit výkon systémů MT.
Phrase Custom AI zahrnuje několik zavedených automatizovaných metrik pro hodnocení kvality strojový překlad: BLEU, TER, chrf3 a COMET.
Doporučuje se nasadit vlastní systémy do produkčního prostředí, pokud jsou splněny obě následující podmínky:
-
BLEU zlepšení o alespoň 5 bodů (absolutně, např. 40 vs 35), nebo chrf zlepšení o alespoň 4 body.
-
Žádný významný pokles skóre COMET.
Ve většině případů jsou zlepšení tohoto rozsahu pro lidské překladatele snadno patrná a vedou ke zkrácení času post-editace.
Doporučený přístup
Obecně se absolutní hodnoty metrik liší v závislosti na jazykovém páru, doméně a dalších faktorech. Chcete-li posoudit, jak úspěšný byl proces vlastní úpravy, prozkoumejte rozdíl mezi skóre obecného a vlastního systému.
BLEU, chrf a TER měří shodu řetězců mezi výstupy MT a referencemi. Z definice vyplývá, že výrazné zlepšení těchto skóre znamená menší úsilí při post-editaci pro překladatele.
COMET měří kvalitu překladu v obecném smyslu. COMET se po vlastní úpravě nemusí nutně zvýšit (vlastní systém může generovat překlady podobné kvality, rozdíl spočívá v tom, zda překlady odpovídají stylu, tónu komunikace, terminologii atd. zákazníka). Výrazný pokles COMET však může signalizovat problém s vlastním systémem.
Dostupné metriky
Phrase Custom AI zahrnuje několik zavedených automatizovaných metrik pro hodnocení kvality strojový překlad: BLEU, TER, chrf3 a COMET. Každá z těchto metrik nabízí jedinečný přístup k hodnocení kvality překladu a zaměřuje se na různé aspekty překladu.
COMET (Cross-lingual Optimized Metric for Evaluation of Translation)
-
Overview
COMET je novější metrika, která využívá modely strojového učení k hodnocení překladů. Na rozdíl od tradičních metrik se nespoléhá pouze na porovnávání textu na povrchové úrovni.
-
Working Mechanism
COMET používá model neuronové sítě trénovaný na velkých datových sadách lidských úsudků. Posuzuje překlady zohledněním různých aspektů kvality překladu, včetně plynulosti, přiměřenosti a zachování významu.
-
Případy použití
COMET je účinný ve scénářích, kde je vyžadováno hlubší porozumění kvalitě překladu. Je obzvláště užitečný pro hodnocení překladů, kde jsou kontextuální a sémantická přesnost důležitější než doslovná shoda slovo od slova.
BLEU (Bilingual Evaluation Understudy)
-
Overview
BLEU, jedna z nejstarších a nejpoužívanějších metrik, hodnotí kvalitu strojově přeloženého textu porovnáním s jedním nebo více vysoce kvalitními reference překlady. BLEU měří shodu frází mezi strojově vygenerovaným textem a reference texty se zaměřením na přesnost shody slov.
-
Working Mechanism
BLEU vypočítá přesnost n-gramů pro různé délky n-gramů (obvykle 1 až 4 slova) a poté tato skóre zkombinuje pomocí geometrického průměru. Zahrnuje také penalizaci za stručnost, aby se vyřešil problém příliš krátkých překladů.
-
Případy použití
BLEU je obzvláště účinný pro hodnocení překladů, kde je důležitá přesná shoda frází a pořadí slov. Jeho spoléhání se na přesné shody však může být omezením při zachycení kvality plynulejších nebo idiomatických překladů.
TER (Translation Edit Rate)
-
Overview
TER je metrika, která měří počet Upravit potřebných ke změnit strojově přeloženého textu na reference překlad. Je založena na konceptu editační vzdálenosti a zahrnuje operace, jako jsou vkládání, mazání a nahrazování. Na rozdíl od jiných metrik v tomto seznam, nižší skóre TER znamená lepší překlad.
-
Working Mechanism
TER vypočítá minimální počet úprav potřebných k transformaci strojový překlad na jednu z reference překladů. Skóre je poté normalizováno celkovým počtem slov v reference překladu.
-
Případy použití
TER je užitečný pro hodnocení překladů, kde je kladen důraz na množství práce post-editace, která je vyžadována. Je obzvláště relevantní ve scénářích, kde budou překlady post-editovány lidmi.
chrf3 (znak n-gram F-skóre)
-
Overview
chrf3, neboli znak n-gram F-skóre, je metrika, která hodnotí překlady na základě znak n-gramů. Zohledňuje přesnost i úplnost a poskytuje mezi nimi rovnováhu.
-
Working Mechanism
chrf3 vypočítá F-skóre, harmonický průměr přesnosti a úplnosti, na základě překryvu znak n-gramů mezi strojový překlad a reference textem.
-
Případy použití
chrf3 je výhodný pro jazyky, kde je segmentace slov náročná, nebo pro morfologicky bohaté jazyky. Je také méně citlivý na pořadí slov než BLEU, díky čemuž je flexibilnější při hodnocení překladů s odlišným, ale přijatelným frázováním.
Rozsahy skóre
Absolutní hodnoty metrik se výrazně liší v závislosti na jazykový pár, doména a dalších faktorech. Je proto obtížné stanovit obecné pokyny pro interpretaci hodnoty skóre a uživatelé by se měli rozhodovat především na základě rozdílů mezi obecným a přizpůsobeným systémem (hodnoceným na identickém datovém souboru).
Tuto tabulku lze považovat za užitečný výchozí bod pro interpretaci hodnot jednotlivých metrik:
-
Skóre pod prahovou hodnotou pro nekvalitní MT mohou naznačovat závažné problémy a takové systémy by obvykle neměly být nasazeny bez další analýza.
-
Skóre, která překračují prahovou hodnotu pro vysoce kvalitní MT, obvykle indikují velmi dobře fungující systém, který produkuje plynulé a adekvátní překlady.
|
Metrika |
Rozsah |
Prahová hodnota pro nekvalitní MT |
Prahová hodnota pro vysoce kvalitní MT |
|---|---|---|---|
|
COMET |
Obvykle 0 až 1 |
< 0.3 |
> 0,8 |
|
BLEU |
0 do 100 |
< 15 |
> 50 |
|
TER |
0 do 100, nižší je lepší |
> 70 |
< 30 |
|
chrf3 |
0 do 100 |
< 20 |
> 60 |