Automatizované hodnotící metriky hrají klíčovou roli při posuzování kvality překladů vytvořených systémy strojový překlad. Na rozdíl od lidských hodnocení, která mohou být subjektivní a časově náročná, poskytují automatizované metriky rychlý, objektivní a opakovatelný způsob, jak měřit výkon systémů MT.
Phrase Custom AI zahrnuje několik zavedených automatizovaných metrik pro hodnocení kvality strojový překlad: BLEU, TER, chrf3 a COMET.
Doporučuje se nasadit vlastní systémy do produkčního prostředí, pokud jsou splněny obě následující podmínky:
-
BLEU zlepšení o alespoň 5 bodů (absolutně, např. 40 vs 35), nebo chrf zlepšení o alespoň 4 body.
-
Žádný významný pokles skóre COMET.
Ve většině případů jsou zlepšení tohoto rozsahu pro lidské překladatele snadno patrná a vedou ke zkrácení času post-editace.
Doporučený přístup
Obecně se absolutní hodnoty metrik liší v závislosti na jazykovém páru, doméně a dalších faktorech. Chcete-li posoudit, jak úspěšný byl proces vlastní úpravy, prozkoumejte rozdíl mezi skóre obecného a vlastního systému.
BLEU, chrf a TER měří shodu řetězců mezi výstupy MT a referencemi. Z definice vyplývá, že výrazné zlepšení těchto skóre znamená menší úsilí při post-editaci pro překladatele.
COMET měří kvalitu překladu v obecném smyslu. COMET se po vlastní úpravě nemusí nutně zvýšit (vlastní systém může generovat překlady podobné kvality, rozdíl spočívá v tom, zda překlady odpovídají stylu, tónu komunikace, terminologii atd. zákazníka). Výrazný pokles COMET však může signalizovat problém s vlastním systémem.
Dostupné metriky
Phrase Custom AI zahrnuje několik zavedených automatizovaných metrik pro hodnocení kvality strojový překlad: BLEU, TER, chrf3 a COMET. Každá z těchto metrik nabízí jedinečný přístup k hodnocení kvality překladu a zaměřuje se na různé aspekty překladu.
COMET (Cross-lingual Optimized Metric for Evaluation of Translation)
-
Overview
COMET je novější metrika, která využívá modely strojového učení k hodnocení překladů. Na rozdíl od tradičních metrik se nespoléhá pouze na porovnávání textu na povrchové úrovni.
-
Working Mechanism
COMET používá model neuronové sítě trénovaný na velkých datových sadách lidských úsudků. Posuzuje překlady zohledněním různých aspektů kvality překladu, včetně plynulosti, přiměřenosti a zachování významu.
-
Případy použití
COMET je účinný ve scénářích, kde je vyžadováno hlubší porozumění kvalitě překladu. Je obzvláště užitečný pro hodnocení překladů, kde jsou kontextuální a sémantická přesnost důležitější než doslovná shoda slovo od slova.
BLEU (Bilingual Evaluation Understudy)
-
Overview
BLEU, jedna z nejstarších a nejpoužívanějších metrik, hodnotí kvalitu strojově přeloženého textu porovnáním s jedním nebo více vysoce kvalitními reference překlady. BLEU měří shodu frází mezi strojově vygenerovaným textem a reference texty se zaměřením na přesnost shody slov.
-
Working Mechanism
BLEU vypočítá přesnost n-gramů pro různé délky n-gramů (obvykle 1 až 4 slova) a poté tato skóre zkombinuje pomocí geometrického průměru. Zahrnuje také penalizaci za stručnost, aby se vyřešil problém příliš krátkých překladů.
-
Případy použití
BLEU je obzvláště účinný pro hodnocení překladů, kde je důležitá přesná shoda frází a pořadí slov. Jeho spoléhání se na přesné shody však může být omezením při zachycení kvality plynulejších nebo idiomatických překladů.
TER (Translation Edit Rate)
-
Overview
TER je metrika, která měří počet Upravit potřebných ke změnit strojově přeloženého textu na reference překlad. Je založena na konceptu editační vzdálenosti a zahrnuje operace, jako jsou vkládání, mazání a nahrazování. Na rozdíl od jiných metrik v tomto seznam, nižší skóre TER znamená lepší překlad.
-
Working Mechanism
TER vypočítá minimální počet úprav potřebných k transformaci strojový překlad na jeden z reference překladů. Skóre je poté normalizováno celkovým počtem slov v reference překladu.
-
Případy použití
TER je užitečný pro hodnocení překladů, kde je kladen důraz na množství práce post-editace. Je obzvláště relevantní ve scénářích, kde budou překlady post-editovány lidmi.
chrf3 (znak n-gram F-skóre)
-
Overview
chrf3, neboli znak n-gram F-skóre, je metrika, která hodnotí překlady na základě znak n-gramů. Zohledňuje přesnost i úplnost a poskytuje mezi nimi rovnováhu.
-
Working Mechanism
chrf3 vypočítá F-skóre, harmonický průměr přesnosti a úplnosti, na základě překryvu znak n-gramů mezi strojový překlad a reference textem.
-
Případy použití
chrf3 je výhodný pro jazyky, kde je segmentace slov náročná, nebo pro morfologicky bohaté jazyky. Je také méně citlivý na pořadí slov než BLEU, což z něj činí flexibilnější nástroj při hodnocení překladů s odlišným, ale přijatelným frázováním.
Rozsahy skóre
Absolutní hodnoty metrik se výrazně liší v závislosti na jazykový pár, doména a dalších faktorech. Je proto obtížné stanovit obecné pokyny pro interpretaci hodnoty skóre a uživatelé by se měli rozhodovat především na základě rozdílů mezi generickým a přizpůsobeným systémem (hodnoceným na identické datové sadě).
Tuto tabulku lze považovat za užitečný výchozí bod pro interpretaci hodnot jednotlivých metrik:
-
Skóre pod prahovou hodnotou pro nekvalitní MT mohou naznačovat závažné problémy a takové systémy by obvykle neměly být nasazeny bez další analýza.
-
Skóre, která překračují prahovou hodnotu pro vysoce kvalitní MT, obvykle indikují velmi dobře fungující systém, který produkuje plynulé a adekvátní překlady.
|
Metrika |
Rozsah |
Prahová hodnota pro nekvalitní MT |
Prahová hodnota pro vysoce kvalitní MT |
|---|---|---|---|
|
COMET |
Obvykle 0 až 1 |
< 0.3 |
> 0,8 |
|
BLEU |
0 do 100 |
< 15 |
> 50 |
|
TER |
0 do 100, nižší je lepší |
> 70 |
< 30 |
|
chrf3 |
0 do 100 |
< 20 |
> 60 |