Automatizované hodnotící metriky hrají klíčovou roli při posuzování kvality překladů vytvořených systémy strojového překladu. Na rozdíl od lidských hodnocení, která mohou být subjektivní a časově náročná, poskytují automatizované metriky rychlý, objektivní a opakovatelný způsob, jak měřit výkon systémů MT.
Phrase Custom AI zahrnuje několik zavedených automatizovaných metrik pro hodnocení kvality strojového překladu: BLEU, TER, chrf3 a COMET.
Doporučuje se nasadit přizpůsobené systémy do produkčního prostředí, pokud jsou splněny obě následující podmínky:
-
BLEU zlepšení o alespoň 5 bodů (absolutně, např. 40 vs 35), nebo chrf zlepšení o alespoň 4 body.
-
Žádný významný pokles skóre COMET.
Ve většině případů jsou zlepšení tohoto rozsahu pro lidské překladatele snadno patrná a vedou ke zkrácení času post-editace.
Doporučený postup
Obecně se absolutní hodnoty metrik liší v závislosti na jazykovém páru, doméně a dalších faktorech. Chcete-li posoudit, jak úspěšný byl proces přizpůsobení, prozkoumejte rozdíl mezi skóre generického a přizpůsobeného systému.
BLEU, chrf a TER měří shodu řetězců mezi výstupy MT a referenčními překlady. Z definice vyplývá, že výrazné zlepšení těchto skóre znamená menší úsilí při post-editaci pro překladatele.
COMET měří kvalitu překladu v obecném smyslu. COMET se po přizpůsobení nemusí nutně zvýšit (přizpůsobený systém může vytvářet výstupy podobné kvality, rozdíl spočívá v tom, zda překlady odpovídají stylu, tónu komunikace, terminologii atd. zákazníka). Výrazný pokles COMET však může signalizovat problém s přizpůsobeným systémem.
Dostupné metriky
Phrase Custom AI zahrnuje několik zavedených automatizovaných metrik pro hodnocení kvality strojového překladu: BLEU, TER, chrf3 a COMET. Každá z těchto metrik nabízí jedinečný přístup k hodnocení kvality překladu a zaměřuje se na různé aspekty překladu.
COMET (Cross-lingual Optimized Metric for Evaluation of Translation)
-
Overview
COMET je novější metrika, která využívá modely strojového učení k hodnocení překladů. Na rozdíl od tradičních metrik se nespoléhá pouze na srovnávání textu na povrchové úrovni.
-
Working Mechanism
COMET používá model neuronové sítě trénovaný na velkých datových sadách lidských úsudků. Hodnotí překlady zohledněním různých aspektů kvality překladu, včetně plynulosti, přiměřenosti a zachování významu.
-
Případy použití
COMET je účinný ve scénářích, kde je vyžadováno hlubší porozumění kvalitě překladu. Je obzvláště užitečný pro hodnocení překladů, kde jsou kontextuální a sémantická přesnost důležitější než doslovná shoda slovo od slova.
BLEU (Bilingual Evaluation Understudy)
-
Overview
BLEU, jedna z nejstarších a nejpoužívanějších metrik, hodnotí kvalitu strojově přeloženého textu porovnáním s jedním nebo více vysoce kvalitními referenčními překlady. BLEU měří shodu frází mezi strojově vygenerovaným textem a referenčními texty se zaměřením na přesnost shody slov.
-
Working Mechanism
BLEU vypočítá přesnost n-gramů pro různé délky n-gramů (obvykle 1 až 4 slova) a poté tato skóre kombinuje pomocí geometrického průměru. Zahrnuje také penalizaci za stručnost, aby se vyřešil problém příliš krátkých překladů.
-
Případy použití
BLEU je obzvláště účinný pro hodnocení překladů, kde je důležitá přesná shoda frází a pořadí slov. Jeho spoléhání se na přesné shody však může být omezením při zachycení kvality plynulejších nebo idiomatických překladů.
TER (Translation Edit Rate)
-
Overview
TER je metrika, která měří počet úprav potřebných ke změně strojově přeloženého textu na referenční překlad. Je založena na konceptu editační vzdálenosti a zahrnuje operace, jako jsou vkládání, mazání a nahrazování. Na rozdíl od jiných metrik v tomto seznamu znamená nižší skóre TER lepší překlad.
-
Working Mechanism
TER vypočítá minimální počet úprav potřebných k transformaci strojového překladu na jeden z referenčních překladů. Skóre je následně normalizováno celkovým počtem slov v referenčním překladu.
-
Případy použití
TER je užitečný pro hodnocení překladů, kde je kladen důraz na množství požadované práce na post-editaci. Je obzvláště relevantní ve scénářích, kde budou překlady post-editovány lidmi.
chrf3 (F-skóre znakových n-gramů)
-
Overview
chrf3, neboli F-skóre znakových n-gramů, je metrika, která hodnotí překlady na základě znakových n-gramů. Zohledňuje přesnost i úplnost a poskytuje mezi nimi rovnováhu.
-
Working Mechanism
chrf3 vypočítá F-skóre, harmonický průměr přesnosti a úplnosti, na základě překryvu znakových n-gramů mezi strojovým překladem a referenčním textem.
-
Případy použití
chrf3 je výhodný pro jazyky, kde je segmentace náročná, nebo pro morfologicky bohaté jazyky. Je také méně citlivý na pořadí slov než BLEU, což z něj činí flexibilnější nástroj pro hodnocení překladů s odlišným, ale přijatelným frázováním.
Rozsahy skóre
Absolutní hodnoty metrik se výrazně liší v závislosti na jazykovém páru, doméně a dalších faktorech. Je proto obtížné stanovit obecné pokyny pro interpretaci hodnot skóre a uživatelé by se měli rozhodovat především na základě rozdílů mezi obecným a přizpůsobeným systémem (hodnoceným na identické datové sadě).
Tuto tabulku lze považovat za užitečný výchozí bod pro interpretaci hodnot jednotlivých metrik:
-
Skóre pod prahovou hodnotou nekvalitního MT může naznačovat závažné problémy a takové systémy by obvykle neměly být nasazeny bez další analýzy.
-
Skóre, která překračují prahovou hodnotu pro vysoce kvalitní MT, obvykle indikují velmi dobře fungující systém, který produkuje plynulé a adekvátní překlady.
|
Metrika |
Rozsah |
Prahová hodnota nekvalitního MT |
Prahová hodnota vysoce kvalitního MT |
|---|---|---|---|
|
COMET |
Obvykle 0 až 1 |
< 0,3 |
> 0,8 |
|
BLEU |
0 do 100 |
< 15 |
> 50 |
|
TER |
0 do 100, nižší je lepší |
> 70 |
< 30 |
|
chrf3 |
0 do 100 |
< 20 |
> 60 |