Filtry čištění

Obsah je strojově přeložen z angličtiny s použitím Phrase Language AI.

Nejdůležitější aspekty tréninku MT enginů nejsou určeny pouze množstvím dat, ale především jejich kvalitou. Čištění dat představuje rozsáhlý problém a ruční čištění je náročné. Čistá data vedou k rychlejšímu trénování a kvalitnějším modelům.

Phrase Custom AI přizpůsobuje překladové paměti do datových sad pomocí čisticích filtrů založených na AI a pravidlech. Výchozí nastavení jsou k dispozici a měla by vyhovovat novým uživatelům.

Sada dostupných filtrů zahrnuje jak filtry založené na pravidlech, tak filtry založené na ML:

podle definovaných pravidel

Filtry, které pracují s jasně definovanými pravidly, jež jsou pro lidi snadno srozumitelná. Tato kategorie filtrů zahrnuje Date range, Minimum character count, Sentence pair length, Length ratio, Non-translatables, Duplicates, Near-duplicates.
Filtry založené na ML

Filtry, které analyzují obsah samotného textu, aby se rozhodly, namísto pouhého dodržování pevně stanovené sady pravidel. Tato kategorie filtrů zahrnuje nesprávné zarovnání zdroje a cíle a identifikaci jazyka.

Všechny filtry vyhodnocují vyčištěné verze segmentů; mimo jiné jsou vícenásobné mezery redukovány na jednu a Phrase tags jsou odstraněny.

Časové období

Vylučuje segmenty mimo nastavená data. Kromě data poslední úpravy segmentu jsou zahrnuty i data začátku a konce.

s neshodou zdroje a cíle

Tento filtr určuje, jak dobře segmenty odpovídají z hlediska významu a sémantické podobnosti, a odstraňuje ty nejhůře hodnocené. Zarovnání dvojic vět se měří pomocí metriky LASER.

Pro ověření, zda zdrojový a cílový text mají stejný význam nebo do jaké míry se shodují, se využívá AI engine. Doporučené nastavení zahodí 10 % nejhorších segmentů a ponechá 90 % nejlepších segmentů.

Pokročilá nastavení umožňují změnu zarovnání nebo mohou sloužit jako filtr založený na hrubém skóre podobnosti pomocí čísla mezi 0 a 1 (1 znamená úplné zarovnání). Při použití hrubého skóre podobnosti se doporučuje opatrnost, protože každý jazykový pár má jinou distribuci skóre a to, co je považováno za dobré skóre pro jeden jazykový pár, může být neuspokojivé skóre pro jiný.

Segmenty s hodnotou pod 0,5 obvykle nejsou kvalitní, zatímco segmenty s hodnotou blížící se 1 nebo vyšší než 1 se v obou jazycích shodují.

**Examples**

Zdroj „Super.“, „target“: „Super.“, „similarity“: ## 1.05.

Zdroj „Hello“, „target“: „http://wwww.sdsadsa.com“, „similarity“: ## 0.3.

Minimální počet znaků a písmen

Počet znaků zahrnuje všechny znaky. To zahrnuje všechna písmena, mezery, interpunkci a symboly. Pro účely trénování může být užitečné zahodit segmenty, které neobsahují žádná písmena.

Počet písmen počítá pouze písmena, jako je anglická abeceda, ale také složitější znaky s diakritikou nebo čínské znaky. Jeden čínský znak se počítá jako jedno písmeno, i když představuje více než jeden znak. Pro jazyky založené na znacích jsou výchozí hodnoty 1, ale pro jazyky založené na slovech jsou výchozí hodnoty 4 (znaky) a 3 (písmena). Minimální hodnota je 1 a maximální hodnota je 500.

Pokud v datech uchováváte mnoho krátkých segmentů (například zkratky), udržujte hodnoty filtru nízké.

Příklad:

Řetězec "Hello, World!" 1 2 3" má 19 znaků a 10 písmen.

Délka dvojice vět

Tento filtr odstraní všechny segmenty, které jsou delší než prahová hodnota nastavená uživateli. Důvodem tohoto filtru je, že většina systémů NMT se ve skutečnosti nebude trénovat na segmentech, které jsou delší než jejich interní práh.

Například interní práh NextMT je 200 tokenů, což odpovídá přibližně 100–1 000 slovům. Chcete-li trénovat vlastní engine na kratších větách, nastavte tuto hodnotu na nižší, než je výchozí.

Celkový počet znaků zahrnuje všechny znaky – písmena, mezery a interpunkci – ze zdrojových i cílových vět. Vezměte v úvahu typ jazyka (například čínštinu a angličtinu); pokud zdrojový jazyk není typu CJK a cílový jazyk je CJK (nebo naopak), bude tento filtr ignorován.

Poměr délky

Tento filtr identifikuje segmenty, u nichž je délka při porovnání zdrojového a cílového segmentu výrazně vyšší. Některé překlady se při překladu ze zdrojového do cílového jazyka prodlužují nebo zkracují. Příliš dlouhé nebo příliš krátké překlady mohou naznačovat nekvalitní trénovací data.

Pokud zdrojový jazyk není typu CJK a cílový jazyk je (nebo naopak), bude tento filtr ignorován.CJK

Některé jazyky jsou obšírnější než jiné, takže 200 % je dobrá výchozí hodnota. Pokud je cílový jazyk podobný zdrojovému jazyku nebo je třeba odfiltrovat více dat, může být hodnota nižší.

**Examples**

Jeden jazyk je CJK – poměr je 1. Nebude vyřazeno:

Zdroj „This is a sentence.“, „target“: „这是一个句子。“, „ratio“: ## 1.

Německý překlad má srovnatelnou délku jako anglický zdroj a nebude vyřazen:

Zdroj „This is a sentence.“, „target“: „Dies ist ein Satz.“, „ratio“: ## 1.1.

Německý překlad je mnohem delší než anglický zdroj a bude vyřazen:

Zdroj „This is a sentence.“, „target“: „Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.“, „ratio“: ## 3.1.

Nepřekládaný text

Nepřeložitelné segmenty jsou segmenty, u nichž jsou zdrojový a cílový segment shodné. Vyloučí všechny nepřeložitelné dvojice vět, u nichž cílový text zůstává stejný jako zdrojový text.

Duplicity

Vytvoří se skupiny segmentů, které mají stejnou zdrojovou větu. Z každé skupiny je ponechán pouze nejlepší segment, takže pokud je zdrojová věta segmentu unikátní, je automaticky ponechán. V opačném případě je zachován segment s nejvyšším skóre podobnosti.

Téměř duplicity

Při testování na téměř duplicitní záznamy se (mírně upravená verze) zdrojové věty normalizuje; všechny znaky, které nejsou písmeny (některé příklady: “,?)!-), jsou nahrazeny mezerou a všechna písmena jsou převedena na malá.

Pomocí normalizované zdrojové věty se vytvoří skupiny segmentů, které mají stejnou normalizovanou zdrojovou větu. Z každé skupiny je zachován pouze nejlepší segment, takže normalizovaná zdrojová věta segmentu je jedinečná a je automaticky zachována. V opačném případě je zachován segment s nejvyšším skóre podobnosti.

s neshodou jazyků

Pro identifikaci zdrojového a cílového jazyka na základě vět se využívá AI engine. Segment je odstraněn pouze tehdy, pokud AI engine dokáže rozpoznat (zdrojový/cílový) jazyk – například krátké věty často neposkytují dostatek informací k jeho určení – a zjištěný jazyk se liší od očekávaného.

S NEJHORŠÍM SKÓRE QPS

Filtr QPS odstraňuje z datové sady dvojice vět s nejnižší kvalitou, aby bylo zajištěno, že výsledné modely AI budou trénovány na datech nejvyšší dostupné kvality. Obecně platí, že čím vyšší je kvalita trénovacích dat, tím lépe přizpůsobený model funguje.

Filtr QPS lze nakonfigurovat dvěma způsoby:

Odstranění stanoveného procenta dvojic vět s nejnižším skóre QPS. Doporučená hodnota je 10 %.
Výběr prahové hodnoty skóre. Použijte pokročilé nastavení k odstranění dvojic vět, které nedosahují nastavitelné prahové hodnoty QPS. Doporučený výchozí bod je 50.

Tyto dvě možnosti zajišťují automatizované kurátorství datových sad v souladu s cíli kvality uživatelů.