Die wichtigsten Aspekte beim Training von MT-Engines sind nicht nur das Volumen, sondern die Datenqualität. Das Bereinigen von Daten ist ein allgegenwärtiges Problem und die manuelle Bereinigung ist mühsam. Saubere Daten führen zu schnellerem Training und Modellen mit höherer Qualität.
Phrase Custom KI passt Translation Memories mithilfe von KI-gestützten und regelbasierten Filter-Filtern an Datensätze an. Die bereitgestellten Standardeinstellungen sollten für neue Benutzer geeignet sein.
Die Menge der verfügbaren Filter umfasst sowohl regelbasierte Filter als auch ML-basierte Filter:
-
Regelbasiert
Filter, die mit klar definierten Regeln arbeiten, die für Menschen leicht verständlich sind. Diese Filterkategorie umfasst , , , , , , .
-
ML-basiert
Filter, die den Content des Textes selbst analysieren, um eine Entscheidung zu treffen, anstatt einfach einer festen Menge an Regeln zu folgen. Diese Filterkategorie umfasst sowie .
Alle Filter werten bereinigte Versionen der Segmente aus; unter anderem werden mehrere Leerzeichen auf eines reduziert und Phrase tags entfernt.
Datumsbereich
Schließt Segmente außerhalb der festgelegten Daten aus. Das End- und Startdatum werden zusammen mit dem Datum der letzten Änderung eines Segments einbezogen.
Fehlausgerichtete Ausgangssprache und Zielsprache
Dieser Filter bestimmt, wie gut die Segmente hinsichtlich Bedeutung und semantischer Ähnlichkeit matchen, und entfernt die am schlechtesten bewerteten. Die Satzpaarausrichtung wird mithilfe der LASER-Metrik gemessen.
Ein KI-Engine wird verwendet, um zu prüfen, ob der Ausgangssprache- und Zielsprache-Text dasselbe bedeuten oder wie sehr sie übereinstimmen. Die empfohlene Einstellungen verwirft die 10 % schlechtesten Segmente, während die 90 % besten Segmente beibehalten werden.
Erweiterte Einstellungen ermöglichen das Ändern der Ausrichtung oder können ein filtern basierend auf der rohen Ähnlichkeits-Kennzahl unter Verwendung einer Zahl zwischen 0 und 1 sein (1 bedeutet Abschließen Ausrichtung). Vorsicht ist geboten, wenn die rohe Ähnlichkeits-Kennzahl verwendet wird, da jedes Sprachpaar eine andere Verteilung von Kennzahlen aufweist und was für ein Sprachpaar als gute Kennzahl gilt, für ein anderes eine unbefriedigende Kennzahl sein kann.
Typischerweise sind Segmente unter 0,5 nicht sehr gut und Segmente nahe oder über 1 sind Segmente, die in beiden Sprachen gleich sind.
Beispiele:
{"source": "Super.", "target": "Super.", "similarity": 1.05}
{"source": "Hello", "target": "http://wwww.sdsadsa.com", "similarity": 0.3}
Mindestanzahl an Zeichen und Buchstaben
Zeichenanzahl beinhaltet alle Zeichen. Dies beinhaltet alle Buchstaben, Leerzeichen sowie Satzzeichen und Symbole. Für Trainingszwecke kann es nützlich sein, Segmente zu Verwerfen, die keine Buchstaben enthalten.
Buchstabenanzahl zählt nur Buchstaben, wie sie im englischen Alphabet vorkommen, aber auch komplexere Zeichen mit diakritischen Zeichen oder chinesische Zeichen. Ein chinesisches Zeichen wird als ein Buchstabe gezählt, auch wenn es mehr als ein Zeichen darstellt. Für zeichenbasierte Sprachen sind die Standardwerte 1, für wortbasierte Sprachen sind die Standardwerte 4 (Zeichen) und 3 (Buchstaben). Der Mindestwert ist 1 und der Höchstwert ist 500.
Wenn Sie viele kurze Segmente in den Daten behalten (zum Beispiel Akronyme), halten Sie die filtern-Werte niedrig.
Beispiel:
Satzpaarlänge
Dieser filtern entfernt alle Segmente, die länger sind als der von Benutzern festgelegte Schwellenwert. Der Grund für diesen filtern ist, dass die meisten NMT-Systeme tatsächlich nicht mit Segmenten trainieren, die länger sind als ihr interner Schwellenwert.
Zum Beispiel liegt der interne Schwellenwert von NextMT bei 200 Token, was ungefähr 100 - 1.000 Wörtern entspricht. Um eine individuelle Engine auf kürzeren Sätzen zu trainieren, setzen Sie diesen Wert niedriger als den Standardwert.
Die Gesamtzahl der Zeichen umfasst alle Zeichen – Buchstaben, Leerzeichen und Satzzeichen – sowohl aus dem Ausgangssprache-Satz als auch aus dem Zielsprache-Satz. Berücksichtigen Sie die Art der Sprache (zum Beispiel Chinesisch und Englisch); wenn die Ausgangssprache nicht CJK-ähnlich ist und die Zielsprache CJK ist (oder umgekehrt), wird dieser Filter ignoriert.
Längenverhältnis
Dieser Filter identifiziert Segmente, bei denen die Länge beim Vergleich des Ausgangssprache-Segments und des Zielsprache-Segments signifikant höher ist. Einige Übersetzungen nehmen bei der Übersetzung von einer Ausgangssprache in eine Zielsprache an Länge zu oder ab. Zu lange oder zu kurze Übersetzungen können auf minderwertige Trainingsdaten hinweisen.
Wenn die Ausgangssprache nicht CJK-ähnlich ist und die Zielsprache (oder umgekehrt) CJK ist, wird dieser Filter ignoriert.CJK
Einige Sprachen sind wortreicher als andere, daher sind 200 % ein guter Standardwert. Wenn die Zielsprache der Ausgangssprache ähnelt oder mehr Daten herausgefiltert werden müssen, kann der Wert niedriger sein.
Beispiele:
Eine Sprache ist CJK – das Verhältnis ist 1. Es wird nicht verworfen:
{"source": "This is a sentence.", "target": "这是一个句子。", "ratio": 1}
Die deutsche Übersetzung ist von vergleichbarer Länge wie die englische Ausgangssprache und wird nicht verworfen:
{"source": "This is a sentence.", "target": "Dies ist ein Satz.", "ratio": 1.1}
Die deutsche Übersetzung ist wesentlich länger als die englische Ausgangssprache und wird verworfen:
{"source": "This is a sentence.", "target": "Dies ist ein Satz mit zusätzlichen unnötigen Füllungen.", "ratio": 3.1}
Nicht übersetzbare Elemente
Nicht übersetzbare Elemente sind Segmente, bei denen das Ausgangssprache-Segment und das Zielsprache-Segment identisch sind. Schließt alle nicht übersetzbaren Satzpaare aus, bei denen der Zielsprache-Text unverändert gegenüber dem Ausgangssprache-Text bleibt.
Duplikate
Es werden Gruppen von Segmenten erstellt, die denselben Ausgangssprache-Satz haben. Aus jeder Gruppe wird nur das beste Segment beibehalten; wenn also das Ausgangssprache-Satz eines Segments eindeutig ist, wird es automatisch beibehalten. Andernfalls wird das Segment mit der höchsten Kennzahl für die Ähnlichkeit beibehalten.
Fast-Duplikate
Beim Testen auf Fast-Duplikate wird die (leicht bereinigte Version einer) Ausgangssprache-Satz normalisiert; alle Nicht-Buchstaben-Zeichen (einige Beispiele: “,?)!-) werden durch ein Leerzeichen ersetzt und alle Buchstaben werden kleingeschrieben.
Unter Verwendung der normalisierten Ausgangssprache-Satz werden Gruppen von Segmenten erstellt, die dieselbe normalisierte Ausgangssprache-Satz haben. Aus jeder Gruppe wird nur das beste Segment beibehalten, sodass das normalisierte Ausgangssprache-Satz eines Segments eindeutig ist und automatisch beibehalten wird. Andernfalls wird das Segment mit der höchsten Kennzahl für die Ähnlichkeit beibehalten.
Sprache-Identifizierung
Eine KI-Engine wird verwendet, um die Ausgangssprache und Zielsprache basierend auf den Sätzen zu identifizieren. Ein Segment wird nur entfernt, wenn die Engine eine (Ausgangssprache/Zielsprache) Sprache erkennt (kürzere Sätze reichen der Engine beispielsweise oft nicht aus, um eine Sprache zu bestimmen) und die Sprache von der erwarteten abweicht.
QPS
Der QPS-Filter entfernt die Satzpaare mit der niedrigsten Qualität aus dem Datensatz, um sicherzustellen, dass die resultierenden KI-Modelle mit den hochwertigsten verfügbaren Daten trainiert werden. Im Allgemeinen gilt: Je höher die Qualität der Trainingsdaten, desto besser ist die Leistung des angepassten Modells.
Der QPS-Filter kann auf zwei Arten konfiguriert werden:
-
Entfernen eines festgelegten Prozentsatzes an Satzpaaren mit den niedrigsten QPS-Kennzahlen. Die Empfehlung liegt bei 10 %.
-
Auswahl einer Kennzahl-Schwelle. Verwenden Sie die erweiterten Einstellungen, um Satzpaare zu eliminieren, die unter einen anpassbaren QPS-Schwellenwert fallen. Der empfohlene Startwert ist 50.
Diese beiden Optionen bieten eine automatisierte Datensatzkuration, um sie an die Qualitätsziele der Benutzer anzupassen.