Die Synchronisation ersetzt das ursprüngliche Audio in einer Datei durch eine neue Version in einer anderen Sprache, wobei die Stimmcharakteristik und der emotionale Tonfall der ursprünglichen Sprecher beibehalten werden. Jeder Sprecher wird mit einer aus der Stimmenbibliothek ausgewählten Stimme oder mit einer geklonten Stimme synchronisiert.
Für Synchronisations-Workflows ist eine korrekte -Sprecherzuweisung erforderlich. Wenn importierte Untertiteldateien verwendet werden, um die automatische Audiotranskription zu überspringen, muss vor der Synchronisation sichergestellt sein, dass alle Sprecher zugewiesen sind.
Wenn zwei Sprecher gleichzeitig sprechen, benötigt jeder Sprecher ein separates Segment, das den überlappenden Zeitbereich abdeckt. Ein Segment, das nur einem Sprecher zugewiesen ist, generiert synchronisiertes Audio nur mit der Stimme dieses Sprechers, selbst wenn es Dialoge des anderen Sprechers enthält.
Anwendungsfälle
-
Ein Medienunternehmen möchte einen ursprünglich englischsprachigen Dokumentarfilm in Spanien und Japan vertreiben. Die KI der Plattform identifiziert jeden Sprecher, transkribiert und übersetzt den Dialog und generiert dann neue Audiospuren auf Spanisch und Japanisch. Die generierten Stimmen behalten die Eigenschaften der ursprünglichen Sprecher bei und schaffen so ein authentisches Seherlebnis für das neue Publikum.
Synchronisation erstellen
Hinweis
Synchronisation kann nur für Sprachen hinzugefügt werden, die bereits übersetzt wurden. Wenn keine Sprache verfügbar ist, zuerst eine Übersetzung über hinzufügen.
Zum Erstellen einer Synchronisation für eine Datei die folgenden Schritte ausführen:
-
Im Editor den Schritt Synchronisieren öffnen und auf Synchronisieren klicken. Dieser Schritt ist erst verfügbar, nachdem der Schritt Übersetzen abgeschlossen wurde.
Wenn ein Sprecher keine Stimme für die Zielsprache der Synchronisation hat, wird die Meldung
Stimmenzuweisung erforderlichangezeigt. Zuerst unter die Stimmen zuweisen.Das Fenster öffnet sich.
-
Unter die gewünschten übersetzten Sprachen auswählen.
Hinweis
Wenn eine regionale Sprachvariante (z. B. Französisch (Kanada) oder Portugiesisch (Brasilien)) ausgewählt ist, greift das System für die Synchronisation automatisch auf die entsprechende Basissprache zurück.
Die regionale Sprachauswahl bleibt im Projekt und in den Metadaten erhalten.
Wenn für eine ausgewählte Sprache bereits eine Synchronisation vorliegt, wird diese beim Fortfahren überschrieben. Die Aktion kann nicht rückgängig gemacht werden.
-
Optional aktivieren und für jede Sprache vorhandene Aussprachen aus auswählen.
-
Für reine Audioaufnahmen optional die Option auswählen, um die natürliche Sprechgeschwindigkeit beizubehalten. Segmente passen sich der Stimme an, sodass das synchronisierte Audio länger als das Original sein kann.
Die hochgeladene Datei wird als Untertitel für die Synchronisation gespeichert. Die vorhandenen übersetzten Untertitel werden nicht geändert. Die Synchronisation wird für Sprachen mit hochgeladenen Untertiteln übersprungen.
-
Optional im Bereich für den Untertitel-Upload für jede ausgewählte Sprache eine .SRT- oder .VTT-Datei hochladen, um vorhandene Untertitel für die Synchronisation zu verwenden.
-
Auf Synchronisation starten klicken.
Das Fenster schließt sich. Das Dropdown-Menü für die Sprache im Schritt zeigt den Status jeder Sprache an.
Hinweis
Wenn eine Sprache mit einer anderen Synchronisations-Engine synchronisiert wurde und die aktuelle Engine diese nicht unterstützt, führt das Fenster die Sprache als nicht unterstützt auf.
Nach Abschluss der Synchronisation stehen im Schritt diese Steuerelemente zur Verfügung:
-
Synchronisationsänderungen: Aktualisiert die Synchronisation mit den Änderungen, die am Text, an den Sprechereinstellungen oder an den Segmenteinstellungen vorgenommen wurden. Segmente mit Änderungen werden als
Bearbeitet – erneute Synchronisation erforderlichmarkiert, und ein Zähler zeigt an, wie viele Segmente ausstehen. -
Dieses Segment neu synchronisieren: Generiert ein einzelnes Segment neu, ohne die gesamte Aufnahme erneut zu synchronisieren.
-
Neu synchronisieren: Synchronisiert alle Segmente der ausgewählten Sprache erneut. Vorhandenes synchronisiertes Audio wird ersetzt und kann nicht wiederhergestellt werden.
-
Synchronisation abgleichen: Erscheint, wenn die übersetzten Untertitel von der Synchronisation abweichen. Darauf klicken, um die Synchronisation an die Übersetzung anzupassen.
-
Untertitel hochladen: Lädt eine .SRT- oder .VTT-Datei als Untertitel für die Synchronisation der ausgewählten Sprache hoch, wie in Schritt 5 beschrieben.
-
Stimmen verwalten: Wählt die Stimme für jeden Sprecher aus.
Sprecher in der Synchronisation
Jedes Segment wird mit der Stimme synchronisiert, die dem Sprecher dieses Segments zugewiesen ist. Jeder Sprecher benötigt eine Stimme für die Synchronisationssprache. Segmente ohne zugewiesenen Sprecher werden nicht synchronisiert.
Wenn einem Sprecher keine Stimme zugewiesen ist, wird die Meldung Ein oder mehrere Sprecher haben für diese Sprache keine gültige Stimme zugewiesen mit der Anweisung angezeigt, Stimmen verwalten zu öffnen und vor der Synchronisation Stimmen zuzuweisen.
Segmente, die verschiedenen Sprechern zugewiesen sind und sich zeitlich überschneiden, werden als überlappendes Audio synchronisiert. Dialoge, die nicht in einem Segment erfasst sind, erscheinen nicht in der Synchronisation. Um den Dialog eines zweiten Sprechers einzubeziehen, ein separates Segment für diesen Sprecher hinzufügen.
Stimmen verwalten
Zum Auswählen einer Stimme für einen Sprecher die folgenden Schritte ausführen:
-
Im Schritt auf Stimmen verwalten klicken.
-
In der Liste einen Sprecher auswählen. Bei Bedarf die Sprache auswählen.
-
In einer der Registerkarten eine Stimme auswählen:
-
: Für die Sprache vorgeschlagene Stimmen.
-
: Alle verfügbaren Stimmen. Das Suchfeld oder die Filter , und verwenden, um die Liste einzugrenzen.
-
: Geklonte, ähnliche und erstellte Stimmen der Organisation.
-
-
Optional auf das -Symbol klicken, um eine Stimmprobe anzuhören. Ohne benutzerdefinierten Text wird eine Stimmprobe abgespielt. Um zu hören, wie die Stimme einen bestimmten Text spricht, bis zu 200 Zeichen in das Vorschaufeld eingeben, zum Beispiel ein Wort mit einer benutzerdefinierten Aussprache. Um den Text in phonetischer Notation einzugeben, Als IPA lesen (phonetisch) auswählen.
-
Optional auf das -Symbol klicken, um die Stimme zu den Favoriten hinzuzufügen. Bei künftigen Auswahlen wird sie dann zuerst angezeigt.
-
Klicke auf Importieren.
Hinweis
Die verfügbaren Registerkarten hängen von der Synchronisations-Engine ab. Die Registerkarte wird für Organisationen, die ihren eigenen ElevenLabs-API-Schlüssel verwenden, nicht angezeigt.
gilt nur für benutzerdefinierten Vorschautext. IPA wird von ElevenLabs v2 nicht unterstützt; dort wird der Text so gelesen, wie er geschrieben ist. Bei Azure TTS hängt das Ergebnis vom Gebietsschema der Stimme ab und kann ungenau klingen.
Synchronisations-Engine
Die Synchronisations-Engine bestimmt die verfügbaren Stimmen und die Steuerelemente im Editor. Die Engine unter oder für ein einzelnes Projekt in dessen Projekteinstellungen auswählen.
Verfügbare Engines:
-
ElevenLabs v2
-
ElevenLabs v3
-
ElevenLabs v4
-
ElevenLabs v4 Turbo
-
Azure TTS
-
Gemini 2.5 Flash TTS
|
Steuerung |
Verfügbarkeit |
|---|---|
|
Audiosteuerungen (Emotions-Tags) |
ElevenLabs v3, v4 und v4 Turbo |
|
Segmentlautstärke, Stabilität und Ähnlichkeit |
ElevenLabs-Engines |
|
Stimmklonung und ähnliche Stimmen aus dem Editor |
ElevenLabs-Synchronisationsanbieter |
Um die Stimmen und das Kontingent des eigenen ElevenLabs-Kontos einer Organisation zu nutzen, unter einen ElevenLabs-API-Schlüssel als Anmeldeinformation hinzufügen.
Der Schlüssel erfordert mindestens diese Berechtigungen: Text-to-Speech (Zugriff) sowie Stimmen (Lesen und Schreiben). Es kann nur eine ElevenLabs-Anmeldeinformation pro Organisation hinzugefügt werden.
Audiosteuerungen tragen dazu bei, die Synchronisation ausdrucksstärker und präziser zu gestalten, indem sie wichtige stimmliche Nuancen markieren, die paralinguistische Informationen hinzufügen. Per Rechtsklick auf ein Segment und anschließendem Klick auf lassen sich eine oder mehrere der verfügbaren Optionen an der gewünschten Position hinzufügen.
Hinweis
Audiosteuerungen sind nur mit ElevenLabs v3- oder v4-Engines verfügbar. Audiosteuerungen funktionieren möglicherweise nicht mit allen Sprachen oder Sprachmodellen. Tests mit der ausgewählten Stimme werden empfohlen, um die Kompatibilität zu bestätigen.
Audioanpassungen oder erneute Synchronisierungen nach dem Testen verbrauchen keine zusätzlichen Minuten.
Wenn ein Projekt mehrere Sprecher umfasst, können die Synchronisationseinstellungen für jede Sprecherspur und für einzelne Segmente im Schritt angepasst werden.
-
Sprechersteuerelemente
Über das Zahnradsymbol () neben dem Sprechernamen in der Wellenform lassen sich die Einstellungen des Sprechers öffnen. Die Einstellungen gelten für alle Segmente dieses Sprechers.
-
Segmentsteuerelemente
Ein Segment in der Zeitleiste auswählen, um das Bedienfeld zu öffnen und die Synchronisationseinstellungen nach Bedarf anzupassen.
Beide Bedienfelder enthalten diese Einstellungen:
-
-
Passt an, wie stabil oder ausdrucksstark die Stimme klingt. Niedrigere Werte machen die Stimme dynamischer und emotionaler. Höhere Werte machen sie ruhiger und konsistenter. Die Bezeichnungen , und markieren den Bereich.
-
Legt fest, wie stark die Stimme der ausgewählten Stimme ähnelt. Höhere Werte klingen eher wie die ausgewählte Stimme. Niedrigere Werte ermöglichen mehr Variation.
Nach dem Anpassen von oder ist eine Neusynchronisierung erforderlich. Die betroffenen Segmente sind mit Bearbeitet – Neusynchronisierung erforderlich gekennzeichnet. Zum Anwenden der aktualisierten Einstellungen auf Synchronisationsänderungen klicken.
Synchronisierungsgeschwindigkeit anpassen
Standardmäßig wird die Synchronisation mit 1× Geschwindigkeit generiert. Das bedeutet, dass das System anhand der Textmenge im Segment das natürlichste Sprechtempo bestimmt.
Wenn der Text für den Zeitbereich des Segments zu lang ist, erscheint die Warnung Audio wird möglicherweise schneller abgespielt. Text ist zu lang für den Zeitbereich. wird angezeigt. Die Warnung erscheint, wenn das Audio mehr als 1,15-mal schneller abgespielt werden müsste, um zu passen.
Zum Anpassen der Synchronisierungsgeschwindigkeit stehen folgende Methoden zur Verfügung:
-
Die Sprechblasen in der Wellenform verlängern oder verkürzen:
Beispiel
Wenn das synchronisierte Audio bei 1× Geschwindigkeit über die vorgesehene Szene hinausgeht, den Endpunkt der Sprechblase verschieben. Die Synchronisierung wird leicht beschleunigt, um in das Segment zu passen.
-
Den Text bearbeiten und erneut synchronisieren oder mit Segmente über dem Limit kürzen eine kürzere Textversion erstellen.
Beispiel
Wenn das Audio bei 1× Geschwindigkeit deutlich über das Segment hinausreicht, enthält das Segment möglicherweise zu viel Text. Den Text umformulieren und auf Synchronisationsänderungen klicken.
Hintergrundaudio und Wiedergabe
Wenn eine Synchronisation zum ersten Mal erstellt wird, trennt Phrase Studio die Sprache vom Hintergrundaudio, zum Beispiel Musik und Soundeffekte. Das synchronisierte Audio wird mit dem Hintergrundaudio gemischt, sodass die ursprüngliche Sprachaufnahme nicht Teil der Synchronisation ist.
Zum Ersetzen des Hintergrundaudios in der Zeile der Wellenform auf Hintergrundaudio ersetzen klicken und eine MP3-, WAV- oder M4A-Datei mit einer Größe von weniger als 300 MB hochladen.
Mit dem Regler im Player lässt sich das Verhältnis zwischen Originalaudio und synchronisiertem Audio einstellen.
Synchronisierte Ausgabe herunterladen
Zum Herunterladen der synchronisierten Ausgabe auf Herunterladen klicken, die Synchronisationssprache und den Inhalt auswählen und erneut auf Herunterladen klicken.
Die Synchronisationsoptionen sind:
-
Synchronisiertes Audio und synchronisiertes Video.
-
Synchronisierte SRT- und VTT-Dateien.
-
Getrenntes synchronisiertes Audio: Eine ZIP-Datei mit einer MP3-Datei für jedes synchronisierte Segment. Die Dateinamen enthalten die Segmentnummer, den Sprechernamen sowie die Start- und Endzeit.
-
Getrenntes synchronisiertes Audio nach Sprecher: Eine ZIP-Datei mit einer MP3-Datei für jeden Sprecher. Jede Datei enthält nur das synchronisierte Audio des jeweiligen Sprechers ohne Hintergrundaudio auf einer Zeitachse, die sich über die gesamte Länge der Aufnahme erstreckt.
Aussprachevorgaben steuern, wie bestimmte Wörter oder Phrasen im synchronisierten Audio ausgesprochen werden. Sie gewährleisten eine konsistente Aussprache von Markennamen, Fachbegriffen, Akronymen und Fremdwörtern.
Benutzerdefinierte Aussprachepaare lassen sich definieren und beim Erstellen einer Synchronisation anwenden. Bei bestehenden Projekten lassen sich Aussprachevorgaben auswählen, wenn im Schritt des Editors eine neue Synchronisationssprache hinzugefügt wird.
Aussprachen werden automatisch für alle Benutzer derselben Organisation im schreibgeschützten Modus freigegeben.
Voraussetzungen
-
Die Zielsprache des Projekts unterstützt die Synchronisation.
-
Dem Projekt wurde eine Synchronisationssprache hinzugefügt.
So wird eine Aussprache erstellt:
-
Auf der Seite die Registerkarte auswählen.
-
Auf Neue Aussprache erstellen klicken.
Das Fenster wird angezeigt.
-
Einen und optional eine eingeben.
-
auswählen, damit die Aussprache für die Projektauswahl verfügbar ist.
-
Klicke auf Speichern.
Die Aussprache wird im Tab aufgelistet.
Benutzerdefinierte Ausspracheregeln können auch über die Schaltfläche Import im Tab hochgeladen werden. Unterstützte Dateien: PLS-Lexikon (.PLS, .XML), Excel (.XLSX) und CSV (.CSV). Excel-Dateien benötigen ein „IPA“-Tabellenblatt und CSV-Dateien benötigen „Term“- und „IPA“-Spalten. CMU-Notation wird nicht unterstützt.
Hinweis
CSV-Dateien als „CSV UTF-8“ speichern, da IPA-Zeichen andernfalls beschädigt werden könnten. Eine Datei kann bis zu 10.000 Paare enthalten und bis zu 10 MB groß sein.
Jede Aussprache kann mehrere Paare für eine einzelne Sprache enthalten. So wird ein Aussprachepaar hinzugefügt:
-
Eine bestehende Aussprache auswählen und auf Neues Paar erstellen klicken.
-
Unter das ursprüngliche Wort oder die ursprüngliche Phrase eingeben.
-
Im Feld die gewünschte Aussprache festlegen.
Eine phonetische Schreibweise, Silbentrennung oder eine ungefähre Lautumschrift verwenden.
-
Den Typ der auswählen.
-
Klartext (Schreibweise)
-
IPA (phonetisch)
-
-
Die entsprechende Sprache auswählen.
-
Optional auf Vorschau klicken, um die Aussprache anzuhören und bei Bedarf anzupassen.
-
Klicke auf Speichern.
Das neue Paar wird der ausgewählten Aussprache hinzugefügt.
Um während der Bearbeitung eine Aussprache für ein Wort hinzuzufügen, in einem Segment des Schritts auf Aussprachen verwalten klicken. Die Aussprache wird in den Projektaussprachen für die ausgewählte Sprache gespeichert. Die Aussprachen unter verwalten.
Bestehende Aussprachen und zugehörige Paare lassen sich über Bearbeiten neben der jeweiligen Aussprache oder dem jeweiligen Paar aktualisieren oder löschen.
Nach der Aktualisierung von Aussprachepaaren das Dubbing erneut ausführen; bereits gerendertes Audio ändert sich nicht automatisch.
Aussprachebeispiele
-
Markennamen
-
Apple: ap-pul
-
Microsoft: mai-kroh-soft
-
-
Fachbegriffe
-
GIF: jif
-
SQL: ess-cue-el
-
-
Fremdwörter
-
Croissant: krwa-san
-
São Paulo: sow-pow-loo
-
Stimmklonung generiert eine synthetische Stimme basierend auf Aufnahmen eines echten Sprechers. Die geklonte Stimme kann dann für KI-Synchronisation verwendet werden, wodurch übersetztes Audio den Tonfall und die stimmlichen Merkmale des ursprünglichen Sprechers beibehält.
Beim Klonen werden ausgewählte Sprachabschnitte aus hochgeladenen Audio- oder Videobeispielen verwendet, um das Stimmmodell zu trainieren. Nachdem die Beispiele verarbeitet wurden, kann eine Vorschau generiert werden, bevor die Stimme gespeichert wird.
Stimmklone werden im Tab auf der Seite erstellt und verwaltet. Sobald die Stimme erstellt wurde, steht sie für die Verwendung in Synchronisations-Workflows zur Verfügung.
Anforderungen an Stimmbeispiele
-
Die Gesamtdauer der ausgewählten Bereiche muss zwischen 10 und 180 Sekunden liegen
-
Maximale Dauer der hochgeladenen Datei: 5 Minuten
-
Maximale Anzahl an Beispieldateien: 3
-
Maximale Dateigröße: 30 MB pro Datei
-
Maximale Anzahl an Beispielbereichen: 50
-
Wenn Stimmbeispiele mehrere Sprecher enthalten, müssen Bereiche ausgewählt werden, um die Stimmbeispiele eines einzelnen Sprechers zu isolieren.
So wird ein Stimmklon erstellt:
-
Auf der Registerkarte der Seite auf Neue Stimme erstellen klicken.
-
Die Erstellungsmethode auswählen.
-
-
Wenn ausgewählt ist, eine Beschreibung in das Feld und optional einen Vorschautext in das Feld eingeben. Auf Vorschauen generieren klicken. Eine Stimme auswählen und mit dem Schritt fortfahren.
-
Beispiele hochladen auswählen, um den Stimmklon zu generieren.
Hochgeladene Medien erscheinen in einem Wellenform-Player, in dem Bereiche markiert werden können.
-
Auf der Zeitleiste Bereiche mit der Stimme des Sprechers markieren und dann auf Fertig klicken. Die Gesamtdauer des Stimmbeispiels über alle Bereiche hinweg muss mindestens 10 Sekunden und höchstens 180 Sekunden betragen.
Ausgewählte Bereiche werden bestätigt. Weitere Dateien lassen sich über Bereiche hinzufügen hochladen und auf die gleiche Weise verarbeiten.
Hinweis
Nur die ausgewählten Bereiche werden verwendet, um den Stimmklon zu generieren.
-
Bei Verwendung der Option das Kontrollkästchen für die Zustimmung aktivieren.
-
Auf Weiter klicken.
Der Schritt wird angezeigt und das Audiobeispiel wird generiert. Dies dauert normalerweise einige Sekunden.
-
auswählen, um die Vorschau abzuspielen, und optional eingeben. Die neue Stimme spricht jede in Dubbing unterstützte Sprache.
-
Auf Vorschau abspielen oder das Wiedergabesymbol klicken, um die neue Stimme anzuhören.
-
Wenn ausgewählt ist, eine Stimme aus den generierten Optionen auswählen. Bei Bedarf Vorschauen neu generieren auswählen.
-
Auf Weiter klicken.
Der Schritt wird angezeigt.
-
Einen für die Stimme eingeben. Optional eine , das und für die Stimme angeben, um sie zu kategorisieren.
-
Klicke auf Importieren.
Die neue Stimme wird zur Liste hinzugefügt.
Bestehende Stimmklone können auf der Registerkarte in der Vorschau angezeigt, bearbeitet oder entfernt werden.
Eine Stimme kann auf ein einzelnes Projekt beschränkt werden. Dazu die Stimme bearbeiten und ein Projekt auswählen. Ohne ein Projekt ist die Stimme überall verfügbar.
Stimmen aus dem Editor klonen
Hinweis
Das Klonen aus dem Editor ist nur mit dem Dubbing-Anbieter ElevenLabs verfügbar.
Im Schritt eine Stimme anhand der Sprecher einer Aufnahme erstellen.
-
In einem Segment auf das Symbol zum Klonen der Stimme () klicken, um anhand der Audiosegmente dieses Sprechers in der Aufnahme eine Stimme zu erstellen. Im Bestätigungsfenster auswählen oder das Recht zum Klonen der Stimme bestätigen.
-
In der Symbolleiste auf Alle Sprecher klonen (N) klicken, um Stimmen für alle Sprecher zu erstellen.
Nsteht dabei für die Anzahl der Sprecher. Ein Sprecher benötigt mindestens 10 Sekunden Audio in der Aufnahme. Sprecher mit weniger Audio werden übersprungen.
Eine im Editor erstellte Stimme ist auf das Projekt der Aufnahme beschränkt. Um dies zu ändern, die Stimme unter bearbeiten.