Die Synchronisation ersetzt das Original-Audio in einer Datei durch eine neue Version in einer anderen Sprache, wobei die Stimmeigenschaften und der emotionale Ton der Originalsprecher beibehalten werden.
Eine korrekte Sprecherzuweisung ist für Synchronisations-Workflows erforderlich. Werden importierte Untertiteldateien verwendet, um die automatische Audiotranskription zu überspringen, so ist sicherzustellen, dass allen Sprechern eine Zuweisung erfolgt, bevor mit der Synchronisation fortgefahren wird.
Wenn zwei Sprecher gleichzeitig sprechen, benötigt jeder Sprecher ein separates Segment, das den überlappenden Zeitbereich abdeckt. Ein Segment, das nur einem Sprecher zugewiesen ist, erzeugt Dubbing-Audio nur mit der Stimme dieses Sprechers, selbst wenn es Dialoge des anderen Sprechers enthält.
Anwendungsfälle
-
Ein Medienunternehmen möchte einen ursprünglich englischsprachigen Dokumentarfilm in Spanien und Japan vertreiben. Die KI der Plattform identifiziert jeden Sprecher, transkribiert und übersetzt den Dialog und generiert dann neue Audiospuren auf Spanisch und Japanisch. Die generierten Stimmen behalten die Qualitäten der Originalsprecher bei und schaffen so ein authentisches Seherlebnis für das neue Publikum.
Um eine Synchronisation für eine Datei zu erstellen, führen Sie diese Schritte aus:
-
Im Editor auf den Pfeil unter der Registerkarte klicken und anschließend Dubbing hinzufügen auswählen.
Das Fenster öffnet sich.
-
Aus der Dropdown-Liste die gewünschte(n) Zielsprache(n) auswählen.
Hinweis
Wenn eine regionale Sprachvariante (z. B. Französisch (Kanada) oder Portugiesisch (Brasilien)) ausgewählt wird, greift das System für die Synchronisation automatisch auf die entsprechende Basissprache zurück.
Die regionale Sprachauswahl bleibt im Projekt und in den Metadaten erhalten.
-
Optional kann die Funktion aktiviert werden, um vorhandene Aussprachen und zugehörige Paare für Synchronisations-Workflows auszuwählen.
-
Auf Dubbing hinzufügen klicken.
Das Fenster schließt sich und die Registerkarte zeigt an, wenn das Dubbing abgeschlossen ist.
Auf Dubbing-Änderungen klicken, um das Dubbing mit allen am Text vorgenommenen Änderungen zu aktualisieren.
Auf Stimmen verwalten klicken, um eine andere Stimme für das Dubbing auszuwählen. Für jede Sprache werden automatisch bis zu 7 empfohlene Stimmen basierend auf Geschlecht und Alter vorgeschlagen.
Audio-Steuerelemente tragen dazu bei, das Dubbing ausdrucksstärker und präziser zu gestalten, indem sie wichtige stimmliche Nuancen markieren, die paralinguistische Informationen hinzufügen. Mit einem Rechtsklick auf ein Segment auswählen und anschließend eine oder mehrere der verfügbaren Optionen zur Platzierung an der gewünschten Position nutzen.
Hinweis
Audio-Steuerelemente funktionieren möglicherweise nicht mit allen Sprachen oder Stimmmodellen. Es wird empfohlen, mit der ausgewählten Stimme zu testen, um die Kompatibilität zu bestätigen.
Audioanpassungen oder erneute Synchronisationen nach dem Testen verbrauchen keine zusätzlichen Minuten.
Wenn ein Projekt mehrere Sprecher umfasst, können die Dubbing-Einstellungen für jede Sprecherspur und für einzelne Segmente auf der Registerkarte angepasst werden.
-
Steuerelemente für Sprecherspuren
-
Auf das Lautsprechersymbol
neben dem gewünschten Sprechernamen in der Wellenform klicken, um den Lautstärkeregler anzupassen. Die Anpassung gilt für alle Segmente, die von diesem Sprecher gesprochen werden.
-
-
Segment-Steuerelemente
-
-
Steuert, wie konsistent und vorhersehbar die generierte Stimme klingt.
-
Steuert, wie genau die generierte Stimme mit dem ausgewählten Stimmprofil übereinstimmt.
Wählen Sie ein Segment in der Zeitleiste aus, um das Bedienfeld zu öffnen und die Dubbing-Einstellungen nach Bedarf anzupassen. Oben rechts auf der Registerkarte auf Jetzt speichern klicken, um die Änderungen zu speichern.
Nach der Anpassung von oder ist eine erneute Synchronisation erforderlich. Klicken Sie auf Dub-Änderungen, um die aktualisierten Einstellungen anzuwenden.
-
Dubbing-Geschwindigkeit anpassen
Standardmäßig wird Dubbing mit 1-facher Geschwindigkeit generiert, was bedeutet, dass das System basierend auf der Textmenge im Segment das natürlichste Sprechtempo bestimmt.
Die aktuelle Geschwindigkeit wird als Label auf jeder Sprechblase in der Timeline angezeigt.
Es gibt zwei Methoden, um die Dubbing-Geschwindigkeit bei Bedarf anzupassen:
-
Verlängern oder verkürzen Sie die Sprechblasen auf der Wellenform:
Beispiel
Falls das gedubbte Audio bei 1-facher Geschwindigkeit die beabsichtigte Szene überschreitet, die Endzeit der Sprechblase anpassen. Das Dubbing wird leicht beschleunigt, um in das Segment zu passen, und das Geschwindigkeits-Label wird entsprechend aktualisiert.
-
Den Text bearbeiten und neu dubben:
Beispiel
Wenn das Audio bei 1-facher Geschwindigkeit deutlich überläuft, enthält das Segment möglicherweise zu viel Text. Den Text umschreiben und die Änderungen neu dubben.
Aussprachen steuern, wie bestimmte Wörter oder Phrasen im gedubbten Audio gesprochen werden. Sie stellen eine konsistente Aussprache von Markennamen, Fachbegriffen, Akronymen und Fremdwörtern sicher.
Es ist möglich, benutzerdefinierte Aussprachepaare zu definieren und diese während der Projekterstellung auf Dubbing-Workflows anzuwenden.
Bei bestehenden Projekten können Aussprachen auch ausgewählt werden, wenn im -Tab des Editors eine neue Dubbing-Sprache hinzugefügt wird.
Aussprachen werden automatisch im schreibgeschützten Modus für alle Benutzer derselben Organisation freigegeben.
Voraussetzungen
-
Die Zielsprache des Projekts unterstützt Dubbing.
-
Dem Projekt wurde eine Dubbing-Sprache hinzugefügt.
Um eine Aussprache zu erstellen, befolgen Sie diese Schritte:
-
Auf der Seite den Tab auswählen.
-
Auf Neue Aussprache erstellen klicken.
Das Fenster wird angezeigt.
-
Geben Sie einen und optional eine ein.
-
Wählen Sie , um die Aussprache für die Projektauswahl verfügbar zu machen.
-
Klicke auf Speichern.
Die Aussprache wird auf der Registerkarte aufgelistet.
Jede Aussprache kann mehrere Paare für eine einzelne Sprache enthalten. Um ein Aussprachepaar hinzuzufügen, führen Sie die folgenden Schritte aus:
-
Wählen Sie eine bestehende Aussprache aus und klicken Sie auf Neues Paar erstellen.
-
Geben Sie das ursprüngliche oder die Phrase ein.
-
Definieren Sie die gewünschte Aussprache im Feld .
Verwenden Sie phonetische Schreibweise, Silbentrennung oder annähernde Laute.
-
Wählen Sie die entsprechende Sprache aus.
-
Klicken Sie optional auf Vorschau, um zuzuhören und bei Bedarf Anpassungen vorzunehmen.
-
Klicke auf Speichern.
Das neue Paar wird der ausgewählten Aussprache hinzugefügt.
Bestehende Aussprachen und zugehörige Paare können aktualisiert oder gelöscht werden, indem Sie neben einer Aussprache oder einem Paar auf Bearbeiten klicken.
Führen Sie die Synchronisation nach der Aktualisierung der Aussprachepaare erneut aus; bereits gerendertes Audio ändert sich nicht automatisch.
Aussprachebeispiele
-
Markennamen
-
Apple: ap-pul
-
Microsoft: mai-kroh-soft
-
-
Fachbegriffe
-
GIF: jif
-
SQL: ess-kuh-ell
-
-
Fremdwörter
-
Croissant: krwa-san
-
Sao Paulo: sow-pow-loo
-
Stimmenklonung generiert eine synthetische Stimme basierend auf Aufnahmen eines echten Sprechers. Die geklonte Stimme kann dann für KI-Synchronisation verwendet werden, wodurch übersetztes Audio den Tonfall und die stimmlichen Merkmale des ursprünglichen Sprechers beibehält.
Der Klonprozess verwendet ausgewählte Sprachbereiche aus hochgeladenen Audio- oder Videodateien, um das Sprachmodell zu trainieren. Nachdem die Proben verarbeitet wurden, kann eine Vorschau generiert werden, bevor die Stimme gespeichert wird.
Stimmklone werden auf der Registerkarte der Seite erstellt und verwaltet. Sobald der Stimmklon erstellt wurde, steht er für die Verwendung in Synchronisations-Workflows zur Verfügung.
Anforderungen an Stimmproben
-
Die Gesamtdauer der ausgewählten Bereiche muss zwischen 15 und 180 Sekunden liegen
-
Maximale Dauer der hochgeladenen Datei: 5 Minuten
-
Maximale Anzahl an Probendateien: 3
-
Maximale Dateigröße: 30 MB pro Datei
-
Maximale Anzahl an Probenbereichen: 50
-
Wenn Stimmproben mehrere Sprecher enthalten, müssen Bereiche verwendet werden, um Proben eines einzelnen Sprechers zu isolieren.
Um einen Stimmklon zu erstellen, befolge diese Schritte:
-
Klicke auf der Registerkarte auf der Seite auf Neue Stimme erstellen.
Der Abschnitt wird angezeigt.
-
Lade Proben hoch, um den Stimmklon zu generieren.
Hochgeladene Medien erscheinen in einem Wellenform-Player, in dem Bereiche markiert werden können.
-
Verwende die Zeitleiste, um Bereiche zu definieren, die die Stimme des Sprechers enthalten, und klicke dann auf Fertig.
Die ausgewählten Bereiche werden bestätigt. Weitere Dateien können auf die gleiche Weise hochgeladen und verarbeitet werden, indem auf Bereiche hinzufügen geklickt wird.
Hinweis
Nur die ausgewählten Bereiche werden verwendet, um den Stimmklon zu generieren.
-
Aktiviere das Kontrollkästchen für die Zustimmung und klicke auf Bestätigen.
-
Klicke auf Weiter.
Der Schritt wird angezeigt.
-
Gib einen für die Stimme ein. Gib optional eine , das und für die Stimme an, um sie zu kategorisieren.
-
Klicke auf Weiter.
Der wird angezeigt. Die erste Vorschau wird automatisch generiert.
-
Wähle eine aus und gib einen ein.
-
Klicke auf Vorschau-Stimme.
Das Audiobeispiel wird generiert. Dies dauert normalerweise einige Sekunden.
-
Klicke auf Importieren.
Die neue Stimme wird der Liste hinzugefügt.
Vorhandene Stimmklone können in der Registerkarte angehört oder entfernt werden.