吹き替えでは、元の話者の声の特徴や感情表現を保ちながら、ファイル内の元の音声を別の言語の新しい音声に置き換えます。各話者の吹き替えには、音声ライブラリから選択した音声、またはクローン音声が使用されます。
吹き替えのワークフローでは、で話者が正しく割り当てられていることが必要です。インポートされた字幕ファイルを使用して自動音声文字起こしをスキップする場合は、吹き替えに進む前にすべての話者が割り当てられていることを確認してください。
2人の話者が同時に話す場合、各話者に対して、重なっている時間範囲をカバーする個別のセグメントが必要です。1人の話者のみに割り当てられたセグメントでは、他の話者の発話が含まれていても、割り当てられた話者の声だけで吹き替え音声が生成されます。
使用例
-
あるメディア企業が、もともと英語で制作されたドキュメンタリーをスペインと日本で配信したいと考えています。プラットフォームのAIが各話者を識別し、対話を文字起こしおよび翻訳した後、スペイン語と日本語の新しい音声トラックを生成します。生成された音声は元の話者の声の特徴を保ち、新たな視聴者に自然な視聴体験を提供します。
吹き替えを作成する
備考
吹き替えは、すでに翻訳されている言語に対してのみ追加できます。利用可能な言語がない場合は、まずで翻訳を追加してください。
ファイルに吹き替えを作成するには、以下の手順に従ってください。
-
エディターで吹き替えステップを開き、吹き替えをクリックします。このステップは、翻訳ステップが完了した後にのみ利用可能です。
話者に吹き替え言語の音声が設定されていない場合、
音声の割り当てが必要ですというメッセージが表示されます。まずで音声を割り当ててください。ウィンドウが開きます。
-
で、必要な翻訳先言語を選択します。
備考
言語の地域別バリエーション(例:フランス語(カナダ)やポルトガル語(ブラジル))が選択されている場合、システムは吹き替えに対応する基本言語を自動的に使用します。
選択した地域別の言語設定は、プロジェクトとメタデータに引き続き保持されます。
選択した言語にすでに吹き替えが存在する場合、続行すると既存の吹き替えが上書きされます。この操作は取り消せません。
-
オプションとして、を有効にし、各言語に対して既存のの発音を選択します。
-
オプションとして、音声のみの録音の場合は、オプションを選択して自然な音声速度を維持します。セグメントは音声に合わせて拡張されるため、吹き替え音声がオリジナルより長くなる場合があります。
アップロードされたファイルは、吹き替え用の字幕として保存されます。既存の翻訳済み字幕は変更されません。字幕がアップロードされている言語については、吹き替えはスキップされます。
-
オプションとして、字幕アップロードセクションで各選択言語の.SRTまたは.VTTファイルをアップロードすると、既存の字幕を吹き替えに使用できます。
-
吹き替えを開始をクリックします。
ウィンドウが閉じます。ステップの言語ドロップダウンリストに、各言語のステータスが表示されます。
備考
別の吹き替えエンジンで吹き替えられた言語で、現在のエンジンがそれをサポートしていない場合、ウィンドウにはその言語がサポート対象外として表示されます。
吹き替えが完了したら、ステップで以下のコントロールを使用します。
-
吹き替えの変更:テキスト、話者設定、またはセグメント設定に加えられた変更を反映して、吹き替えを更新します。変更されたセグメントには
編集済み — 再吹き替えが必要と表示され、再吹き替え待ちのセグメント数がカウンターに表示されます。 -
このセグメントを再吹き替え:録音全体を再度吹き替えることなく、単一のセグメントを再生成します。
-
再吹き替え:選択した言語のすべてのセグメントを再度吹き替えます。既存の吹き替え音声は置き換えられ、復元することはできません。
-
吹き替えの同期:翻訳された字幕が吹き替えと異なる場合に表示されます。クリックすると、吹き替えを翻訳に合わせて調整します。
-
字幕のアップロード:ステップ5と同様に、選択した言語の吹き替え用字幕として.SRTまたは.VTTファイルをアップロードします。
-
音声の管理:各話者の音声を選択します。
吹き替えの対象となる話者
各セグメントは、そのセグメントの話者に割り当てられた音声で吹き替えられます。すべての話者には、吹き替え言語用の音声が必要です。話者が設定されていないセグメントは吹き替えられません。
話者に音声が割り当てられていない場合、1人以上の話者に、この言語で有効な音声が割り当てられていませんというメッセージが表示され、音声の管理を開いて吹き替え前に音声を割り当てるよう指示されます。
異なる話者に割り当てられたセグメントが時間的に重複する場合、音声も重なるように吹き替えられます。セグメントに含まれていない対話は、吹き替えには反映されません。2人目の話者の対話を含めるには、その話者用に別のセグメントを追加してください。
音声の管理
話者の音声を選択するには、以下の手順に従ってください。
-
ステップで、音声の管理をクリックします。
-
リストから話者を選択します。必要に応じて、言語を選択します。
-
いずれかのタブで音声を選択します。
-
:その言語に対して推奨される音声。
-
:利用可能なすべての音声。検索フィールド、または、、のフィルターを使用してリストを絞り込みます。
-
:組織が所有するクローン音声、類似音声、カスタム設計の音声。
-
-
必要に応じて、アイコンをクリックして音声をプレビューします。カスタムテキストを入力しない場合は、その音声のサンプルが再生されます。特定のテキストを読み上げた音声を確認するには、プレビューフィールドに最大200文字を入力します(例:独自の発音を指定した単語)。音声記号でテキストを入力するには、IPA(音声記号)として読み上げるを選択します。
-
必要に応じて、アイコンをクリックして音声を「お気に入り」に追加すると、今後の選択時にリストの先頭に表示されるようになります。
-
保存をクリックします。
備考
利用可能なタブは、ダビングエンジンによって異なります。独自のElevenLabs APIキーを使用している組織では、タブは表示されません。
は、カスタムプレビューテキストにのみ適用されます。IPAはElevenLabs v2ではサポートされておらず、テキストは綴り通りに読み上げられます。Azure TTSの場合、結果は音声のロケールに依存し、不正確に聞こえる可能性があります。
ダビングエンジン
ダビングエンジンによって、利用可能な音声とエディター内のコントロールが決まります。、または単一プロジェクトのプロジェクト設定でエンジンを選択します。
利用可能なエンジン:
-
ElevenLabs v2
-
ElevenLabs v3
-
ElevenLabs v4
-
ElevenLabs v4 Turbo
-
Azure TTS
-
Gemini 2.5 Flash TTS
|
コントロール |
対応状況 |
|---|---|
|
音声コントロール(感情タグ) |
ElevenLabs v3、v4、およびv4 Turbo |
|
セグメントの音量、安定性、類似度 |
ElevenLabsエンジン |
|
エディターからの音声クローン作成および類似音声 |
ElevenLabsダビングプロバイダー |
組織独自のElevenLabsアカウントの音声とクォータを使用するには、でElevenLabs APIキーを認証情報として追加してください。
キーには少なくとも以下の権限が必要です。Text to Speech(アクセス)およびVoices(読み取りと書き込み)。組織ごとに1つのElevenLabs認証情報のみを追加できます。
音声コントロールは、パラ言語情報を追加する重要な声のニュアンスにタグを付けることで、ダビングをより表現力豊かで正確なものにするのに役立ちます。セグメントを右クリックし、をクリックして、目的の位置に利用可能なオプションを1つ以上追加します。
備考
音声コントロールは、ElevenLabs v3またはv4エンジンでのみ利用可能です。音声コントロールは、すべての言語や音声モデルで機能するとは限りません。互換性を確認するために、選択した音声でテストすることをお勧めします。
テスト後の音声調整や再ダビングでは、の追加の利用時間(分)は消費されません。
プロジェクトに複数の話者が含まれる場合、ステップで、話者トラックごと、および個々のセグメントごとにダビング設定を調整できます。
-
話者コントロール
波形内の話者名の横にある歯車アイコン()をクリックして、その話者の設定を開きます。設定は、その話者のすべてのセグメントに適用されます。
-
セグメントコントロール
タイムラインでセグメントを選択してパネルを開き、必要に応じてダビング設定を調整します。
両方のパネルに以下の設定が含まれています。
-
-
音声の安定性や表現力を調整します。値を小さくすると、声がよりダイナミックで感情豊かになります。値を大きくすると、より穏やかで安定したものになります。、、のラベルが範囲を示しています。
-
選択した声にどれだけ近づけるかを調整します。値を大きくすると、選択した声に近くなります。値を小さくすると、声のバリエーションが増えます。
またはを調整した後は、再ダビングが必要です。影響を受けるセグメントには編集済み — 再ダビングが必要とマークされます。変更をダビングをクリックして、更新された設定を適用します。
ダビング速度の調整
デフォルトでは、ダビングは1倍速で生成されます。つまり、セグメント内のテキスト量に基づいて、システムが最も自然な話すペースを決定します。
テキストがセグメントの時間範囲に対して長すぎる場合、「音声が速く再生される可能性があります。テキストが時間範囲に対して長すぎます。」という警告が表示されます。この警告は、時間内に収めるために音声を1.15倍速を超える速度で再生する必要がある場合に表示されます。
ダビング速度を調整するには、以下のいずれかの方法を使用します。
-
波形上の吹き出しを延長または短縮する:
例:
1倍速でダビングされた音声が意図したシーンを超えてしまう場合は、吹き出しの終了時間をドラッグします。音声がセグメント内に収まるよう、ダビングの再生速度がわずかに上がります。
-
テキストを編集して再ダビングするか、制限を超えたセグメントを短縮を使用して、より短いバージョンのテキストを取得します。
例:
1倍速で再生した音声がセグメントの時間範囲を大幅に超える場合、そのセグメントにはテキストが多すぎる可能性があります。テキストを書き直し、変更をダビングをクリックしてください。
背景音声と再生
吹き替えが初めて作成される際、Phrase Studioは音楽や効果音などの背景音声から話し声を分離します。吹き替え音声は背景音声とミックスされるため、元の話し声は吹き替えには含まれません。
背景音声を置き換えるには、波形の行にある背景音声を置き換えるをクリックし、300 MB未満のMP3、WAV、またはM4Aファイルをアップロードしてください。
プレイヤーのスライダーを使用して、オリジナル音声と吹き替え音声のバランスを調整してください。
吹き替え出力をダウンロード
吹き替え出力をダウンロードするには、ダウンロードをクリックし、吹き替え言語とコンテンツを選択して、再度ダウンロードをクリックしてください。
吹き替えのオプションは以下の通りです。
-
吹き替え音声および吹き替え動画。
-
吹き替えSRTおよび吹き替えVTT。
-
分離された吹き替え音声:各吹き替えセグメントのMP3ファイルが1つずつ含まれるZIPファイル。ファイル名には、セグメント番号、話者名、開始時間、終了時間が含まれます。
-
話者別に分離された吹き替え音声:各話者のMP3ファイルが1つずつ含まれるZIPファイル。各ファイルには、録音全体と同じ長さのタイムラインに配置された、その話者の吹き替え音声のみが含まれます。背景音声は含まれません。
発音設定では、吹き替え音声における特定の単語やフレーズの読み方を指定できます。ブランド名、専門用語、頭字語、外国語の読み方を一貫させます。
単語やフレーズとその読み方のカスタムペアを定義し、吹き替えを作成する際に適用します。既存のプロジェクトでは、エディターのステップで新しい吹き替え言語を追加する際に、読み方を選択します。
発音は、同じ組織のすべてのユーザーに読み取り専用で自動的に共有されます。
前提条件
-
プロジェクトのに含まれる対象言語が吹き替えに対応している必要があります。
-
プロジェクトに吹き替え言語が追加されている必要があります。
発音を作成するには、以下の手順に従ってください。
-
ページで、タブを選択します。
-
新しい発音を作成をクリックします。
ウィンドウが表示されます。
-
と、必要に応じてを入力します。
-
を選択して、プロジェクトでその発音を選択できるようにします。
-
保存をクリックします。
その発音がタブの一覧に表示されます。
カスタムの発音ルールは、タブのインポートボタンを使用してアップロードすることもできます。サポートされているファイル:PLS辞書(.PLS、.XML)、Excel(.XLSX)、CSV(.CSV)。Excelファイルには「IPA」シートが、CSVファイルには「Term」列と「IPA」列が必要です。CMU表記はサポートされていません。
備考
CSVファイルは「CSV UTF-8」として保存してください。そうしないと、IPA文字が破損する可能性があります。1つのファイルには最大10,000個のペアを含めることができ、サイズは最大10 MBです。
各発音には、単一言語に対して複数のペアを含めることができます。発音ペアを追加するには、以下の手順に従います。
-
既存の発音を選択し、新しいペアを作成をクリックします。
-
に、元の単語またはフレーズを入力します。
-
フィールドに、希望する発音を入力します。
発音に合わせた綴り、音節の区切り、または近似音を使用します。
-
を選択します。
-
プレーンテキスト(スペル)
-
IPA(音声記号)
-
-
該当する言語を選択します。
-
必要に応じて、プレビューをクリックして発音を確認し、調整します。
-
保存をクリックします。
新しいペアが選択した発音に追加されます。
編集中に単語の発音を追加するには、ステップのセグメントで発音を管理をクリックします。その発音は、選択した言語のプロジェクトの発音一覧に保存されます。これらはで管理します。
既存の発音や関連するペアを更新または削除するには、発音またはペアの横にある編集を選択します。
発音ペアを更新した後は吹き替えを再実行してください。以前にレンダリングされた音声は自動的には変更されません。
発音の例
-
ブランド名
-
Apple: ap-pul
-
Microsoft: mai-kroh-soft
-
-
専門用語
-
GIF: jif
-
SQL: ess-cue-el
-
-
外国語の単語
-
Croissant: krwa-san
-
São Paulo: sow-pow-loo
-
ボイスクローニングは、実際の話し手の録音に基づいて合成音声を生成します。クローン化された音声はAI吹き替えに使用でき、翻訳された音声で元の話し手のトーンや声の特徴を保持できます。
クローニングでは、アップロードした音声または動画のサンプルから選択した発話区間を使用して、音声モデルを学習させます。サンプルが処理された後、音声を保存する前にプレビューを生成できます。
ボイスクローンは、ページのタブで作成および管理されます。作成されると、その音声は吹き替えワークフローで使用できるようになります。
音声サンプルの要件
-
選択した範囲の合計の長さは10秒以上180秒以下である必要があります
-
アップロード可能なファイルの最大時間:5分
-
最大サンプルファイル数:3
-
最大ファイルサイズ:ファイルあたり30 MB
-
サンプル範囲の最大数:50
-
音声サンプルに複数の話者が含まれている場合は、範囲を使用して単一の話者のサンプルを分離する必要があります。
ボイスクローンを作成するには、以下の手順に従ってください。
-
ページのタブで、新しい音声を作成をクリックします。
-
作成方法を選択します。
-
-
を選択した場合は、フィールドに説明を入力し、必要に応じてフィールドにプレビュー用のテキストを入力します。プレビューを生成をクリックします。音声を選択し、ステップに進みます。
-
サンプルをアップロードして、ボイスクローンを生成します。
アップロードされたメディアは波形プレイヤーに表示され、そこで範囲を指定できます。
-
タイムラインで話者の声が含まれる範囲を指定し、完了をクリックします。すべての範囲にわたるサンプルの合計時間は、10秒以上180秒以下である必要があります。
選択した範囲が確定されます。範囲を追加をクリックすると、追加のファイルをアップロードして同様に処理できます。
備考
選択した範囲のみがボイスクローンの生成に使用されます。
-
を使用する場合は、同意のチェックボックスを選択します。
-
次へをクリックします。
ステップが表示され、音声サンプルが生成されます。これには通常数秒かかります。
-
を選択してプレビューを再生し、必要に応じてを入力します。新しい音声は、吹き替えでサポートされているすべての言語に対応しています。
-
プレビューを再生または再生アイコンをクリックして、新しい音声をプレビューします。
-
を選択した場合は、生成された候補から音声を選択します。必要に応じて、プレビューを再生成を使用します。
-
次へをクリックします。
ステップが表示されます。
-
音声のを入力します。必要に応じて、音声の、、を指定して分類します。
-
保存をクリックします。
新しい音声がの一覧に追加されます。
既存のボイスクローンは、タブでプレビュー、編集、削除できます。
音声を単一のプロジェクトに制限することができます。音声を制限するには、音声を編集してプロジェクトを選択します。プロジェクトを指定しない場合、その音声はどこでも使用できます。
エディターから音声をクローンする
備考
エディターからのクローン作成は、ElevenLabsダビングプロバイダーでのみ利用可能です。
ステップで、録音に含まれる話者の声から音声を作成します。
-
セグメント内の音声クローンアイコン()をクリックすると、録音内のその話者の音声部分から音声を作成できます。確認ウィンドウで、を選択するか、音声のクローン作成権限を確認してください。
-
ツールバーのすべての話者をクローン (N)(
Nは話者数)をクリックして、すべての話者の音声を作成します。話者には、録音内に少なくとも10秒間の音声が必要です。音声がこれより短い話者はスキップされます。
エディターから作成された音声は、その録音のプロジェクトに限定されます。これを変更するには、で音声を編集してください。