リップシンク

リップシンクとは、言葉に合わせて口を動かす動作のことを指します。
DAZ STUDIO PROを使って、3Dモデルに、このリップシンクをさせることができます。
このようなリップシンクアニメーションの作成について以下説明していきます。

 

１．喋りの音声を作成する（合成音声）

 

自分の声を使うのもイイのですが、例えばアニメーションクリエイターが男性で、モデルが女性だと、発する声が男性ボイスっていうのは違和感だらけです。
そういう時に、男性ボイス→女性ボイスに変換するツールを利用することも考えられるけれど、女性ボイスに聞こえるようにするには、まだまだ喉を犠牲にするみたいです。
なので、ココは、合成音声を使うのがベターです。
近年、合成音声は、昔のように、明らかに機械が喋っているような平たい発音ではなくて、人が喋っていると同様なレベルで、流暢に、感情を伴わせた抑揚のある発音をさせることが可能になっています。　すばらしい技術的進歩です。
私が、この音声合成に使っているものは、以下に示した商品ツールであったり、webサービスであったりします。
それぞれに特徴があるので、雰囲気とかで使い分けをしています。

 

【市販の音声合成ソフト】
�@エーアイソフト　かんたん！ AITalk3
�ACevio CS7
【webサービス】
�BText-to-Speech

 

今回は、�Bのwebサービスを使って作成した合成音声を使用してDAZ Studio PROでリップシンクをさせます。
喋っている音声の内容は以下の通りです。
これを音声ファイル（.wav）にしたものをDAZ STUDIO 4.12PROの32bit版で読み込んで3Dモデルに口の動きをさせます。

 

＜音声内容＞

 

 

２．DAZ STUDIO 4.12PRO（32bit版）でリップシンクさせる
なぜ、32bit版か？というと、64bit版には標準でリップシンク機能が搭載されていないから。
DAZ STUDIOの32bit版に標準搭載されているリップシンク機能は、大変優れたものであって、私はリップシンクさせる時は、これを必ず使用しています。
口の動きだけではなくて、瞬きや、頭の動作まで適切につけてくれます。

 

DAZ STUDIO PRO（32bit版）でリップシンクさせる手順を説明します。

 

�@音声ファイルを準備しておきます。
　なお、音声ファイルは、日本語が含まれるディレクトリーから読み込ませると、リップシンクさせた際の動作がうまくいかない（口が殆ど開かないといった不具合が発生する）ので、ドライブレターの直下に保存してください。

 

�ADAZ Studio 4.12PRO（32bit版）を起動します。

 

 

�Bリップシンクプラグインを開きます。
　メニューから「Window」→「Panes（Tabs）」→「LipSync」と進めると、リップシンク設定画面になります。

 

 

�C音声ファイルを読み込みます。
　「Load」ボタンを押して、�@で保存しておいた音声ファイルを読み込みます。

 

 

�DGenesis 8 Female用の定義ファイル（.dmc）の場所を開きます。

 

 

�E「Genesis3.dmc」を呼び込みます。

 

 

�F音声ファイルの設定完了
音声がGenesis 8 Femaleに認識可能になったら、音声ファイルが呼び込まれ、タイムラインに記録されていきます。

 

 

以上の手順で、Genesis 8 Femaleに音声合成を認識させることができました。
Genesis 8 Femaleが、うまくリップシンクしてくれているかを、タイムラインの再生ボタンを押して確認してください。

 

上記の手順でリップシンクさせている状況を動画キャプチャーしました。

 

 

 

上記手順で、リップシンクがうまくできるいることが確認できたら、次は、このリップシンクをDAZ STUDIO 4.12PRO（64bit版）で読み込んで、最終仕上げをします。

 

�@DAZ Studio 4.12PRO（64bit版）を起動します。
　 そして32bit版で作成・保存したリップシンクファイルを読み込みます。
　 上記32bit版で作成し保存したリップシンクファイル名は「Lipsync_Making.duf」
　 なのでこれをクリックします。

 

 

�A読み込んだGenesis 8 Femaleと同じモデルを新たに読み込みます。
　「Scene」画面には「Genesis 8 Female(2)」と表示されます。

 

 

�Bリップシンク動作をコピーします。
　 リップシンクさせたGenesis 8 Femaleのモーションを新たに読み込んだGenesis 8 Female（2）に複写します。　
　 そのために、下図に示した�@→�A→�B→�Cの手順を進めます。

 

 

 

�Cリップシンク動作をペーストします。
　これで、リップシンクの動作をメモリーにコピーできましたので、次に、それを新たに読み込んだGenesis 8 Female(2)にペーストします。
　 そのために、下図に示した�@→�A→�B→�Cの手順を進めます。

 

 

 

�D　以上でリップシンクの複写が完了
　32bit版から読み込んだリップシンクモーションを無事新たに読み込んだGenesis 8 Female(2)に複写できました。
これで、元のGenesis 8 Femaleは不要となりましたので、「Scene」画面上で「Genesis 8 Female」を選択し、マウス右ボタンから「Delete "Genesis 8 Female"」をクリックして削除します。

 

 

最終的に、以下の図に示すようになります。
新たに読み込んだGenesis 8 Female(2)に無事リップシンクモーションが複写できて、タイムラインに記録されていることがわかります。
これで、リップシンクモージョンが組み込まれた64bit版のGenesis 8 Femaleが完成しました。

 

 

しかしながら、この3Dモデルには、髪の毛、服装などを着せていないので、味気ないです。
画面左側の「Smart Content｝ペインから、好みに応じたアイテムを選択して着せます。

 

なお、上記で説明した手順に対して、
●なぜわざわざ32bit版でリップシンクモーションつけているのに64bit版で作業するのか？
●なぜ64bit版で読み込んだ32bit版からの3Dモデルから新たに読み込んだ3Dモデルにモーションを複写するのか？
という疑問があるかもしれません。

 

その返答は、以下の通りです。
●32bit版では、高品質なレンダリング画像出力が可能な「nVidia Iray」エンジンで行えないこと。
●32bit版から64bit版に読み込んだ3Dモデルは、特に眼の周辺の描写が崩れてしまっているので修正が必要ですが、その作業は煩雑なので、フィギュアからフィギュアへモーションのコピペで対応することで作業にかかる時間と労略が相当に軽減できるから。

 

 

３．リップシンクのアニメーション動画を作成する

 

リップシンクモーションを組み込んだGenesis 8 Female(2)に、髪の毛、服装ほかを着せます。

 

 

「3Dモデル読み込み・レンダリング」の項で説明した手順に従って「nVidia Iray」エンジンでレンダリングを開始します。
アニメーションを作成するので、フレーム0からフレーム2754までを連番画像で出力させます。
また、後で背景に画像や動画を挿入することを考えて、出力画像のファイル形式は「PNG」を選択します（透過画像出力が可能）
以下の図は、レンダリングを開始した時の画面キャプチャーです。

 

 

レンダリングは「nVidia Iray」で、1080×667（px）サイズでおこなっています。
以下の図のように連番画像として、指定した保存フォルダーに画像出力されていきます。

 

 

最初から最後のフレームまでの画像出力が終わったら、これらの連番画像から動画を作成します。
そのために、私が愛用している編集ソフトが、「Vegas PRO」です。
「Vegas PRO 17.0」を使った動画作成手順を以下に説明します。

 

 

連番画像から動画の作成手順

 

（１）「Vegas PRO 17.0」を起動します。

 

 

（２）「ファイル」→「開く」で、連番画像を保管しているフォルダーを開きます。

 

 

（３）格納フォルダーを開いたら、

 

 

 

（４）下記の画面に替わります。「OK」を押すだけです。

 

 

（５）以下の画面に替わります。「はい」を押すだけです。

 

 

（６）タイムラインに連番画像が全て並んで表示されている状態になります。

 

 

（７）レンダリングを以下手順で開始します。

 

 

 

（８）レンダリングが開始されます。

 

 

（９）レンダリングが完了。
　　「フォルダー」を開いて動画再生をして問題がないかを確認します。

 

 

 

以上の一連の手順で、リップシンク・アニメーションが完成しました。

 

 

上記手順で作成したリップシンクアニメーションです。

 

 

 

 

VEGAS PRO 18は通常価格は高価であるので、なかなか手が出せないという人に朗報。
2020年12月14日までの期間限定ですが、以下のQRコードからアクセスすると、大幅ディスカウントで手にすることができます。
必要とされている方は、このチャンスをお見逃しなく。