オリジナル3DCGモデルを使ってリップシンク動画作成

オリジナル3DCGモデルを使ってリップシンク動画作成

DAZ STUDIOで日本人女性モデルを簡単に作成する方法」の記事で紹介した方法で作成したモデルを使って、リップシンク動画を作成しました。
こんな動画です。 内容的には、WORDPRESSテーマ(デザインプラスのTCD)紹介となっています。

 

この動画を作成するにあたって、リップシンクはDAZ STUDIO PRO4.14(最新バージョン)の32bit版を使っています。 詳しいリップシンクの手順は、「リップシンク」の記事で紹介していますので、そちらを参照してください。

 

DAZ STUDIO PROでリップシンクアニメーションさせた後、NVIDIA Iray エンジンでレンダリングして背景透過画像(PNG形式)を連番出力し、VEGAS PRO 17.0で動画変換してリップシンク動画を作成しました。
レンダリングには時間がかかるので、より短時間で実行するため、レンダリング条件を変更して、Max Samples=500(デフォルト値5000の10分の1)、Max Times=720(デフォルト値の10分の1)にしています。 そのため、画像の品質はデフォルト値より劣りますが、さほど気に止めるほどではありません。というか、後で「Luminar4」で連番出力した画像を修正して同期処理すれば改善できるので。

 

背景は透過となっていますので、好きな画像や動画をVEGAS PROで編集して組み込むことができます。
今回、TCDの紹介画像をお借りして、VEGAS PRO 17.0で背景画像として使用しました。
以下のように、背景に何もないよりも、ぱっと見で、WEBサイトの説明ということが伝わりやすくなりますね。

 

但し、しゃっべっている女性の顔の色・艶は、もっと改善の余地があります。
DAZ STUDIO で時間をかけずにレンダリング・出力しているので仕方ありません。

 

女性の顔の色・艶を改善するために、私が愛用している編集ツールが、上記で触れた「Luminar4」です。
以下、Luminar4を使って、女性モデルの顔の色・艶のメークアップの手順を紹介します。

 

Luminar4を使ったメークアップ手順

 

【1】Luminar4の起動と画像の読み込み
  図に示した手順で、画像フォルダーを指定してすべての連番画像を読み込みます。

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

【2】全画像読み込み終了後、編集画面に切り替え

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

【3】編集画面

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

【4】プリセットの全画像への適用(同期調整)

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

【5】同期処理後のファイル保存

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

以上の手順で、Luminar4を使った女性モデルのメークアップができたので、VEGAS PRO17.0で画像⇒動画に変換したのが、次の動画です。 女性の雰囲気がかなり変わっていると思います。

 

この動画ですが、Luminar4で画像を編集したことにより背景が非透過の画像になったことで、動画の背景に画像や動画を表示させることができなくなりました。 したがって、Luminar4で画像処理する際には、予め、背景に入れたい画像ないし動画を組み込んでおいてから、Luminar4で編集することが必要になります。 その際には、一旦、背景に画像ないし動画を入れた動画を、ffmpegで画像に変換しておいて、それをLuminar4で編集し、VEGAS PRO17.0で動画に変換するという手順を採ることになります。

 

ffmpegで動画を画像にする手順

 

【1】ffmpegをダウンロード・インストールする

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

【2】インストール後、C:\ffmpeg\binフォルダーにffmpeg.exeが格納されているので、このフォルダーに画像に変換したい動画を格納する。

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

【3】動画(mp4)を画像(png)に変換
  ffmpegの操作は、コマンドラインから行うことになるので、windows10であれば「ここに入力して検索」に「cmd」を入力して、コマンドプロンプトアプリを起動する。

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

【4】コマンドラインに以下を入力する。
cd C:\ffmpeg\bin
ffmpeg -i Luminar2.mp4 -vcodec png image_%03d.png

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

動画が画像に変換されている状況です。

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

  動画から画像への変換が終了した状態です。

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

  変換後の画像は以下のように「ffmpeg.exe」のあるフォルダー内に出力されています。

 

オリジナル3DCGモデルを使ってリップシンク動画作成

 

【5】Luminar4で画像をプリセット編集する。(上述した手順と同じ手順)

 

【6】プリセット編集後の画像をVEGAS PRO 17.0で動画に変換する。

 

以上の手順で作成した動画を以下に紹介します。
この動画では、字幕も挿入しています(VEGAS PRO 17.0で挿入は簡単にできます)。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

関連ページ

DAZ STUDIO PROの入手
DAZ STUDIO PROの入手について紹介しています。
DAZ STUDIO PROのインストール
「DAZ STUDIO PRO」のダウンロードとインストールについて2つの方法を紹介しています。1つはマニュアルインストール、もう1つはDAZ INSTALL MANAGER(DIM)による方法です。
コンテンツフォルダーの移動手順
DAZ STUDIOのコンテンツをCドライブ以外のフォルダーに移動する手順について紹介しています。
コンテンツインストール先の変更手順
DAZ STUDIOのコンテンツをCドライブ以外のフォルダーにインストールする手順について紹介しています。
DAZプラチナクラブ会員
DAZ 3Dにはプラチナ会員という有料の会員制度が設けられています。会員登録のメリットや会員登録・脱会の方法について詳しく紹介しています。
DAZ Studioの起動
DAZ STUDIO PROの起動方法、レイアウトの変更について説明しています。
DAZ Studioで使用する3Dモデル
DAZ 3Dで使用するキャラクターモデルの入手方法について説明しています。
3Dモデル読み込み・レンダリング
3Dモデルを読み込んで、レンダリングするまでの手順を詳しく説明しています。
リップシンク
リップシンクとは、言葉に合わせて口を動かす動作のことを指します。 DAZ STUDIO PROを使って、3Dモデルに、このリップシンクをさせることができます。 このようなリップシンクアニメーションの作成について説明しています。
リップシンク動画作成のチュートリアル動画
「リップシンク」の項目で、リップシンクの作成方法を詳しく説明しましたが、文章が主体なので、分かりづらい部分があるかと思い、チュートリアル動画を作成しました。繰り返し閲覧いただくと、理解が促進されるかと思います。 今までに作成してきた3DCGアニメーション作品についても紹介しています。
音声合成
無料で、しかも外国語もネイティブに近い発音で喋ってくれる音声合成ソフトなどについて紹介しています。
動画の高品質化ツール
画像と同じですが、ビデオも単純に拡大すると画質は落ちてしまいます。 しかし、最近は技術が進歩していて、AIを使って解析し、不足している情報を補間しながら、高画質なビデオに自動変換するプロフェッショナルツールが提供される良き時代となっています。 そのツールがVideo Enhance AIです。
動画に字幕を入れる−YOUTUBE編
DAZ STUDIOで3DCG動画を作成したら、YOUTUBEやVIMEOなどの動画サイトにアップロードすると思いますが、その際に「字幕」を入れておくと動画の付加価値が高まります。「字幕」を動画に入れるための方法を、ここでは紹介します。
動画に字幕を入れる−VREW編
DAZ STUDIOで3DCG動画を作成したら、YOUTUBEやVIMEOなどの動画サイトにアップロードすると思いますが、その際に「字幕」を入れておくと動画の付加価値が高まります。「字幕」を動画に入れるための方法を、ここでは紹介します。ここでは、YOUTUBEなどの動画サイトに動画をアップロードする前に、予め動画に字幕を入れる方法として、無料で利用できる「VREW」というツールを取り上げます。
品質劣化なく動画を高圧縮
動画の高品質を維持しながら高圧縮することができるツール、Wonderfox社のHD Video Converter Factory PROについて紹介しています。
HD Video Converter Factory Proによる動画ファイル圧縮のデモ
「HD Video Converter Factory Pro」を 使った動画圧縮の処理の流れと圧縮がどこまでできるかに ついて以下記事で紹介します。
3DCGモデルをリップシンクで歌わせる
DAZ STUDIO PRO を使って3DCGモデルを歌わせる際に、ボーカルと音楽をきれいに分離して、ボーカルのみを抽出してからリップシンクさせることで、曲と口の動きを一致させることができます。 ボーカルと音楽が混ざったままでは口の動きがおかしくなったり、曲のタイミングと合わないといった問題が発生してしまいます。 使用する曲からボーカルと音楽をきれいに分離して、ボーカルのみを使ってリップシンクさせるとこの問題の解消につながります。 ここでは、曲からボーカルと音楽をきれいに分離する方法について紹介します。
DAZ STUDIOで日本人女性モデルを簡単に作成する方法
日本人女性モデルを使って3DCG画像や動画を作りたいけど、どうしたら日本人モデルを入手することができるだろうか? そんな悩みの解決に繋がる方法があります。 しかも、写真さえ入手できれば、大変簡単に日本人3DCGモデルを作成することができます。 その方法について紹介します。
動画を一旦画像に変換して解像度をあげて動画を高品質化する方法
このページでは、一旦作成した動画を、色彩や解像度をより一層高める方法について紹介しています。