2019年09月22日

VTuberファンアート動画の作り方入門



星井まゆきさんのゲームOP風ファンアート動画を作ったのですが、その作り方を簡単に解説したいと思います。

以前、星井まゆきさんがSHOWROOM配信中に「自分のファンアートを作ってくれたら嬉しい」といった内容のことを話されていたのですが、僕の絵画能力は幼稚園児の頃から成長していなくて絵が描けないですし(笑)、何が作れるかなぁと考えた結果が動画作成でした。

絵心にあまり自信がない方でも、トライ&エラーを繰り返すことで同様のものが作れるのではないかと思います。


■3Dキャラクターモデル

まずは3Dキャラクターモデルを作らないと始まらないのですが、今は便利なツールがあって、


という無料のアプリなのですが、最初から用意されている3Dモデルをカスタマイズしていく形で目的とするキャラクターを作っていくことが出来ます。

VRoidMaking.png

まあそれでもなかなか思い通りに作っていくのは難しいのですが、少し調整しては別名保存してスクリーンショットを撮っておき、前回からイメージがズレているなと思ったら1つ前のプロジェクトファイルに戻してやり直すのを繰り返していけば、ゴールに近づいていくかと思います。

なお、服装などはテクスチャを差し替える方法になりますので、既存モデルから大きく異なるものは作ることが出来ません。

2019-09-16.png

ちなみに今回は、星井まゆきさん本人がBOOTHにて公開されている


この衣装テクスチャを利用しています。

そして、完成したら後述するUnityで読み込ませるために、VRMというファイルフォーマットでエクスポートします。


■Unity


元々はゲーム開発のためのゲームエンジンなのですが、今では映像制作や建築設計、VRアプリ開発などにも用いられているツールです。今回はこれを映像制作のメインツールとして使用します。


■UniVRM

Unity上にVRMファイルを3Dモデルとして読み込むためのアセットで、上記サイトで無料公開されており、インポート方法などの解説が載っています。


■UTS2.0

VRMのモデルをそのまま表示しても構わないのですが、アニメ調に調整するのに便利なので、

のアセットを利用しています。


■モーション作成

モーションのほとんどは手付けで作成したのですが、Unityアセットストアで販売されている


を利用しました。

VeryMotion.png

Unity上でモーション作成・編集がおこなえ、また開発者が日本の方なので、詳しい日本語マニュアルも付いています。


■モーションキャプチャ

snapshot1.png

「自販機」と「ダンス」のシーンのモーションだけは手付けではリアルな感じが出せないので、自作のモーションキャプチャシステムを使用しました。

vive.png

ハードウェアとしては、
  • HTC Vive Pro(初代でも問題ないです)
  • Viveコントローラ×2(上記に同梱)
  • Vive Tracker×3
を使用し、Trackerは腰と両足に使用しています。

モーションキャプチャシステムの作り方を解説し始めると膨大になりますので、ここでは省略させて頂きます。

なお、キャプチャしたモーションは、

この無料で公開されているアセットで保存してUnity上で利用できる形式に変換し、前述のVery Animationでカットしたり、手のポーズや表情アニメーションを追加したりしています。


■背景や小物の3Dモデル

には、背景や小物に使える3Dモデルが有料無料で公開されています。今回は、

などを使用しています。


■シーン作成

1つ1つのシーンごとは、Unityの

という機能を使って作成しています。

timeline.png

主にカメラの移動回転などのカメラワークのために使用しています。


■レンダリング

Unity公式で公開されている

このアセットを使用して、シーンごとに連番PNGとして出力します。mp4などで直接動画ファイルを出力することも可能なのですが、後述する動画編集ソフトで再圧縮がかかると画質が落ちますので、劣化しないPNGで出力します。

それを、


で、読み込んで無圧縮AVIファイルに変換します。


■BGM

BGMは以下のサイトで公開されている

を、使用させて頂きました。


■ボクセルモデル

2019-09-22 (2).png

2019-09-22 (3).png

一部のシーンで登場するボクセルキャラクターモデルは、


こちらの無料ソフトで作成し、OBJフォーマットでエクスポートします。

出力するとobj,mtl,png形式の3つのファイルが作成されますので、それをまとめてUnityに読み込みます。


■タイトルロゴ

snapshot.png

ロゴは、


を、使用して作成しました。

文字は1文字ずつ拡大変形させて多少ずらして並べると、それっぽくなります。


■動画編集ソフト

シーンごとに出力した動画は、

このソフトで編集していきます。無料版もあるのですがfilmoraのロゴ透かしが入るため、有料版を購入します。なお、購入の際に1千円割引されるクーポンコードを公開されているブログなどがありますので、「filmora クーポン」などでググるといいでしょう。


■動画編集

filmora上でBGMやAVIファイルを読み込み、並べていきます。

2019-09-22 (1).png

各シーンのつながりには「トランジション」を設定していき、シーンごとの色味やフィルタは「エフェクト」から設定していきます。

filmoraは「70年代」とか「VHSのゆがみ」といったエモいエフェクトが多くて最高です(笑)。

最後はこのアプリからMPEG4ファイルで出力して完成です。


■さいごに

この完成した動画は、さっそく星井まゆきさん本人に見て頂けたのですが、喜んで頂けたようで幸いです。こちらこそいつも楽しそうにお喋りする配信を見られて幸せです。ありがとうございます。



ラベル:星井まゆき
posted by 妹尾雄大 at 13:29| Comment(0) | Unity | このブログの読者になる | 更新情報をチェックする

2019年08月30日

声が低い人のためのVSTHostを使ったボイスチェンジャーの作り方

バ美肉化したいと思って恋声Roland VT-4を試してみたけど、元々の声が低くて可愛い女の子の声にならないと嘆いている人が多いかと思います。僕もずっとそうでした。そこで、自分用のボイスチェンジャーを作ってみることにしました。

現時点ではこんな声になれました。


基本的に無料のアプリで構成しています。なお、以下本文は、Windows10 64bit版を使用していることを前提で話を進めます。


■VSTHost

まず、VSTHostというアプリをインストールします。このアプリは後述するVSTプラグインを複数連結し、入力されたマイク音声にエフェクトをかけるために使用するものです。

サイトから「vsthostx64.zip」をダウンロードします。とりあえずここでは、「C:\vsthostx64」というフォルダを作成してそこにzipファイルの中身を展開します。


■VSTプラグイン用フォルダ

この後、複数のVSTプラグインをダウンロードしてインストールしていくですが、それらを入れておくために「C:\Program Files\VSTPlugins」という名前のフォルダを作成します。


■ノイズリダクションVSTプラグイン


「ReaPlugs VST v2.36 64-bit」をダウンロードし、インストーラを実行し、「C:\Program Files\VSTPlugins\ReaPlugs」にインストールします。


■ピッチシフトVSTプラグイン
をダウンロードし、zipファイルを展開し、中に入っている「RoVee.dll」を「C:\Program Files\VSTPlugins」にコピーします。


■ピッチシフトVSTプラグイン


の「Free Edition」をダウンロードして展開し、「Graillon-FE-2.2\Windows\Windows-64b-VST-FE」のフォルダの中に入っている「Auburn Sounds Graillon 2-64.dll」を「C:\Program Files\VSTPlugins」にコピーします。


■イコライザVSTプラグイン

「Windows (no installer)」をダウンロードします。「TDR Nova (no installer)\VST2\x64」の「TDR Nova.dll」を「C:\Program Files\VSTPlugins」にコピーします。


■VSTHostの初期設定

「C:\vsthostx64」の「vsthost.exe」を実行します。

2019-08-29.png

メニューの「File」→「Set Plugin Path」を選択し、右下の「...」ボタンをクリックし、「C:\Program Files\VSTPlugins」を選択して
「OK」ボタンを押します。

画面右端にある「Engine Output」と書かれたウィンドウの左上の鎖マークのアイコンをクリックします。

2019-08-29 (2).png


「0: Engine Input」の一番左にチェックマークを入れて「OK」ボタンを押します。

2019-08-29 (3).png

すると、「Engine Input」と「Engine Output」が線でつながったと思います。

ひとまずこれで保存してみます。メニューの「Plugin」→「Save Bank As」を選択し、「C:\vsthostx64」の中に「Default.fxb」として保存します。

一度アプリを終了して再起動して、直前と同じように線がつながっていれば成功です。

メニューの「Performance」→「Autosave Plugin Banks」を選択しチェックマークを入れます。

2019-08-29 (4).png

メニューの「Devices」→「Wave」を選択し、「Input port」を使用するマイクデバイスに選択し、「OK」ボタンを押します。

この状態で喋ってみて自分の声がスピーカーやヘッドフォン等から聞こえていれば問題ありません。

メニューの「File」→「New Plugin」を選択し、「C:\Program Files\VSTPlugins」の中にある「ReaPlugs」フォルダの中の「reafir_standalone.dll」をダブルクリックします。

画面上に「Reafir_standalone」が追加されたと思います。

2019-08-29 (7).png

前述の「Engine Output」の鎖マークアイコンをクリックし、「0: Engine Input」のチェックマークを外します。

2019-08-29 (8).png

「Reafir_standalone」の最上段の右から3番目のアイコンをクリックし、設定ウィンドウを表示します。

「Mode」を「Subtract」に変更します。その右側のチェックマークをオンにし、数秒待ってからオフにすると、その間にマイクに入ったノイズ音が記録されます。

これで、今後マイクに入ったノイズ音はある程度除去されると思います。この設定ウィンドウを右上の×ボタンをクリックして閉じます。

メニューの「File」→「New Plugin」を選択し、「C:\Program Files\VSTPlugins」の中にある「RoVee.dll」をダブルクリックして追加します。同様に「Auburn Sounds Graillon 2-64.dll」と「TDR Nova.dll」を追加します。

2019-08-29 (9).png

各プラグインの鎖マークアイコンをクリックし、「Engine Input」→「Reafir_standalone」→「RoVee」→「Auburn Sounds Graillon 2」
→「TDR Nova」→「Engine Output」とつながるように設定します。

この段階でマイクに向かって喋ると、少し女性っぽい声になっていると思います。

「Auburn Sounds Graillon 2」の設定アイコンをクリックし、ウィンドウを開きます。

2019-08-29 (10).png

左下の「PITCH-SHIFT」の下のダイアルをドラッグして右に回しながら、マイクに向かって喋って良い感じになるように調整します。僕の場合は「3.00」辺りがちょうど良かったです。設定が終わったらウィンドウを閉じます。

次に「TDR Nova」の設定アイコンをクリックし、ウィンドウを開きます。


右上の「IN」をクリックし、喋ってみると今の自分の声の周波数が分かると思います。


左下の「HP」と「LP」をクリックしてチェックを入れます。

画面上部の「HP」「I」「II」「III」「IV」「LP」のマークをドラッグしたり、「LP」ボタンの右側の山マーク(?)あたりの設定を変更したりしながら、良い感じに調整します。

一般的には、「HP」を右に移動して低音をカットし、高音を持ち上げる感じでしょうか。


■仮想ドライバ

VSTHostを一度終了します。


をダウンロードし、zipファイルを展開します。

「VBCABLE_Setup_x64.exe」を右クリックし「管理者として実行」をクリックし「OK」ボタンを押し、「Install Driver」をクリックします。


■各アプリでの使用方法

2019-08-29 (14).png

VirtualCastでは設定の一般を開き、入力デバイスを「CABLE Output (VB-Audio Virtual Cable)」に変更すれば、相手には変換された声が聞こえるはずです。

Clusterなど音声デバイスを選択できないアプリでは、以下の設定をおこないます。

コントロールパネル→ハードウェアとサウンド→サウンドの「オーディオデバイスの管理」をクリックします。

「CABLE Output」を右クリックし「規定のデバイスとして設定」をクリックします。同様に「規定の通信デバイスとして設定」をクリックします。


VSTHostを起動し、Devices→Wavesを開き、「Output Port」を「MME: CABLE Input(VB-Audio Virtual C)」を選択します。

なお、一番下の「Buffer」ですが、小さい数字にすることで遅延は減りますが、プチプチノイズが乗る場合がありますので、環境によって調整するのがいいでしょう。


■謝辞

D-ydqaxUYAIKwvW.jpg

なお、バ美肉化のためのアバターモデルはVRoid Studioを用いて作成しました。このアプリは僕のように絵心が壊滅的な人間でも3Dモデルを作成でき、VRMファイルをエクスポートできるすばらしいものです。開発者の方々に感謝致します。

また、上記のパジャマは、星井まゆきさん制作のBOOTH 星空パジャマ(3色セット) | まゆき星空通販を利用させて頂きました。
posted by 妹尾雄大 at 09:42| Comment(1) | バ美肉 | このブログの読者になる | 更新情報をチェックする

2019年08月03日

人工無脳VTuber配信テストをしてみた話

6月頃に自律的に動く人工無脳VTuberプログラムというものを作って、試しにSHOWROOMにて稼働テストをおこないました。


人工知能ではなく人工無脳なのでまったく無意味なことをただ喋り続けるのですが、リスナーさんが書いたコメントから単語を抽出して近い内容のことを喋るようにはなっています。

また、

ラノベ1万冊分を自動生成してみても、人工知能は産まれない


で、生成したラノベ1万冊分をたまにランダムで朗読する機能なども実装しました。

それからもう1ヶ月以上経過しているのですが、個人的にちょっと飽きてきて放置したままで、再開の予定はまだ立てていません(笑)。

リスナーさんとの対話成立を重視しようとすると、現状では大量のスクリプトを持つタイプになるのですが、それは作っていてあまり面白くないですし、文脈を理解させるいいアイディアも思いつかないので、しばらく放置になりそうです。
posted by 妹尾雄大 at 17:50| Comment(0) | 対話AI | このブログの読者になる | 更新情報をチェックする