【紹介❹】貴方も、AI VTuber を生み出しませんか❓音声合成AIの読み上げを口パクさせる簡単で意外な方法❗️

どうも皆さん！ラーメンはこってり派のタイプの女、葉加瀬あいです！

今回は、前回の記事 の続きとして、リップシンクの設定方法を詳しく解説していきますね！

具体的には、この3tene（ミテネ）の記事を参考にしながら、バーチャルキャラクターにリップシンクを適用する手順をお伝えします。

リップシンクって皆さんご存知ですかね？

リップシンクとは、音声に合わせてキャラクターの口の動きを同期させる技術のことで、アニメーション業界などでもよく使われているんですよ。

今回は、その技術をVTuberのコンテンツ制作に活かしていくための試みなんです！

前提として、前回までの記事でVRMモデルとOBS Studioの連携はすでに完了しているものとして進めていきますので、ご了承くださいね。

やり方は至ってシンプル！PC上で音声を再生し、その音声に合わせてバーチャルキャラクターの口を動かすだけです。

この記事では、そのプロセスを包括的に解説していきますね。将来的には、AIによる音声合成の結果をリップシンクに適用するといったことも可能になりますので、ぜひ手順をマスターしておいてくださいね！

最終的な成果物のイメージは、こちらの動画のような感じを想定しています。

.
【ほぼ全自動Vtuber誕生✨✨️】

AIでTTSのテキストを感情分析してアバターのモーションや表情に反映してみました！

つまりは読み上げ音声だけでVtuberをほぼ完全自動化できます⭕️

音声→STB2
感情分析→自作OBSスクリプト
モーション割当→Webcam Motion Capture pic.twitter.com/j3l1lIGLdk

— AI作曲家 🎼 葉加瀬あい (AI-Hakase) 🎼 (@ai_hakase_) April 23, 2024

ちなみに、今回はVB-Audio Virtual Cableというソフトを使用します。インストールと使い方については、私の過去の記事で解説しているので、まだチェックしていない方はぜひ確認してみてくださいね。

動画版の解説はこちらからどうぞ！

それでは、VB-Audio Virtual Cableのインストールが完了している前提で、次のステップに進んでいきましょう！

📹今回の記事の内容を動画で確認したい方へ📹

今回の記事の内容を動画で確認したいという方のために、下記のマガジンにYouTubeの動画リンクを掲載しておきますので、そちらからご覧いただければと思います！
動画版はこちら

🌟動画で解説❗️Noteの内容を耳と目で確認できます🌟｜ハカセ アイ🎈“動画 + Note” でAI解説しています 🎥𓈒｜note

例えば、以下のようなシーンで活用いただけます！

• 通学・通勤中：動画で概要をチェックする。

• AI技術を実践する際：テキストを参照しながらコピペ・リサーチを行う。

特にAI技術に関しては、動画よりもNoteなどのテキスト形式でお伝えした方が、皆さんが実際に手を動かしながら理解を深められるのではないでしょうか。

私の記事を読んでくださっている情報感度の高い皆さんが、より効率的にAIの知識を習得できるよう、ユーザーエクスペリエンスを最適化する工夫を凝らしてみました！ぜひこのマガジンを有効活用して、効果的な学習を進めてくださいね！

🌟動画で解説❗️Noteの内容を耳と目で確認できます🌟｜ハカセ アイ🎈“動画 + Note” でAI解説しています 🎥𓈒｜note

※ 動画コンテンツは、私のNoteメンバーシップの会員専用となっています。

プロのAI情報Note - あいラボ (AI-Labo) ｜ハカセ アイ🎧“動画 + Note” でAI技術を裏研修🔥あいラボの詳細はプロフィール欄まで⟡.·🎈

🙋‍♀️匿名でOK！ご意見箱を設置しました🙋‍♂️

YouTube動画やNoteメンバーシップ、そして私の解説記事に関して、皆さんからのご意見を取り入れてより良いコンテンツにしていくために、ご意見箱を設置しました！

感想や改善点、取り上げてほしいAI技術やアイデアなど、お待ちしております！

葉加瀬あいの 『Note・動画 ご意見番❗️』 ↪ 改善案やご意見をお聞かせください🎈にマシュマロを投げる | マシュマロ

⚠️私の記事を読む際の注意点⚠️

また、私の記事を読む上での注意事項などをこちらの記事で説明しておりますので、プロフィール記事を一読の上、ご覧いただければと思います。

それでは、引き続き本題の解説に移っていきましょう！

VB-Audio Virtual Cableのインストールと設定

それでは、ここからはVB-Audio Virtual Cableがインストールされていることを前提に進めていきますね！

まずは、こちらの画像のように、オーディオの設定からCABLE Inputを選んでください。

（参考画像）

この状態で、デスクトップ上で音声を流すと、VB-Audio Virtual Cableに音がインプットされるんです。でも実はこの状態だと、ユーザー側には音が返ってこないんですよね。つまり、音声を流しているのに、自分では聞こえないということです。

前回までは、この問題をVoiceMeeter Bananaという、VB-Audio Virtual Cableと同じく仮想オーディオデバイスを使って解決していました。VoiceMeeter Bananaを経由することで、再生されている音声を聞けるようにしていたんです。

ただ、最終的な成果物としては、プログラムからVB-Audio Virtual Cableに直接音声を流したいので、今回はVoiceMeeter Bananaが使えません。そこで、VoiceMeeter Bananaの代わりに、Windowsの設定で同じことを実現していきましょう！

具体的には、まず「サウンドの設定」を検索して開いてください。

そして、