AIを駆使して最小限のお金と労力でVtuberになろう！
こんにちは
今回はタイトルのとおり、AIを駆使して最小限の労力でVtuberになりましょう。
具体的に言うとTalking Head Anime+RVC+VC Client+ChatGPT(これはいらない)の組み合わせです。知ってる人は読む必要ないです。
前提
まず前提として、必要なものがあります。
・そこそこのスペックのPC
・FaceID搭載のios端末
・マイク（当たり前）
これがない場合は普通の方法の方がお金はかからないかと思います。
Vtuberに必要な要素
次にVtuberに必要な要素として、
・動く絵
・声（無いのもある？Vはほとんど見ないので無知）
の2つが必須だと思います。
特に動く絵についてlive2dを用いる事がほとんどで、自分で作る場合は絵を描くのとlive2d用にパーツ分けなど、かなり面倒な作業を行う必要があります。またそもそも絵がうまくない場合は作成できてもクオリティは微妙なものになります。制作を依頼する場合は具体的にどのくらいかかるかわかりませんが、ざっと調べた感じ最低でも5万円はかかりそう。
本題
そんなことはわかってんだよ！！！！という前置きをしたのでさっさと本題に入ります。
今回AIに任せるものは
・元になる絵の生成
・絵を動かすこと
・いい声を出すこと
の3つになります。
それじゃ1つ1つ具体的に説明していきます。
元になる絵の生成
stable diffusion使え。終わり。
次の絵を動かすことを見てから再度見直すことになると思うけど、
このLoRA使うといい感じに使いやすい絵が生成できるかも
絵を動かすこと
これが1番重要なことだと思います。
ではどう動かすかというと
Talking Head Anime from a Single Image 3というGoogleのエンジニアが趣味？で作ったすげーやつで動かす。AI関連に詳しい人ならもう知ってると思うので、この記事はもう読まなくていいです。
これの何がすごいかというと、1枚の絵さえあれば結構高クオリティのlive2dのように絵を動かすことができます。
具体的にこんな感じ
なんかこれ関連の作者のブログの記事とか全部消えてるんだけど、なんか炎上とかしたんすかね？
で導入方法はこの方の動画を見ればできます
って、この動画が既に存在してるのにわざわざ内容を劣化させたものを今更書く必要ある？と読んでる人は思っていると思いますが、実際そのとおりです。じゃあなんで書いてるのって、この動画のコメントにも大量についているCould not read imageというエラーで例に漏れずうまくいかなかったので、そういう人向け+このあとの+αのために書いています。
でやり方は、talking-head-anime-3のgithubにフォークされているnat-chanという方のcutalkでエラーは相変わらずでるけど、なんかよくわからんけどうまく読み込めた。
githubの使い方もよくわからんしなんもわからんけど1週間くらい色々試行錯誤してできたので、素直にそのままやり方を丁寧に書くのはムカつくから、詰まってる人もここからは自力で頑張れ！！！
声
元から声がいい人はそのままでいいです。
声が終わってる人向け
声に関してはボイスチェンジャーという選択肢があるけど、地声のままだといい感じに変換されないし、裏声はきついし、結局元の声の影響がかなりでかいのでいまいち使いにくいと個人的に思っています。
そこで今回使うのはRVC+VC Clientです。これも散々に話題になっているので、知ってる人は飛ばしておけです。
間違っているかもしれませんが、ざっくりいうと
RVCが変換後の声のモデルデータ
VC Clientがそのモデルを使って音声を主力できるソフト
なので自分でモデルのデータを作りたいという場合以外はVC Clientの導入だけで大丈夫です。具体的な方法はこの方の記事とか読んで。
モデルデータはbooth等で入手できます。
RVCでも元の声の影響はボイスチェンジャーに比べて低いとはいえあるので、自分と相性のいいモデルを見つけてください。
私は元の声が低いのもあって普通の女性の声のモデルデータより、下記のショタボイスが比較的自然な感じで変換されました。変換後はショタというより男児ですが・・・。
実際に使用した例
俺です。
チャンネル登録してくれ～～～～～～～～～～～～～～～～～～～～～～～～！！
まとめ
実際にやってみて思ったのはあまりにも自分の喋り方や滑舌が終わっていることを痛感した。
声やVのガワをAIの技術で埋めることはできるが、そもそもの中身がダメだとどうしようもない。完
この記事が気に入ったらサポートをしてみませんか？