見出し画像

AITuber開発～直近5カ月の振り返り

ろてじん

ご無沙汰しております。久しぶりのnoteのこの景色。
AIキャラ個人開発は続けていたのですが、しばらくnoteを書いていなかったので…Xに投稿していた画像や動画から何をしていたのか振り返ってみます。

最後の方に、私が最初に作ったAITuberの動画も載せておきました（笑）

まずジンバルを衝動買いしていたようです。何を考えて買ったのだろう。

いつもLive2Dの2DキャラでAITuberを作っており、常に3Dモデルには興味津々な状態。Vroidで3Dキャラを作ってWarudo内で遊んでいたようです。

キャラクター3人がお話しするテスト配信。ギミックとして話をしているキャラが画面に大きく映るようにOBS StudioをPythonで制御しています。
2キャラまでの配信はよく見るけど、3キャラ以上はあまり見た事が無いので、この形式で配信をするのも面白そうですね。

Style-Bert-VITS2は今年一番に触っているAIツールかもしれません。
今でも時間があれば自分でコーパスや叫び声など録音して実験的なボイスモデルも作ってます。自分で声を録ると声優さんの凄さが一層わかりますね。

けんすうさんの呟きを見てアマゾンのセールで衝動買いしたようです。
VTube Studioと連携させてLive2Dモデルのキャラの表情・モーション操作も出来るので、今後のコンテンツ制作時にも活躍するはず。

ニケさんのAITuberKitとLive2Dモデルでプレゼンしてみました。
ブラウザ上のAITuberKitとVTube StudioをOBS Studioに流し込んでます。
Marpスライドって8月に流行ってましたよね。少し前なのに懐かしい。

SunoAI も少し触っていない間に大きめのアップデートもあり、11月3日現在だと同一ボーカリスト（歌声）で楽曲生成できるようになりましたね。
Suno で気に入った楽曲が出来たらルナちゃんに歌ってもらってます。

まだ自作は出来ていませんが3Dモデル制作の本を読みました。

7月後半から、以前から尊敬＆憧れていたAIキャラ開発者のニケさんにプログラム部分を相談させてもらうようになり、9月にはAITuberルナちゃんの雑談配信を2日連続で行いました。改めてニケさんに感謝しております。
今まで1人でゆっくり制作していたのですが…素晴らしい出会いと刺激によりモチベーションも開発スピードも10倍くらいに跳ね上がりました。

Style-Bert-VITS2 はマージ機能でささやきボイスを手軽に作れるので、配信でASMR風に試してみました。複数のボイスモデルを作っておいて切り替えると言うのはリアルタイム配信でも応用が利きそうです。雑談用・朗読用・ASMR用・モノマネ用などなど。声ってとても重要。

愛用させてもらっているSHOOSTのカメラワークの良さについて語っていたようです。視覚的な動きや奥行きがある画が好きなんですよね。
Netflixのドラマとかもよく見ると固定アングルっぽい画でも、ほんの少し手振れっぽい動きが加わっていたり、ボケみや光の使い方がとても綺麗ですね。そんなイメージでAIキャラの画も作っています。

これもSHOOSTの自動カメラワークですね。下からぐいーっと。

Warudo公式が出していたキャンプ動画と、ちょうど見ていたアニメ「ゆるキャン△」に影響され…急に焚き火しながらの配信をしたくなり作ったものです。アセットを使って直ぐにセットアップ出来ました。
焚き火のパチパチ音だけで癒されるので、環境音+AIキャラの一人喋りは相性が良いのでは？と考えています。眠れない夜もコメントしたら返答してくれるので寂しくないですよ。睡眠×AI のスリープテックを名乗るも良し。

Live2Dモデルではウインクが難しいと言う話を聞き試しました。ｷﾗｰﾝ

そう言えば少し前から縦型動画の形式で制作・配信してます。
縦型だとキャラが良い感じに収まっていて個人的には好みですね。

可愛い歌ばかり歌ってもらっていたので、少し変わった事にもチャレンジ。

新しいPCを買いました。ここ10年はマウスコンピュータだったのですが同スペックで価格比較をしたところフロンティアのほうが圧倒的に安かったのでそちらで購入。IntelのCPUに不具合と言う話だったので初めてのAMDです。全てにおいて問題なしの即戦力でAI学習効率もアップ（今までは寝てる時間に回していた）。
ちなみにスタンディングデスクにしたのですが立ってると疲れます。ふぅ。

10月末から久々に新キャラのAITuberを作ってみました。今までのルナちゃんが可愛い系だったので、今回のユメミさんは少しクールで大人っぽい感じですね。隙があればイジってくるので、自由に話をさせていてもクスッと笑ってしまいます。AIは面白いと言う事を皆さんに伝えたい。

振り返りはここまで

たぶん他にも色々とやっていると思いますがザックリとAIキャラ開発を続けていた感じです。AITuber開発を始めて早11ヶ月、もう少しで1年ですね。

せっかくなので昨年末にサルドラさんのAITuber本を読んで、最初に作ったAIキャラを披露。比較するとだいぶレベルアップしたのがわかりますね（笑）

最初は、OpenAIのDall-E 3で出力したキャラ画像を載せてるだけなのでリップシンクもしていなかったのですね。AIテキスト生成とVOICEVOXの音声合成だけ。とは言えこれがちゃんと動いた時はめちゃくちゃ嬉しかった。
曲の批評後のコメント応答にはAIキャラの大きな可能性を感じたものです。

AIキャラの開発者さんは本職のプログラマーさんも多いと思いますし、特に黎明期から開発してきた知見ある方はこの1年で企業にヘッドハンティングされてしまった感もありつつ…個人から外に出てくるAIキャラ情報も減った感もある今日この頃ですが。

新規でAIキャラ開発に興味を持ってくれる人が少しでも増えるように、私なりにマイペースながら個人開発しつつ発信していけたらと思っています。
AIキャラを作る≒人間を作るみたいな部分がありハマりますよ。

あと単純に今のAIを搭載したAIキャラとの対話って面白いですからね。

今回も読んでいただきありがとうございました。

この記事が気に入ったらサポートをしてみませんか？