ろてじん

政治・経済・テクノロジーの情報収集効率化の為のアカウントです。最近はAIツールを触って楽しんでいます。

ろてじん

政治・経済・テクノロジーの情報収集効率化の為のアカウントです。最近はAIツールを触って楽しんでいます。

AITuber開発～直近5カ月の振り返り

ご無沙汰しております。久しぶりのnoteのこの景色。 AIキャラ個人開発は続けていたのですが、しばらくnoteを書いていなかったので…Xに投稿していた画像や動画から何をしていたのか振り返ってみます。 最後の方に、私が最初に作ったAITuberの動画も載せておきました（笑） まずジンバルを衝動買いしていたようです。何を考えて買ったのだろう。 いつもLive2Dの2DキャラでAITuberを作っており、常に3Dモデルには興味津々な状態。Vroidで3Dキャラを作ってWaru

ろてじん

    • 8秒の音声からAITuber用オリジナルキャラボイスを作る【モデルデータ制作】備忘録

      8秒の音声からオリキャラ音声モデルを作る ザザッとワークフローを備忘録として書き残しておきます。 今回の記事はこちらの saretra05 さんの動画のモデル制作手法にトライしてみたくなり、更に自分なりの細かいアレンジを加えたものとなります。 とにかく最初の「8秒の音声の制作」が一番重要でした。 今回のモデルデータ制作は「GPT-SoVITS」のゼロショット学習に使うための最初の10秒以内のデータの質が全てと言っても過言ではありません。 まず「恋声」というソフトを使っ

      ろてじん

      • AITuber成功戦略：バーチャル世界で輝くための完全ガイド

        ※この記事は5/2まで無料だった「Gemini 1.5 Pro」性能評価の為に出力した内容に少し加筆したものです（第六部の6-1、6-2のソフト名の部分のみ）。 AITuber活動のアイデアやヒントにはなるかもしれません。 AITuber成功戦略：バーチャル世界で輝くための完全ガイド AIがVTuberとして活躍する時代が到来しています。その無限の可能性は、バーチャル空間におけるエンターテイメントのあり方を変革する力を持っています。しかし、競争の激しいバーチャル空間で存在

        ろてじん

        • AITuberを人間っぽく自然に動くように設定する【キャラクターモーション制作】備忘録

          AIと言うだけで嫌忌されるので人間っぽく擬態する 　チューリングテストでは「人間が対話している相手を機械だと見抜けなければ、その機械は人間と同等の知性を持っていると見なせる」と言う事らしいので、AIのVTuberも「見ている人がAIだと見抜けない」ように振る舞えれば、人間のVtuberと同じような親近感を持ってもらえるのかな…なんて。 　そんなこんなで前回のnote記事から少し時間は空きましたが、最近のAITuber開発では「人間の模倣」を意識してアイデアを練り、色々と実

          ろてじん

          AI+VTuber(AITuber)制作過程で試した事まとめ(2/8～2/24まで)

          2/24 色々と組み合わせてMVを作りました。 作曲AI「SunoAI」のバージョンアップがあったのでこれを用いてMVを制作しました。これは楽曲の部分は歌詞は私で曲と編曲は「SunoAI」、ビデオは「VTube Studio」の「Live2D」モデルを動かし、「OBS Studio」の視点切り替えで3カメにしています。歌詞字幕はリリックビデオを作れる「TextAlive」です。今回は「Topaz Video AI」で4Kに高画質化もしてみました。 2/18 「OBS St

          ろてじん

          AI+VTuber(AITuber)制作過程で試した事まとめ(2/8～2/24まで)

          ろてじん

          ChatGPTでは不可能【膨大な量のテキストからAITuberの参考用セリフを出力】AIプログラミングツールCursor活用法

          タイトルは仰々しいですがAIプログラミングツール「Cursor」が、AITuberのデータ作りにも非常に便利で、活用し甲斐があったので使い方をメモしておきます。 結論から言うと、ChatGPT4のトークン数を超える大ボリュームのテキストやjsonを参照させることが出来るということです。 本来「Cursor」はプログラミングツールなので、プログラミング用途に使用することが一般的ですが、裏ではChatGPTが動いているので、テキスト生成も可能です。 そのため、プロジェクトの全

          ろてじん

          ChatGPTでは不可能【膨大な量のテキストからAITuberの参考用セリフを出力】AIプログラミングツールCursor活用法

          ろてじん

          AITuberに魂を吹き込むキャラクターモーション【VTube Studioキーバインド】実装について考えてみる

          ふと考えてみると自分は現在のVTuber事情を知らない AIを使ったVTuber、すなわち「AITuber」を作成することを考え始めてから約2ヶ月が経過しましたが、重要な点を見落としていました。 それは「私は現在の人間のVTuber事情を全く知らない」と言う事です。 AI技術の面白さに夢中になっていましたが、AITuber制作においてはそろそろそれだけでは不十分かもしれないと感じてきています。 2022年にエニーカラー、2023年にはカバーが上場したので、決算説明資料など

          ろてじん

          AITuberに魂を吹き込むキャラクターモーション【VTube Studioキーバインド】実装について考えてみる

          ろてじん

          Style-Bert-VITS2 のAPIで複数話者の会話【台本はChatGPTに書いてもらおう】AITuber制作の備忘録2

          前回の記事の続きになります 前回、台本を作成し、それを「Style-Bert-VITS2」のAPIを使用して複数話者で読み上げるところまで実現しました。今回は、発話に合わせてLive2Dモデルのリップシンクを実装してみました。 今回の成果物はこちらです。 いつも前提を書き忘れがちなので、ここに記しておきます。 AITuberプログラム（Python） 音声合成には「Style-Bert-VITS2」のAPIを使用 キャラクターはVTube Studio（Live2

          ろてじん

          Style-Bert-VITS2 のAPIで複数話者の会話【台本はChatGPTに書いてもらおう】AITuber制作の備忘録2

          ろてじん

          Style-Bert-VITS2 のAPIで複数話者の会話【台本はChatGPTに書いてもらおう】AITuber制作の備忘録

          Style-Bert-VITS2以前の記事でも書きましたが「Style-Bert-VITS2」は、感情や発話スタイルを自由に強弱をつけて制御できる上に、モデルの学習やマージも可能なツールです。 せっかく抑揚のある発話が可能なので、会話形式のプログラムを作ってみました。ゆっくり解説のようなイメージですね。 今回の成果物は以下の通りです。 台本は以下のようなもので、これはChatGPTのGPTsを使って作成しました。 最初のセリフを与えて、2人の会話形式で文章を生成してもら

          ろてじん

          Style-Bert-VITS2 のAPIで複数話者の会話【台本はChatGPTに書いてもらおう】AITuber制作の備忘録

          ろてじん

          DJスタイルAITuber制作記録【AIチューバーの最も重要な要素について】様々なバリエーションを試作してみた

          DJスタイルのAIチューバー制作の副産物 現在のAIチューバーといえば「視聴者からのコメントに対してリアクションを返す」定番のスタイルがあります。私が制作しているDJスタイルのAIチューバー制作では、楽曲の紹介や解説後に感想コメントを読み上げる部分を実装しています。せっかくなので、コメントを積極的に拾い、トークする部分のプログラムを分離してみました。定番のトークモードと言う事です。 まず、今回の生成物はこちらです。 大まかなシステムの流れとしては まず、事前に用意したオ

          ろてじん

          DJスタイルAITuber制作記録【AIチューバーの最も重要な要素について】様々なバリエーションを試作してみた

          ろてじん

          AIにお願いして自分の欲しいアプリを作る【プログラミング初心者がAIを活用】AITuber制作過程の副産物

          AIプログラミングツール「Cursor」を使うおはようございます。 今朝、リファクタリングと言う言葉を覚えた、ろてじんです。 最近は作業中に「ラクをしたい」と思うと、すぐにAIプログラミングツール「Cursor」を使って自分でアプリを作っています。簡易的なものであれば、探すより作る方が早いのですね。 簡単な「Cursor」の操作方法は次のようになります。（画像参照） 「右側の赤い矢印」の部分からプロンプト指示して、AIの返答のあと「緑の矢印」の/editでコードの作成・修正を

          ろてじん

          AIにお願いして自分の欲しいアプリを作る【プログラミング初心者がAIを活用】AITuber制作過程の副産物

          ろてじん

          Style-Bert-VITS2 をAPIで叩いてみる【プログラミング初心者がAIを活用】AITuber制作の備忘録

          Style-Bert-VITS2「Style-Bert-VITS2」は、感情や発話スタイルを自由に強弱をつけて制御できる上に、モデルの学習やマージも可能なツールです。 1月9日には「Style-Bert-VITS2」に大幅なアップデートが行われており（少し前にAPIでも叩けるようになっていたので）早速、試してみました。 今回も自分用のメモ程度の備忘録になります。 API Server 「Style-Bert-VITS2」をセットアップした環境でpython server

          ろてじん

          Style-Bert-VITS2 をAPIで叩いてみる【プログラミング初心者がAIを活用】AITuber制作の備忘録

          ろてじん

          DJスタイルのAITuber制作記録【プログラミング初心者がAIを活用】コンテンツの未来を考える

          皆さん、あけましておめでとうございます。 　年末年始に制作したAITuberの紹介。DJラレリルナ（ルナちゃん）が楽曲を一緒に聴いて批評してくれます。DJスタイルのAITuberはまだ珍しいのではないでしょうか？ 　このシステムは、音楽生成AI「Suno AI」で作った楽曲を、彼女が一緒に聴いてくれて曲の聴き所を解説 & 応援メッセージを送ってくれるので、作詞をした人の自己肯定感の向上に繋がる仕様になっています。 AITuberの制作とAIプログラミングツールの活用 　

          ろてじん

          DJスタイルのAITuber制作記録【プログラミング初心者がAIを活用】コンテンツの未来を考える

          ろてじん

          話題の音楽生成AI【Suno AI】を3週間と試した事＆新たに試したAI関連まとめ

          音楽制作に関わる方や有名インフルエンサーが話題に取り上げたようで、「Suno AI」の知名度が一気に上がったように感じます。 実際にこんな素晴らしいクオリティの音楽がAIで作られるなら、様々なビジネスや個人の用途に使える可能性がありますね。 「世の中のテキスト情報」＝「全て歌になる」という感覚です。 例えば、SNSと音楽AIを組み合わせれば、つぶやきやブログが歌になるかもしれません。私自身1日に約20曲を生成し、メロディが良い部分、リズムを変えたい部分、歌詞を考えたい部分など

          ろてじん

          話題の音楽生成AI【Suno AI】を3週間と試した事＆新たに試したAI関連まとめ

          ろてじん

          最新の音楽生成AIとChatGPTで歌詞ビデオを作ってみた【驚異の進化を遂げたSuno AI】

          最近はAIツールの進化が目まぐるしく、毎日話題の新しいツールなどを試して楽しい日々を過ごしています。本当に良い時代になりました。 いつも皆様のnoteなどを読ませていただくばかりでは申し訳ないので、私も何か手を動かした成果を載せてみようと思います。 だらだらと前置きが長くなりそうなので、先ずはAIの活用により制作した歌詞ビデオをご覧ください。 歌詞、曲、歌唱、ビデオ中に流れてくる文字、殆どAIが生成したとは思えない歌詞ビデオですが、人間の作業はAIへのプロンプト指示と手直

          ろてじん

          最新の音楽生成AIとChatGPTで歌詞ビデオを作ってみた【驚異の進化を遂げたSuno AI】

          ろてじん