【最新事例】生成AI×3Dモデルで動画を自動生成！開発中アプリの進捗を大公開｜2025.01.26
生成AI×3Dモデルで動画を自動生成！
概要
ChatGPTなどの生成AIと連携し、会話や音声入力に基づいてAIキャラクターが応答
利用例
24時間稼働のYouTubeライブ配信AI VTuber
水族館や店舗での案内役AI
台本を元に自動で動画生成
システム全体の流れ
1｜入力
YouTubeコメントや音声入力を受け取り、音声の場合はOpenAIのWhisper APIでテキスト化。
最終的にテキストデータを生成AI（ChatGPTなど）へ送信する。
2｜処理
感情値やアニメーション制御用の文字列をプロンプトに含め、AIが返したレスポンスを解析。
「音声用テキスト」「感情値」「アニメーション指示」をキューに追加する。
3｜出力
VoiceVoxサーバーで音声を生成し、音声・感情・アニメーションを順次再生・表示する。
進捗 2025.01.26
背景を追加しました。
スターボタンなどのUIを調整しました。
エディター画面でも3Dキャラクターをプレビューできるように変更しました。
今後の予定
アニメーションの細部を調整し、より自然な動きを目指す
視線を常にカメラに向けられる機能の追加
新機能でもオリジナルVRMモデルと連携できるよう機能を拡張
プロンプトの使いやすさを向上するための改善
感情の選択方式をプルダウン化することで操作性を高める
AIキャラクターシステムの開発のご依頼はコチラから
いいなと思ったら応援しよう！
