UnityでAI Vtuberデビューしませんか。【ChatGPT / Google Text-to-Speech / リアルタイムリップシンク】
自己紹介
\ ココナラ実績180件達成 /
こんにちは！ゲーム開発所RYURYUのりゅうやと申します。
本記事では、Unityを使用してAI Vtuberを実現するためのシステムの概要や開発手順の紹介をします。
また、有料エリアでAI Vtuberのシステムを構築済みのサンプルプロジェクトのダウンロードができます。
ご興味のある方は、ぜひデータをご購入ください。システムは比較的シンプルなため、プログラミングに自信のある方であれば数日で完成させることができるでしょう。しかし、時間効率を重視される方は、ご購入をお勧めいたします。
AI Vtuberとは
AI Vtuberとは、人工知能を活用して仮想のキャラクターが動画配信を行うバーチャルYouTuberのことです。
AIを使ってキャラクターの動作や発言を制御し、リアルタイムで視聴者とインタラクションを行うことができます。
AI Vtuberの開発サービスも始めました。初回3名様まで割引してます。
有料エリアに含まれるサンプルプロジェクト
サンプルプロジェクトのデモ映像
1. Unityちゃんのモデル
2. リアルタイムリップシンクをシステム
3. ChatGPTとGoogle Text-to-SpeechのAPIを連携して、音声回答を生成するシステム
4. 回答を入力するシステム
AI Vtuberのシステム概要
システムの開発手順
ご自身でプログラムを開発する際には、以下のステップを参考にしてください。
Unityのダウンロードガイド↓
1. YouTube Liveからコメントを取得:
• YouTube LiveのAPIを使用して、ライブチャットからコメントをString型で取得します。(Yotube Data API)
2. 取得したコメントをChatGPTへ送信:
• OpenAIのChatGPT APIを使用して、取得したコメントを送信します。
3. ChatGPTからの回答を取得:
• ChatGPTから返ってきた回答をString型で受け取ります。
4. Google Text-to-Speechへ送信:
• Google CloudのText-to-Speech APIを使用して、ChatGPTからの回答を送信します。
5. 音声データを取得:
• Google Text-to-Speechから返ってきた音声データを取得します。
6. 音声データを再生:
• 取得した音声データを再生します。
7. リアルタイムリップシンク:
• 再生された音源を元に、BlendShapeを活用してリアルタイムでリップシンクを行います。
uLipSyncは、音声データをもとにBlendShapeを操作して、リアルタイムリップシンクを実現するSDKです。
7.OBSの設定
OBS（Open Broadcaster Software）をダウンロードしてインストールします。
• OBSの設定を行い、Unityの画面をキャプチャして配信できるようにします。
8. 配信:
• OBSを使用してYouTube Liveでの配信を開始します。
• AI Vtuberがリアルタイムで視聴者とインタラクションを行う様子を配信します。
AI Vtuberのセットアップ手順
有料データをご購入いただいた場合、システムは既に開発済みですので、以下のスクリーンショットの部分にご自身のAPIキーを入力するだけでご利用いただけます。
キャラクターモデルは、BlendShapeが一致していれば変更可能です。また、音声やChatGPTのモデルもインスペクターから簡単に変更することができます。
APIキーの設定:
下記をインスペクターから設定します。
・ChatGPTのAPIキー
・Google Text-to-SpeechのAPIキー
・YoutubeDataのAPIキー
・YoutubeLiveのビデオID (YoutubeLiveのURLの末尾)
おわりに
AI Vtuberの開発に関してご不明な点や開発代行のご依頼がありましたら、ぜひゲーム開発所RYURYUのサービスをご利用ください。
私たちは、テキストやビデオチャットによるサポート、開発代行、そしてAI Vtuberの受託開発も行っております。
ご興味のある方は、以下のリンクからぜひお問い合わせください。
\ 無料相談・お見積もりは公式LINEから /
【自己紹介】
はじめまして、ゲーム開発所RYURYUの"りゅうや"です。Unityを利用したゲーム・VR開発が得意です。お客様の期待に応えるため、迅速かつ丁寧な対応を心掛けております。
【ゲーム開発所RYURYUとは】
「あなたに、テクノロジーの翼を」をコンセプトに、Unityを活用した「ゲーム・VRの受託開発」「Unity開発のサポート・レクチャー」「オンライン動画教育サービス」を展開するゲームスタジオです。
・・・
【有料エリア購入の特典】
サンプルプロジェクトのダウンロードURL
公式LINEでのアフターサポート
データに不備がある場合やご不明点がある場合は公式LINE よりアフターサポート致します。
TOP記事
いいなと思ったら応援しよう！
