【AI キャラと会話】AI と Live2D と unity
AI 関連の進歩速度が著しく、できる事が日々増えています。
2024/12/11 現在で何が出来るのか試しにつくってみました。
OpenAI API と Live2D とUnity を使用しています。
動画はこんな感じ。アトラクションや商業施設の案内などに使えそう。
(なぜかサムネイルがでない。ロングバージョンは下記にあります)
応答速度を画面に表示した動画
OpenAI API でのテキスト生成は約1秒以下。
にじボイスの音声生成処理完了までが1〜2秒。
テキストだけでのやりとりであれば、会話速度に近いかも。
AIへの質問テキスト送信方法
会話に必要な質問入力機能としては、下記を用意。
・キー入力で質問
・音声ボタン押している間のみ音声入力
・自動音声認識（音声ボリューム一定以下で会話終了判定）
応答速度
応答速度は約3〜5秒のため、リアルタイムの会話としては3テンポほど遅い。
応答処理は次の3つ。
「AIへの質問文送信」「AIで返事生成」「にじボイス音声生成」
この3つの合計が約3〜5秒。
OpenAIのリアルタイム会話APIを使用すれば、人との会話に近くなるが、2024/12/10時点では下記により不採用にしました。
・調整しても声とキャラが合わない
・会話内容とレスポンスのテキスト内容がかみ合わない
・会話内容のコントロールが難しい
AI関連処理
・準備：用意済みのアニメ30全種類の「番号」と「内容」をAIにリスト登録
・unity：質問をテキストで OpenAI API に送信
・AI：質問に応じた文言とアニメ番号をAIが生成
・unity：生成内容を受け取り、json化しローカル保存
・unity：jsonを元に、にじボイスで音声生成（音声生成完了を待たない）
・unity：一定数音声がストックできるまで待つ
・unity：音声再生、アニメ再生