ChatdollKitで憧れのキャラクターをデジタルヒューマンにして会話をしてみた

多くの人々が理想的な姿や性格、SFやファンタジーのようなさまざまな背景を持つキャラクターを作り出すために、プロンプトを熱心に書いてDiffusion Modelで新たなキャラクターを生み出しています。そして、それらのキャラクターが本当に人格を持ち、自由に会話できるようになれば素晴らしいと夢見ています。ChatGPTなどのLLMとゲームエンジンを組み合わせることで、この夢は現実になる可能性があります。しかし、ゲームエンジンを一から勉強して実装することは容易ではないでしょう。
そんな夢を簡単に実現させてくれるのが、ChatdollKitです。

手順

Unity の用意

以下のURLからUnity Hubをダウンロードすることができます。
https://unity.com/ja/download

VRMモデルの入手方法

今回は、ニコニコ立体からAlicia_VRMモデルをダウンロードして使用しました。オリジナルキャラクターに関しては、ココナラなどで3Dモデル制作の依頼を出すか、Vroid Studioを使用して自分で作成するかを検討しています。
https://3d.nicovideo.jp/works/td32797

ChatdollKit の設定

手順はREADMEに記載されていますが、動画でも丁寧に説明されているので、参照されるのをお勧めします。

「こんにちわ」と話しかけると会話が開始されます。

会話の開始

Speech to Text (Text to Speech)のAPI key を取得

ユーザの音声入力とテキストを読み上げるのにGoogle GloudのAPI Keyが必要です。発行されていない場合は以下の記事などを参考に設定を行ってください。※ Text to SpeechのAPIも有効にしてください。
https://nicecamera.kidsplates.jp/help/feature/transcription/apikey/

OpenAI API key

OpenAIのAPI Keyはこちらです。
https://platform.openai.com/account/api-keys