【ElevenLabs】独自音声の会話型AIエージェント使い方解説【Conversational AI】

AIVtuberシロハナちゃんの開発プロデュースをしているyukiです。

この記事ではElevenLabsのAIエージェントであるConversational AIを解説するのと、活用方法を紹介していきます。

Conversational AIでは、ElevenLabsで作成した音声モデル(例えば自分のクローンボイスやオリジナルボイスなど)をもとにしたAIと音声会話ができ、そのAIエージェントをリンクで共有したり、埋め込みをすることが可能です。

これらを活用すれば、開発したプロダクトやWebサイトに埋め込みリンクを設置するだけで設定してあるナレッジやキャラ要素をもとに応答するAI会話ツールを簡単に埋め込むことができます。

AI Voice Generator & Text to Speech

動画でも同様の内容を解説しています。
実際のAIエージェントとのやり取りなども見たい場合はこちらも是非ご覧ください。

※この記事は2024/11/22時点のものなので今後変更があるかもしれないですのでご了承ください。また、現状はBeta版となっています。

ElevenLabsについて

Free Text to Speech & AI Voice Generator | ElevenLabs

ElevenLabsは合成音声サービスで自分の所持してる音声素材をもとに音声クローンを作れることが特徴となっています。

Webサービスで手軽に使用することができるのと、音声モデル作成も簡単なものなら数分で作ることができます。

詳細は以前に動画とnoteにまとめていたのでそちらをご覧ください。

---

Conversational AI

Conversational AIはElevenLabsで作成した音声モデルのAIと会話ができます。

イメージで言うとChatGPTのAdvanced Voice(音声機能)で、音声は独自のモデルという感じです(感情表現や精度は少し劣るかも)。

AIエージェント作成と設定

それでは実際にどのようにAIエージェントを作成するのかという部分から解説していきます。

全ての項目を説明するのは情報量が多くなるのでAIエージェントとの基本的な会話をする内容以外は割愛しています。
詳細は公式ドキュメントもあるのでそちらご覧ください。

Introduction - ElevenLabs

①Conversational AIのページに遷移してPlaygroundの隣にある「＋」ボタンを押下

②AIエージェント名を入力して、テンプレートを選択

とりあえず空のテンプレートを選択

③エージェント設定

Agentタブを選択して各種設定(設定変更時はSave忘れずに)

• Agent Language：言語を選択（日本語だけど多言語対応してます）

• First message：AIが最初に話しかける内容を設定。（空の場合は何も言わずにユーザーが話しかけるのを待ちます）

• System prompt：システムプロンプト。どういう振る舞いをするのかなど。

• LLM：AIのLLMを選択。現在のBeta版では無料ですが将来的にはユーザーが負担とのこと。生成速度はGemini 1.5 Flashが最速。

④ボイス設定

Voiceタブを選択して音声設定

Voice：AIエージェントの音声を選択します。主に以下の選択肢があります。

• 既にElevenLabsにて用意されている音声モデルや公開されているモデル。

• クローンボイス：ElevenLabsでは音声素材をもとにクローン音声モデルを作ることができます。そこで作成したモデルをAIエージェントに充てることもできます。(作り方など詳細はこちらの動画で解説済み)

• Voice Design：ElevenLabsではプロンプトから音声モデルを作成することができます。そこで作成した音声モデルもAIエージェントに使用可能。

上記の音声モデル選択肢からAIエージェントに適用させたいボイスを選択します。

⑤AIエージェントをテストする

Test AI agent

Call AI agentで会話開始

これで設定した内容でデモのようにAIエージェントと会話ができます。
※他にも設定項目はありますが割愛。

リンク共有と埋め込み

Test AI agentの隣にある共有ボタンからリンクをコピーできます。
このリンクにアクセスすると先ほどの設定したAIエージェントと会話できるページに遷移します。

遷移したページ

これで自分以外の誰でも作成したこのAIエージェントにアクセスして会話をすることができます。

Widgetから埋め込みコード取得

また、Widgetタブから埋め込みコードを取得できます。
これをプロダクトやWebサイトに埋め込めば右下に表示されているようなものが出て設定したAIエージェントとユーザーは音声会話をすることが可能になります。

用途としては、プロダクトやサイトのFAQなどがあると思います。
また、多言語対応もElevenLabsはしているので、海外ユーザー向けにも相性は良いかもですね。

また、v0やLovable(旧GPT-Engneer)などのコード生成サービスにも埋め込むように指示すれば、生成されたサイトにAIエージェントを埋め込むことができました。

また、AIエージェントのUI/UXも編集できるみたいで、以下のような項目があります。

見た目の設定

テキストやリンク遷移先の設定

デフォルトでも基本的には問題ないので、好みや必要に応じて修正していく感じが良いかと思います。

---

さいごに

ElevenLabsのConversational AIで誰でも簡単に独自の音声で会話できるAIエージェントを作成でき、共有や埋め込みまで出来るのは純粋に凄いです。

個人的な感想としてElevenLabsは日本語の読み間違いなど精度はもう少しの印象はありますが、全然聞き取れますし多言語もできますからね。

ぜひWebページやプロダクトに埋め込むことも検討してみてください。

以上！それではまた👋