手軽に実現する会話AI作成ガイド：⑦理想のAIを目指して運用・改善しよう！
このシリーズでは、スキルを必要とせず、誰もが無料で会話AIを作成できる方法をご紹介しています。
過去の記事では「幼稚園児向けの質問に答えるAIキャラクター」を例に、基本のチャットボット作成から公開まで一通りの作成を行いました。また、ユーザー体験を向上させるために選択肢と固定応答、パーソナライズと会話中の選択肢を設定しました。
しかし、AIを一生懸命作っても、ユーザーに満足してもらえないと使われなくなってしまいます。AIは継続的に利用されてこそ価値があります。
そこで今回は、理想的なAIを実現するために必要な「ログ確認」と「改善方法」について紹介します。
※本記事は、会話型AI構築プラットフォームmiiboを開発する株式会社miiboの提供です。
ユーザーとの会話ログを確認しよう！
AIを公開したら、「ユーザーとどんな会話をしているか」「変なことを言っていないか」などが気になるのではないでしょうか。
miiboでは、左メニューの「会話のログ」から会話内容を確認できます。
ログ画面で確認できる項目は以下の通りです。（場合によって他にも表示される項目があります）
ユーザーの発言と、それに対するエージェントの応答
設定された言語モデルとプラットフォーム
応答に使われる可能性の高い独自データ
独自データを検索する際に使用されたクエリ
この3番目と4番目の情報が改善に非常に重要ですので、後ほど詳しくご紹介します。
理想のAIに近づけるために、定期的にログを確認することをおすすめします！
AIの回答が思い通りにならない
運用を始めると、「AIが思い通りに回答してくれない！」という悩みが出てきます。
よくあるのが、AIに敬語を使わせたいのにため語になってしまうなど、AIが期待通りに動かないケースです。
これはプロンプトの改善を試すことで解決する場合が多いです。大規模言語モデル（LLM）の精度向上により、この問題は減少していますが、それでもコツが必要な領域です。
こちらは前回紹介した「AIによるプロンプト生成機能」を活用することで、比較的簡単に修正できます。ただし、変更→テストを繰り返し行い、定期的にログを確認して意図と異なる挙動がないかチェックすることが重要です。
AIが思い通りのデータを使って回答してくれない
次に多いのが、独自データに情報が含まれているのに、AIが期待通りのデータを使って回答しないというケースです。
この場合、先ほどのログ管理画面が役立ちます。
まず、おかしな回答のログで「ナレッジデータストア」を確認し、スコア上位の知識をチェックしてください。上位3~5つに参照させたい知識が含まれているか確認します。
ここに意図通りの情報がない場合、次の2つの改善方法があります。
1.データの持ち方を工夫する
データの持ち方は精度に直結します。
例えば以下の観点で確認・修正してみてください。
・文字数が多すぎる場合は、適切な情報粒度に分けて登録する
・上位に来ているデータの理由を確認し、データを改善する
2.検索クエリを改善する
データの持ち方を工夫しても改善しない場合は、検索クエリを見直します。
会話の度に生成される検索クエリが適切でないと、期待する情報が得られません。
例えば、主語を付けずにユーザーが質問し、AIも主語を無視して検索した結果関係ないデータに当たるケースを考えてみます。
ユーザーが「イタリア旅行のおすすめの飲食店を教えて」と質問した際、「飲食店 おすすめ」と検索されてフランスの飲食店が出てくることがあります。
この場合、「プロンプトエディタ」の下にある「プロンプトを補完するコンテンツの設定」内の「検索クエリー生成プロンプト」を修正してみてください。
例えば、太字のような内容を追加すると検索クエリが「イタリア 飲食店 おすすめ」になる可能性が高まります。
以下はuserとaiの会話です。
@{history}
上記のuserが欲している情報を見つけるための検索用のクエリーを作成してください。(5語まで)検索クエリーのみを出力しダブルクォーテーション等の記号は用いないでください。
なるべく最後のユーザーの質問の内容を優先してクエリーに含めてください。ただし、ユーザーの旅先が分かっている場合はクエリーに含めてください。
まとめ
今回の内容は、これまでのものと少し異なりますが、miiboではAI開発から運用までのサイクルを高速に回し続けることが重要と考えています。
ぜひログ管理や改善のための機能を最大限活用し、がっかり体験を減らしてユーザーに使い続けてもらえるAIを作成してみてください！
また、更新性の高いデータについては、更新フローを検討することも重要です。ご興味がある方はぜひご覧ください！
最後に：miiboに関する参考情報
トライアルガイドはこれで終了します！
miiboにはこれまで紹介した機能以外にも多くの便利な機能が揃っています。ぜひこれらも活用して、理想のAIを作成してみてください！
公式マニュアル
問い合わせAI（miiboツール内右下のアイコンからも遷移できます）
ユーザーコミュニティ
最後までお読みいただきありがとうございました！