ChatGPTを活用したチャットボット「YOSHINAボット」のログを「YOSHINA」で分析してみた
こんにちは！株式会社レトリバ「YOSHINA」プロダクトオーナーの鷺坂です。今回は、2023年7月にリリースされた「YOSHINAボット」の会話ログを当社のAIテキスト分析ツール「YOSHINA」で分析をしてみましたので、その結果をご紹介します。
「YOSHINAボット」について
「YOSHINAボット」は、レトリバが独自に持つナレッジ集とChatGPTの要約要素を組み合わせたチャットボットです。用意されたQAやシナリオでの回答ではなく、人の応対のような回答を提示できるため、営業担当者やカスタマーサクセス担当者のような親しみやすい応対を提供することが可能です。
YOSHINAボット詳細プレスリリースはこちら
YOSHINAボット詳細noteはこちら
現在「YOSHINAボット」は、「YOSHINA」のサービスサイトであるYOSHINAPortal（https://yoshina.io/）に実装されています。実装以降、たくさんの方に使っていただいています。
YOSHINAPortalに寄せられた質問は自動でデータとして蓄積することができますので、当社のAIテキスト分析ツール「YOSHINA」でそのデータを分析していこうと思います。
「YOSHINA」で分析した結果と改善
そもそも「YOSHINA」とは何かを少しご紹介します。
AIテキスト分析ツール「YOSHINA」は、アンケートなどのテキストデータをアップロードするだけで、データを分類・分析・抽出することができます。顧客の声や社内の声、セールストークなどの分析を行い、自社サービスの改善や新サービスの開発の一助となるツールです。
今回はAIテキスト分析ツール「YOSHINA」を使って、
質問をカテゴリに分けて分析してみる
質問に対する回答をカテゴリに分けて分析してみる
という２つの分析を実施しました。
順にご紹介していきます。
１.質問をカテゴリに分けて分析してみる
「YOSHINAボット」に入力された質問を、「YOSHINA」で話題毎に分けたところ、下図のような結果となりました。
「YOSHINAボット」は、「YOSHINA」を紹介するサイトであるYOSHINAPortalに実装されていることもあり、質問の内容は「YOSHINA」に関するものがほとんどだと考えていました。しかし、このカテゴリ分けを見たことで、「YOSHINA」についての情報だけではなく、レトリバに関する情報にもニーズがあるとわかりました。
現状は「YOSHINAボット」に学習させるナレッジ集に、レトリバに関する情報を入れられていないため、この情報もナレッジ集に入れる必要がありそうという新たな気付きを得ることができました。
2.質問に対する回答をカテゴリに分けて分析してみる
ここでは「YOSHINAボット」が質問に対してどのように回答したのかをカテゴリに分け、分析を行っていきます。1.で行った質問のカテゴリ分けと照らし合わせながら考察していきます。
1.で行った質問のカテゴリ分けの中に競合製品という分類があり、競合製品に関する質問は5件ありました。（下図参照）
この質問に対しては、他社の情報を含めて回答をしてほしいと考えていました。
しかし、回答の中に他社情報というカテゴリは1件しかありませんでした。（下図参照）
後の4つの質問にはどのような回答をしているのでしょうか？
このような疑問が出てきた際は再度「YOSHINA」を使って、質問のカテゴリと質問に対する回答のカテゴリの関係性を見てみます。
下の図において、縦軸は質問のカテゴリ、横軸は質問に対する回答のカテゴリとなっています。
この図から、競合製品に関する質問5件のうち3件に対して「回答できない」と回答しており、質問に対して回答を生成できていないということがうかがえます。
これにより、競合製品についての質問に回答ができるよう、ナレッジ集に他社製品の情報を加える必要があるということもわかりました。
ナレッジ集に情報を補足する
「YOSHINA」による分析で、「YOSHINAボット」ではレトリバについての質問や他社製品についての質問に対する回答が生成できていないということがわかりました。
ここからは「YOSHINAボット」がそのような質問にも答えられるよう、ナレッジ集に情報を追加してみます。
レトリバについての情報をナレッジ集に追加する
レトリバについての情報はレトリバ公式HP（https://retrieva.jp/）をナレッジ集に追加します。
「YOSHINAボット」はナレッジ集に情報を入れるために、QA形式やシナリオ形式のような整備された情報を成形する必要がなく、すでにある情報をそのままナレッジ集に追加することができます。
競合他社についての情報をナレッジ集に追加する
答えられなかった質問に対する一問一答を作成し、ナレッジ集に追加することもできます。
競合他社についての質問に対して下図のように一問一答を作成し、ナレッジ集に追加しました。このように新しい情報を追加することで回答の精度を上げることが可能です。
応対ログを「YOSHINA」で分析することで、チューニング要素を発見することができるため、実際の利用者様からの意見を反映した応対を実現できるのです。
さいごに
本記事では、「YOSHINAボット」で得られた回答を「YOSHINA」で分析してみた結果、登録している情報だけでは回答が不足することが判明したため、ナレッジ追加のメンテナンス方法をご紹介してきました。
「YOSHINAボット」と「YOSHINA」を利用して、人のような応対とユーザーの声を反映したメンテナンスを試してみませんか？
また、「YOSHINAボット」は2023年11月頃に企業向けサービスとしてリリースをする予定で、ご利用予約受付もすでに開始しています。
「YOSHINAボット」および「YOSHINA」についてご興味がありましたら、一度お話をさせていただければと思いますので、こちらよりお気軽にお問い合わせください！