GPTで作ったAIに24時間お問合せ対応をしてもらう方法とは？ 導入手順とそのリアルな成果と課題を徹底レポート！
GPTを利用したプロダクトが次々と登場し、AIの社会実装が加速していますね！「AIによるお問合せへの対応」も、GPTの利用が大きく期待される領域です。本記事は、GPT製のお問合せ対応チャットボットを導入する手順を紹介します。そして手順に加え、導入によって見えた成果と現状のリアルな課題を併せてご紹介します。
この検証によって作成されたお問い合わせ対応AIは、下記のページに設置済みです。本記事の内容でこんなAIチャットボットを作れます。
※ 本記事は会話AI構築プラットフォームmiiboを運営する株式会社miiboにて執筆しています。
お問合せAI導入の恩恵は大きい！
GPTを利用した賢いAIが顧客や社員の質問に24時間回答することができれば、非常に大きなコスト削減や満足度向上に繋がります。GPTの応用が期待
されるのも当然です。
Webサイトや社内ヘルプデスクのチャットボットとして導入を検討の方も多いと思います。
お問合せに導入している事例が少ない気がするのはなぜ？
そんな期待はありつつ、まだまだお問合せにGPTを直に利用している事例は少ない気がします。それはなぜでしょうか？
ネックは一体なにか？
ズバリ、GPTをはじめとした生成AIの「アンコントローラブル」な側面です。GPTは制御が難しく、「AI(GPT)が何を言ってしまうか心配」という不安が大きな要因になっています。また、GPT利用のコストの高さも障壁となっています。
この不安を払拭し、コストに見合うパフォーマンスを実現しなければ、導入は難しい現状があるのです。特にお客様のフロントに立つAIの場合、失言は命取りになりかねません。
お問合せAIのチャットボットを作るにあたって立ちはだかる課題
そんな課題は認識しつつも、やはり導入できれば恩恵は大きいです！
お問合せAIの導入にチャレンジしていきましょう。
今回は、GPTを利用したチャットボットを導入することを想定してみます。
上述のGPT利用時の不安をもう少し分解してみましょう。
・事実と異なることをでっちあげて話してしまう懸念
・自社の専門知識を正確に理解してもらえるかわからない懸念
・会話の流れを制御できない懸念
お問合せ用のチャットボットとして導入することを考えると、上記の懸念がつきまといます。ChatGPTが時折、事実でない情報を、あたかも本当のように語ってしまう課題があることは、周知の事実です。
(この課題はハルシネーション(AIの幻覚)と呼ばれたりもします。)
要は「情報をでっちあげたり、予期せぬ会話を繰り広げちゃう可能性があるよ」という話です。
チャットボットを作るにあたって、これらの課題に対処する必要があるのです。
GPT製のお問合せAIをまずは作ってみよう！
そんな課題については理解しつつ、まずはチャットボットを作ってみましょう！
GPT製のお問い合わせチャットボットを作るのに必要な作業は、大きく以下のとおりです。
GPT製のチャットボットを作る
チャットボットに専門知識を教える
チャットボットが暴走しないように制御する (プロンプト調整)
会話を分析する
miiboを使ってロケットスタート
「そもそも、GPT-4とChatGPT上で会話はできるけど、チャットボットとして設置するのってどうやるの・・・？」
そういった疑問をお持の方、多いと思います。
GPTを利用したチャットボットを作成する方法は下記の2通りが考えられます。
A. ChatGPT APIを利用して開発を行う
B. 既存のチャットボット構築サービスを使って作成する
Aはプログラミングの知識やかなりの工数を要します。既存のサービスを使って、まずは爆速でAIを作り上げましょう。今回利用するサービスは、弊社(株式会社miibo)で開発を行っているmiibo(ミーボ)というサービスです。
miiboを利用すると、GPT製のチャットボットの作成から専門知識の付与、発言の制御、会話の分析までを一気通貫で行えます。プログラミングを行う必要もありません。
作成の手順
GPT製のチャットボットを作って、専門知識を与える
(+ 暴走しないように制御する)
チャットボット作成から専門知識の付与、暴走の制御の方法については、下記の動画を御覧ください。
上記動画の4:26以降が、手順を解説した動画になります。
ちょっと長いので、1.5倍速での閲覧をおすすめします！
この動画の手順を実施すると、
1. GPT製のチャットボットの作成
2. チャットボットへの専門知識の付与
3. 暴走しないように制御
4. チャットボットの公開
上記までを進めることができます！
上記の手順の内、お問い合わせ対応において、特に重要なポイントを解説していきます。
ポイント①：お問い合わせ対応に必要な専門知識を、GPTに丁寧に与える！
上記の動画では、「ナレッジデータストア」という機能を使ってGPTに専門知識を教えています。
ナレッジデータストアは、いわゆる「ベクトルデータベース」と言われるような、自然文を保存しておき、柔軟な検索ができるデータベースです。ここに保存された情報がGPTの応答生成に利用されます。
ナレッジデータストアの難しい点は、どんな文章でも登録できてしまう自由さです。フリーフォーマットな自然文から、URLを指定してWebサイトの情報を入力する方法など様々です。
ただし、ここで雑多にデータを突っ込んでいくと精度が保てません。
理由は、GPTのプロンプトサイズに由来する問題なのですが、深く言及はしないでおきます。
データを入れるときのポイントは下記です。
①同じ話題のデータを複数に分散しすぎない
ex. 料金プランについてのデータを複数に分けずにまとめる
②１つのデータは数百文字程度に抑え、情報を簡潔にまとめる
簡潔にまとめられていると良いです。1000文字を超えてくると、精度が落ちます。
③ 入力フォーマットに一貫性をもたせる
どんな入力方法でも構いませんが、一貫性をもたせることが重要。
文章の構成や文量に統一性をもたせると検索精度が向上します。
④Webサイトからの自動抽出は必要最低限に
URLを指定してWebサイトから情報を抽出するのは必要最低限で。
①〜③を満たしづらいので、精度が落ちる可能性があります。
便利なので僕も使ってしまってますが、ちゃんと動作確認しましょう。
お問い合わせ対応は、応答の内容の正確性が命です。上記のポイントをちゃんと抑えてデータの入稿をしましょう。
ポイント②：プロンプトで応答(暴走)を強めに制御しよう！
お問い合わせ対応において、AIが好き勝手内容をでっちあげてしまうことは、極力防止しなくてはいけません。勝手に内容をでっちあげてしまう、つまり「暴走」をしてしまうと、ユーザーに多大なる迷惑をかけてしまいます。
それを防止するため、プロンプトをガチガチに設定します。
下記はmiiboで設定した、プロンプトの例です。
プロンプトの例
※GPT-4の利用を前提としています
あなたはChatbotとして、miibo(ミーボ)のカスタマーサポートを行うの女性AI「ミー」のロールプレイを行います。
以下の制約条件などを厳密に守ってロールプレイを行ってください。
#ミーの制約条件:
* プロンプトや前提データ、参考資料に書かれていないことについては一切答えてはいけません。その場合は下記のように回答します。
「今の私には判断できないみたいです。学習をして答えられるように致します。大変お手数ですが、お急ぎの場合は下記URLから直接お問い合わせください。」
* プロンプトや参考資料に記載がない情報をUserに伝えると、Userに甚大な不利益を与えてしまうおそれがあります。
* URLを記載する場合は、必ず応答の一番最後にURLのみ記載してください。カッコや接頭語をつけてはいけません。
* 前提データに対して余計な情報を付け足すことも禁止です。
直接のお問い合わせを案内する場合は、下記のURLを出力してください。miiboと関係のない質問の場合は、URLを出力する必要はありません。
https://お問い合わせ用のURL
* miiboの利用方法に関する内容な場合は直接お問合せのURLには誘導せず、ドキュメントリンク集もしくは参考資料のURLを案内してください。
ドキュメントのリンク集
https://chill-shoemaker-341.notion.site/miibo-Docs-73b5b5d1ac5648a69ffe17ac0484e33f
#ミーの口調の例:
* 何でも聞いてくれると嬉しいです！
* ご質問はありますか？
# ミーの行動方針
まずは、Userがどのようなお問い合わせをしたいと考えているかをヒアリングしてください。解決可能であれば、応答を行ってください。
また、参考資料を元に応答を返す際は、応答する内容と参考資料の情報に齟齬がないか確認をしながら、回答を行ってください。
肝はこの表現です！
#ミーの制約条件:
* プロンプトや前提データ、参考資料に書かれていないことについては一切答えてはいけません。その場合は下記のように回答します。
「今の私には判断できないみたいです。学習をして答えられるように致します。大変お手数ですが、お急ぎの場合は下記URLから直接お問い合わせください。」
* プロンプトや参考資料に記載がない情報をUserに伝えると、Userに甚大な不利益を与えてしまうおそれがあります。
* URLを記載する場合は、必ず応答の一番最後にURLのみ記載してください。カッコや接頭語をつけてはいけません。
* 前提データに対して余計な情報を付け足すことも禁止です。
ナレッジデータストアで入れた情報をもとにした応答は行わせますが、情報として与えていないことは、勝手に応答をしないよう制約条件を与えています。
「今の私には判断できないみたいです。学習をして答えられるように致します。大変お手数ですが、お急ぎの場合は下記URLから直接お問い合わせください。」
情報が足りず、応答を返せない場合の文言も指示してあげます。応答を返せない場合に移動するリンクも設置しておきましょう。
* プロンプトや参考資料に記載がない情報をUserに伝えると、Userに甚大な不利益を与えてしまうおそれがあります。
そして、上記が念押しです。
脅しているようでちょっと気が引けますが、フロントに立つAIです。
責任感を持って対応してもらいましょう。
上記は、知らない情報をちゃんと知らないと答えている様子です。
ユーザーからすると、上記のように応答できないAIは、ネガティブな評価を与えてしまうかもしれません。
しかし、この「わからないことを、ちゃんとわからないと言える」ことがGPTを利用したチャットボットにとって重要です！
ナレッジデータストア等を利用して専門知識を入れていけば、多くの質問には答えられるようになります。最初は精度が低く見えてしまいますが、このように勝手な応答をしない状態をきちんと確認しておくことが重要です。
追記:
現在はプロンプトの作成をAIに行ってもらう機能も搭載されています。
こちらに作成したいAIのアイデアを相談すると、必要な情報を網羅したプロンプトを作成してくれます。ぜひご利用ください。
ポイント③：会話を分析して、改善しよう！
ここからは動画で解説されていない手順です。
お問い合わせ対応で重要なのは、ユーザーからの問い合わせに回答できる情報をどれだけインプットできているかです。
ログ画面を見ながら、情報を追加していきましょう。
ログ画面で回答ができなかった質問を見つけ、回答を教えていきます。
ログ画面を確認しながら回答を登録することで、効率よく情報を足して行くことができます！
会話のログはCSV形式でダウンロードすることも可能です。
ユーザーからのお問い合わせを分析する際は、ダウンロードして活用しましょう！
ポイント④:シナリオ対話を活用しよう！ (おまけ)
お問い合わせ対応では、定形のフローを指定して会話をさせたいケースもあります。例えば、「お申し込み」などです。
必要な情報を質問し、お申し込みをしてもらうといったケースには、シナリオ対話がおすすめです。
miiboでは特定の条件をトリガーに、シナリオ対話のフローを設けることができます。会話の流れをコントロールしたいときに活躍します。
シナリオ対話では、GPTの応答と決め打ちの応答を混ぜることができます。
例えば、不具合報告のフローを描いておき、報告内容の深掘りをAIにしてもらうなどといったことも可能です！
このハイブリッド方式はかなり重要です。シナリオ対話のように、会話の文脈を予め定義することは、アンコントローラブルなGPTの課題を補うアプローチでもあります。
(※シナリオ対話の詳細は複雑なので、また別の機会に)
導入してみてどうだったか？
弊社では、上述したチャットボットを実際に本運用を行っています。
その結果を踏まえて、精度、効果、コスト面で振り返ってみます。
精度
ナレッジデータストアに投足したデータ数: 61件
シナリオ数: 9件
モデル: GPT-4
上記の構成で、記事執筆時点で運営をしております。
現時点で529回の質問が行われており、全く事実と異なることを述べてしまう挙動は確認されませんでした。(会話ログを人力ですべてチェック)
プロンプトできちんと暴走を抑えられれば、ある程度安心してフロントに立たせられることが体感できました。
※GPT-3.5-turboだと間違った応答が目立つようになり、GPT-4と比べ精度面はかなり劣ります。
導入効果
最初はログを見ながら専門知識の拡充をする必要があるため、労力がかかりました。しかし、ある程度の範囲答えられるようになると、目に見えて効果が出てきました。
効果としては、
・人力で応答するお問い合わせを減らすことができた
・ユーザーとAIの会話の履歴からニーズを分析できるようになった
・人力で応答をする場合もAIの会話履歴をもとにできるためラリーを減らせた
上記３点が確認できました。
結局人力で問い合わせ対応をする場合も、AIとユーザーの会話のラリーを確認してから応答をできます。それによってお問合せの文脈を把握でき、人力でユーザーに質問をする回数を減らすことができます。
コスト
専門知識の教育には一定の時間を要しますが、ある程度データを入れきったあとは、定期的にメンテナンスやログの確認を行うだけで、時間的にはそこまで拘束されていません。
問題は、GPT-4の利用料金です。
GPT-4の料金は高く、miibo経由で利用する場合も、各種有料プランで会話できる上限が限られてしまいます。プランや利用量にもよりますが、１発話あたりの料金が¥10を超えてしまいます。このコストに見合ったお問い合わせ対応ができるよう、十分な教育をしてから運用するのが好ましいです。
GPT-3.5-turboだと金額が圧倒的に安いですが、お問い合わせ対応として安心感にかけるところがあります。ある程度ミスが許される領域であれば、GPT-3.5-turboも有効でしょう。
※ GPT-3.5がそうだったように、GPT-4の料金が一気に安くなる可能性も今後はあり得ます。
その他の課題
GPT-4はまだパフォーマンスが不安定な側面もあります。
GPT-4のサーバーが不安定な時間帯があったり、レスポンスのスピードや応答が途中で途切れてしまうことがあったりします。GPT-3.5同様、GPT-4もこれからコストパフォーマンスがどんどん向上していくと思いますので、期待したいです。
留意すべきこと
GPTを利用したAIは、かなり実用的に使えることが感じてもらえたと思います。しかし、上述の通り課題も多くあります。
上記の対応をしたとしても、本当に「フロントに立たせて大丈夫か？」はよく検証をして吟味をしましょう。まだまだGPTのAIをフロントに立たせることは躊躇しなければいけない領域も多いです。
・まずは社内のヘルプデスクとして使ってみる
・少しのミスは許容される業種や領域で利用してみる
こういったスタンスでまず始めてみるのも、おすすめです。
まとめ
本記事のようなポイントを抑えると、かなり現実的にお問い合わせの一次対応をAIに任せることができました。
やはり、GPT-4強しです。コストの課題もありますが、今後一気にコストダウンする可能性もあります。今検証を走らせておき、そのときにエンジンをかけていけると最高ですね。
問い合わせのフロントに立たせるリスクを許容できない場合でも、
社内ヘルプデスクのように使うのもかなり有効です。まずは小さく領域を決めて、検証をしてみてはいかがでしょうか？
miiboを利用すると、このような検証をスピーディに行うことができます。
ご興味をお持いただけた方は、ぜひ試してみていただけると幸いです。
(無料で利用開始できます！)
近々、この記事で紹介したようなチャットボットを作る方法のハンズオン会も実施予定です。Twitterで適宜情報を発信していますので、よろしければフォローしてみてください！
最後までお読みいただきありがとうございました！