ChatGPTを中心とした大規模言語モデルをカスタマーサポートの実務に活かす第一歩
カラクリで以下のような機能をリリースしました。
OpenAI社のGPT-3を活用して、AIチャットボットの教師データの作成を支援する機能です。
大規模言語モデルの大波からすると、さざなみのような機能ですが、実際の実務で使えそうなところからのリリースでした。
GPTを使った機能を自社サービスに取り込む際に、そもそもどんな価値を提案するのか？とセットで対処すべき課題として、以下のようなものが考えられます。
（１）データの取扱の問題
（２）コストの問題
（３）品質の問題
このあたりをうまくクリアにしつつ、いろいろと試行錯誤しています。
カラクリは、Friendly TechnologyというVisionを掲げており、引き続き『カスタマーサポートをエンパワーメントする』ために頑張っていきたいと思います。
弊社のCTOの中山が、この開発の背景などもつぶやいていたのでメモがてら転記しておきます。今後も乞うご期待。
AIチャットボットのサービスによくありがちな問題として、質問パターンの作成の手間があります。「この質問にはこういう回答を返して欲しい」というデータを教え込むわけですが、回答はいくつかに集約される一方で、問い合わせの仕方は千差万別であり、ある程度の質問パターンを教え込む必要があります
— Tomofumi Nakayama (@txmy) February 7, 2023
その問題を解決するために弊社ではさまざまな工夫をしています。自社開発の高性能な言語処理エンジンによって少ない質問パターン数でもある程度良い精度を保ったり、質の高いデータを集めやすいUIを作ったり、ログから学習効率の高いデータをピックアップしてトレーニング候補として表示したり。
— Tomofumi Nakayama (@txmy) February 7, 2023
それでも質問パターンの作成は大変でした。FAQページが100ページある会社では500~1000個くらいの質問パターンを用意しなければいけません。
— Tomofumi Nakayama (@txmy) February 7, 2023
一つの解決策として、GPT-3のような、より大規模なモデルを使うことがあげられます。より大規模なモデルを使うと、より少ないデータで学習ができることが知られています。実際弊社のモデルも大規模化は日々進めており、少しずつ必要な質問パターン数は減ってきていたのでした。
— Tomofumi Nakayama (@txmy) February 7, 2023
しかし、モデルの大規模化はインフラコストや応答速度とのトレードオフになります。研究開発は進めていますが、GPT-3の様な性能を、今のコスト感と応答速度で実現するにはまだまだ時間がかかります。
— Tomofumi Nakayama (@txmy) February 7, 2023
そこで、GPT-3の汎化性能（少ない学習データでより高い精度を出す能力）を活かし、質問パターンを生成し、それをAIのトレーナーに与え、そこから選ぶ形で質問パターンを追加していけるようにしました。
— Tomofumi Nakayama (@txmy) February 7, 2023
生成した質問パターンをそのまま使わないようにしているのは、データの質を担保するためです。明らかにおかしい質問パターンが追加されたりするため、直感に反した動きをしやすくなってしまいます。また、弊社のお客様はエンタープライズ企業が多いので、その辺のリスクヘッジもしています。
— Tomofumi Nakayama (@txmy) February 7, 2023
質問パターンの自動生成の研究は何年もやってきていて、社内ツールとしては結構いい感じのものもあったのですが、実際にリリースする上での課題がいくつかあり、なかなかリリースできませんでした。OpenAIやAzureのAPIによって手軽にこういうツールが作れるようになっているのは素晴らしい事です。
— Tomofumi Nakayama (@txmy) February 7, 2023
今回はプロトタイピングに2時間、方針を決定し、最初の開発が終わるのに2営業日、ブラッシュアップに2営業日、その後QAや微修正、CS、広報、法務等社内調整等を進めて発案から8営業日でリリースに至りました。社内の皆さんも結構大変だったと思いますが、感謝です。
— Tomofumi Nakayama (@txmy) February 7, 2023
ちなみに、GPTなどの大規模言語モデルを使ってこんなことをやってみたい！というCS界隈の方のご要望はお気軽にお問い合わせくださいませ。