LLMの技術をすべての人に届けるために。IVRyでAIシステム開発に挑むエンジニアチーム
日本の人口は大幅に減少し、労働人口も減ることは確実に到来する未来。今以上に、人手不足が深刻化することは間違いありません。
最新技術を日本全国平等に届けていき、人手不足という課題を一挙に解決するのが電話自動応答サービス「IVRy（アイブリー）」が目指していることです。
IVRyをさらに進化させるために、LLM（大規模言語モデル）の開発に長けたNLP（自然言語処理）エンジニアたちが、サービスとAIの融合を進めています。
ChatGPTが登場して一年足らず。激変する環境下で、どのようにサービス開発にLLMを活用しようとしているのか。NLPエンジニアである花木 健太郎と町田 雄一郎の2人と、伴走するPdM（プロダクトマネージャー）の山田 智瑛に話を聞きました。
ChatGPTの到来で、予定よりも早く出現した未来
──IVRyのAIに関する取り組みはどのように始まったのでしょうか。
町田
IVRyは、人手不足や店舗のピーク時間で電話対応が困難なときに、予約や店舗までの道案内、営業など様々な電話での問い合わせに自動で対応する、電話自動応答（IVR）サービスです。
営業電話・顧客からの問い合わせ・注文・予約等の様々なシーンへの対応が可能なため、2020年11月のサービス提供開始以降、病院、クリニック、企業の代表電話・部署電話、飲食店、美容院、ECなど多種多様な業界に導入いただいています。
累計1,000万件以上の着電の自動応答を実現しており、業態ごとの自動応答の特性がわかってきました（2023年11月現在）。電話自動応答が普及するにつれ、実感を強めたのがAIによる自動化が一定は可能になりそうだ、ということ。
大学でAIの研究を行い、これまでのキャリアでもAIの開発に関わってきた経験を活かして、2022年の秋頃にAIモデルを開発し始めました。
──元々、AIを使った自動化は構想していたんですね。それで最初は自社開発のAIモデルを使ったのでしょうか。
町田
ちょうどAIモデルが完成するタイミングで、ChatGPTが出てきたんです。色々触ってみたら、精度、汎用性、コードがシンプルになることによるメンテナンス性の向上などが理由となって、AIモデルを自社開発する必要がなくなりました。ChatGPTの活用により、想定していた開発速度よりも、数倍は早くなりました。
同じ時期に花木ともLLMの構想について話し始め、これをサービスにどう組み込んでいこうかという試行錯誤を始めました。
花木
従来であれば、業界ごとにAIモデルを開発する必要がありました。ChatGPTを使うと、簡単に業界をまたぐことができるので、それで格段に開発のスピードが上がりました。
また、IVRyが提供する電話自動応答は自然言語処理と相性が良い領域です。電話自動応答はそれぞれの業界ごとの深い知識は必要ない代わりに、広く多様な業界をカバーする必要があります。「広く浅く」というのはLLM（大規模言語モデル）の得意領域。
前職を辞めた後、LLMにガッツリ関わっていきたいと考えており、町田と話すなかで「IVRyとChatGPTはかなり相性がいいぞ」と感じてコミットするようになりました。
UXを考慮し、サービスへのLLM利活用を試行錯誤
──ChatGPTを活用して、どのように開発を進めていったのでしょうか。
町田
ChatGPTのAPIがリリースされてすぐ、社内で試してみました。まず試してみたのは、通話の要約ですね。開発した機能はすぐ社内につかってもらい、ドッグフーディングを全社で実施していました。
ChatGPTの活用とは別で動いていたサービス連携の話があり、それがレストラン予約に関するものでした。チームに飲食ドメイン知識があったことで、この領域なら開発しやすいだろうと。
花木
予約は従来提供していたボタンプッシュでは対応できていなかったので、ここにトライしてみようということで開発を始めました。
デモがないとサービスに取り入れられるか否かの判断はできないため、まずプロトタイプを作るところから。最初のプロトタイプは2〜3日くらいで完成しました。それを社内で使ってもらったら、ボコボコにされてしまって（笑）
──当初はどのあたりが課題だったのでしょうか。
花木
最初は、ChatGPTに全部やってもらうように開発を進めていたのですが、技術的な課題がいくつかありました。
ひとつは、「ハルシネーションの抑制」です。ハルシネーションとは、AIが事実に基づかない情報を生成する現象のことを指します。例えば、「明日の10時から2人分予約したい」と依頼した際に、席が空いていないにも関わらず、「予約できました」と返してしまうことがありました。
もうひとつは、「プロンプトインジェクションへの対応」です。プロンプトインジェクションとは、ユーザーが悪意のあるプロンプトをAIに与えることで、AIが不適切な回答や意図しない情報の開示を行ってしまう状況を指します。こうした事象が発生しないようにするにはどうするか、というのは課題でした。
最後に「レスポンス速度」。ChatGPTは挙動が安定しないこともあり、リクエストを投げてもレスポンスが返ってこないこともあります。これはサービスに活用する上では問題となるので、解消が必要でした。
町田
あとはユーザーの自然な行動に対応するためのチューニングも必要でしたね。通常、電話で予約をする際は、人数や日時の言い直しなどが発生します。そうした際にChatGPTが言い直しの内容に合わせてきちんと対応できるようにするのは難しい点でした。
──それらの課題にはどのように対応したのでしょう。
花木
最初は応答まで全部ChatGPTで生成しようとしていたのですが、モデルを作り替えて応答を生成するところは自前のモデルと組み合わせて使うようにしました。最も技術的に難しい点はChatGPTにやってもらい、比較的簡単にやれるところは自前で開発することで、サービスとして活用するために必要な部分を制御しやすくなりました。
こうした試行錯誤に2〜3ヶ月ほど時間をかけて、サービスとして使えるレベルになるよう磨き込みをかけていきました。バージョン4〜5くらいで人間が使った際の評価で良いスコアになったので、次のステップに進んでいきました。
町田
2023年6月には検証を次のフェーズに進めようと、ChatGPTを活用したAI電話システムの試験提供を開始しました。この試験提供での検証を経て、2023年10月には予約台帳アプリ「レストランボード」との実証実験を始めました。
実際に他のサービスや企業と協働して提供しようとすると、多様なユースケースに対応する必要が生じます。そのすべてに対応しようとすると、リリースがかなり先になってしまうため、どこまで対応するかの制限を決めて、リリースに向けて開発しました。
花木
リリースに向けた開発では技術的課題はほとんどなく、どこまで対応するかという点が課題でした。ここについては、PdMをはじめビジネス側のメンバーがきっちり進めてくれるので、開発はそこを信頼して言われたように開発するのみ、という感じでしたね。
山田
二人とも「この開発をお願いします」と伝えると、翌日には対応が終わっているくらいの速度で対応してくれたので、非常に助かりました。
実際に実証実験がスタートし、色々なお客様にご利用いただいてますが、人が自然に発話する形で予約が完了しているのはすごいですね。
今後、業務負担の削減につながっているのか、営業時間外の予約対応は問題なくできたのかなどを見ていく必要はありますが、まずは一歩目が踏み出せたかなと。
ChatGPTを汎用理解エンジンとして活用し、「自動化」に挑戦
──過去にもAI開発に関わったことのある二人から見て、IVRyでAI開発に関わる強みはどのようなところにありますか？
花木
いろいろありますが、「電話業務の自動化」というサービスの領域がLLMと相性がよく、また大量のデータが蓄積できていることは間違いなく強みだと思います。
他には、すでにお客様がいるというのも強みですね。土台となるサービスがあり、PMFも終えている。その機能を強化するために、AIをどう活用するのかを考えればいいので、ゼロから開発するよりは難易度が低いと思います。
また、モデルを磨いて改善していくために、フィードバックは非常に重要です。IVRyはありがたいことにどのクライアントも協力的。実際に使ってみてどうだったか直接聞ける環境があるというのはエンジニアとしてはありがたい。
町田
LLMのモデル自体の開発にフォーカスしている企業もいますが、プロダクトまで持っているところは非常に稀だと思います。プロダクトがあるからこそ、花木の言うように改善のためにはフィードバックが得られ、データの蓄積ができている。これはなかなかない強みだと思います。
また、他社では全部ChatGPTに対応してもらうように開発しているケースもよくありますが、先程もお伝えしたとおり、IVRyはChatGPTを汎用的な理解エンジンとして活用しています。そうすることで、出力の信頼性を向上でき、サービスとして使う上での懸念がない状態にできている。ここも強みですね。
花木
AIの役割は、人間がやることの「オーギュメント（補助）」と「オートメート（自動化）」の2つに分かれます。他社はオーギュメントであることがほとんど。拡張の場合は正確な出力ではなくとも、一定の価値がありますが、IVRyが目指しているのは後者のオートメートです。
そうすると、必然的に出力が安定した状態を実現しなければなりません。町田の言うように、IVRyは汎用的な理解エンジンとして活用しており、AIをオートメートのために活用することに挑戦している企業は少なく、やりがいのある部分ですね。
LLMの技術を、すべての企業に届けるために
──IVRyのAI開発は今後、どのように進んでいくのでしょうか。
町田
まずはレストランの予約がリリースしたばかりなので、フィードバックを確認しながら、改善をしていきます。並行して、飲食以外のドメインにおける予約も対応できるようにしていきます。
レストラン予約でモデルを作っているので、他のドメインの開発をする際でもほぼ1日くらいで完成できています。横展開を進めてサービスをスケールさせていくという点では手応えを感じていて、今後も協業できるパートナーを募り、ドメインを拡充していく予定です。
※現在協業可能なパートナー絶賛募集中
花木
予約以外にも、代表電話への接続など、AIを活用できる機能開発を進めています。これも予約と似たようなモデルで開発できそうな手応えがあり、電話を使って自動でやり取りを進められるとよい場面に、ほとんど対応できるのではと町田と話しています。
町田
ドメインが変わったり、提供する機能が変わる際に、開発側で行っているのは設定の書き換えです。将来的に、設定自体も切り出せるようになれば、お客様が設定ができるようになるはず。将来的にはここを目指しています。
花木
IVRyのAI開発は大きく3つのフェーズに分かれます。まず、予約など固定化された機能をドメインごとにリリースし、使えるようにしていくこと。次のフェーズでは、町田が言うようにAIを用いたシナリオ設定をお客様自身が設定できるようになること。その次のフェーズでは、UI/UXの工夫であったり様々なアルゴリズムを駆使して、お客様がシナリオを設定する労力を最小化したいと考えています。
山田
IVRyのミッションは「最高の技術を、すべての企業に届ける」というもの。もともと、IVRy自体がIVRをクラウドで提供することで、小規模事業者でも使えるようにしようと考えて、スケールを意識して開発をしてきています。
2人の開発により、AI技術も低価格でお客様につかってもらえるようにできましたし、直近でも多言語対応も行っています。今後も最新技術をスピーディーにお客様に届けると同時に、電話に関する課題を解決していけたらと思います。
──最後に、AIエンジニアである二人から見て、IVRyで働くことの面白さや、やりがいを感じることなどあれば教えてください。
町田
電話という土台はありつつも、カバーするドメインは多種多様です。ほとんどすべてのドメインをカバーしていると言ってもいいほど、いろいろな企業にアプローチできるのがIVRyなんです。
これだけ広いドメインをカバーできて、かつ自然言語処理がハマる領域は非常に少ない。スピーディーに開発して、検証を進めていける開発環境でもあるので、NLPエンジニアだったら面白いと感じると思いますね。
花木
LLMを活用したプロダクトを使い倒したい人には非常によい環境だと思います。今後、電話に関することを全部自動化していこうとしているので、電話での会話データから自動的にデータを抽出して、会話の設定を自動生成するための分析も行っています。
今後は、FAQやコールセンターにもLLMを活用していけたらと考えているので、さらにNLPエンジニアが活躍する場面は広がっていくはず。IVRyには、NLPエンジニアがまだ2人しかいないので、新しく入ってくる人の役割やもたらすインパクトは大きいですね。
町田
花木とはよく、NLPエンジニアのポテンシャルをもっと活かせないかという話をしているんです。NLPやLLMに関する基礎知識を持っている人が、世の中のために知識を活かしてもらうにはどうしたらいいのか。IVRyがやろうとしているのは、NLPエンジニアが活躍するための土壌づくりでもある。自分の知識や経験を活かしたいと考えているNLPエンジニアと、ぜひ一緒に働きたいですね。
NLP関連ポジションの採用を強化中
このnoteをお読みいただいて、少しでもIVRyが気になった方はぜひお気軽にご連絡ください。
NLP関連をはじめとするエンジニア、デザイナー、マーケター、セールス、採用人事、コーポレート含め、全方位で仲間を募集しています！