【ローカルLLMはどこまで使える？③】商談力を強化！実際の成功事例と活用ポイントを徹底解説
株式会社WEEL、メディア部の三谷です。
12月10日（火）に開催されたセミナー「ローカルLLMはどこまで使える？〜2つの実証事例をもとに徹底討論！〜」のレポート③をお届けします。
※前回のレポートをご覧いただいていない方は、ぜひ先にご一読いただくことで、今回の内容がより深く理解いただけると思います。
①セミナーの概要とローカルLLMについて解説
②ローカルLLM×営業！実際の事例をもとに徹底解説
今回は、セミナーで紹介された商談同行AIの事例を基に、ローカルLLMの具体的な活用方法を詳しく解説していきます！
4. ローカル事例② 商談同行AI
2個目の事例は、AIを使ってその場でリアルタイムに営業サポートしてくれる商談同行AIです。
今回はローカルPC・ローカルLLM・そしてクラウドLLMも使っていて、ハイブリッドなシステムです。
システムの内容は、商談中にローカル上でリアルタイムに文字起こしがされます。下のような画面がずっと映っている状態です。
画面上に生成AIアシストが映っていて、生成AIの活用可能性が情報として欲しいといった時に、ユーザーがボタンを押すとローカルのAIへ飛びます。
そこから、プロンプトで今回のクラウドに飛ばすための必要な情報（生成AIの活用可能性）といった時に、「何かこんな課題ありそうだな」とか「こういうのがいいんじゃない？」って要約をローカル内で行い、機密情報とか個人情報みたいなのを抜いてくれます。
機密情報を抜いた上で、クラウドLLMに「自社の事例で生成AIの活用可能性が行けそうな事例ってなかったっけ？」とか「こんな話題トークしたらいいっていうのを教えてください」みたいなのを渡します。
そうするとクラウドが高速に処理し、ローカルPC上にそのアシスト結果が返ってくるみたいなイメージですね。
今回の仕組みの場合は、クラウドLLMで一部RAGを活用してます。
会社のサービス内容を持ってきた上で、その内容から回答を作ったり、アドバイスを出す部分で使っています。
ローカル上でもRAGはできると思いますが、クラウドの方がより高精度な対応が可能かつ素早く処理ができるので、今回は自社データを検索して、持ってくる部分はクラウドで行なっています。
なのでローカルは要約し、クラウドに飛ばしちゃいけない部分を無くす処理までを行い、そこからはクラウドに繋げることでセキュリティーを担保してます。
今回の検証に使用したAI PCやモデル
どういう課題感から今回の検証に至ったのか？
前提として、営業マンって人によってスキルや対応力に差があります。営業だけではなく、コンタクトセンターや人事の面談担当など、人が対応するあらゆる業務に共通して見られるものです。
そんな中で、リアルタイムにAIがサポートしてくれる、質問して回答もフォローできるなどの仕組みがあったらいいよねという所からスタートしました。
コンタクトセンターだと、電話を録音して、そこから自動的に回答を出すみたいな仕組みはすでに行われてるかなと思います。
しかし、営業現場においては、簡単ではなかったり、話してる内容もリアルタイムでクラウドに送ると言うことが出来ないため、生成AI使ってすぐに分析というのは、これまで難しかったんです。
最近のローカルLLMの性能を見ると、商談の内容から文字起こしはでき、文字起こしした文章から一部ピックアップして要約するぐらいであれば、そこまで時間がかからずできるのではないかと思いました。
さらに、ローカルの時点で個人情報・機密情報をなくして、クラウドで処理すればすごい賢い回答が出ることもわかっていました。
情報を組み合わせるリアルタイムサポート的な概念はマイクロソフトなどがデモとして公開していますが、実装されてるケースは多くありません。
しかし、これはAI PCを使ってハイブリッドでローカルとクラウドを使ったらできる可能性が高いんじゃないかという仮説がありました。
これを担当者に話をしたところ、まさに商談データを使いたいけど使えないっていう課題感があるので、一回やってみたいねとご返事いただいたので、実現にいたりました。
スタンフォード大学が出した、カスタマーサポート5000名を対象にした研究です。
左側の表でスキルが上がっていくと、生成AIの活用の効果が下がる。だけど、逆に若年層だとめちゃくちゃ効果あるよねっていう話です。
右側は勤続年数です。勤続年数が若い人たちの方が圧倒的に効果があり、めちゃくちゃエキスパートぐらいになると、少し下がる人もいるといったデータがあります。
そこから、若手にうまく使うってもらうのが良いのではないかという事で、毎回AIが同席し、サポートしてくれるようにしました。
若手で営業のスキルがまだ低い人達でも、一定のスキルアップが出来ました。更に、上司の時間も少し無くせますし、人を担保できるってところも良いと思ってます。
自分だけで考えるのではなく、AIがサポートするので、成果が上がりやすくなります。すると、お客さんからのクレーム率の減少や対応レベルも高くなり、何よりもクオリティが高くなりました。
この結果どうなったかっていうと、退職率が下がったんです。やっぱり若手が最初成果が出ない中で仕事するのは大変じゃないですか。クレーム起きたりとか、上司から怒られたり、相談するにもみんな忙しそうだしみたいな。
勤続が続かなかったものに対して、AIサポートがあってすぐ成果が出やすくなると、人間うまくいった方が楽しいわけなんで、退職も下がるという事です。
若手がうまく立ち上がりしやすくなるためのツールとしても使えるかなと思いました。
結果はどうだったのか？企業様の声は？
まずは、個人情報をローカルで処理してくれるのでセキュリティ的に安心して使えますよねという話がありました。
次に、クラウドからの提案内容に関して、営業担当が実際使ってみたところ、「営業担当者の考えと一致した回答が得られるケースも多く、さらに想定外の提案を受けて活用できるシーンもありました。」もあったという評価をいただきました。
「自分で思いつかない仮説」を出したりとか、「思いついていてもAIがいてくれることによって安心して提案できる」みたいな効果があったので、PoCの最初の試験の印象としてはすごく良かった感じがします。
技術的なところに関して、速度はまだちょっとベストではないなと正直思っているところです。どうしてもローカルからクラウドに行くと、行って帰ってくるまでに数10秒ぐらいかかってしまうんですよ。
なので、人間側の慣れが必要だよねってことを営業担当の方からありました。
先んじてボタンを押しておき、話しながら帰ってきた情報をうまく使うやり方だといいと思うんですが、焦った時に「助けてくれ→ポチッ」だとちょっと遅いなっていう話があるので、まだ速度のところは改善の余地があると思ってます。
文字起こしの精度や回答の精度っていう点は十分だと思っています。実際、議事録ツールも文字起こしの精度ってそこまで高くないけど、要約はすごく良いっていうのは結構多いんですよ。
文字起こしでは、フィラーと言われる「あー」とか「えーと」とかが入ってしまったり、誤字があっても要約する段階で良い感じに情報の取捨選択がされるためです。
回答に関しても、最終的な回答をGPT4o-miniを使い、RAGみたいなことをDifyでやっているので、そこに対しての回答はめちゃくちゃ良かったかなと。
一回デモンストレーションもやらせていただいたんですけど、池田さんがお客さん側に立ち、何か補助金申請とか困っててみたいな話が最初に出てきてたんですよね。
そうして数分対話してる中で、私がボタンを押すと、ちゃんと最初の方に若干出てきたキーワードから「補助金申請のアシスト」とか、「何かこういうことを提案したらいいんじゃないですか」みたいな情報が出てきたので、すごく良いなって思いました。
本システムの今後の展開や可能性は？
特に今回着目するのはハイブリッドAIの仕組みですよね。
ローカルは、セキュリティを担保する範囲での処理を行い、ローカル内でできるタスクが終わっていれば、あとはクラウド投げても良いという発想もあると思います。
その後は、クラウドの賢さや、速度を利用して補足していく。こういったことは、ほとんどのビジネスシーンで同じスキーム、考え方が役立つケースがあるんじゃないかと考えてます。
今後は、ボタンを押すなど、こちらから何もしなくてもLLMが勝手に動いてくれるっていうのが、上司の代わりになるものだと思っています。
例えば、10分おきにAI側で勝手に要約し、クラウドに回して良い情報を渡してくれるような仕組みにしてしまうっていうことも出来ると思います。
そうじゃなくても、話してる文字起こしのものを見て、AI側が「ここらへん何かアシストした方がいいな」って条件を自分で考えて動いて、システムが動いてやってくれるっていう方法もあると思うので、その様なことが出来ると、よりユーザー体験が上がりそうだと思っています。
本記事では、セミナーで紹介された実際の事例「商談同行AI」について詳しく解説しました。
【ローカルLLMはどこまで使える？④】ローカルLLM×業務特化型AIの活用事例と企業が今やるべきこと に続きます。
営業以外のユースケースやローカルLLMの今後について紹介！さらに全体を通してでた質疑応答まで詳しく解説します。
ぜひお楽しみに！
企業でのローカルAIやローカルLLMの活用について、
・活用を検討している
・アドバイザリーを探している
・ローカルAIの使い方や情報セキュリティが課題である
という方がいましたら、ぜひ弊社にお問い合わせください。
弊社は、50件以上の生成AI開発の実績がある【生成AIのシステム開発会社】です。様々な業種での開発などを幅広く行っております。
また、「すぐに話を聞きたい」という方は、以下の日程調整リンクより、お打ち合わせの日程を選択していただけますと幸いです。