【ローカルLLMはどこまで使える？②】ローカルLLM×営業！実際の事例をもとに徹底解説
株式会社WEEL、メディア部の三谷です。
12月10日（火）に開催されたセミナー「ローカルLLMはどこまで使える？〜2つの実証事例をもとに徹底討論！〜」のレポート②をお届けします。
※前回のレポートをご覧いただいていない方は、ぜひ先にご一読いただくことで、今回の内容がより深く理解いただけると思います。
①セミナーの概要とローカルLLMについて解説
今回は、セミナーで紹介された営業分析AIの事例を基に、ローカルLLMの具体的な活用方法を詳しく解説していきます！
3. ローカル事例① 営業分析AI
1個目の事例は、データ分析事例です。
営業分析AIの概要としては上の図のような感じで、ローカルPCやエクセルの中に商談データがあります。
ここでいう商談データとは、
・商談の文字起こし
・初回訪問など何回目のアポイントか
・業種
・受注失注
など人間側で入れたデータのことです。
プログラムを実行するとローカルLLMが
・商談ニーズの抽出及びまとめ
・よくある質問を抽出及びまとめ
を行います。
その後、商談データを分析できるように、非構造データを構造データに変えるといったことを、ライトアップ社に協力いただき検証しています。
分類タスクも色々試したかったのですが、検証期間が1ヶ月だけだったので、分類タスクのところはGPT4o-mniを使っています。
青から右の項目を生成AIが分類して出してくれていて、質問があったところが「1」・なかったのが「０」といった分類タスクも行なっています。
「受注した企業で絶対聞かれてる質問これだよね」
「実は失注した企業ってこういう理由で失注してたね」
みたいなことを分析しやすくするところで生成AIを使いました。
ポイントとしては、1つの商談に対して、いきなり全部のセルを作っているわけではありません。
1回目のLLMでお客さんのニーズが何か（青い部分）という処理をして、2回目で同じ商談にどんな質問があったか（赤い部分）を処理してます。つまり、1つの商談に2回処理してるわけですね。
さらに、「よくある質問って分類したらどうなるの？」っていうのを、表の右側で処理しました。
1つの商談に対して、何段階も分析していき、必要な情報だけをピックアップしているので、構造化して後からカウントしやすくするみたいなことを、生成AIを使うとできます。
営業の商談や採用の面談などの様々な非構造化データに、同じような処理が可能です。
クラウドよりローカルの方がよりセキュアというわけで、今回の取り組みを行いました。
今回の検証に使用したAI PCやモデル
どういう課題感から今回の検証に至ったのか？
【ライトアップ社の課題感】
元々営業活動が多く、商談データが、電話やオンライン会議（様々なツール）・お客さんに許可を取った録音な者になっていました。
しかし、そのデータは「クレームが発生した際に確認する」といったイレギュラーな対応にしか活用されず、結果的に「とりあえず保存している」という状態が続いていました。
また、セキュリティ面での懸念から、蓄積したデータを積極的に活用できないという課題も抱えていました。
そこで、「生成AIを活用して非構造化データをピックアップし、利用可能な形に変換できないか？」という検討が始まりました。
その結果、まずはセキュリティを確保できる環境であるローカル環境で試してみよう、という流れでプロジェクトがスタートしています。
今回は営業データを対象に実施しましたが、非構造データはマーケティングや人材領域など、さまざまな分野で活用できると考えています。
人材領域では、実際に「採用面談やエージェントと求職者の面談で活用したい」「採用プロセスの分析をローカル環境で行いたい」というご相談があります。
やはりクラウドは賢いので、クラウドで利用可能なデータは積極的に活用するべきだと考えています。しかし、データの種類によっては、セキュリティやプライバシーの観点からクラウドにアップロードできないケースもあります。
今はローカルが進化しているので、今のクオリティだったら対応可能ではないかと考え、実際に試してみることにしました。
結果はどうだったのか？企業様の声は？
ライトアップ社の担当者に直接伺った結果、
・比較的アウトプット精度も想定よりも高かった
・まとめることによって営業マンが経験則的に語っていたノウハウがAIから導かれて納得感も高まった
というお声をいただきました。
さらに、これを使うことによって、これから売れる営業マンと売れない営業マンを「売れる営業群の分析」と「そうじゃない営業群」で分析するみたいなこともできるんじゃないかという議論もありました。
大量なデータだけだと定性的なデータで使えないことが多いが、要約して考察することで定量的に変換することによって、経営的にも使いやすくなるんじゃないかと、非常に好評でした。
ナーチャリングにも使えるんじゃないかなって話もあったんで、良い結果が得られたと感じています。
技術的なことにフォーカスすると、生成スピードは大体1～2分くらいだったので、今回の分析タスクにおいては十分は結果でした。
Phi-3.5 miniを使用しましたが、性能的にも今回のユースケースだと良かったと思いました。
もっと言うと、Phi-3.5-MoEが使えると、より良い精度やいい分析が出来た気がするので、そこまで検証できたら更に良かったなという気はしてます。
また、どうしてもクラウドよりは時間がかかるケースもまだあるので、リアルタイムなところはクラウド使いつつ、そうじゃないところはローカルに投げるみたいな、そういう使い分けもあるのかなと思ったりもしました。
本システムの今後の展開や可能性は？
まずはLLMを使っていろんな物事を非構造化データを分析して整理していくというのは、営業に限らず様々な分野で使えると思います。
これまではセキュリティ的にできなかったデータも、ローカルLLMという選択肢が出てくると、対象範囲に入ってグンと可能性が広がったんじゃないかなと思っています。
しかし、分析の精度や実際に同じデータを与えて抽出・まとめるタスクで言うと、やっぱりクラウドの方が賢かったりするケースもまだまだあるかなと思います。
特定の分類においては、ローカルLLMをファインチューニングして精度を向上させる検証を行い、「このデータにはこのLLMが適しているよね」や「この用途にはこちらのプロンプトが効果的だよね」といった知見を溜めていきたいと思っています。
他には、①大きいパラメーターを入れられるようにするのと、②定量評価について検証したいと思っています。
①大きいパラメーターを扱えるようにするには、量子化を行うことでさらに精度が向上したのではないかと考えています。
②今回「ニーズを出す→質問を出す→分類する」という手順だったのですが、生成AIの強みは、文面をもとにそれを定量的な評価に変換する能力だと感じています。この特性を活かすことで、より実用的な分析が可能になるのではないかと期待しています。
本記事では、セミナーで紹介された実際の事例「営業分析AI」について詳しく解説しました。
【ローカルLLMはどこまで使える？③】商談力を強化！実際の成功事例と活用ポイントを徹底解説 に続きます。
セミナーで紹介されたもう1つの事例（商談同行AIについて）、詳しくご紹介します！ぜひお楽しみに。
企業でのローカルAIやローカルLLMの活用について、
・活用を検討している
・アドバイザリーを探している
・ローカルAIの使い方や情報セキュリティが課題である
という方がいましたら、ぜひ弊社にお問い合わせください。
弊社は、50件以上の生成AI開発の実績がある【生成AIのシステム開発会社】です。様々な業種での開発などを幅広く行っております。
また、「すぐに話を聞きたい」という方は、以下の日程調整リンクより、お打ち合わせの日程を選択していただけますと幸いです。