【ローカルLLMはどこまで使える？①】セミナーの概要とローカルLLMについて解説
株式会社WEEL、メディア部の三谷です。
12/10（火）に弊社の田村が
「ローカルLLMはどこまで使える？〜2つの実証事例をもとに徹底討論！～」というテーマで登壇したので、いち視聴者として聞きながらレポートをまとめました！
・営業支援のために活用したいが、具体的な効果が見えない
・セキュリティを重視しつつコストも抑えたいが、選択肢に迷う
・非構造データを効率的に活用する方法を模索している
・ローカルLLMとは何で、どのような事が出来るかを知りたい
内容が非常に濃く、1回の記事では収まりきらないため、4回に分けてお届けします。
今回の記事では、本セミナーの概要とローカルLLMについて詳しく解説していきます！
ぜひ、ご一読ください！
目次
1. このセミナーではこんなことを行った
①ローカルAIのビジネス活用について「2つの事例を深掘り」
②リアルな話を伝えるためにも、どしどしご質問ください！
2. ローカルAIとは？
ローカルAIをいきなり説明するより、まずはクラウドのAIという説明をしてからの方が分かりやすいと思いますので、クラウドAIを説明していきます。
クラウドAIについて
クラウドのチャットやAPI経由でGeminiを使う時というのは、基本的には自社内にあるモデルを動かすのではなく、OpenAI社など外部のデータセンターやサーバーにあるモデルを借りて使わせてもらうイメージです。
データを入力すると、外部のデータセンターに飛んでモデルが計算して、回答が返ってくる感じです。
ローカルAIとは？
それに対してローカルAIとは、自社のPCとかワークステーションにダウンロードして使うイメージです。なので借りるというより自社の中で使っている形です。なのでデータが外に出ることはないですし、従量課金みたいなものも必要ありません。
ローカルとクラウドの比較
ローカルがめちゃくちゃ素晴らしいのかっていうと、デメリットもあります。やっぱりクラウド（API型）で使うモデルはめちゃくちゃ頭いいです。ギッチリ詰まった脳みそを使うみたいなのがクラウド（API型）です。
ローカルにダウンロードして使えるのは、比較的軽いモデルが多いので、比べるとちょっと性能が落ちたり、速度が遅いというのはあります。
そこも安全性と性能のトレードオフというところを認識いただければと思います。
なぜ、企業がローカルAIに注目しているのか？
実際に企業はどれぐらい今ローカルLLMへ注目しているのでしょうか？
オンプレ環境で開発したいという相談はあったんですけど、AI PCとかワークステーションに関して全然相談が無いという状況でした。
ただ、9月ぐらいから一気に増えたなっていう印象です。
重要なポイントなのですが、この中でも90%以上の企業さんが「ローカルがいいよね、クラウドがいいよね」というよくある二者択一論というよりも、どっちも使っていきたいという話が多いという事です。
実際に鉄道系の会社ではCopilotを既に使っているんです。すでに全社展開もしていて、Copilotエンタープライズみたいなものもやってます。
その中で、「マニュアルとか自社資料みたいなものは社外秘だから入れられない」という話があり、何とかできないかと相談に来ていただいています。
なので最近は、全社展開をクラウドでやりつつ、社外秘の部分はローカルで行う、といった相談が多くなっている印象です。
では、なぜローカルでAIを活用する企業様が激増しているのでしょうか？
ローカルAIを活用したい理由として、社外秘データ活用とランニングコストっていう、この2個が圧倒的に多いです。グラフに表すと以下になります。
日本とアメリカの生成AIサービス認知度の違い ※補足情報
生成AIサービス・キーワードの認知度
日本は本当にChatGPTに特化していて、アメリカはいろんなサービスを活用してるという感じです。
面白いなと思ったのが、Llamaの理解が日本は認知度11％、アメリカは41％でめちゃくちゃ高いんです。
Llamaを自分のパソコンにダウンロードし、自分のデータで学習させた結果、自社独自のLLMをローカルに作るみたいな感じで、一番使い勝手が良いとされています。
そういう取り組みがアメリカでは進んでいて、まだ日本ではそこまでない。しかし、先ほどの相談内容でもニーズがどんどん増えている最中なので、来年ローカルのニーズは増えるんだろうと思っています。
ローカルAIの適用範囲は？
ローカルAIをどういった適用範囲で考えていけばいいのかというと、使用する規模で使い分ければ良いと考えてます。
全社でしっかり使っていくのであれば、サーバー立ててオンプレみたいな使い方がおすすめです。
生保の会社さんですと、自社用のチャット環境もサーバーを立てて作った事例もあるので、そういう風にやってもいいのかなと思います。
ただ、サーバーは結構な費用（数千万円、場合によっては数億円）がかかってしまいます。
なので、まずチーム単位や部署単位で行いたい。とった場合であれば、ワークステーションというちょっと高級なPCにGPUを挿して使っていくという方法もあります。
個人業務などの一部の業務に使いたいということであればAI PCもありだ思っております。
ワークステーションだと、数百万とかで買うことができ、そこにGPUを挿すという使い方なので、サーバーよりはだいぶ安くなります。
その分、サーバーを建てた場合のように常時ずっと使っていられるわけではないので、ここもトレードオフとなりますね。
AI PCになると、30万〜40万円ぐらいで購入できると思います。今後はチップの新しいバージョンが出てくるので、もっと安定して安くなると思います。
本記事では、セミナーの概要とローカルLLMの基本について解説しました。
【ローカルLLMはどこまで使える？②】ローカルLLM×営業！実際の事例をもとに徹底解説 に続きます。
セミナーで紹介された実際の事例をもとに、ローカルLLMの実際の活用方法を詳しくご紹介します！ぜひお楽しみに。
企業でのローカルAIやローカルLLMの活用について、
・活用を検討している
・アドバイザリーを探している
・ローカルAIの使い方や情報セキュリティが課題である
という方がいましたら、ぜひ弊社にお問い合わせください。
弊社は、50件以上の生成AI開発の実績がある【生成AIのシステム開発会社】です。様々な業種での開発などを幅広く行っております。
また、「すぐに話を聞きたい」という方は、以下の日程調整リンクより、お打ち合わせの日程を選択していただけますと幸いです。