見出し画像

30万円で最高性能の国産LLMを開発！〜企業独自LLMが当たり前の時代を目指して〜

小田　志門

こんにちは、小田志門です。今日は、驚くべき低コストで高性能な国産大規模言語モデル（LLM）を開発した私たちの取り組みについてお話しします。企業独自のLLMが当たり前の時代に向けて、どのように進んでいるのか、一緒に見ていきましょう。

ざっくり概要

私たちカラクリ株式会社は、カスタマーサポートDXを推進している企業で、世界初となるAWS Trainiumを用いたMoE（Mixture of Experts）モデルの学習に成功しました。この「KARAKURI LM8x7B Chat v0.1」をわずか30万円・12時間で構築し、国内最高水準の性能を実現しました。

世界初づくし


当社のLLMの特徴は以下の3つです。

  1. エヌビディア社のGPU不足解消に貢献
    従来、生成AIによる学習にはNVIDIAのGPUが多く使われていましたが、これに代わる選択肢を提供します。

  2. AWS TrainiumでのMoEモデルの学習成功
    この技術により、企業は自社に最適化されたLLMを低コスト・短期間で構築できるようになります。

  3. わずか30万円で国内最高水準の性能実現

    これにより、企業が自社で生成AIモデルを持つことが現実味を帯びてきました。

（１）NVIDIA以外の選択肢

生成AI市場ではNVIDIAが圧倒的なシェアを持っていますが、GPUの供給不足が続いています。これに対抗するため、AWSのチップを活用した取り組みが増えており、これが業界全体に良い影響をもたらすと考えています。私たちはこの新たな選択肢を模索し、企業の生成AI活用を促進したいと考えています。

上記のサイトには約92％のシェアを誇っていると記載されています。
NVIDIAの決算も絶好調のようです。

NVIDIAが絶好調なのであれば、GPUもたくさん流通しているのでは？と思われるかも知れませんが、めちゃくちゃ不足しているのが現状です。

これだけ凄まじい決算でも、まだGPUが不足している状況ってどんなレベル？と思いますが、、、。

ということで、NVIDIA以外の選択肢を持って、生成AIを動かせること、はAI界隈とっては密かに注目ポイントかなと思っております。

GPU戦争を乗り切る１つの選択肢として、NVIDIA以外。

そんなNVDIAのGPUが花盛りな今、AWSさんのチップで開発実績を出し続けることも、業界全体にいい影響となればいいな、という思いであります。

（２）学習コスト30万円の意味

生成AI・大規模言語モデルは、通常、高額なコストがかかります。しかし、私たちの取り組みで学習コストが30万円に抑えられたことは、企業にとって「自社が生成AIモデルを持つ」ことのハードルを大幅に下げる要素です。これにより、以下のようなニーズに応えることが可能になります。

  • 自社システムに適した生成AI活用

  • 自社のドメイン知識をLLMに学習させ、専門性の高い業務支援

  • 機密データを外部に出すことなく、セキュアな環境でLLMを活用 -低コスト・短期間でのLLM開発と迅速なPoC（概念実証）

企業独自の生成AIモデルの構築が壊すハードル

一言でいうと、「セキュリティを気にせず、安心して活用したい」というニーズに応えます。

（３）RAGとフローエンジニアリング

企業活動におけるLLM活用では、RAG（Retrieval-Augmented Generation）やフローエンジニアリングが重要な要素となります。特に、自社のデータの機密性が高い場合には、自社LLMのニーズが高まります。また、フローエンジニアリングを活用することで、自社のビジネスプロセスに特化した統合的な対応が可能となります。

例えば、コールセンターで生成AIを活用する際、音声データを外部APIに送信することがセキュリティ上のリスクになることがありますが、自社LLMならその問題を解決できるでしょう。

まとめ

さらに、独自のモデルを企業で持つ際には、新たな技術に適応するコストが高いのではという疑問もありますが、今回の学習コスト30万円は、一定の実現性を示しています。このモデルはオープンソースとしても公開しており、比較的自由に活用することができます。

企業独自のLLM開発を検討されている企業や開発会社の方々、ぜひお問い合わせください。一緒に新しい時代の生成AIを実現していきましょう！

技術解説もこちらにありますので、ぜひ。

*1 RAGとは？
RAG（Retrieval-Augmented Generation）は、大規模言語モデル（LLM）の生成能力を向上させるための手法の一つです。
従来のLLMは、学習時に与えられたデータをもとに、新しい文章を生成します。しかし、RAGでは、生成プロセスの途中で外部の知識を動的に検索・利用することで、より正確で情報豊富な文章を生成することを目指します。

RAGの基本的な流れは以下の通りです。
1.ユーザーからの入力を受け取る
2.入力をもとに、外部のデータベースや知識源から関連する情報を検索
3.検索結果を利用しながら、LLMが文章を生成
4.生成された文章をユーザーに返す

RAGを用いることで、LLMは学習時に持っていなかった最新の情報や、ドメイン固有の知識も利用できるようになります。
その結果、より正確で、文脈に即した文章生成が可能になるのです。

RAGは、質問応答、文書要約、対話システムなど、様々なNLP（自然言語処理）タスクで活用されており、LLMの性能を向上させる有望な手法として注目を集めています。

RAGとは？

*2 フローエンジニアリングとは？
フローエンジニアリングは、業務フローを自動化・効率化するために、大規模言語モデル（LLM）を活用する手法です。

従来、業務フローの自動化は、ルールベースのシステムやRPAなどを用いて行われてきました。しかし、これらの手法では、複雑な業務フローや例外処理への対応が難しいという課題がありました。

フローエンジニアリングでは、LLMの自然言語処理能力を活用することで、より柔軟で知的な業務フロー自動化を目指します。

具体的には、以下のようなステップで進められます。
1.業務フローの分析・設計
・自動化対象の業務フローを分析し、タスクの流れや必要な情報を明確化
2.LLMへの知識の埋め込み
・業務フローに関連する知識（業務マニュアル、FAQ、過去の事例など）をLLMに学習させる
3.ユーザー入力の理解
・LLMを用いて、ユーザーの入力を理解し、必要な情報を抽出
4.タスクの実行
・LLMが、ユーザー入力をもとに、適切なタスクを選択・実行、外部システムとの連携やAPIの呼び出しなども行う
5.結果の出力
・タスクの実行結果を、ユーザーに分かりやすい形で出力

例えば、経費精算の業務フローを考えてみましょう。
従業員から「先月の出張の経費を精算したい」という申請が来た場合、フローエンジニアリングシステムは以下のように動作します。
・「経費精算」という業務フローを識別
・申請内容から、出張の日程や目的、経費の内訳などの情報を抽出
・経費精算のルールに照らし合わせ、申請内容の妥当性を確認
・問題がなければ、経費精算を実行し、経理システムに データを登録、申請者に、精算結果を通知

このように、フローエンジニアリングを用いることで、従業員とのやり取りを自然言語で行いながら、スムーズに業務フローを進められるようになります。
その結果、業務効率の向上と、従業員の負担軽減が期待できるのです。

LLMの性能向上に伴い、フローエンジニアリングはさらに高度化していくと予想されます。
将来的には、より多くの業務フローがLLMによって自動化され、人間はより創造的な業務に専念できるようになるかもしれません。



いいなと思ったら応援しよう！