NTT,KDDI...和製LLMの必要性 -Chat-GPTではだめなの？【前編】
最近、こんな質問を頂きました。
「NTT、KDDIなど、日本製のLLM（大規模言語モデル）のニュースを最近よく見かけます。OpenAIのChat-GPTに日本語LLMは勝てるのでしょうか？」
「GAFAMなどの米国企業は、膨大な資金力を持ち、DVIDIAのGPUを独占してるとnoteに書かれていましたが、資金力も少なく、GPUも使えない、日本企業に勝ち目はあるのでしょうか？」
ご指摘の通りで、優秀で汎用的なLLMを開発するには、そしてコンピューティングリソースや優秀なエンジニアを雇用するには、膨大なコストがかかります。
お金、人材とも、GAFAMのような企業が圧倒的有利であることは明らかですし、NVIDIAのGPUを大量に使えないという問題については以前、記事に書きました。
資金力やGPU利用において、日本企業が劣勢なのは事実です。ではなぜ日本企業が、OpenAIのChat-GPTやGoogleのGEMINIではなく、独自のLLMを開発したいのか？
それにはいくつかの理由があると、僕は思っています。
日本独自のLLMをなぜ開発するのか
KDDI社がEYLZA社をグループ傘下に入れたり、NTTが日本独自のLLMである「tsuzumi」を開発したりしています。
それは、日本語及び日本の「こと」が得意な独自のLLMを作り、使いたいからだろう、と誰もが思うことでしょう。
Chat-GPTは、既に日本語を流ちょうに話せるし、「昔のことしか知らない」といった問題も、最近はBING検索機能などが追加されることで克服しています。「ならば、日本で独自に開発しなくていいのでは？」という意見もあります。
しかしこうした動きは、僕の中では、１年前には予測していたことでした。そこで、このような動きになった理由を書いてみたいと思います。
それを書くにあたっては、「LLMってどう作るの？」や、「LLMを日本流にカスタマイズする、ってどうやるの？」を説明したほうが早道です。
LLMの説明の前提として、まず、オープンとクローズの概念から述べていきますね。
オープンとクローズ
大規模言語モデル（LLM）には、大きく分けて２つあります。オープン系とクローズ系です。
オープン系とは、開発されたシステムの中身（ソースコード）を公開して、誰でも利用し、その中身を改変して、新しいものを作ってみいいよ、としているものです。META社のLlama2が一番有名ですね。
クローズ系とは、システムの中身は秘密にしていて、そのLLMを開発した企業だけが、中身を知っており、バージョンアップしていくもの。OpenAI社のChat-GPTや、Google社のGEMINIはこのタイプです。
オープン系の特徴
①利用が無料
オープン系のLLMの最大のメリットは、誰でも無料で使えることです。誰でもダウンロードして、使うことができます。商用利用も一部を除いて可能です。
②自由にカスタマイズできる
ダウンロードしたLLMは、自分のオリジナルモデルにカスタマイズ可能です。例えば日本語を強化したり、特定分野の知識を学ばせたり、が自由にできます。KDDIと資本提携した「ELYZA LLM for JP」も、日本語が得意なLLMとしてカスタマイズされています。
③開発スピードが上がる
例えば、META社のリリースした、Llama2は全世界で数千万ダウンロードされていて、世界中のエンジニアがカスタマイズして、Llama2ベースの新しいLLMを次々に開発しています。
クローズ系に比べて、「よりかかわる人が多い」という意味で、その真価が速くなる可能性があります。
クローズ系の特徴
①利用料金がかかる
クロース系のChat-GPTは利用料金がかかりますよね。Chat-GPT Plusだと月額20ドルですし、GEMINI Advancedも、月額3,250円かかります。
また、企業でAPIというシステムに組み込む形でLLMを使う場合、接続して、LLMに受け渡しする文字数（トークン数）に応じて従量課金されます。
②営利目的のため多大なコストを費やしての開発ができる
これは、特徴というよりも当たり前のことですが、OpenAIも、Googleも、独自開発したLLMに利用料金を課すことで収益を得て、その収益を元手に、機能アップをする、というサイクルを回せます。
③自由に改変できない
Chat-GPTは、チューニング、ある程度のカスタマイズはできても、LLM本体部分を改善したり修正したりはできません。それができるのは、OpenAIであり、Googleで、ソースコードも一切公開されていません。
クローズ系でのカスタマイズには限界がある
このように、オープン系、クローズ系には、それぞれ特徴があります。どちらがいい悪いの問題ではなく、それぞれに向き不向きがあります。
でも、クローズ系のChat-GPTでもプロンプトチューニングとか言って、使い用途に合わせたカスタマイズしたり、最近はGTP’ｓというモノが出てきて、色々な用途向けのChat-GPTが開発できるという話も一方でよく耳にしますよね。
そうであれば、「クローズ系で日本のことに得意ななLLMは作れるので、わわざわざ国産LLMをChat-GPTに対抗して作らなくてもいいのでは？」との疑問は否めません。
先に答えを言えば、「クローズ系でのカスタマイズには限界がある」ということになります。
でもせっかくですから、クローズ系LLMのカスタマイズ方法とはどんなものか、についても説明しておきましょう。
Chat-GPTに代表される、クローズ系のLLMもカスタマイズはある程度できます。やり方はいくつかあります。
①プロンプト・チューニング
一番簡単なのは、プロンプトを使ってのカスタマイズです。これは、以前、プロンプトのテクニック26個の記事でも説明しています。
②ファイン・チューニング
これは完成されたLLMに、簡単な色付け、例えば、芸術関係のことを答えるのが得意とか、そういった個性を出すために、別途その分野のデータ、具体的には質問と回答をペアで数百個程度学ばせて、その分野の知識を多少与える手法です。
③RAG（ Retrieval-Augmented Generation )
企業が持っている独自データを読み込んで、そのデータに対して回答するといった仕組みを作る仕組みです。インターネットに公開されていないような社内情報をもとに、このRAGを用いた「社内FAQ」などが、日本の各企業で開発されています。
④LLM基盤の継続学習
これは、最も、カスタマイズ性に優れた方法ですが、一番難易度が高い方法で、完成されたLLMにさらに、学習を継続させることで、基盤そのものをかえてしまうやり方です。
後編に続きます。