Llama 2の登場でLLM三国志が始まった

2023年5月にGoogleの従業員が書いたとされる文章が流出した。

We have no mote—and neither does OpenAI

「私たちに外堀はない。OpenaAIも同じだ」と題されたこの文章には大規模言語モデル（LLM）におけるオープンソースへの脅威が語られていた。

画像生成AIでオープンソースのStable Diffusionが圧倒的成功を収めたようにLLMの世界でもオープンソースのモデルがGoogleやOpenAIを脅かすと言うのだ。

小さなパラメータ数で高性能なモデルを作り出す技術や、多額の費用をかけて全パラメータの学習を繰り返す必要がないLoRAによる調整技術などオープンソース界隈の動きを危機として捉えていた。

クローズドなOpenAIのChatGPTが圧倒的な成功を収めていた当時（と言ってもたった2ヶ月半前だ）、この文章の主旨を真剣に受け止める者は多くなかった。画像生成AIと違い、オープンソースのLLMはクローズドに匹敵するクオリティは出せていなかったし、LLMの事前学習に巨額の費用がかかることが半ば常識となっていたからだ。

多くのオープンソースモデルのベースとなっているMetaのLlamaは研究者用で商用利用はできなかった。一般人による開発はリークされたデータがベースとなっていてMetaに黙認されているというのが実情であった。

そのような曖昧な状況の中でオープンソースのモデルに多くの企業が投資をし、大きく発展していく未来を想像することは難しかったのだ。

✴︎✴︎✴︎

2023年7月19日、MetaからLlama 2がリリースされた。70億、130億、700億のパラメータ数で学習された3種類のモデルを備えたオープンソースモデルだ。

ベンチマークによってはGPT-3.5（ChatGPTの無理版に搭載）を越えるクオリティを見せると言われ、安全性のスコアでは完全に上回っている。

ソースコードだけでなく、ニューラルネットワークの重みづけデータまで公開されていて無料、そして商用利用が可能なのだ。

すでにMicrosoftのAzureとAmazonのAWSと提携しており、モデルを公開したいユーザーはホスティングの費用を負担するだけでいい。小さなモデルを自宅で楽しむ分にはそれすら必要がない。

これから何が起こるのだろう？

OpenAI +Microsoft対Googleの二強対決が、Metaを加えた三国志に変わる。

✴︎✴︎✴︎

◯ OpenAI - 魏
—デファクトとして先行する強力な帝国

史上最も早く1億ユーザーに到達したと言われるChatGPTの圧倒的な成功で、GPTは誰もが知るLLMとなった。

APIの早期公開により、多数の開発者によるエコシステムをすでに構築している。多くのAIツールがGPTを基盤として構築され、早くもデファクトとなりつつある。

一般ユーザー向けにはChatGPTに次々と新機能を提供し耳目を集め続け、開発者向けにもAPI使用料金の劇的な低減やFunction callingのような使いやすい機能を提供することでAIサービスの開発を促進している。

三国志の世界でいうならば、魏のような存在である。魏は三国志で最初に成立し、その統治体制や軍事力によって他の二国と競争する基盤を作った。

曹操サム・アルトマンの巧みな政治力、外交能力によって技術以外の点でも存在感を獲得している上に、Microsoftが軍師・司馬懿（しばい）のように背後で策を巡らせている。Llama2の発表時にMicrosoftとMetaの提携が発表されたのは誰もが驚かされた。

◯ Google - 蜀
—伝統を復活させ捲土重来を期す

インターネットあらゆる分野で大きな存在してを見せるGoogleがLLMでは小さなシェアしかとれていない状態だ。

OpenAIの躍進に押され、Bardをリリースしたがまだ市場にインパクトを与えることはできていない。

Googleは三国志の蜀である。GPTをはじめとする多くのLLMを支える技術TransformerはGoogleの研究者たちが開発したものだ（執筆者は全員辞めてしまったが）。

劉備が漢室の末裔を名乗ったように、LLMの伝統を引き継ぐ正統性はGoogleにあると言えるだろう。蜀は人材の宝庫であったが、中でも軍師・諸葛亮の働きが一番大きい。過日、Googleに正式に統合されたDeepMindを率いる天才デミス・ハサビスがその役割を担うはずだ。

◯ Meta - 呉
—後発ながら独自の戦略で大国に対抗

チューリング賞を受賞したAI界の三賢人の一人、ヤン・ルカンがAI部門を率いるMetaは呉である。

呉が中原から離れた江南の地で独自に力を蓄えたようにMetaのAI部門には大きな自由が与えられていた。2000万ドル以上と言われるLlama 2の事前学習コストにも関わらず、無料のオープンソース提供に踏み切れたのはヤン・ルカンの独特の哲学がマーク・ザッカーバーグによく理解されているからだろう。

呉が魏と蜀が既に成立した後に興り、独自の戦略を持ってこれらの国と競争したように、Metaもまた後発の不利をオープンソース戦略ではね返していく可能性がある。

◯ Anthropic - 袁紹
—OpenAIから別れた独自勢力

高性能LLM、Claudeを提供するAnthropicはMicrosoftとの提携に反対したOpenAIの幹部が独立して作られた組織だ。曹操と不良仲間だったが袂を分かった袁紹のように。

◯ xAI - 五斗米道
—宇宙の謎を解明する

イーロン・マスクによって作られたxAIの目的は宇宙の本質を理解することである。キラ星のような人材を集めて始まったこの会社がどんなものをリリースするのかは今のところわかっていない。

独自の宗教のもとに人材を集め、一つの勢力となった五斗米道だと言えるだろう。

✴︎✴︎✴︎

LLM三国志の時代へ

Llama2が登場してLLM三国志が始まった。冒頭のGoogle従業員の危惧が現実化するのか、史実と違ってまだ見ぬ勢力が統一を果たすのか誰にもわからない。

一つ言えるのは、この舞台をリアルタイムで見ることができるのがこの上なく楽しみだということだ。

2023年の後半に届けられるであろう様々なニュースが待ちきれない。

100% written by human