見出し画像

飽和しない生成AI開発

ai300lab

飽和しない生成AI開発のお話をします。


止まらない生成AI開発

OpenAIに勝つのは無理だからさっさと白旗あげたほうがいいと思っていましたが、そうでもないようです。
計算機資源の寡占は進んでいます。SIGRAPCH2024のJensen HuangとMark Zuckerbergの対談がありました。MetaはH100を60万個買っているそうです。2023年のNVIDIAのデータセンター向けGPUの出荷は376万個という推定が出ています。中国向けの型落ちGPUも出たでしょうから全部H100ではないと思います。7割がH100だとして250万個くらいっでしょうか。NVIDIAの発表によればH100の商用量産は2022年10月からです。60万個の6割は2023年に出荷されたと推定します。36万個です。GoogleとMicrosoftも同じように買っているとするとそれだけで100万個です。これにXaiとAmazonを足せば、2023年のH100の半分以上はメジャーな生成AI開発企業が調達したことになります。
数字だけ見ると計算資源の寡占化が進み、資金力のある企業が圧倒的に優勢に思えます。いまや大量のNVIDIA GPUを持っていないと人材を獲得するのみも障害になります。だれも豊富なGPUを持っていない会社には転職したくありません。GoogleがB100を40万個調達したという噂だとそれだけで4兆円の投資になります。いかにスタートアップがベンチャー資金を獲得してもかないません。

大規模言語モデル

チャットボットアリーナ　リーダーボード (2024年8月19日版）

GPT-4oは首位で、GPT-4oとGeminiの実験版が激しく争って上位を独占しています。Claude 3.5 Sonnetも結構迫っています。AnthoropicのClaude 3.5はこれからOpus版も出るので楽しみです。
大規模言語モデルや動画モデルに注目している間にKyutaiの音声モデルMoshiも登場しました。70の感情を使い分けるというすぐれものです。Kyutaiはフランスのスタートアップです。研究者は1桁人数です。

ソフトウェア開発

ソフトウェア開発のベンチマーク(SWE-bench Lite) で頭角を現しているCodeStoryは英国のスタートアップ、AbanteAIはシリコンバレーのスタートアップです。いずれも研究者は数人しかいません。

SWE-bench Lite (2024年8月19日版）

少人数の研究チームが健闘する理由

基盤モデル系で活躍の機会がある理由は以下の通りです：

  • GPUの進化が速い

  • Transformerが優秀

  • データの自動生成が可能

問題解決フレームワークや応用はまだまだ宝の山のようです。
以下の3つがあれば勝負できるようです：

  • 才能

  • 計算資源

  • データ

このうち、データは生成AIで生成できる場合は、計算資源に吸収されています。
GPUの買い付け競争を見ると悲観的になりそうになりますが、視点とデータ源はまだまだ開拓の余地があるようです。
日本のsakana.aiもAIを研究するAI：AI科学者のプレスリリースを行いました。自分で学習してモデルを改良する研究生成AIは生成AIの本丸となるホットな分野です ([sakanaai])。
日本語特化言語モデルも音声源が大量にあれば違うブレークスルーもあるような気もします。

可能性はまだまだある

ついつい何も考えないでGoogle, OpenAI, Anthropicのマッチレースでしょと思いたくなりますが、実際にはそうでもないようです。
人間の知能になれば学習が飽和して大規模言語モデルの進化は止まると思いましたが、そうでもないようです。まだ何か明かされていないレシピがあるようです。
動画や音声でもTransformerは優秀です。
Kyutaiは音声モデルという盲点をついてきました。
基盤モデルではなくそれを使って知的な作業をするフレームワークもまだまだ未開拓です。ロボットや創薬などアプリケーションも広大です。

むすび

資金にまかせたGPUの買い占め競争が起きています。スタートアップは不利かと思いますが、ニュースを見ているとそうでもありません。
広い生成AIの世界、まだまだ見落とされている領域、未開拓の技術は数多くあるようです。
生成AIは黎明期、これから驚くことはいくらでも起こる、と思うこの頃です。

参考文献

この記事が気に入ったらサポートをしてみませんか？