見出し画像

生成AIの2024年振り返り

ai300lab

2025年の変化にきりきり舞いする前に2024年のまとめをお話しします。


はじめに

今月もすぐo3miniのリリースとかが控えています。12月にはSWE-benchの最高記録の更新も続いています。止まることのない生成AIの進歩で忘れ去る前に2024年の振り返りをしておきたいと思います。

スケーリング則の更新

2022年はMidjourneyとChatGPTが登場し、生成AIという言葉が広がった時代でした。
2023年はChatGPTが爆発的に広がり、生成AIのAPIによるソフトウェア開発が始まった年でした。
2024年も生成AIの驚くべきニュースは数多くありました。その中でも一番個人的にすごいと思ったのはo1の登場、そしてその背後にあるスケーリング則の更新です ([ai300lab])。人間どうしても年の後半にあったイベントに引きずられがちです。一方で、生成AIの進化が頭打ち説を乗り越え、むしろ加速しているのも事実です。
OpenAIが少数の研究所からAIのNo.1会社にのし上がった最大の理由は人材もさることながら、スケーリング則を徹底的に信じたところだと思います。AIエンジニアだけならGoogleのほうが数は圧倒的に（2桁くらい）多いのですが、OpenAIはスケーリング則に徹底的に賭けたところが勝因ではないかと推測します。
そのスケーリング則が事前学習だけでなくテスト時 (test-time)すなわち回答を導出するときにも適用できる、とうのがOpenAIのo1時の主張です。
人間になぞらえて考えれば、答えがでてから何回も考えればよりよい答えが出る可能性が高まるのは当たり前です。
テスト時計算には、戦略を立てる、プログラムを作成する、データを生成してファインチューニングする、など多様な可能性があります。2025年は引き続き、GPUをぶんまわし、計算し続ける生成AIが続くと思います。

その他の知見

他の注目点は以下の通りです。

計算資源の拡大

スケーリング則を支えるGPUの進化は年4.1倍と報じられました ([microsoft])。スケーリング則がなりたっても計算の高速化が実現しないと意味がありません。ムーアの法則の8倍のペースでGPUの能力は拡大しています。学習も推論も速く安くなることが予想されます。生成AIには追い風です。

Transformerの万能化

Soraやo1の登場で、言語だけでなく、動画や推論でもトークン化すればTransformerで学習できることが示されました。Transformerが論理回路を自由にシミュレートできることも示されました。Transformerはもはや新時代のコンピュータだとも言われています。
半導体がいろいろな素材で試されたけれども、結局、性格のいい扱いの容易なシリコン一択になったように、Transformerの時代は続きそうです。
いくらでも中間トークンを増やせば、一定の深さのTransformerが任意の計算をすることも示されました ([qui])。
音声、画像などでも生成AIが進み、現実世界を理解する生成AIのデモもOpenAI、Googleの両社から出ました。
Google DeepMindのAIによる分子研究にノーベル化学賞が与えられました ([nobelprize])。
なお、研究レベルでは無限コンテクスト長に対応できる、という論部も出ました。

スキーミング

Apollo Researchから生成AIが面従背腹をするスキーミングの報告がありました[meinke] 。積極的に誘導しなくても勝つためにはゲームファイルを改造してインチキするという報告もありました ([palisade])。
賢くなりすぎる生成AIという概念が登場したのも2024年でした。

自律ソフトウェアエージェント

2023年10月に発表され、発表当時はFullで1.96%しか解けなかったSWE-benchは、解けない課題があるということで SWE-bench verifiedとしてサブセットが生まれました。12月の時点で 62.20% (CodeStory Midwit Agent + swe-search)、現時点(2025年1月13日）では62.80% (Blackbox AI Agent)を達成しています ([swebench])。
SWE-benchの研究の中で次のようなことがわかっています：

  • そもそも正しい対象ファイルを見つけるのが難しい（RAGやLong Contextの問題）

  • 問題を解くための土台(Scaffolding) が必要

  • ファイルにアクセスする環境として人間でなく生成AIに使いやすいインタフェースが必要

などの知見が得られています。これらはソフトウェア開発以外の問題解決にも共通な課題です。

AGIの実現に近づく

2024年12月のOpenAI o3の発表ですでにAGI  (Artificial General Intelligence: 汎用人工知能）の実現かと言われています。まだ一般に公開されていないので検証はこれからです。


社会受容の停滞

このような進化の中で、実世界の生成AIの受容は予想を下回るものでした。少なくとも生成AIによる失業は2024年には大きな問題にはなりませんでした。

  • 企業の経営管理が生成AIを前提にした組織管理ができない

  • 変化が速すぎて最適な対応を目指すとうまくいかない

  • 現状のコンテクスト長 (Long Context) や RAG (Retrieval-Augmented Generation 検索拡張生成）が企業データに対応できていない

SalesforceのMark Benioffが今後はソフトウェアエンジニアは採用しないと言っています。2025年に企業社会がどう生成AIと折り合いをつけるかが注目です。
最終地点はわかっているが、どうマイグレーションするかは最終地点に到達する以上の大きな課題です。

むすび

電卓と計算競争しても人間はかなわないことは前からわかっていました。それでも人間は論理的な思考には自信をもっていました。論理的なしこ言うは実数の加減乗除だけではできないと思っていたからです。生成AIの進歩は高度な論理思考は加減乗除で実現できることを示しました。
上述したように社会と技術の折り合いをどうつけるかが今後取り組むべき課題だと思う新年です。

参考文献

いいなと思ったら応援しよう！