生成AIの第3段階の推論段階の到来

OpenAI-o1モデルの登場で、生成AIにいよいよ推論の段階が来たというお話をします。

大規模言語モデルという名前は過去の遺物

元OpenAIの Andrej Karpathyは、大規模言語モデルという名前は過去の遺物だと言っています ([[ai_explained])。
言語モデルとは単語と単語の間の関係を表すモデルです。生成AIは最初言語モデルから発生しました。人間フィードバックによる強化学習においては報酬と呼ばれる抽象的な基準を設定し、報酬が高くなるようにトレーニングを行いました。

生成AIの進化の第3段階

生成AIの進化の段階モデルは以下のとおりです：

1. GPT-1, GPT-2, GPT-3: 大規模言語モデル

2. GPT-4: 報酬モデル

3. o1: 推論モデル

最新のo1では推論をトレーニングしています。
OpenAI のNoam Brownは今後、時間単位、日単位、あるいは週単位で考える生成AIが誕生するといっています ([theaigrid])。出た答えを考え直し、考え直しすればいくらでも時間はかかりますが、精度も向上していきます。質問と答えをくっつけてさらに繰り返し考える、というわけです。

NVIDIAの天下は続く

大規模言語モデルの学習もいつかは飽和して、それからは学習済のモデルを推論するだけになると思っていました。
OpenAI-o1モデルは実行時に推論を何回も回すことで精度があがることを示しています。
学習が終わったらGPUの利用はおしまいで推論側で低価格化が進む、という予想は間違いだったかもしれません。
高性能GPUクラスタ、すなわちNVIDIAの天下は想像以上に続きそうです。

むすび

OpenAI o1の推論をフルに使う企業生成AI応用例は5%もないといわれています。それでも次のエージェント化やイノベーション化の準備として必要不可欠な能力が生成AIに加わってきたことを感じます。
o1のIQは120という話が話題になっています ([trackingai])。本当に知的能力で人間を超えつつあるのか、それとも、単に最近のOpenAIの資金調達ラウンドのための煽りなのか、今後の展開が楽しみです。

参考文献

• [ai_explained] o1 - What is Going On? Why o1 is a 3rd Paradigm of Model + 10 Things You Might Not Know https://www.youtube.com/watch?v=KKF7kL0pGc4 AI Explained 2024年 27m31s

• [theaigrid] AI NEWS: OpenAI's Agents Surprise Even me! Google Gemini Comes Alive. New Robotics World Model https://www.youtube.com/watch?v=hJHfZ1PpBnY TheAIGRID 2024年 27m28s

• [trackingai] https://trackingai.org/IQ