生成AIを簡単に説明 (2025年1月編)
2025年1月時点で生成AIをどう理解すべきかを簡単に説明します。
2023年までの生成AI
まず、OpenAIがスケーリング則を追求しました。要するに大量のパラメータで大量のデータを大量の計算をすれば賢くなる、ということです。大量の計算は世界の圧縮を生み、知識を極限まで圧縮すると、それまでできなかったことができるようになる、ということです。
もともと問題と答えをたくさん用意すればどんな問題でも近似できることは1980年代からわかっていました。当時はデータと計算資源がないので実用化できませんでした。OpenAIにいたIlya Sutukeverはトロント大学在学時にGPUによって深層学習が高速化できることを発案しました。GPUはその後も進化し続け、OpenAIでの大規模言語モデルの訓練を加速しました。
全く架空の仮定についての質問にも人間は答えることができます。ぴんとくる瞬間があれば人間は架空の問題にも答えられます。このぴんとくるというのが生成AIに関して言えば全体の一貫性があるということです。大量のデータからデータ間の相互関係を導き出し、一定の一貫性があれば答えが出せるということです。データと計算資源で人間の脳に一歩近づきました。
人間にしかできないことがあるということは加減乗除ではできないことがあるということです。論理的思考が加減乗除でできるようになり、人間とコンピュータの間の差は縮まりました。
2024年の生成AI
言語だけでなく、世界を再現できるようにトークン化ができれば、そのトークン列の関係によって音声、画像、動画、分子、推論、なんでも処理できるようになりました。並べ方をたくさん学習し、どんな並べ方ができるかの確率を言語と同じように学習できるようになりました。次に何が来るかが予測できるなら世界が再現できます。
さらに次の単語を予測するだけでなく、テスト時計算 (Test Time Compute)と呼ばれる回答時に思考する方法が考えだされました ([snell])。答えが出てからよく考える、というごく普通のことです。前述したように言語のつながりだけでなく思考のつながりも処理できるようになりました。従来は順番に生成していたので、順番にひとつながりに考える以外の問題は苦手でした。答えや考え方の候補を出して試行錯誤しながら思考することもできるようになりました([zeng])。試行錯誤する間に元のモデルを改良したり、プログラムを生成して確認したりもできます。
むすび
1ヶ月たつともう新しい考え方が出るので今の時点での理解を書き留めておきます。高度な思考をする生成AIが出ると驚きます。一方、UC Berkeleyの17000個の高品質なデータで学習させると高性能な推論モデルが低予算でできてしまうという論文 ([novasky-ai])を読むと、実は思考のパターンというのは言語の世界よりずっと狭くて学習しつくしやすいのかなと思ったりします。
今年は冒頭からDeepSeek-R1が推論におけるAlpha Go Zeroの瞬間、すなわち勝手に生成AIが学習して自己改良していくという報告を出しています。
まだまだテスト時計算の研究は黎明期、今年もさまざまな研究が驚かせてくれると思います。
参考文献
[deepseek-ai] "DeepSeek-R1 Incentivizing Reasoning Capability in LLMs via Reinforcement Learning" https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf
[novasky-ai] Sky-T1: Fully open-source reasoning model with o1-preview performance in $450 budget https://novasky-ai.github.io/posts/sky-t1
2025年[snell] Charlie Snell et al.: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters, https://arxiv.org/abs/2408.03314 2024年
[zeng] Zhiyuan Zeng et al. : Scaling of Search and Learning: A Roadmap to Reproduce o1 from Reinforcement Learning Perspective https://arxiv.org/abs/2412.14135 2024年