OpenAI o3：ARC-AGI、蒸気機関、コーディングの課題、o3 Mini

2,280 文字

OpenAIが新モデルo3を発表した翌日の今日、このモデルについて広く理解されていない5つの点について指摘し、詳しく説明したいと思います。
1つ目は、ARC-AGIプライズについてです。これは実用的な汎用人工知能の段階に達した最初のモデルに贈られる賞です。このo3モデルは非常に優れているため、なぜo3にこの賞を授与しないのかについて、特別な声明を出さなければならないほどでした。ネタバレになりますが、その理由は知能が不十分だからではありません。
現在のARC-AGIプライズのテストスイートにおける人間のベースラインは85%で、o3は87%を記録し、人間と同等の水準に達しています。賞を授与しない理由は、o3が実用的に導入するには高すぎると判断されたからです。これは妥当だと思います。1回の使用で2,000ドルかかるのは確かに高価です。しかし、これは私たちが汎用人工知能の曖昧な始まりという奇妙な時期に入ったことを示しています。
2つ目は、o3 miniが登場するということです。完全版モデルがリリースされると、推論を圧縮して、ほぼ同じ能力を持つより高速で迅速なモデルを作ることが容易になります。初期のベンチマークによると、今年の1月か2月にリリースされる予定のo3 miniは、現在のo1よりもはるかに安価で、o1よりも優れており、o1よりも高速になるようです。もちろん、完全版のo3ほど優れてはいませんが、ほとんどのアプリケーションには十分な知能です。第1四半期には、cursorやwindsurfなど、お好みの開発環境でo3 miniを目にすることになるかもしれません。
このように、完全な知能のブレークスループのサイクルがあり、その後に推論を圧縮するサイクルが続くというティックトックの動きを予期する必要があります。圧縮版は完全版ほど優れてはいませんが、非常に高速で、はるかに安価です。
3つ目は、これらの推論時の計算エンジンがどのように機能するのかについて、人々が本当に理解していないということです。この時点でこれらをLLMと呼ぶのは少し誤解を招くかもしれません。結局のところ、o3は深い思考と推論を、AlphaGoのアーキテクチャが機能したのと同じ方法で解決しているように見えます。
AlphaGoの話を知らない人のために簡単に説明すると、AlphaGoは囲碁に勝利したコンピュータプログラムです。囲碁は人間が上手くプレイするのが非常に難しい古代のゲームで、チェスよりも困難だと考えられていましたが、今では機械学習によって事実上解決されています。彼らがそれを実現した方法は、複数の異なる囲碁エンジンの上にモンテカルロシミュレーションを置くというものでした。
o3に話を戻すと、o3は数千回のLLMの呼び出しにわたって複数のモンテカルロシミュレーションを実行していると考えられます。これは、解決策への複数の可能な道筋を想像し、それらをLLMの呼び出しを通して実行し、最も確率が高いと判断したものを選択して戻ってくることができるということです。これが、非常に難しい数学の問題などを解決できる理由であり、また時間がかかる理由でもあり、高価である理由でもあります。
人々はLLMを単一の実体として考えています。単なる大規模言語モデルだと。しかし、それはAmazonをEコマースストアと呼ぶようなものです。つまり、巨大な倉庫網と非常に複雑な技術の上に広がる単純なインターフェースなのです。同様に、o3は、この途方もないパッチワークのようなシミュレーション、数千回のLLMの呼び出しなどの上に広がる単純なインターフェースなのです。その仕組みを理解することは重要です。
4つ目は、このモデルがプログラミングにおいて本当に優れているということです。o3は現在、世界で175番目に優れたプログラマーとしてベンチマークされています。全てのプログラマーよりも優れているわけではありませんが、99.99%のプログラマーよりは優れています。私自身を例にとれば、私は下位に位置するでしょう。私はそれほど優れていません。しかし、コードに触れるほとんどの人よりも優れているでしょうか？はい。そして次世代では1位になる可能性がありますか？十分にあり得ます。
5つ目は、全ての人が仕事を失うわけではないと考えていることです。その理由は単純で、世界の98%の人々はこのことを知らないからです。そして文化的な変化には時間がかかります。蒸気機関が発明されたとき、その影響が社会全体に完全に浸透するまでに150年かかりました。AIの場合はずっと早いかもしれませんが、それでも皆さんが今考えているよりもはるかに遅いでしょう。
昨日、私は空港を歩きましたが、空港にいた人の中で、AIのことを最も考えていたのは私だけだと断言できます。他の全ての人々は何も変わっていないかのように行動していました。私はo3がリリースされたことを知っていました。ARC-AGIのスコアも知っていました。しかし、誰も注意を払っていませんでした。
これがこれからの状況になるでしょう。AIと今起きたことを理解している人々は、しばらくの間、水から上がった魚のような気分を味わうことになるでしょう。非常に奇妙な1年になるでしょう。
私と一緒に考えていきましょう。o3の観点から考える必要のあるAIのスケーリング法則や問題について取り組んでおり、それらをより長いsubstackの記事にまとめる予定です。
以上です。この奇妙な未来で頑張っていきましょう。