OpenAIリーク：『AI進歩が停滞する』 | GPT-5は減速している

2,417 文字

今日は、OpenAIに関する大きなニュースについて掘り下げていきます。みんなが注目している話題です。これまでAIの発展は、モデルを大きくしてより多くのデータを与えれば、超知能AIが実現するという考え方でした。しかし、多くの人々がそれに疑問を持っています。単に大きくするだけで本当にAIは賢くなるのか？スケーリング則は今後も有効なのか？今日はこの点について詳しく見ていきましょう。
ChatGPTのバズワードを超えて、OpenAIが実際にどこに向かっているのかを見ていきます。注目すべきは、OpenAIの次期大型モデル「Orion」です。GPT-4の次の大躍進として期待されていました。Q* (Q-Star)はその一端を見せたものでしたが、この記事が正しければ、期待されていたほどの革新的な改善は見られなかったようです。これは、スケーリング則、つまりより多くのデータとコンピューティングパワー、より長い学習期間で、より優れたモデルが作れるという考え方に対して、大きな疑問を投げかけています。
さらに興味深いのは、Orionは言語タスクでは改善が見られても、コーディングではそれほどでもないということです。単に大きくすれば全体的に性能が向上するわけではないとすれば、私たちは万能な巨大モデルではなく、専門化されたAIツールの方向に向かっているのでしょうか。
もう一つ重要な点は、OpenAIが新しい高品質なデータの不足に直面しているということです。書籍、記事、コードなど、ほとんどのデータをすでに収集し尽くしており、次の展開としてAIが生成したデータ（合成データ）を使って将来のモデルを訓練することを検討しているようです。しかし、これに対する批判もあります。蛇が自分の尾を飲み込むような状態で、新しいモデルが古いモデルと似すぎてしまい、真の革新が阻害される「近親交配効果」のリスクがあるというのです。
合成データを使って新しいモデルを作り続けると、小さな誤差や問題が積み重なって増幅され、時間とともに「崩壊」が起こる可能性があるという指摘もあります。ただし、これはあくまで推測の域を出ません。様々なAI企業の研究者や経営者たちは、このような限界にはまだ達していないと述べていますが、彼らにはそう言う動機があるかもしれません。
もしこの考えが正しく、「より大きい」が必ずしも「より良い」ではなく、データも不足しているとすれば、OpenAIは次にどう動くのでしょうか。彼らは焦点を少し変えている、あるいは少なくとも成長と改善の新しい方法を追加しているようです。初期トレーニング後のモデルをさらに改善する方法に取り組んでいます。
もちろん、彼らは強化学習を使用しています。これは犬に新しい芸を教えるように、正解に対して報酬を与えることで学習させる方法です。また、ChatGPTをより役立ち、安全なものにするために、人間からのフィードバックも大量に使用しています。これは編集者チームがモデルを正しい方向に導くようなものです。ダリオ・アモデイは最近、レックス・フリードマンのポッドキャストで、新しいモデルに強化学習と人間のフィードバック（RLHF）を使用していることについて語っていました。
実際、ChatGPTやClaudeと対話するたびに、そのモデルの改善に貢献していることになります。ダリオ・アモデイが述べたように、ユーザーの好みに関するデータの蓄積は、新しいモデルのトレーニングに使用されています。
OpenAIの新しいモデルQ*に話を戻しましょう。これは「推論モデル」と呼ばれており、単に最初の回答を出すのではなく、実際に少し時間をかけて考えを巡らせます。もちろん、これには追加の計算能力が必要です。これについては議論があり、一部の投資家は懸念を示しています。より多くの処理能力が本当により優れた知能につながるのか、それとも壁に突き当たっているのではないかと疑問を投げかけています。
これは百万ドルの質問です。スケーリングが限界に達しているとすれば、AIの未来は一つの強力なAI（いわゆる「すべてを支配する一つのAI」）ではなく、専門化されたツールにあるのでしょうか。一部の分野で停滞が見られる一方で、AIはコーディングや問題解決などの複雑なタスクで大きな進展を見せています。数学や物理学などでブレークスルーが起きています。
一つの汎用AIモデルが壁に突き当たり、プラトー効果が見られたとしても、特定の課題に取り組む、より小さな専門モデルを多数作ることで、このブームを継続できるかもしれません。
OpenAIに話を戻すと、彼らはスケーリングの限界に直面している可能性があり、学習後の技術を使用し、モデルの命名方法さえ変更しているかもしれません。AIの開発において、モデルの大きさだけが全てではない真の転換点に立っているようです。
この変化は、OpenAIのミッションのより深い変化を反映しています。「より大きいことがより良い」という考え方から、推論能力や安全性、アライメントを重視する方向へと移行しています。単にAIモデルを大きくすることではなく、一般的に優れ、意味のある特定の方法で私たちを助けるAIを作ることに重点が置かれています。
もしこれが正しければ、私たちはどこに向かうのでしょうか。AIが成熟し、単なるタスクの自動化から人間の能力の強化へと新しい段階に移行しているように感じます。今後の課題も考慮する必要があります。多くの大企業や投資家がAIインフラプロジェクトに資金を投入しています。マイクロソフトは実際に原子力発電所を稼働させ、Googleも同様の取り組みを行っています。もちろん、NVIDIAもAIインフラ、チップなどに大きく賭けています。
もし突然、これらのモデルが必要な大きさ、可能な大きさに達したことに気付き、今後は特定の小さな昆虫のように、それぞれが独自の小さな役割を果たす専門化されたものに分解していく方向に向かうとしたら、このアプローチは変わるのでしょうか。
コメント欄で皆さんの考えを聞かせてください。ここまで見ていただいた方は、チャンネル登録を検討していただき、この動画に良いね👍をお願いします。これはYouTuberにとって重要です。ご視聴ありがとうございました。また次回お会いしましょう。