イリヤ・サツケヴァーがついにAIの次なる展開を明かす...（超知能）
3,132 文字
人類の進化の歴史を考えてみると、40億年前には単細胞の複製子のようなものが存在し、その後数十億年かけて様々な単細胞生物が現れました。約10億年前に多細胞生物が出現し、数億年前には爬虫類が、6000万年前には哺乳類が、1000万年前には霊長類が、そして100万年前にはホモ・サピエンスが現れました。そして1万年前に文字が生まれ、その後農業革命、産業革命、技術革命が起こり、そして今、ついにAGI、超知能の時代が到来しました。これは究極の挑戦であり、サムが言及したような想像を超えた繁栄をもたらす可能性がありますが、同時に大きな課題でもあります。
これは、長い沈黙の後にイリヤ・サツケヴァーが最後に語った内容を伝える記事です。ロイターの記事によると、OpenAIなどの企業は、現在の手法が限界に達しつつある中で、スマートAIへの新しい道を模索しているとのことです。
ロイターが信頼できる情報源かどうかについて疑問に思う方もいるかもしれませんが、以前、AI開発の進展状況を理解する上で非常に重要な情報を提供したのもロイターでした。それは、人類を脅かす可能性のある強力なAIの発見について取締役会に警告する手紙に関する記事で、これによってQ*が大きな話題となりました。
この記事では、OpenAIとAI業界全体に焦点を当てており、これらの企業が、より人間らしい思考方法でアルゴリズムを学習させる技術を開発する中で、予期せぬ遅延や課題に直面していることを指摘しています。AIの分野に注目している人なら、現在使用されている手法、つまり推論時にモデルに思考させることで、より一貫性のある正確な応答を生成する方法についてよく知っているでしょう。
興味深いのは、この新しいパラダイムは存在し、拡大されていくものの、GPTシリーズについて言及しながら、最も著名なAI科学者たちが「より大きいほど良い」という哲学の限界について語り始めているということです。
ChatGPTがリリースされた当初、人々が注目していたのは、データと計算能力を追加してモデルを拡大することで、一貫してAIモデルが改善されるという考え方でした。つまり、モデルに多くのデータを追加すれば追加するほど、モデルの一貫性、応答性、知性が向上するという法則です。しかし現在、この「より大きいほど良い」という哲学には限界があることが明らかになってきています。
これはロイターだけが指摘している現象ではありません。2、3日前の私の動画で触れた「The Information」の記事でも、OpenAIの次世代モデルであるOrionが、特定のタスクにおいて前モデルより確実に優れているわけではないことが報じられています。Orionは言語タスクでは性能が向上していますが、コーディングタスクでは向上が見られないとのことです。このOrionの状況は、「スケーリング則」として知られるAI分野の核となる仮説に挑戦するものとなる可能性があり、これが企業が初期トレーニング後の推論能力の改善という異なる領域に移行している理由です。
イリヤ・サツケヴァーの発言については特に重要です。AIの分野における革新者の一人で、OpenAIの成功に不可欠な存在だった彼は、言語パターンと構造を理解するために大量の未ラベルデータを使用するAIモデルの事前学習をスケールアップすることによる結果は、実際にプラトーに達したと述べています。この成長は現在鈍化しており、OpenAIも事前学習は初期の頃ほど効果的ではないと認めています。
業界の他の企業でも同様の問題が発生していることは注目に値します。数日前のThe Vergeの記事では、Googleも同様の問題に直面していることが報じられました。次期バージョンのGeminiについて、デミス・ハサビス率いるチームが期待していたほどのパフォーマンスの向上が見られないとのことです。ただし、いくつかの興味深い新機能は期待できるとしています。AI業界の噂では、この傾向は主要な大規模モデルを開発している企業全体に及んでいるとのことです。
これらの企業がモデルのスケールアップで多くの問題に直面している理由について、一部の人々は、モデルのスケールアップは単により良い記憶マシンを作るだけで、より大きな知能につながることはないと考えています。データベースのサイズを拡大し、より多くの知識やパターンを詰め込めば、記憶力のベンチマークで測定されるパフォーマンスは向上するでしょう。しかし、そうすることでシステムの知能が向上するわけではありません。システムのスキルや有用性、適用範囲は向上しますが、スキルは知能ではないため、これは根本的な混乱を招いています。
しかし、これは見かけほど悪い状況ではないかもしれません。記事では、サツケヴァーが事前学習においてより多くのデータと計算能力を使用することで生成AIの飛躍的な進歩を達成することの初期の提唱者として広く認められていたことについても触れています。ChatGPTの作成時にそれを実践し、現在は自身の会社Safe Super Intelligenceを立ち上げています。
サツケヴァーは次のように述べています：「2010年代はスケーリングの時代でした。今や私たちは再び不思議と発見の時代に戻っており、誰もが次のものを探しています。スケーリングは今まで以上に重要な要素となっています」これは、私たちが新しいAIのパラダイムに入ったことを意味し、再びS字カーブの成長の底にいる可能性が高いことを示唆しています。
このS字カーブの成長について、イノベーションの泡が上昇し、その後プラトーまたは低下する最初の領域があります。GPT-2からGPT-3、そしてGPT-4への大きなジャンプがあったように、S字カーブの成長では大きな飛躍が見られます。現在Orionに向かう段階では、ベンチマークのトップに達し、物事が減速し始めるにつれて、緩やかな低下が見られるようです。
しかし、これは物事が全体的に減速していることを意味するわけではありません。新しいパラダイムに入ったことで、再びイノベーションの泡が見られます。O1シリーズ、O2シリーズがあり、O3、そして潜在的にO4シリーズに到達すると物事は劇的に変化し始め、その後再び緩やかに低下する前に、別のS字カーブの成長が起こり、潜在的にASIにつながる可能性があります。
2025年、2026年、2027年を見ると、これらのS字カーブの成長が上昇し、イノベーションが切り替わる泡がここやここで発生する短いパラダイムである可能性があります。現在、私たちはテストタイム計算のパラダイムにイノベーションを切り替えており、その後に何が来るのか興味深いところです。それがASIにつながる可能性があります。
イリヤはまた、超知能とは何か、なぜその用語を選んだのかについても語っています。超知能という言葉は、単なるAGIのようなものではなく、それを超えた能力を持つものを表現するために使用されています。AGIでは、人間のような、同僚のような存在を想定していますが、超知能はそれよりもはるかに高い能力を持つものを意味しています。そのような能力を持つと、それがどのようなものになるかを想像することさえ難しいかもしれませんが、間違いなく信じがたいほど強力なものになるでしょう。適切に使用されれば、想像を超えて困難な問題を解決することができます。超知能がもたらす課題をうまく乗り越えることができれば、生活の質を劇的に向上させることができるでしょう。しかし、超知能の力はあまりにも膨大です。