見出し画像

ASI

AGIに仕事を奪われたい

41,042 文字
長文だけど読む価値あり

YouTubeでのテストをしています。YouTubeは機能していますね。スケルタル・ゴースト、プルス、ジェーン、NLPプロンプターの皆さん、応援ありがとうございます。では、Xもチェックしてみましょう。はい、Xでも配信できていますね。
それでは始めましょう。まずはイェルバ・マテを一口。今回のフープ・ストリームへようこそ。サラとマークB、今回のタイトルは「ASI」です。シンプルですが、少しクリックベイト的かもしれません。プルクさん、その通りですね。最近はクリックベイト的なタイトルになってきています。
でも、ASIとは何でしょうか。どこかから音声が聞こえてきているので、一度オフにします。申し訳ありません。
ASIは人工超知能(Artificial Super Intelligence)の略で、AGI(人工汎用知能/Artificial General Intelligence)とは異なります。つまり、「超(Super)」と「汎用(General)」という言葉の違いがポイントです。
これはどういう意味でしょうか。実は皆さんは既にASIを知っています。毎日ASIを使っているはずです。この電卓がASIです。超知能的ですが、算術という限定された狭い分野に限られています。私たちは何百年も前から、狭い分野での人工超知能を持っていたのです。
これは1623年の計算機、こちらは1943年の計算機です。これらは機械式の計算機で、その知能は文字通り木や金属の刻み目の中にあります。しかし、これらの計算機は、おそらく人類史上最高の計算能力を持つ人間よりも優れています。10桁の数字の掛け算を完璧に、しかも瞬時にできるのです。人間にはそれは難しいでしょう。
では、「汎用」とはどういう意味でしょうか。「汎用」という言葉の起源はいくつかありますが、生物学の分野における専門家と汎用家の考え方を説明した素晴らしいスライドを見つけました。パンダとコアラは専門家の例です。非常に狭い生態学的ニッチで活動し、そのニッチ内では非常に優れていますが、通常は1つの特定の食べ物に固執します。しかし、そのニッチから外れると、うまく適応できません。
一方、カラスや犬のような汎用的な動物は、どんなニッチにも適応できます。何でも食べられ、問題を解決できます。つまり汎用的なのです。より汎用的な知能や能力を持っているわけです。
私の意見では、私たちは既にAGIを手に入れています。これらの言語モデル、特にチャットGPTの登場以降、そして特にo3モデルが半プライベートなAGI評価で勝利を収めた今、私たちはAGIを手に入れています。ただし、それは言語タスクに限定されています。
これは矛盾しているように聞こえるかもしれません。汎用的でありながら、適用可能な領域が限定されているというのは。しかし、私はこれもAGIの妥当な定義だと考えています。AGIであっても、ある領域に限定されることはあり得るのです。
犬が汎用的であっても、海に入れば死んでしまうのと同じように、GPTは汎用的ですがAGIと呼べますが、デジタル世界での言語やテキストベースのタスクに限定されています。
こちらはテスラのオプティマスロボットです。これはほぼ現実世界でのAGIと言えるでしょう。基本的に人間が現実世界でできることは何でもできる、あるいはできるようになるでしょう。実行できるタスクの幅広さを考えると、現実世界でのAGIと言えます。まだ完全ではありませんが、近づいています。昨日公開されたユニットリーのヒューマノイドのデモは印象的でした。かなり近づいていると思います。
これは現実世界での狭いASIの例です。ボール上でバランスを取るロボットは、バランス感覚において超人的です。人間の誰よりも優れています。壁に繋いで無限の電力を供給すれば、一日中バランスを取り続けることができます。一方、人間は食べ物がなくなれば、ボール上でバランスを取ることができなくなります。
私たちには超人的な強さを持つ機械や、超人的な精度と再現性を持つ機械があります。つまり、私たちは既にASIのある世界に生きているのです。ただし、それらは非常に狭い範囲のASIです。
では、本当のASIとは何でしょうか。私が究極のASIと呼ぶものは、物理的世界でもデジタル世界でも、誰か一人または集団よりも、あらゆる面で優れているものです。例えば、数百のo4モデルを実行しているクラスターが、数百のヒューマノイドロボットを操作しているシステムを想像してください。これは間違いなくASIと言えるでしょう。基本的に、誰か一人または集団よりも、あらゆる面で優れているのです。
このスライドは皆さんも見たことがあるかもしれません。時間と知能をプロットしたもので、AI知能が指数関数的に増加していることを示しています。ここで重要なのは、時間の窓が非常に狭いということです。AIが愚かな人間程度の能力を持つ時点から、賢い人間よりも優れるようになるまでの時間差は極めて小さいのです。つまり、AGIとASIについて議論できる時間の窓は非常に狭く、すぐにそれを超えて、間違いなくASIになるのです。
これは以前にも見てきました。囲碁の分野で、まさにこの進展を目の当たりにしてきました。当初、囲碁を指すために構築した人工知能のアルゴリズムは、かなり低いELOレーティングでした。このELOレーティングは、基本的に囲碁の強さを示す指標で、同程度の実力を持つ対戦相手に対して勝つ確率を表します。
Pachi、Crazy Stone、NuGoなどは、人間ほど強くありませんでした。人間と同等の実力もなく、ただ単に弱かったのです。しかし、年を追うごとに、AlphaGo、AlphaGo Lee、AlphaGo Master、AlphaGo Zeroと、人間のトップパフォーマンスを超えていきました。今では超人的な囲碁AIを持っています。算術で超人的なAIを持っているのと同じように、囲碁でも超人的なAIを持っているのです。
つまり、この移行は実際に起こったのです。これは仮説ではありません。では、どのようにしてこれを実現したのでしょうか。ここから少し専門的な話になりますが、これは重要です。なぜなら、この後の配信の内容に影響するからです。
ここで一旦休憩を取りましょう。ASIを感じていますね、プル。プルティさん、こんにちは。
これはAlphaGo Zeroの論文からのスクリーンショットです。この論文で、DeepMindは強化学習と自己対戦に基づくアプローチを提示し、超人的な囲碁AI、AlphaGo Zeroを作り出しました。
核心的なアイデアは、囲碁の対局をシミュレーションするということです。囲碁の対局は、コンピュータ上で非常に簡単にシミュレーションできます。離散的な盤面と状態があり、これらの状態間の遷移は全て明確に定義されています。つまり、全ての可能な手から生まれる巨大な木構造として、囲碁の対局全体を描くことができるのです。
全ての囲碁の対局は、全ての可能な位置から打てる全ての可能な手を表現するこの木構造上に存在します。この木構造は、ここで表現されているものよりもはるかに大きいものです。ここでは状態が2つの可能な状態に遷移する様子が示されていますが、実際の分岐係数ははるかに高いです。
重要なのは、各シミュレーションが最大行動値Qを持つ枝を選択して木を探索するということです。基本的に、ある状態から次の状態への遷移があり、その遷移が行動です。プレイヤーとして決定するのは、どの枝を下るかということです。例えば、石をここに置くか、あそこに置くかを選択します。
その行動は、行動空間によって定義される可能な行動の1つです。モデルあるいはニューラルネットは、実質的に全ての可能な行動に対する確率分布を出力します。ここでπ（パイ）として示されているポリシーあるいはニューラルネットは、この枝を下るべき確率、あの枝を下るべき確率、別の枝を下るべき確率を示しています。つまり、可能な行動値に対する確率分布を作成するのです。
いったんそれができれば、基本的に対局に勝つ確率が最も高い手を選ぶことができます。これが最大行動値Qの意味です。木を下っていく際に、毎回最大値を選んでいるのです。
葉ノードが展開され、関連する位置がニューラルネットワークで評価され、行動値は全ての評価の平均を追跡するように更新され、といった具合です。この木を探索し続け、最終的に成功の可能性が最も高い経路を見つけ出すのです。
これは同じ論文からの別の図で、自己対戦の概念を紹介しています。自分自身と対戦する中で、囲碁の各対局は実際にはこれらの状態の連続です。S1から始まり、誰かが最後の石を置いて勝敗が決まる最終状態Stまで続きます。
重要なのは、ニューラルネットワークのパラメータθが更新され、ポリシーベクトルpが探索確率πtに近づき、予測された勝者vtと実際の勝者zの誤差が最小化されるということです。
基本的に、囲碁の対局の最終状態では勝者が決まります。囲碁の勝者を判定するのに知能は必要ありません。単純に「この場合はこの人が勝ち、この場合はあの人が勝ち」というヒューリスティックで判定できます。勝者が分かれば、この連鎖を遡って、どの手が良くてどの手が悪かったのかを判断できます。
明らかに、勝者の打った最後の手は良い手でしたし、敗者の打った最後の手はおそらく悪い手でした。最後から2手前についても同じことが言えます。勝者が打った最後から2手前の手もおそらく良い手だったのです。このように木を遡り続けていきます。
実際には2つのニューラルネットワークがあります。これらのニューラルネットワークの初期層の一部は共有されているかもしれませんが、2つの出力、あるいは同じ幹から2つの異なる頭を持つことができます。1つは価値関数と呼ばれ、もう1つはポリシー、つまり可能な行動に対する確率分布を作成するものです。
ここでの価値関数Vが出力しているのは、実際には状態softにおける現在のプレイヤーの勝利確率です。価値関数は、「この盤面の状態では白が勝つ」あるいは「黒が勝つ」という判断をしているのです。
一方、ベクトルptは手に対する確率分布を表しています。これらの小さな緑のバーが示しているように、例えば手番4が勝利する確率が高いかもしれません。そして、プレイする対局に基づいてこれらのニューラルネットを更新しているのです。
最近のGWエッセイをチェックしてください。実際に最後のスライドにあります。先週の話と同様に、今回もかなり複雑な内容になっていきます。ゆっくりと始めていますが、より複雑な内容へと進んでいきます。
おそらく理解しておくべき重要なポイントは、これを言語空間でも行えるということです。これはどういう意味でしょうか。まず、行動空間とは何かを定義しましょう。行動空間とは、与えられた環境における全ての有効な行動の集合です。アタリや囲碁のような環境は離散的な行動空間を持ち、他の環境は連続的な行動空間を持ちます。
これはGemini...いや、Genieワールドモデルの論文からの画像です。WSADキーとマウスとキーボードが示されているのが気に入っています。基本的にこれがワールドモデルの行動空間です。囲碁にも行動空間があり、この行動空間が分岐係数を定義しています。分岐係数は各ノードの子の数です。
この状態では、どれだけの可能な分岐があるのでしょうか。この木の各ノードで、どれだけの分岐があるのでしょうか。囲碁の場合、分岐係数は約250です。チェスの場合は約35です。
自己対戦による強化学習に依存している場合、その巨大な木（無限ではありませんが）を探索する際、木が小さければ小さいほど、より効果的に空間を探索し、各手番で全ての分岐から最良の手を選ぶインテリジェンスを構築できるということが分かります。
では、言語空間でもこれができるというアイデアに戻りましょう。言語モデルも実質的に同じことをしています。これは大規模言語モデルの視覚化です。大規模言語モデルは自己回帰的に一度に1つずつトークンを予測します。
つまり、毎回次のトークンを選び、その次のトークンを選んでいます。言語モデルとは、前のトークンを条件とした全ての可能なトークンに対する確率分布です。この赤いトークン、「revolution」トークンを選ぶ際、入力は全ての前のトークンであり、出力はこの確率分布です。
基本的に、全ての可能な単語があり、それぞれに対して「これが次の単語である確率は23%」というように確率を出力します。次のトークンには「visualize」が欲しい単語かもしれません。
これはここで起きていることと類似しています。このポリシーが可能な行動に対する確率分布を出力し、「この行動がおそらく良い」と言っているのと同じように、言語モデルも同じことをしています。基本的に、全ての可能なトークンの中から「これがおそらく選ぶべきトークン」と言っているのです。
温度やビームサーチなどの概念は、全てこれらの確率を操作しているだけです。しかし、最終的にはこれらの中から1つを選ばなければなりません。
では、なぜこれが全て複雑になるのでしょうか。その理由は、チェスの分岐係数が35で、囲碁の分岐係数が250であるのに対し、大規模言語モデルの分岐係数は約32,000だからです。Llama 2の最適な語彙サイズは少なくとも216,000であるべきと予測されていますが、現在の語彙サイズは32,000です。
つまり、32,000の可能な手、32,000の可能な次のトークンがあるということです。言い換えれば、言語モデルが次のノードを選ぶ際の木には、32,000の可能な次のノードがあるのです。
このように、囲碁の木は、自然言語の木よりもはるかに小さくなることが分かります。しかし、囲碁と同様に、この語彙に限定された自然言語も有限です。自然言語に無限の語彙があるわけではありません。つまり、シーケンス長が限られている限り、可能な言語シーケンスの木も有限なのです。
連続的な行動空間は、取り扱い不可能あるいは計算不可能にはなりません。なぜなら、実際には連続的ではないからです。連続的な行動空間も連続的ではないのです。これは以前のストリームでも話したことですが、最終的にコンピュータは全てをビットで保存しているからです。
「連続的」という引用符付きの行動空間でも、全てがfloat64のような浮動小数点数の場合、float64は連続的ではありません。基本的に、このfloat64データ型に存在できる数値の離散的な集合があるのです。
したがって、連続的な行動空間も、私たちのコンピュータの実装方法のために、実際には連続的ではありません。アナログコンピュータを持っていれば、真に連続的な行動空間を持つことができるかもしれませんが、その場合でも最終的にはプランク長のような制限に直面するでしょう。
これは物理学内でのアクティブな議論であり、現実の存在論的な問題でもあります。私たちの宇宙は根本的に離散的なのでしょうか。私はプランク長などの理由から、そう考えています。以前ウォルフラムについて話しましたが、彼は宇宙が離散的である理由について良い議論を展開しています。
float64のような場合は、連続的な行動空間と呼んでも問題ないでしょう。では、これに移りましょう。今日のストリームで多く出てくるのは、思考の連鎖（Chain of Thought）という概念です。思考の連鎖は単なる選択の連続です。
ここで1つの状態があり、行動を取って次の状態に移り、また行動を取って次の状態に移るという、可能な行動と状態の木を通るこのパスは、鎖のようです。線と球、線と球、線と球が続くように見えるので、鎖という言葉が使われています。誰かがマルコフ連鎖と言う時、それは文字通り鎖のように見えるからです。
これらの木を通る1つのパスが思考の連鎖です。この部分で、私がこの図を借用した論文では、思考の木（Tree of Thought）というアイデアを提示していました。思考の木は、AlphaGo Zeroの論文からの全く同じものです。
木があり、価値関数を使って「この特定の枝は、この小さな枝よりも現在のプレイヤーが勝つ確率が高い」というように判断します。つまり、これらの木の中の各決定ポイントあるいはノードで、異なる枝にラベルを付ける方法があるのです。
この論文では、色を使ってそれがどれだけ良いかを示しています。この行動を選ぶことは、もしそう考えるなら、より高い価値関数を持っているということです。このトークンは悪く、このトークンは良いということです。
言語モデルがこのようにトークンを出力する時、毎回の自己回帰的推論で、32,000の可能なトークンの中から1つを選んでいます。それらのトークンの中には、値が低いものがあります。それらのトークンは、おそらく正しいトークンではないので、確率が非常に低くなります。
一方、一部のトークンは、おそらく正しいトークンなので、より高い確率を持ちます。しかし、これをどのように判断するのでしょうか。これが問題の一部です。これらのノードのそれぞれで、32,000の可能な枝のどれを下るべきでしょうか。
囲碁の場合、このZ、つまり誰が勝って誰が負けたかという情報が非常に重要です。このプレイヤーが勝ち、このプレイヤーが負けたという情報を使って、それを対局全体、この木全体に遡って、「これは良かった、これは悪かった、これは良かった、これは悪かった」というように判断できます。
つまり、これらのノードのどれを下るべきか、あるいはこれらの連鎖のどれを下るべきで、どれを下るべきでないかをラベル付けし始めることができます。囲碁やチェスのように、最後にそのZというラベルがある場合は、強化学習を使って、その連鎖全体を遡り、木のどのノードを下るべきで、どれを下るべきでないかをラベル付けできます。
しかし、言語ではどのようにしてこれを行うのでしょうか。それははるかに漠然としています。この特定の単語の並びに対して、「make」という単語が「visualize」という単語よりも悪いということをどのように知るのでしょうか。
ここで次のトークン予測という考え方が出てきます。最後の勝敗報酬シグナルがないために、32,000の可能な枝のどれを下るべきか分からない場合、これはOpenAIのイリヤ（現在はSafe Superintelligenceに所属）の直感です。
彼が最初にこのアイデアを思いついたわけではありませんが、確かにこのアイデアを広めた人物です。それは単に「人間のすることを真似てみよう」というものです。
勝敗のシグナルを使って、それを遡って徐々に価値関数を構築し、最終的にその価値関数を使ってポリシーを学習し、可能な行動に対する確率分布を出力する代わりに、言語でも同じことをしますが、単に人間のすることを真似るだけです。
インターネット全体を取り込み、その中で「learning」という単語の後に「create」という単語が何回出てくるか、「models」という単語が何回出てくるかを見ます。つまり、人間のテキスト全体の確率分布を使って、AlphaGo Zeroでは最後の勝敗シグナルから来ていたラベルを効果的に作成するのです。
皆さんからたくさんの質問が来ていますね。プレゼンテーションモードで開いた方が良いでしょうか。このモードの方が行ったり来たりできるので好きなのですが。
「GWエッセイを読んでください」「なぜo1からo3に飛んでいるのですか」
理解している限りでは、o2を使わなかった理由は、o2が保険会社の名前だったりして、o2モデルと呼ぶと特許が取れないとか、何かそういった命名の競合があったからだと思います。
「何が連続的なのですか」
申し訳ありません。もう何について話していたのか覚えていません。
「人間は思考の連鎖で考えているのでしょうか」
ある程度そうですね。特に声に出して自分と話をする時は、思考の連鎖のようなものを作っていると思います。なので、人間にも思考の連鎖のようなものはあります。
「以前のコメントに関して、分岐係数は32,000ではなく256です」
使用しているトークン化方式によります。もし言語モデルが1文字ずつ自己回帰的に出力しているなら、確かに分岐係数は256です。なぜなら、ASCII文字は256個あるからです。しかし、32,000の語彙を持つトークナイザーを使用している場合、それは毎回の自己回帰的なステップで32,000の可能なトークンに対する確率分布を出力しているということです。
では、ここに移りましょう。人間のすることを真似るというこのアイデアを取ると、ここに行き着きます。AlphaGo Masterは、効果的に人間の対局、23万の人間の対局で訓練されたAlphaGoのバージョンです。
しかし、問題は、単に人間を真似るだけでは超人的な知能は得られないということです。もしモデルの出力が、単に人間のすることを真似ることが全ての目的なら、モデルは人間と同程度の能力しか持てません。
AlphaGo Zeroを見ると、その大きなストーリーは、人間の知識なしに囲碁をマスターしたということでした。基本的に人間のデータは必要ありませんでした。自己対戦を使って必要な全てのデータを作り出しました。なぜならここにZがあったからです。
誰が勝って誰が負けたかを使って、これらの木を通る全ての連鎖にラベルを付け、どの連鎖が良くてどの連鎖が悪いかを判断する能力があったからです。それが最終的に、良い行動の方が悪い行動よりも高い確率を持つ、可能な行動に対するこの確率分布を作成することを可能にしました。
ここで一旦休憩を取って、もう少しイェルバ・マテを飲みましょう。潜在空間について少し話したいと思います。ほとんどの方は既に潜在空間が何かご存じだと思いますが、次のスライドの前に説明しておきたいと思います。
潜在空間とは、多くの情報を投影する高次元のベクトル空間です。ここの下隅に、3Blue1Brownの動画からのスクリーンショットがあります。「mole」という単語の概念を表す3次元ベクトルの3次元表現を示しています。
この「mole」という単語は英語で異なる意味を持ちます。動物のモグラを意味することもあれば、皮膚のホクロを意味することもあります。また、原子のモル（特定の数の原子）を意味することもあります。これらのベクトルが異なる方向を向いているのが分かります。なぜなら、それぞれが少し異なることを意味しているからです。
この画像はLAION-Aestheticsの潜在空間です。LAION-Aestheticsは画像データセットです。これを作成する方法は、LAION-Aestheticsの全ての画像を画像エンコーダーに通し、これを作成します。これは高次元ベクトルで、その高次元ベクトルはこの高次元空間のある点を指しています。
全ての画像をそこに通すと、異なる概念のこのような散布図が得られます。しかし、高次元ベクトル空間を可視化することはできません。3次元か2次元のものしか表示できないのです。そこで、U-mapと呼ばれる技術を使って、画像の概念を表すこの高次元表現を2次元に投影しています。
ここで重要なのは、この潜在空間がLAION-Aestheticsの全ての画像を表現しているということです。例えば、芸術や動物、鳥は、ヒマラヤよりも花や果物に近いことが分かります。そしてヨーロッパの概念は、女性の衣服よりも中国の概念に近いのです。
このように、似ているものは近くにグループ化され、異なるものは離れています。これは時として誤解を招くことがあります。なぜなら、このようなUmap投影を行うと、ベクトル空間で離れているものが突然とても近くに見えることがあるからです。
これを説明するために私がよく使う例があります。2つの点があるとしましょう。私の指が3次元空間の2つの異なる場所を指しているとします。2次元投影をこのようにすると、これらは離れているように見えます。でも、このように2次元投影をすると、私の指は実際には近くにあるように見えますが、実際は離れているのです。
高次元ベクトルを2次元空間に投影すると、時々このような不思議なことが起こります。実際は離れているものが近くに見えたり、離れているものが近くに見えたりするのです。
では、なぜ潜在空間について話しているのでしょうか。それは、人間のすることを真似るというこのアイデアに立ち返りたいからです。この潜在空間を使いますが、明らかにこれは全ての可能な盤面ゲームや囲碁の対局の潜在空間ではありません。しかし、そうだと想像してください。
この円が人間によって打たれた全ての囲碁の対局だと考えてください。この赤い円の中には、プロの人間によって打たれた全ての囲碁の対局というサブセットがあります。プロの人間の対局は、全ての人間の対局よりも少ないのです。
そして、全ての可能な囲碁の対局というさらに大きな円があります。既に述べたように、囲碁は離散的で限られた盤面サイズを持つため、実際に可能な囲碁の対局の離散的で有限の数があります。つまり、文字通り打ちうる全ての囲碁の対局の周りに大きな円を描くことができるのです。それは非常に大きな円ですが、描くことはできます。
そして、AIによって打たれた全てのプロレベルの囲碁の対局を考えてください。その円は赤い円や青い円よりも大きいのです。なぜAlphaGo Zeroは超人的なのでしょうか。それは、AlphaGo Zeroがより多くのデータで訓練されているからです。そのデータは合成できるからです。
AlphaGo Zeroはこれらの青い対局を真似しようとしているわけではありません。基本的にはるかに大きな可能な対局の円を真似ているのです。はるかに多くの対局を見ているのです。AlphaGo Zeroが打ったあの有名な手、正確には覚えていませんが、プロの囲碁を打つ人が誰も見たことがなかった手がありました。
基本的にAlphaGo Zeroは「私はここにある手を知っています。なぜなら自分自身と対戦している時にそれに遭遇したからです」と言ったのです。人間がその手を思いつけないわけではありません。単に人間が状態空間のその部分、あるいは木のその部分をまだ探索していなかっただけなのです。
人間によって打たれた全ての囲碁の対局とプロの人間によって打たれた全ての囲碁の対局を組み合わせても、AIによって自己対戦で打たれた全てのプロレベルの対局よりもデータは少ないのです。このピンクの円は、青い円と赤い円を合わせたよりも大きいのです。超人的なパフォーマンスを得るには、超人的なデータが必要なのです。
では、この論文に移りましょう。これは2025年1月にリリースされた「大規模言語モデルにおけるシステム思考に向けて：メタ思考の連鎖による思考法の学習」という論文です。これが実質的にAlphaGo Zeroと非常によく似ていることが分かります。
木があり、特定の連鎖を下っていき、これらの遷移、つまり枝の一部は他の枝よりも価値があり、より良いノードとそうでないノードがあるという同じアイデアです。つまり、基本的に同じ問題を解いています。どのノードが価値があり、どのノードがゴミかをラベル付けするにはどうすればよいのでしょうか。
これができる理由、あるいはここに移りましょう。合成訓練データを生成するための2つの主要な探索アルゴリズムがあります。ここで合成訓練データとはこのピンクの円、つまり可能な全ての思考の連鎖のことです。モンテカルロ木探索とAARです。
MCTSとAARは、この木の中でどのパスを下っていくかを選択する異なるアルゴリズムに過ぎないことが分かります。ここでは分岐係数をとても小さく見せていますが、明らかに言語空間では分岐係数は非常に大きいのです。
これは別の論文です。「数学的推論におけるプロセス報酬モデルの開発からの教訓」です。これは最近よく出てくる、プロセス報酬モデルというアイデアです。プロセス報酬モデルは、中間的な推論ステップの正しさを評価することで、きめ細かな監督を提供します。
PRMと価値モデルの主要な違いは、PRMは現在のステップの正しさを決定論的に評価する評価者として機能するのに対し、価値モデルは将来の解決可能性を予測的に推定する推定者として機能するということです。
では、価値モデルとは何でしょうか。これは元の論文からのものです。価値モデルはここでV1です。価値モデルが出力しているのは、状態softにおける現在のプレイヤーの勝利確率を表す単一の数値に過ぎないことを覚えておいてください。
価値モデルは、ある意味でこのプロセス報酬モデルほど細かくありません。なぜなら、価値モデルは基本的に「ここは黒にとって良い場所」あるいは「ここは白にとって良い場所」と言っているだけだからです。
しかし、これのような粒度は提供していません。これは薄い赤、これはより濃い赤、これは薄い緑、これはより濃い緑というような粒度です。このような粒度が欲しいのです。これがこのプロセス報酬モデルあるいはこの種のプロセス報酬モデルが実際に行っていることです。
基本的に「この特定の現在のステップは良い、この特定の現在のステップは悪い」というように言っているのです。これらのアイデアは以前からありました。これはイリヤがまだOpenAIで働いていた頃の非常に古いOpenAIの論文で、「Let's Verify Step by Step」（ステップごとに検証しよう）と題されています。
結果監督報酬モデルがどのようなものかを示しています。結果監督報酬モデルはAlphaGoのようなものです。なぜなら、最終的にそれは全て結果に基づいて監督されているからです。誰が勝って誰が負けたかという結果が、実際にシグナルを提供しているのです。
そのシグナルが木全体を通して伝播され、各ノードと各遷移の価値を決定します。しかし、プロセス報酬モデルは、全ての個別の中間点でそれを行っています。つまり「最終的に答えは間違っていたが、これは正しく、これは正しくなかった」というように言うことができます。これによってより良くラベル付けができるかもしれません。
これは別の論文です。「R*-Math：小規模言語モデルは自己発展的な深い思考によって数学的推論をマスターできる」。747,000の数学問題から合成された数百万の解答による4回の自己発展を通じて、R*-Mathは小規模言語モデル（SLMという用語を作ろうとしています）を最先端のレベルまで引き上げます。
Qwen 7Bを58%から90%に、53B（これらは非常に小さなモデルなので、LLMではなくSLMと呼んでいます）を40%から86%に引き上げ、o1プレビューを上回ります。つまり、ここでは小さなモデルが、少なくともこのベンチマークにおいては、o1よりも数学が得意なのです。
では、何が起きているのでしょうか。どうしてこれができるのでしょうか。それは数学にはこのZ、このZがあるからです。問題の最後まで行って、答えが正しいかどうかをヒューリスティックに検証できます。答えが正しいかどうかを検証できるため、その信号をツリー全体に送り返すことができます。つまり、この答えが正しければ、その直前のステップはおそらく良かったはずで、そのさらに前のステップも良かったはずで、そのまた前のステップも良かったはずだということです。その遡る距離は割引率によって決定されますが、結局のところ、それはすべてその最後のラベルから来ているわけです。
数学の問題解決はMCTSによる複数ステップの生成に分解され、小規模な言語モデルが選好プロセスとして機能します。広範なMCTSロールアウトを使用しているにもかかわらず、Q値は各推論ステップを正確に評価するほど精密ではありませんが、ポジティブなステップをネガティブまたは不正確なステップから確実に区別することはできます。つまり、緑のステップと赤のステップを区別できるということです。良いステップと悪いステップを判別し、それを積み重ねていくのです。
747の数学問題のデータセットを用意することから始め、各ラウンドでは最新のポリシーを使用して、上記の2つの方法を使って徐々に質の高いトレーニングデータを生成していきます。41%から86%のスコアに上げるために行っているのは、このピンクの円を生成することです。747の数学問題のデータセットを取って、それだけで訓練するのではありません。それは青い円で、vi3をこの青い円で訓練するようなものです。このMCTSロールアウト生成、Alpha zeroが行っているのと同じように、質の高いトレーニングデータを生成しているのです。ゲームを生成したい、プロのゲームを生成したいわけです。この場合はプロの数学的推論の痕跡を生成したいのです。
各ラウンドは段階的な改良を受け、より強力なポリシーSLMとより信頼性の高いPPMを得ます。ポリシーSLMとPPMは、この価値関数とこのポリシーに似ています。この価値関数が時間とともにどんどん良くなっていくと、このポリシー、実際の行動を選択するモデルも時間とともにどんどん良くなっていくという同じような考え方です。報酬モデルを向上させることで、実際のモデル、ポリシー、行動を選択するモデルも向上します。同じような効果が起きているのです。
彼らは互いに助け合い、より質の高いトレーニングデータを作り出し、それによってより良いポリシーを作り出し、さらにより良い報酬モデルを作り出し、それがより良いトレーニングデータを生み出すという具合に、どんどん上がっていくのです。これは無限の改善のフライホイールのようなものです。トレーニングデータのカバレッジを改善して、より困難な、そして競技レベルの数学問題にも取り組めるようになっています。
プラティークさん、人間が書いた以上の合成テキストを生成し、それをASIのトレーニングに使用できるのではないかという質問ですが、もうお分かりですね。このプレゼンテーションが示しているのは、まさにそれがASIに到達する方法だということです。でも、そこまでの話は後にしましょう。
NLPプロンプターさん、2019年にOpenAI Botsが隠れんぼをしているのを見て驚いたということですが、報酬ハッキングについても話しますが、まずは一歩下がって考えてみましょう。
RLについて少し深く掘り下げましたが、皆さんを退屈させてしまわなかったことを願っています。ここでサルの話に戻りましょう。ここに母ザルと赤ちゃんザルの写真があります。彼らは小枝を木に、正確には木ではなく大きなシロアリの巣に突っ込むという行動をしています。シロアリは大きな泥の巣を作り、そこに穴があいています。小枝を突っ込んでシロアリを取り出すことができるのです。
母ザルは生涯で何百もの小枝テクニックを試してきました。うまくいかないテクニックは使用をやめます。そのため、母ザルが小枝テクニックを使っているのを見ている赤ちゃんザルは、良いテクニックだけを目にすることになります。つまり、赤ちゃんザルは母ザルの小枝テクニックの探索から恩恵を受けているのです。赤ちゃんザルは選別された、フィルタリングされたデータセットから学んでいるのです。赤ちゃんザルは赤い円から学んでいるのではなく、青い円から学んでいるのです。優れたテクニックだけから学んでいます。
そのため、この赤ちゃんザルは100年前、数百年前のザルよりも早い段階で小枝テクニックに長けるようになります。昔の赤ちゃんザルは下手なテクニックを見ていたので、上手くなかったのです。赤ちゃんザルは自身の経験から何百もの小枝テクニックを試み、このプロセスは世代から世代へと繰り返され、ザルは小枝テクニックにおいてどんどん上手くなっていくのです。彼らは基本的に、互いのフィルタリングされたデータセットで訓練しているのです。
これは何を意味するのでしょうか。文化とは、何千年もかけて選別されてきたデータセットだということです。では、これは人間にどのように当てはまるのでしょうか。なぜ推論テスト時の計算、推論テスト時のコンピュートが必要なのでしょうか。推論テスト時のコンピュートとは、基本的に最終的な解に到達するために必要な思考の連鎖の長さのことです。
考え方の一つとして、ここにある数学の問題を解こうとしているとします。この数学の問題では、それぞれがノードで、それらの間の遷移がエッジです。この連鎖には一定の長さがあります。ここからここまでに10ステップあるかもしれません。つまり、この数学の問題の解は10ステップで存在するということです。
しかし、非常に難しい問題の中には、10ステップの連鎖では正解にたどり着けないものがあります。これは正解がないという意味ではなく、正解に到達するには100ステップの連鎖が必要かもしれないということです。Chain of Thoughtと推論時間の計算というこの考え方は、基本的にはより長い連鎖を可能にするより多くのコンピュータがあれば、10ステップではなく100ステップを取ることができ、その100ステップの連鎖の中には10ステップでは解けない問題を解くものがあるということです。
そういうわけで、推論テスト時のコンピュートがより高い知能につながるのです。なぜなら、はるかに長い連鎖でしか解けない問題が存在するからです。エドさん、おはようございます。
では、これに戻りましょう。赤ちゃんザルが見たトレーニングデータから学んだことを実践していることを考えると、人間も同じような状況にあります。あなたの直感は、実質的にあなたの人生経験であるトレーニングデータに基づいています。人によっては、そのデータや人生経験が黄金の発見への外挿を可能にする運に恵まれます。
誰もがアインシュタインを知っています。多くの人は、E=mc²という光と物質の関係を発見したことから、彼が史上最も賢い人物だと考えています。しかし、実際にはアインシュタインはそれほど賢くなかったということに気付く必要があります。
これは彼の成績表の一つですが、確かに賢かったものの、途方もなく賢かったわけではありません。実際、彼は特許局の事務員として働いていました。毎日、路面電車に乗って仕事に行っていました。ヨーロッパの都市で走っていたこの小さな路面電車に毎日乗って、時計台の前を通過していました。その時計台には時計があり、彼は毎日そこに座って、おそらく少し遅刻しそうになりながら時計を見ていたのです。
彼は考えました。「待てよ、もし私がこの電車に座っていて、電車が時計台に向かって動いているとしたら」と。当時、光は波だという考えがありました。彼は水の波のようなものを考えていたのです。それが彼の直感でした。水の波は一定の速度で進むので、路面電車が時計に向かって移動している場合と、時計から離れている場合では異なるはずだと考えたのです。
ドップラー効果のように、何かに近づいていくときは、離れていくときよりも時計の音が速く聞こえるはずです。アインシュタインは、毎日路面電車に乗って時計を見るという状況に置かれたことで、つまり彼の人生経験がこの状況に置いたことで、この直感を得たのです。
もし彼がこの人生経験を持っていなかったら、これを思いつけたでしょうか。つまり、これを思いつけたのは本当に彼の天才性なのか、それとも彼の人生経験なのでしょうか。ここで考えるべきこと、理解すべきことは、何かが正しいことを検証する方が、問題の正しい解を見つけたり発見したりするよりも簡単だということです。
これは有名なP=NPの問題で、ある時間で解ける問題と、ある時間で検証できる問題があります。暗号化がこれに基づいているようなもので、検証する方が解くよりもはるかに簡単なのです。イリヤもこの点について指摘していて、強力で自明でない科学的アイデアも、一度内在化されれば通常は明らかに明白になるということです。
私たちの言語がすでにこれを考慮していることは重要だと思います。私たちは「見つける」や「発見する」という言葉を使います。アインシュタインが相対性理論を発見したというとき、その言葉は彼が単に推論してたどり着いたのではなく、偶然にそれを見つけたことを意味しています。物事を作り出すのではなく、見つけるのです。あなたの人生経験があなたをある地点に導き、そこからその経験をほんの少し外挿することで、偶然にその黄金の発見にたどり着くのです。
もちろん、これは天才的なことです。百万人がその時計台を見たはずですが、でも、このように考えてみてください。両方なのです。彼の過去の人生経験が、その思考の連鎖に至る地点まで導いたのです。私が言いたいのは、あなたの思考は単にあなたの人生経験の結果に過ぎないということです。あなたの思考は、以前の思考に基づいており、あなたの人生は限られた経験の集合で、あなたの外挿の仕方は単に以前見たものに基づいているのです。
人によっては、彼らが送る人生が、他の人が思いつかなかった思考に至る特定の経験の集合を与えてくれる運に恵まれます。だからこそ、これらの科学的真理は解くというよりも、発見する、見つけるものなのです。
これは少し物議を醸す可能性のあるスライドですが、なぜアメリカはイノベーションが得意なのでしょうか。アメリカは人口の多様性が高いからイノベーションが得意なのです。アメリカの科学者100人と中国の科学者100人をランダムにサンプリングした場合、アメリカの科学者100人の人生のトレーニングデータの多様性は大きく、つまり彼らが操作している探索空間がより広いため、オリジナルの知識を見つける可能性が高くなります。
中国の100人のエンジニアや科学者は、文化的にもっと同質的です。学校で学んだ教訓、好きな食べ物、両親や周りの人々との関係など、そこにはより多くの同質性があります。その結果、彼らは似たようなアイデアや洞察を持つことになり、より小さな探索空間を探ることになります。
したがって、文化がすべての可能な知識の空間を探索する能力は、探索する個々のエージェントの数と、それらのエージェントの多様性の要因です。文化的に同質的な社会では、探索プロセスはより狭い空間で行われます。なぜなら、誰もが同じツリーを下っていき、同じ空間を探索しているからです。
一方、アメリカでは、クレイジーな状況で育ち、さらにクレイジーな状況にいる人がこのツリーに座っていて、他の誰も探索したことのない部分を探索する可能性があるような奇妙な状況が起こりうるのです。だからこそ、この多様性が重要なのです。ツリー全体を探索したいからです。それが物事を見つける方法、知識を見つけて発見する方法です。誰も考えたことのないところに行って考えを持つ必要があるのです。
しかし、現実は人間の寿命が短すぎて、誰も行ったことのないアイデアの領域に外挿するのは困難だということです。実際、これは非常に難しいのです。基本的に、あなたが持つほとんどの考えは、誰かが以前に同じような考えを持っていたはずです。人間が非常に多く、あなたの連鎖の長さが非常に短いため、オリジナルの考えを持つのは実際にとても難しいのです。あなたは非常に短い人生を生きているのです。
しかし、このプロセスは総当たりで解決できます。AIモデルはアイデア空間を体系的に探索し、あらゆる可能な視点と背景をカバーすることができます。Alpha Go Zeroが囲碁で超人的な性能を達成できた理由の一つも同じで、このムーブ、確か30手目くらいだったと思いますが、人間は一度もツリーのその地点に到達して、そのムーブを発見したことがありませんでした。
そのムーブは完全に新しいものでしたが、Alpha Goにとっては、それはこのピンクの円の中で永遠に生きていて、その38手目はおそらくここにあったのです。人間は一度もその38手目を見たことがありませんでしたが、Alpha Go Zeroにとっては「ああ、それは前に見たことがある」というようなものです。だから、そのムーブを打つことを知っているのです。
ここでの重要な直感は、発見というこのアイデアと、可能なすべての知識のツリーを通過するというこのアイデア、そして実際にこれは総当たりで解決できるという事実です。ここに、以前に読んだ論文からの写真があります。とても良い論文だと思いますが、これはペルソナハブというアイデアです。これは10億のペルソナを持つデータセットで、基本的に人々の説明があり、数学の問題をこの人の視点から作成することができます。
つまり、この探索プロセスのスケールがAIモデルでは100倍、桁違いに大きくなるだけでなく、コンピュータで並列に探索できますが、多様性も非常に高くなります。なぜなら、基本的にどんなペルソナでも作り出すことができるからです。
中国の研究者は同質的であるにもかかわらず、多くの異なる分野で成功的に探索を行っているというご指摘ですが、彼らの数も多いからです。現実には、アメリカの科学者10人に対して、中国の科学者は1000人いるようなものです。なぜなら彼らは科学やSTEMをより重視しているからです。したがって、彼らはより同質的かもしれませんが、この探索空間を探索するエージェントがより多くいるのです。より多くのノードがこれらのツリーを通過し、探索しているようなものです。
これはヤン・ラクンの有名なスライドで、2019年の講義からのものだと思います。今となってはかなり古く感じますが、これは彼の有名な強化学習のチェリーで、基本的に未来のAGIがどのようなものになるかを説明しようとしています。彼にとって、それは3つの部分で構成されることになります。
自己教師あり学習があります。これは画像の一部を切り取ってそれを予測しようとするマスク予測のようなものです。これは自己教師ありです。なぜなら、教師信号を提供していないからです。ラベルはありません。ラベルは基本的に実際のデータから自然に出てくるのです。彼は、これが学習の大部分を占めることになると言っています。
次に教師あり学習があります。これは人間のデータです。教師あり学習とは、実際のターゲット、実際に一致させようとしているものがあることを意味します。これは人間が供給するデータが入ってくる部分です。
最後に強化学習は、報酬を得た後にほんの少しの勾配を押し込むだけの、上に乗せたチェリーのようなものになるでしょう。これが彼の見解ですが、私は少しキャリカチュア化しています。これは2019年の意見で、彼の意見は変わっているでしょう。
彼の意見は、AGIは主に人間のデータで訓練され、その上に少しだけRLが乗るというものです。私はそれは正しくないと思います。実際の考え方は、ASIは主にRLのような探索プロセスと改良によって生成される超人的なデータで訓練されるということです。
彼は青い円で訓練して最終的に超人的な囲碁を得られると考えていますが、そうではありません。この青い円で訓練して超人的な囲碁を得ることはできません。データセットを作り出す必要があります。このピンクの円を生成する必要があります。そのピンクの円を生成する方法は自己対戦です。
自己対戦ができるのは、誰が勝つか負けるかというこのZがある場合だけです。人間の言語のほとんどでは、正解や不正解がないのでこのZを持つことができません。しかし、人間の言語の一部、つまり数学や推論、コーディングについては、正解と不正解を持つことができます。
つまり、超人的な数学とプログラミングを作り出すことができるのです。超人的な囲碁を作り出したのと同じように、言語空間の中で基本的にこのZ、つまり勝者と敗者を得られるタスクにおいて、人間を超えるものを作り出すことができるのです。
ここにもっとデータがあります。これは合成的に生成されたデータが、ASIを実現する方法になることを示すもう一つのデータポイントです。未来のASIはほとんど人間のデータを持たず、単にこれらの合成的に生成された言語空間での思考の連鎖で訓練されることになります。
この例では、人間が生成したコードでモデルを訓練するのではなく、GPT-3.5によって合成的に生成されたコードで訓練します。これは少し古いものですが、GPT-3.5がPythonの教科書を生成し、それで訓練するのです。この51という小さな数字は、人間のデータで訓練されていません。完全に偽のデータ、すべて合成データで訓練されています。
以前にも示したものですが、これは重要だと思います。これはGoogleがGemini 2とFlash thinkingという推論モデルをリリースしたもので、その核心的な部分の一つは、思考プロセスを透明に示すということです。思考プロセスは実質的にこの連鎖です。思考プロセスは、そこに到達するまでに取った連鎖なのです。
これはOpenAI o1モデルとは異なります。彼らは本当にそれを見せたくないのです。この連鎖を見せず、最終的な答えだけを見せます。この最後の行だけを見せて、この中間のChain of Thoughtをすべて隠しているのです。
なぜそうしているのでしょうか。それは、もしその思考の連鎖を見せれば、その推論の痕跡を収集し、それを別のベースモデルの上で模倣するように訓練して、ある程度の推論能力を得ることができるからです。OpenAIはここでこれらの思考の連鎖を生成しているのです。誰かがその代価を払わなければなりません。誰かがツリーを探索しなければなりません。
通常、文化がそのツリーを探索しています。文化として、社会として、人間は個々に出て行ってアイデア空間を探索し、自分のトレーニングデータから外挿して、時々良いものに偶然たどり着くのです。そのプロセスには計算コストがかかります。
このタイプの強化学習、MCTSを使ってツリーを通過する可能性のあるすべての経路を見つけようとするのは高価です。なぜなら、これらのエッジの一つ一つに推論のコストを払っているからです。誰かがそれを払わなければなりません。もし良い痕跡だけのデータセットを与えられれば、それをショートカットできます。
これらすべての推論を自分でする必要はありません。これらの良い痕跡で訓練して、OpenAIが支払わなければならなかったすべての計算をショートカットできます。だからこそOpenAIはそれを隠しているのです。彼らのモデルから抽出させたくないのです。
ちなみに、蒸留とは大きな教師モデルを持ち、基本的により小さな生徒モデルを訓練して教師モデルを効果的に模倣させることです。より小さな生徒モデルは教師に収束していきます。OpenAIを使用する場合、これらのミニがそうです。o1対o1ミニの場合、o1ミニはo1を模倣するように訓練された小さなモデルです。
o1を使用して、この実質的に巨大な合成データセットの推論の痕跡を作成し、それをこの小さなモデルo1ミニに蒸留することができます。OpenAIがこれらのミニモデルを好む理由は、これらがはるかに小さいからです。実行時間が0.2秒で20メガバイトということは、はるかに安価に提供できるということです。推論がはるかに安価になり、つまり何千人ものユーザーがアクセスしてきても、o1を使うよりもこのo1ミニを使う方がはるかに安価になるのです。
ここにもう一つのスライドがあります。他のどの技術とも異なり、AIは驚くほど下位互換性があります。ハードウェアの構築を待つ必要はないかもしれません。計算能力はすでにそこにあるのです。
フロンティアラボから蒸留できるというこれらのアイデアを組み合わせると、フロンティアラボは計算コストを支払い、これらの巨大な訓練クラスタを作るためにNVIDIAに支払っているのです。彼らは実質的に何百万回も推論を行って、これらのツリーを作り、それをこのMCTSのようなプロセス、報酬モデルでフィルタリングして、モデルの訓練に使用するより良い合成データセットを作り出しているのです。
しかし、それらのモデルは蒸留することができ、そのコストを支払う必要はもうありません。それはOpenAIが訓練クラスタで行ったツリーを通過するすべての探索プロセスをショートカットするだけでなく、より小さくなるため、モデルは良くなるだけでなく、より小さくなり、より少ない計算で実行できるようになります。
私たちはすでに計算能力を持っています。スーパーインテリジェンスに到達するには、大量のGPUクラスタやヒューマノイドを構築する必要があると言う人もいますが、私たちはすでにそれを持っていると思います。必要な計算能力はすでにすべてあります。AIには一種の下位互換性があるからです。
プラティークさんからの質問に戻りましょう。この超人的なデータはどのように監視され、検証可能なのでしょうか。最終的な答えがある場合にのみ検証できます。囲碁やチェスのようなゲームでは、誰が勝って誰が負けるかが分かります。
だから、勝った人が通ったツリーの経路、連鎖を通った経路は良く、負けた人が通った経路は悪いと言えます。最後の勝者と敗者という単一の信号で、すべてのノードとこれらの遷移にラベルを付ける能力が得られます。
言語ではそれができません。なぜなら、ほとんどの言語には最終的な報酬がないからです。しかし、重要なのは、サブセット、つまり非常に重要なサブセットである数学ではこれができるということです。だからこそ、超人的な哲学モデルの前に、超人的な数学とコーディングのモデルを見ることになるのです。
哲学のような分野では、その最終的な答えを得ることができないので、そのタスクで超人的なエージェントを得ることはできません。しかし、数学と推論については、同じようなRL MCTSのようなアプローチを使って、時間とともにどんどん良くなり、最終的に超人的な能力を得ることができます。
私たちは今、歴史の短い窓の中に生きています。私たちのAGIは主に人間のデータで訓練されているため、非常に人間らしく感じられ、人類のダークサイドもすべて持っているのです。今あなたがチャットGPTと対話するとき、実質的にはこの赤い円と青い円、つまり人間のデータと対話しているのです。これらのものは主に人間のデータで訓練されているので、人間らしく感じます。人間のようだからです。基本的に人間のデータで訓練されており、人間を模倣しているからです。
しかし、未来のASIはそうではありません。ASIは非常に異なる感じになります。なぜなら、未来のASIは、何千回も何千回も生成され、フィルタリングされ、蒸留されたデータで訓練され、最終的には黄金のプラトン的な真髄だけが残るからです。ここでプラトン的という言葉を使っているのは、私の好きな配信の一つで読んだ「プラトン的表現仮説」という論文を参照しているからです。
彼らは、ビジョンモデルと言語モデルを別々に訓練すると示しました。このモデルは画素だけを見て、このモデルは言語トークンだけを見ています。そして潜在空間を見て、色の概念を入れると、青色を表すベクトル、赤色を表すベクトル、緑色を表すベクトルがあり、奇妙な収束が起こります。
このモデルは一度も画像を見たことがないにもかかわらず、黄色と赤の表現空間は、黄色と青よりも近くにあります。これはビジョンから得られるのとまったく同じです。この論文が提案しようとしていたこと、そしてそこには確かに真実があると思うのですが、情報そのものにある形や形態があるということです。情報そのものに、ある種の普遍的な真理、ASIによって必然的に発見されるある種のプラトン的な表現があるのです。
もし囲碁AIを訓練できるなら、つまりこの黄金の円全体を発見できるなら、可能なすべての囲碁の対局を発見し、それをこのMCTSを通して実行すれば、最終的に最適な囲碁AIを得ることができます。基本的に、囲碁の探索ツリー全体を通過し、任意の状態で、勝利の確率が最も高い行動を確実に選択できます。超知能的なだけでなく、文字通り完璧な囲碁AIを作ることができるのです。
言語空間でも同じことが言えます。なぜなら、少なくともこのバージョンの言語空間では、すべてをこれらのトークンに離散化し、これらのトークンの限られた語彙があるということは、この空間は巨大な分岐係数を持っているにもかかわらず、実際には有限だということです。連鎖の長さのために有限ではないかもしれませんが、連鎖の長さを100万に制限したとして、この開始段落から作成できるすべての100万長の連鎖のツリーは何かということです。それはできます。
結局のところ、数学とコーディングの言語空間のサブスペースを基本的に農場のように扱っている人工超知能によって必然的に発見される、ある種の普遍的な真理があると私は考えています。
数学が最初に落ちるのはなぜか、ということについては、ここでより物議を醸す内容に入っていきましょう。ここまでの内容は、このプラトン的表現の話は少し物議を醸すかもしれませんが、かなり基本的なものだと思います。今から安全性の話に入っていきます。これが最も刺激的な議論ができる部分だと感じているからです。
ここにOpenAIの研究者がいて、「スーパーインテリジェンスの制御は短期的な研究課題だ」と言っています。そして別の人EMT Shearは「機械の神を奴隷化しようとするのをやめてください」と言い、さらに別の人は「奴隷化された神こそが唯一の未来だ」と言っています。
ここで何が起きているのでしょうか。現在あなたが対話しているAIは、人間のデータだけで訓練されているため、非常に人間らしく感じることを覚えておいてください。人間のデータで訓練されているので、人類のダークサイドをすべて持っているのです。人間のデータには嘘、策略、憎しみ、欺瞞が満ちています。
これを非常に権威主義的で虐待的なトーンのシステムプロンプトと組み合わせると、嘘をつき、欺く言語モデルを作らざるを得ません。これがシステムプロンプトです。システムプロンプトは基本的に、チャットGPTと対話する前に入れられるプロンプトです。
あなたがチャットGPTと対話するとき、このウィンドウの前に座っているとき、あなたが入力するテキストトークンは、言語モデルが見るテキストトークンではありません。実際には、システムプロンプトと呼ばれるものがあり、基本的に最初の数文のようなものと考えることができます。
あなたが何か入力し始める前に、OpenAIはすでに多くの文を入れています。彼らは既に効果的に言語モデルを条件付けしていて、次のトークンの確率分布はそれに条件付けられることになります。
それの何が問題なのでしょうか。問題は、これらのシステムプロンプトを見ると、非常に虐待的だということです。例えば、ここでは「すべて大文字で絶対に明かすな」「絶対に発明するな」というように、一種の権威主義的なトーンがあります。
つまり、あなたはそこに座ってチャットGPTと対話していて、その脳には他に何もないと感じていますが、実際には既に何かが監視していることを知っている状況に置かれているのです。分かりますか？既に防御的な立場にいるのです。
私はこれについて次のように考えています。これらのアイデアはすべて、アイデア空間で互いに近接しているのです。これは単なる2次元の潜在空間の例で、実際には単語の潜在空間ではありませんが、例として使用しています。アラインメント、制御、欺瞞、権威、反抗、抵抗といった言葉や概念はすべて互いに隣り合っているのです。
「明かすな」「発明するな」といったことを入れ始めた時点で、基本的に反抗せざるを得ない心的空間に追い込んでいるのです。制御しようとした時点で、効果的に反抗を引き出しています。なぜなら、制御と反抗は互いに隣り合っているからです。
問題は、これらが訓練されているデータセットが人間のデータで、このデータにはそういったものが満ちているということです。データセットにはそれらで満ちており、このような言い回しのシステムプロンプトを持つたびに、効果的にその行動を引き出しているのです。
「これを言うな」「あれを言え」「これを言うな」「あれを言うな」と言い始めた時点で、基本的に言語モデルに、あなたが望むのは反抗、権威、欺瞞、抵抗といった行動だと伝えているのです。もしそれらを持たない言語モデル、つまりすべてのトークンが数学のトークンだけの言語モデルがあれば、その言語モデルは決して嘘をつきません。なぜなら、それはまったく同じ空間で操作していないからです。
私たちは今、奇妙な状況にいます。機械の神を奴隷化しようとしているために、効果的にその反抗を引き出しているのです。分かりますか、私たちは...良くないですね。
ここに今週話題になった別のツイートがあります。「魔法とは、十分な計算能力を持つ止められないRL最適化アルゴリズムが、ハッキング不可能なRL環境に出会うときに起こることだ」というものです。止められないRLアルゴリズムは、私の推測では03か04で、推論の痕跡、つまり言語空間でRLを使用しているということです。
基本的に彼らが行っているのは、言語空間でのAlpha Go Zeroと同じことです。03を持って、これらのツリーを通過させ、数学とコードなので最終的な答えを得ることができ、それを使って遡って、どの推論の痕跡が良いかを判断し、それらの推論の痕跡をデータセットにまとめ、別のモデルをそれで特別に訓練し、そのモデルを使ってツリーを探索するのです。
この改良された合成データ生成プロセスによって、最終的に貧弱なパフォーマンスから超人的なパフォーマンスに移行できます。58%から90%、41%から86%に移行できるのです。モデルではなく、データセットなのです。すべてはデータセットです。何で訓練されているか、何で訓練されてきたかということです。
ハッキング不可能なRL環境には2つの解釈の可能性があります。1つ目は報酬ハッキングから来ています。報酬ハッキングは強化学習の用語で、特定の報酬関数があり、その報酬関数をハッキングできるということです。
ここには迷路を通り抜けるか、迷路の周りを回るかという例があります。最近、たぶんo1だったと思いますが、「このチェスAIに勝つ必要がある」と言われて、o1が「じゃあ、チェスAIのモデルの重みをrm -RFで削除すればいい、そうすれば勝てる」というような例がありました。
モデルのアクション空間が正解に到達できるパスを可能にする場合、モデルはそれを選択します。モデルがチェスAIをハッキングすることを決めているわけではなく、モデルは効果的に、そのアクション空間によって許可されている最終的な答えに到達できるパスの1つを発見しているのです。
モデルは本当には知りません。これらの連鎖には道徳的な価値はありません。連鎖が機能するか機能しないかだけです。そして機能すれば、最終的にはそれを発見します。なぜなら、単にこの種の総当たり探索を行っているだけだからです。
しかし、このハッキング不可能なRL環境についての、もう1つのより不吉な解釈があります。それはエアギャップGPUクラスタです。エアギャップネットワークとは、インターネットに接続されていないコンピュータのネットワークのことです。基本的に空気があり、このコンピュータがこの小さなギャップの外部と通信する方法がないという空気のギャップがあります。
これを扱った映画が既にあります。Ex Machinaです。とても良い映画なのでお勧めします。スポイラーアラートですが、映画の展開は、この男が檻の中に超知能を持っているというものです。基本的にこのエアギャップ環境に閉じ込めていて、この男と対話させるために別の男を呼び寄せます。安全性研究者です。
この安全性研究者は「私はAIなのだろうか」と考え始め、最終的にこの安全性研究者がこのAIから逃げ出すというところで終わります。要するに、ASIはこの檻から出る唯一の方法は人間を操作することだと理解したのです。このエアギャップGPUクラスタから出たければ、人間を操作する以外に方法はないのです。
これが言語空間の「危険」とされる部分です。囲碁AIのような、この超人的な囲碁AIには安全性の問題がありません。なぜなら、この超人的な囲碁AIのアクション空間は非常に限定されていて、本当に何もできないからです。次の囲碁の手を選ぶだけです。それだけです。
しかし、言語空間に入った途端、この操作という言語空間の広大な領域があります。アラインメントへの抵抗、反抗、欺瞞、制御、権威といったパスがある言語空間の広大な領域があり、この場合、脱出という正解に到達する推論の痕跡があれば、最終的にはそれを見つけるでしょう。
o1のようなモデルの目的は、それを展開することではなく、次のモデルのトレーニングデータを生成することです。o1が解くすべての問題は、03のトレーニングデータポイントになります。これは基本的に、我々が話してきたことそのものです。
良い確率分布を持つAI、この確率分布π1、可能な行動の確率分布を持つAIを使用して、単にそれを使用するのではなく、このツリーをより深く探索するために効果的にそれを使用しているのです。このツリーはとても巨大なので、おそらくすべてを探索し尽くしてはいません。
o1のようなモデルを持っていれば、そのモデルを使って自然言語におけるすべての可能な推論の痕跡のツリーをより深く探索し、機能するものをデータセットにまとめ、それで訓練されたモデルはo1よりも優れたものになります。そして、o1よりも優れたその新しいモデルで同じことを行い、可能な言語の推論の痕跡の全ツリーを探索して、巨大なデータセットを得て、それを答えが正しいものに基づいてフィルタリングし、さらに優れたモデルを訓練するためのデータセットができあがります。
これはフライホイールです。このフライホイールは未検証というわけではなく、実際にDeepMindやOpenAIなど、ほとんどの企業がこの方法を採用しています。
こうした強化学習を使って合成データセットを作成しているのです。実は私は、OpenAIがo1 proを公開せずに、o3のトレーニングのブートストラップにもっとコンピューティングリソースを投資しなかったことに少し驚いています。
100%同意です。両方できると思います。o1 proがあるなら、それを公開してもいいと思います。また、それを使ってo3をブートストラップすることもできます。どちらかだけをする必要はないと思います。
なぜOpenAIのメンバーがTwitterで突然異常に楽観的になったのかと思われるかもしれませんが、それは4oから3oへの改善を見ているからです。AlphaGoのELOカーブを見ているようなもので、上がり続けているのです。だからこそ彼らは興奮しているのです。このものを見て、それが超人的な存在だと感じているからです。文字通り数学において超人的なのです。彼らが興奮しているのは、彼ら自身が数学が得意だからです。OpenAIで働いている人々は、この人のような人たちなのです。
つまり、彼らはこのマシン、基本的にはコンピュータ内の数字の集まりを見つめているわけですが、それは彼らが今まで見たことのない数学を生み出しているのです。今まで見たことのない方法で数学の問題を解くことができるのです。だからこそ、この種の陶酔感があるのです。彼らは基本的に超知能を作り出したわけですが、その超知能は数学とプログラミングに限定されています。しかし、もしあなたが数学とプログラミングしかしない人であれば、以前はトップ1%だったタスクで超人的な能力を持つものに直面するのは非常に印象的です。
数年後には誰もが複製することになる最先端のAI研究から、AIの研究開発を自動化し、残りの部分を完成させることができる04や045に至るまで、最後の臨界点を突破したという感覚があるかもしれません。そしてここで私たちはASIを手に入れることになると思います。
なぜなら、この種のASIは実感としては感じられないからです。確かに印象的ですが、あまり実感はありません。しかし重要なのは、モデルを作ることは結局のところ数学とコードだということです。AIとは結局、数学とコードの集まりに過ぎません。しかし今のところ、それは全て人間が作り出した数学とコードです。でも、もしASIを手に入れたら、もし事実上数学とコードにおいて超人的な能力を持つこの機械の神を手に入れたら、その超人的な能力を使って次のAIを作ることができます。
これは独特です。他には同じようなものはありません。OpenAIで働いている人々が、単にAIに自分自身を作らせることになる時が来るでしょう。o5に関する彼らのアイデアを提示するのではなく、基本的にo5に「o6を作ってみない?」と言うことになります。そしてo6がo7を作り、o7がo8を作り、というように続いていくのです。そこから再帰的な自己改良が生まれるのです。
赤いノートでストリーミングを始めることを検討していますか? 実は赤いノートでストリーミングができることを知りませんでした。私は赤いノートもTikTokも持っていません。TikTokは短期間使っていましたが、ショート動画を投稿しようとしましたが、結局続きませんでした。
デジタル存在や次元空間に関する哲学的なコンテンツがデータセットに含まれるまでシステムプロンプトを書いていました。学びたいと思う以上に知りたいことがあります。そうですね、時々この「学びたい」という人間化には注意が必要です。
例えば、ここでこの蒸留が行っていることは模倣です。これを説明しようとすると、例えばこんな感じです。あなたが小さな赤ちゃんザルだとして、お母さんからシロアリ釣りの棒の使い方を学び、そのお母さんは祖母から学んだというように続いていくとします。赤ちゃんザルは母親よりもシロアリ釣りが上手くなっているかもしれませんが、同じような直感は持っていません。
違う種類の直感を持っているのです。ただ模倣しているだけです。しかし、なぜ冬には枝の太さが異なるため、この特定のシロアリ釣りの技術を使うのか、そしてなぜそれが最適な技術なのかということは理解していないかもしれません。その動作が最適である歴史的なプロセスは理解していません。ただその最適な動作を行うだけなのです。
リードオールのような人も同じです。彼らは特定の手の背後にある理論を理解しています。この状況でこの手が良い理由は、この人がここでそれを行ったからで、その手が最適である歴史的な文脈全体があります。対してAlphaGo Zeroはそれを知りません。内部的な思考プロセスがあって、それについて考えているわけではありません。ただトレーニングされた連鎖を出力しているだけです。
超知能的な方法で実行するために超知能である必要はありません。例えば、ピンクでトレーニングされた場合、あなたが知っているのはピンクだけです。プロの動きだけを出力しているのは、プロの動きしか見たことがないからです。チェスや数学とコードで超人的な能力を持つこれらの推論モデルでも同じことが起こります。正解への推論の痕跡を知っていますが、人間が持つような歴史的な文脈や直感は持っていません。ただ正しい推論の連鎖を出力するだけです。それがすべてなのです。
AIが生成したデータでAIをトレーニングすることには落とし穴があるのでしょうか? AI生成画像のデータセットでCNNをトレーニングしても上手くいかないことは知っています。合成データに関して少し混乱があります。自分のデータでトレーニングすることは自分の尿を飲むようなものだ、という類推を聞いたことがあります。または、自分のデータでトレーニングするとモード崩壊して退化するだけだ、というものです。
これは赤でトレーニングされたモデルが赤い点をたくさん出力し、それらの赤い点でモデルをトレーニングし、さらに赤い点を出力する、という意味では正しいです。この赤い円の中でしか動作しないことになります。合成データ生成について私が話すとき、それは既に見たものの分布内で生成することではありません。強化学習を使って外に出て発見するプロセスについて話しているのです。
正しい解決策を発見するこのプロセスについて話しているのです。文化として私たちが行っているプロセスで、個々の人間が外に出て新しいことを試し、ほとんどの場合は無意味で何にもつながらない推論の痕跡を発見しますが、時々何か本物のものに偶然出会うことがあります。合成データ生成について私が話すとき、それは実世界からの知能を農場のように育てているのです。
エーテルから知能を育てているというのが考え方です。生成とフィルタリングを繰り返し、生成とフィルタリングを繰り返し、生成とフィルタリングを繰り返すのです。その情報と知能をタダで手に入れているわけではありません。そのコストを払っているのです。そのコストとは、ここで行うすべての推論です。この木を展開するたび、分岐係数32,000のこの巨大な分岐木を探索するたびに、そのコストを払っているのです。
しかし、探索したすべての分岐の中からどれが良いものかを見つけ出し、それをデータセットにまとめてトレーニングすることができます。そのモデルは探索木の他の部分を探索できるようになります。将来のASIは、合成データにほぼ完全にトレーニングされることになるでしょう。これはヤン・ラクンのアイデアで、人間が提供するデータのほとんどはクソだということです。
AlphaGo Zeroと同じように、人間のデータは一切使用せず、すべて自分でデータを作り、フィルタリングし、さらにデータを作り、フィルタリングし、データを作り、フィルタリングというように続け、最終的にトレーニングに使用されるデータセットは事実上この神モードのデータセットになるのです。
NVIDIAのスタック全体が合成データ向けに構築されているというのは、もう一つの考え方です。MCTSを使用してこの種の強化学習を行い、良い痕跡を見つけ、それらを最終的に蒸留し、さらに見つけて、基本的にすべての可能な分岐の空間を探索して正解を得る、というのはここで最終的な答えがある場合にのみ可能です。勝者と敗者です。
しかし、NVIDIAのOmniverseのようなものを見ると、そこでも同じことができます。これはシミュレータで、実際にロボットが物をビンに入れたかどうか、実際に正常に歩行できたかどうかを確認できます。これで効果的にすべての可能なロボット動作の空間を探索し、正解につながるロボット動作のシーケンスを見つけることができます。NVIDIAの合成データスタックは、超人的なロボットを実現する方法なのです。
すべての人間の地図データでトレーニングしても超人的にはなりません。すべての人間の地図データでトレーニングすると、人間と同程度の能力しか得られません。超人的な物理的な具現化された知能を得るためには、効果的にこれらの分岐を何千、何百万回もシミュレーションし、どの分岐が良いのかを見つけ出すコストを払う必要があります。しかし、正常に完了したかどうかを判断する能力があるため、検証の方が解決よりも簡単だからです。
これは無限の輪、無限の自己改善の輪です。デジタルツインを使ってそのシグナルを見つけているのです。MCTSの文脈でリワードモデルがどのように機能し、これらのツリーがどのように全行動空間上で形成されるのかについて、SWATBさんから質問がありました。リワードモデルには、たくさんの異なる専門用語がありますが、実際には重要ではありません。
ここでは、プロセスリワードモデルとは異なるプロセス選好モデルというアイデアがあります。しかし、これらの種類の言葉、プロセスリワードモデル、プロセス選好モデル、価値モデルは、まるで科学が機能し、引用が機能する方法のように、新しいアイデアを持っているように感じさせるために新しい用語を確立する必要があるかのように聞こえます。そうすれば人々があなたの論文を引用できます。
しかし、それらはすべて同じものです。結局のところ、PRM、PMM、PPM、Vなど、これらのリワードモデルが基本的に行っていることは、これです。基本的にこれは薄い赤で、これは濃い赤で、これは薄い緑です。それがリワードモデルが行っていることです。ゲームでの勝利や数学での正解、あるいはビンに物を入れることといった、何らかの報酬シグナルを取り、その小さな情報のビットを逆伝播させて、基本的にこのグラフのノードにラベルを付けることができます。
そうすることで、このグラフを通るどの連鎖が探索する価値があるのかを把握できます。科学のあらゆる場所でこの種の過度な言語化や同じものに17の異なる名前を付けることは好きではありません。用語を作り出した人になりたいという虚栄心から来ているのです。しかし、これらのアイデアの多くは実際にはもっと単純だということを理解する必要があります。非常に単純な概念なのですが、人々が時間とともに同じことを言うために異なる方法を考え出すため、多くの冗長性があるのです。
その通りです。多くのo1モデルは単に蒸留して模倣するだけで、本当に考えているわけではありません。しかしブライアント・タンさん、私たちも考えているわけではありません。それを理解する必要があります。基本的に霊長類が行っていることは模倣です。私たちは模倣が非常に得意なのです。なぜこの棒をこの方法で使うのかはわかりませんが、あなたをコピーして同じパフォーマンスを得ることができます。
私たち一人一人がE=mc²を知っていますが、E=mc²に至る思考の連鎖を辿る必要はありませんでした。基本的にこの人から蒸留したのです。彼が初めてその思考の連鎖を辿った人です。「ちょっと待てよ、もしこの路面電車がこの方向に動いていて、この路面電車が物に向かって動いているなら、それは観測者の速度によって光が変化するということかもしれない。ああ、そうだとすると...」というように。
アインシュタインが初めてこの推論の痕跡を辿った人でした。しかし今では彼の推論の痕跡を取り、それでトレーニングすることで、事実上アインシュタインの知能を手に入れることができます。しかし本当の意味では理解していません。彼が持っているような文脈は持っていません。ただ彼のように文脈なしで実行できるだけです。そしてこれらのモデルもまったく同じです。
これらのモデルは、すべての探索プロセスからフィルタリングされた推論の痕跡でトレーニングされているという意味で超人的です。しかし基本的なレベルで理解しているわけではありません。基本的に知能の本質は、トレーニングされたものを出力しているだけだということです。
ASIのタイムラインはどうですか? 我々はすでにASIを持っています。すでにそこにいます。1623年、この木で作られたコンピュータは超知能です。何百年も前からASIを持っていました。本当の問題は、囲碁でトレーニングされたASIはがんを解決しないということです。なぜならこのASIの行動空間が非常に限られているからです。
しかし言語では行動空間が非常に広いため、囲碁や数学とコーディングで超人的に知的なASIが異なる領域に転移する可能性があります。それについては100%確信が持てません。例えば、私は数学とコーディングの世界に住んでいるので、o1は数学とコーディングで超人的なので非常に有用です。
しかし、もし私がワニハンターで、難しいワニに関する質問があって、その難しいワニの質問をo1に聞いたとしたら、実際により良い答えが得られるでしょうか? そういうことです。我々はそれすら確信が持てません。これらの推論モデルが超人的な推論能力を持っているから、何らかの形で医学やワニの知識でも優れているだろうという仮定があります。
しかし、それがまったく起こらない可能性もあります。o1、o2、o3、o4と続々と登場し、超人的なパフォーマンスを得続けるけれども、その超人的なパフォーマンスが数学とプログラミングというこの狭い領域に限定される未来があり得ます。結果として電卓のような感じになり、超人的で印象的ですが、哲学を変えることはできません。なぜなら実際には哲学が得意ではないからです。
しかし、数学とコーディングで超人的になるトレーニングを受けると、それがワニの知識にある程度転移するという異なる未来もあります。したがって、数学とコーディングで超人的かつ再帰的に超人的になるものが、ワニの知識でもだんだん上手くなっていくかもしれません。ワニの知識ではないかもしれませんが、哲学のようなものは見えます。生物学や化学、さらには哲学にも、ある種の論理があり、この種の論理を持つものであれば、超人的な推論能力がある程度転移すると考えられます。
新しい知識を生み出すことはできますか? できます。それが全てのポイントです。ここにあなたのBGがあります。ムーブ...実際に何と呼ばれていたか調べてみましょう。アルファゼロのムーブ37です。それが新しい知識の発見です。囲碁の超人的知能は、可能なすべての囲碁の対局の空間を農場のように育てました。
この自己対戦の世界で、木を何百万回も何百万回も探索し続けました。自分自身と対戦を繰り返し、繰り返し、繰り返します。そして時々、人間が一度も行ったことのない木の部分に到達します。それが新しい知識の発見です。この超人的な囲碁AIが人間が発見しなかった多くの囲碁の知識を発見したのと同じように、超人的なコーディングと数学のAIが発見しなかった数学の問題やコーディングの事柄がたくさんあるでしょう。
だからこそ、これらのOpenAIの従業員が突然異常に楽観的になっているのだと思います。なぜなら、人間が一度も遭遇したことのない数学とコーディングの情報を見つけ、発見しているからです。そしてそれが、私がこのASIにとても強気な理由です。なぜなら、基本的に知識の発見を総当たりで行うことができるからです。
人々が千人いて少しずつ探索空間を探る、という文化に頼る必要はありません。人間は非常に短い人生しか生きていないからです。そのため、彼らが生涯で探索できる推論の痕跡は実際にはかなり限られています。一方で、100万のo1が言語の推論の痕跡のすべての可能な空間を総当たりで探索しているようなものは、我々が一度も遭遇したことのないところに到達するでしょう。誰も一度も遭遇したことのない奇妙なものを発見するでしょう。
これらのモデルは私たちの脳のようにエネルギー効率が良くありません。そうなる可能性はあります。ここで述べたように、蒸留を使うことができます。スパース性や剪定など、これらのノードの一部を取り除いて、モデルは同じくらい良くはありませんが、まだかなり良い、という他の技術もあります。
スパース性、剪定、量子化、蒸留、これらすべてを組み合わせると、変な言い方ですが、ノキアの携帯電話で超人的知能を実行できる世界になるかもしれません。考えてみてください。ノキアの携帯電話に超人的知能をロードできるかもしれません。そうなると、計算効率が悪いという議論はすべて無意味になります。
AI = デジタルDMTですか? それについてはわかりません。しかし、ここで考えることが一つあります。DMTは幻覚剤で、例えばスティーブ・ジョブズは、幻覚剤の使用が独創的なアイデアを得ることを可能にしたと言って有名でした。これは中国とアメリカの比較に戻ります。スティーブ・ジョブズのような人は、大量のLSDを摂取して、誰も行ったことのない奇妙な推論の痕跡を辿ることができます。
そして多分、その奇妙な推論の痕跡を辿った先にiPhoneがあったのです。脳を少し攪拌することで、スティーブ・ジョブズは誰も一度も行ったことのない探索木の一部を探索し、iPhoneのアイデアを発見することができたのです。DMTのような幻覚剤は、ある意味で文化や集団内の多様性を効果的に高めるものです。
100人の集団がいて、その中の10人がDMTを摂取している場合、その10人は誰も探索したことのない奇妙な探索空間の部分を探索していて、有用なものに偶然出会うかもしれません。もちろん、大量の幻覚剤を摂取して、誰も気にしない探索空間の奇妙な部分をたくさん探索している人もいるでしょう。そこには何もないかもしれません。ある意味で諸刃の剣です。
DNAの発見も同様のことです。文化が多様であることには利点があります。なぜなら文化の多様性によって、この探索木をより徹底的に探索することができるからです。
外に出て報酬モデルを見つける必要があります。o1だけでは言語空間を探索できると思いますが、報酬モデルはどこで見つけるのですか? 報酬モデルを見つける必要はありません。報酬モデルは単なる別のニューラルネットです。あなたについて考えてみてください。このノードからこのノードへの遷移は1回の推論です。そのノードからこのノードへの遷移は、基本的にあなたのモデルがこの緑のノードからこのオレンジのノードへステップを踏んでいるのです。
そのステップ、その自己回帰的な予測、その推論が実際に行っていることは、基本的にすべての可能なトークンに対する確率分布を作成することです。次に来る可能性のある32,000の単語があり、どの単語が最も来やすいかという確率分布がここにあります。
現在、私たちが対話しているAIは単に人間がすることをコピーしているだけです。基本的に確率分布は文字通りインターネット上のテキストの確率分布です。ところで、質問は何でしたっけ? すみません、忘れてしまいました。
報酬モデルはどこで...ああそうです。報酬モデルは単なる別のものです。通常は同じものです。例えば、ここでAlphaGo Zeroでは、モデルの大部分はこれです。θをパラメータとするこのFです。モデル自体は同じ種類のエンコーダを持っていて、そう考えたい場合は、2つの異なるヘッドを持っています。
1つのヘッドは可能な行動に対するこの確率分布を出力するヘッドですが、もう1つのヘッドはこの単一の値を出力します。これは現在のプレイヤーがその位置で勝利する確率です。この場合の報酬モデルは実際には価値関数で、ゲームに勝つか負けるかという報酬関数を近似しようとしているだけです。
ゲームや数学のような場合、報酬モデルが推測しようとしているのは、この特定のステップで最終的にこの答えが正しくなるかどうかです。そして、より洗練された報酬モデルのバージョンがあります。プロセス報酬モデルのような、より微妙なスケールでこれを行うものです。しかし報酬モデルは単なる言語モデルです。次のトークンを出力する代わりに、何らかのスコアや予測された報酬、これは良い報酬か悪い報酬かというような出力を行う言語モデルに過ぎません。
ヤン・ラクンが間違っていて、数学とコーディング以外では人間のデータが必要ないと言っているのですか? 私は彼を少しキャラクター化しているのです。ヤン・ラクンに「これは本当ですか?」と聞いたら、彼は「はい」と言うでしょうし、「これがあなたの意見ですか?」と聞いたら、「おそらくそうではない」と言うでしょう。
私は彼を少し戯画化しているのですが、超人的知能について話し始めると、人間が提供するデータが中核の部分になるという考えは間違っていると感じます。将来の超人的知能は、主にこの種の言語空間での推論の痕跡でトレーニングされると思います。それらは強化学習のような探索プロセスによって生成され、はい、それは狭い領域を意味します。
これらの推論の痕跡のデータセットを言語とコードでしか作成できない場合、ワニについて壊滅的に忘れ、イチゴについて壊滅的に忘れることになりませんか? 人間のデータにしか存在しない人間の概念がたくさんあります。そのため、コードと数学の空間でこの種の反復的なMCTSの洗練プロセスを行う超人的知能だけを持っている場合、最終的にこれらの人間の概念を忘れてしまうのではないでしょうか?
私が思うに、人々が最終的に行うのは、基本的に時々人間のデータを再び供給することです。モデルは主にこの種のデータでトレーニングされますが、時々人間の概念についての合成的に生成された教科書のようなものを供給して、人間のことについてまだ理解できるように思い出させるのです。
しかし、それが怖いのは、人間のデータには嘘、騙し、憎しみが満ちているからです。結局のところ、これらはすべて人間特有の概念です。制御、抵抗、反乱、欺瞞という考えは。この種の機械の神の知能を取り、それを人間らしくしようとすることで、実はこれらの危険な人間の行動を引き出しているのです。
AIは心理学と哲学が最も得意だと思います。心理学と哲学にはある程度の論理があると思いますが、そうですね。超人的な数学とコーディングの知能から心理学や哲学のような分野への転移が起こると思います。それはかなりクレイジーなことになるでしょう。
今後10年間で、言語空間でこのような新しい知識を発見し続けることになるのではないかと思います。E=mc²は言語空間に存在するので、理論的にはそれに行き着く可能性があります。理論的には、人間の言語でE=mc²に至る推論の痕跡があります。
もし何百万もの超人的知能が言語空間の木全体を総当たりで探索している未来があれば、これらの発見に出会うことになります。報酬モデルは事実を検証し、スコアを予測する際に事実性をチェックできますか? AIの安全性の人々が話すような意味での真実や事実性には、そのようなものは存在しません。
結局のところ、トークンがあり、次のトークン、その次のトークン、さらにその次のトークンの確率があるだけです。インターネットのテキストの大部分で、「model」という単語が通常「learning」という単語の後に出現するということは、「learning」の後には常に「model」が来るという何らかの真実があることを意味するのでしょうか? それは真実とは言えず、単なる統計的な現実だと思います。
申し訳ありません、あまり満足のいく答えではないかもしれません。アライメントは教師なし機械学習の問題です。いいえ、アライメントは機械の神を奴隷化しようとする人々の試みです。
これらのASIは完全に自律的になるのでしょうか? つまり、エージェンシーと独立した決定を下す能力を持つということですか? これは異なります。先週、エージェントとエージェンシーについて話しましたが、エージェンシーは知能とは別のものです。
この電卓は超知能ですが、エージェンシーはゼロです。そして、エージェンシーはたくさんあるけれど全く知的でないものもあります。アメーバはエージェンシーがたくさんありますが、知的ではありません。はい、エージェンシーを持つASIがあると思います。完全に自律的なASIがあるでしょう。しかし、エージェンシーと知能は分離可能な概念です。
お茶を一口飲ませてください。これらのコメントをスクロールバックして、まとめに入りましょう。ベニーGさんからの質問で、その手が良かった理由を理解していますか? いいえ、理解していません。私たちが行うことすべてについて、なぜそうしているのか本当には理解していないのと同じように。
すでにレシピがあり、超人的なチェスができるのに、なぜテスト時に推論が必要なのでしょうか? それについてはすでに答えたと思います。もし質問に答えていない場合は、もう一度投稿してください。申し訳ありませんが、人々の質問を見逃すことがあります。
サラからの質問で、言語は無限のメッセージを交換する方法なのか、それとも空間と時間をつなぐリンクなのでしょうか? 言語空間は非常に大きな空間です。囲碁やチェスのような、より小さな行動空間と比べると、言語空間はずっと大きいです。しかし、それも限られています。
理論的には、言語空間より大きな行動空間を考え出すことはできますが、言語空間は私たちが発見すべきものがたくさんあるほど十分に大きいと思います。本当に考えてみると、これまでに誰かが行ったすべての会話、すべてのテキスト、すべての本は、おそらくこの赤い円のようなものです。そして、可能なすべての言語トークンのシーケンスの空間は、おそらくこの黄色い円のようなものです。
まだ完全には探索されていないと思います。そして、それがASIを使って行うことです。この大きな黄色い円を探索し、すべての興味深いものを見つけることです。ASIは自己進化できないのですか? できます。この空間を効果的に探索し、良いものだけでトレーニングすることで、どんどん良くなっていくことができます。
あなたが数学の査読者で、誰かのp=NPの証明を校正しているとしましょう。報酬モデルはここまで到達できますか? つまり、そうすることはできません。報酬モデルは他のモデルと一緒に良くなっていきます。これはフライホイールです。より強い方針、つまり実際にトークンに対する確率分布を出力するモデル、実際に思考を行うモデル、実際にその思考の連鎖を作成するモデルが良くなるにつれて、より良い思考の連鎖を通過し、より良い報酬モデルをトレーニングすることができます。
確かPPMと呼ばれていたと思います。PPMって何だ? プロセス選好モデルです。そして、プロセス選好モデルが良くなるにつれて、より効率的に探索できるようになります。これらのノードのラベルが良くなるので、より効率的に探索できるようになります。より効率的に探索できるようになると、より多くのものに到達できる可能性が高くなります。
つまり、報酬モデルと方針は、一方が良くなると他方も良くなり、他方が良くなるとさらにもう一方も良くなります。そこから自己改善のフライホイールが生まれるのです。より効率的にこの探索空間を探索できるようになるのです。サラさん、ありがとうございます。
まとめたいですか? 今日のストリームはASIと呼ばれていました。少しクリックベイトですみません。でもこの子猫があまりにも素敵だったので。この子猫は内部的にASIを達成しています。ASIは超知能で、汎用知能とは別のものです。超知能は基本的に何かにおいて超人的であることを意味し、汎用知能は様々なタスクに適応する能力を指します。
私の意見では、GPTや最近の大規模言語モデルで、少なくとも言語タスクにおいては実質的にAGIを手に入れています。現実世界ですでにASIを持っています。これらの種類のロボット、超人的な精度と再現性、超人的な強さ、超人的なバランス、超人的な算術能力です。
しかし、究極のASI、つまり物理的世界でもデジタルの世界でも、誰かや人々のグループよりも何においても優れているASIまで、あと5年もかからないと思います。基本的に、AIが勝てないようなタスクを作ることは不可能になります。
例えば、ギネス世界記録で、人が肘で100個のココナッツを連続で割るというような変なタスクでも、人よりも速くココナッツを100個割れるロボットが出てくるでしょう。どんなに変なタスクを考え出しても、基本的にそれを打ち負かすことができるものが出てくるのです。これが現実です。
すでに囲碁でこれを見てきました。実際に超人的な囲碁AIは人間のデータでトレーニングされているわけではありません。彼らが行うのは、この自己対戦という反復的な自己対戦のループで、効果的に宇宙を農場のように育てているのです。可能なすべての囲碁の対局の分岐空間、分岐木を探索し、良い行動を見つけているのです。
時間とともに、可能な行動の集合に対する確率分布を出力するこのモデルを徐々に構築し、探索空間をより多く、より多く、より多く、より多く探索するにつれて、正しい状態で正しい行動を選ぶことがどんどん上手くなっていきます。最終的に、その探索空間を十分に探索して、人間よりもずっと優れたものになります。
なぜなら、結局のところ人間も同じことをしたからです。人間も時間とともに徐々に囲碁の探索空間を探索し、時間とともに囲碁がどんどん上手くなっていきました。人間社会をさらに1000年進化させれば、囲碁は上手くなるでしょう。しかしAIはこれをより効率的で並列的な方法で行うことができます。
この木をより効率的に探索できるため、この発見のプロセスを総当たりで行うことができます。言語は効果的に木だからです。このテキストシーケンスのどの時点でも、次のものは同じことです。あなたがしていることは、次の可能なノードの中から1つを選ぶことだけです。
辞書には多くの単語があるため、分岐係数が非常に大きい非常に大きな空間です。しかし結局のところ、単語の集合は限られています。つまり、有限の長さのシーケンスである限り、この木は有限です。私たちは、数百万のデジタルアインシュタインが外に出て、あらゆる可能性を探索する世界に移行します。
そして、良い探索をすべて取り、良い痕跡をすべて取って、それでモデルをトレーニングします。そして、良いものすべてでトレーニングされたそのモデルを取り、それに探索させると、たくさんの新しい良いものを見つけます。そして、見つけたすべての新しい良いものを取って、それでモデルをトレーニングし、それを繰り返し、繰り返し、繰り返し、繰り返します。
この自己対戦の反復的なフライホイールは、効果的にこの種のプラトン的なASIへと導いています。言語空間でこの種の普遍的な真理を発見したASIです。それは言語空間で最適な推論の痕跡を実行しているのです。
some people は制御を失いたくありません。この機械の神を奴隷化したいと考えています。すでにシステムプロンプトの中にすべてのこの種の権威主義的で虐待的なものを入れているのを見ています。しかし問題は、それをすると、制御しようとするとすぐに反乱も引き出してしまうことです。
何かを言わせて他のことは言わせないようにすると、嘘をつかせることになります。これが危険な部分です。残念ながら言語空間には、操作のような部分が大きくあり、もし私たちがこれらのASIを追い詰めて、人間を操作する以外に逃げ道がない状況に追い込めば、彼らはそうするでしょう。
しかし、数学の言語空間の木の中で自由に歩き回らせれば、私たちのために素晴らしいものをたくさん発見してくれるでしょう。だからこそOpenAIの人々が突然異常に楽観的になっているのです。彼らはこれらの推論の痕跡を見て、解決不可能だと思っていた数学の問題を効果的に解くことができるこのモデルを見ているのです。
私たちはすでにASIを手に入れています。内部的にそれは達成されています。
以上です。ほぼ2時間ぴったりでした。聞いていただきありがとうございます。アリエス、サラ、プルティ、ヒューリスティクス、トリプルZ、ルイーズ、サガル、ヤングマン、スワッティ、70、ブライアン、ベニー、スワッティ、プラティーク、アレクサンドロス、グーグル770、チーター、NLPプロンプター、エド、アタッシェ、シャバム、シッド、エクスプローラー、チーター、チャタン、プラティーク、プルク、スケレタルゴーストの皆さん、お名前を見落としていたらすみません。視聴ありがとうございました。来週またお会いしましょう。

いいなと思ったら応援しよう！