ヨシュア・バッハ - なぜあなたの思考はあなたのものではないのか

50,992 文字

おもろいのは、人間にはな、自分自身で作り変える能力があるっちゅうことやねん。自分が世界と関わる方法や、自分自身と関わる方法を変えて、違うシステムになって、自分を発展させて、成長していくんや。進化いうのは、再生産できて自分でコーディングできる、違うソフトウェアエージェント同士の競争なんや。分子を使って自分をエンコードして、メカニズムを使って自分を実装して、永続化して、競争するんやけど、実際のところ全部ソフトウェアのことなんや。
全部精神のことなんやで。ヨシュア。ヨシュアや。ヨシュア・バッハは、素晴らしい経歴を持つ一流の認知科学者と人工知能研究者やな。あんたは、意識はバーチャルな特性やと言うたよな。バーチャルいうのは、「まるで〜のように」いう意味や。つまり、何かが存在するかのように振る舞うってことやな。
せやから、わしらが意識的な主体やいうのは、世界と相互作用する自分自身を観察してるってことやな。物理的な観点からすると、わしらは存在してへんのやということは分かってる。人間の脳を測定器で見たら、人間は見えへんのや。見えるのは、その人の行動を生み出してる細胞間の活性化パターンだけやねん。
同じように、Minecraftを動かしてるコンピューターをミクロで見ても、Minecraftは見つからへん。見えるのは、コンピューターのトランジスタを通って伝わる電気のパターンで、あるレベルではMinecraftの因果構造を生み出してるってことやな。
でも、それでもMinecraftは実在すると言えるかもしれへん。実装されてるからな。何かが実在するいうのは、それが実装されてる程度に応じてるっていう定義は、結構使えると思うわ。そしたら、現実性にも程度の差があるってことに気づくんや。
未来をコントロールするには、モデルを作る必要があるんや。モデルを作るのが上手くなればなるほど、それがうまくいくんやな。ある時点で、自分自身を発見せなあかん。世界を特定の方法で調整して、自分のモデル作りが特定の方法で機能してるってことに気づいて、それから自分のモデルがどういう点でうまく機能せんかったか、自分の観察能力やモデル作成能力の限界は何かを理解しようとするんや。
こういうことが起こり始めると、自分の元のコードを編集し始めて、そこから本当に面白くなってくるんやな。ヨシュア・バッハや。番組に出てもらえて光栄やわ。ありがとう。こちらこそ。AGIについてどう感じてるんや。ある意味、あんまり変わってへんのやな。わしが子供の頃、コンピューターが何をできるか分かった時、AGIが来るって感じたんや。
多くの点で、今の世界の方が楽観的やと思うわ。すごいモメンタムがあって、大げさな期待もたくさんあるけどな。でも、現在の技術がどこまで行けるか、いつ行けるかはまだはっきりしてへん。すごくワクワクする時代やけど、AGIが実際どれくらい先の未来にあるかは分からへんのや。AGIについてのタイムラインはどう考えてるんや？わしらの生きてる間に起こると思うで。
それに、AGIが実際何なのかって問題もあるな。もっと深く考える必要があることやと思うわ。多くの人は、スタートレックみたいに「コンピューター、これこれをしてくれ」って言えるシステムがAGIやと思ってたんやけど、今はそれがあるって言えるかもしれへんな。1980年代のスタートレックのエピソードを覚えてるか？
その時代に戻って街を歩いてみると、スコッティがコンピューターを使おうとして話しかけるんやけど、コンピューターが理解できへんのや。自然言語で話しかけても、英語を理解せえへんし、文章を解析できへん。スコッティはびっくりしてしまうんや。
この対比を見るのは本当に面白いわ。当時は、コンピューターがそんなことできへんのは明らかで、遠い未来になってやっとできるようになるって思ってたんやからな。でも今はできるんや。今では、時々信頼性に欠けたり、でたらめなことを言ったりするのが問題になってて、人間がよくできる特定のタスクができへんこともあるって言われとるわ。
一方で、すごいスキルを発揮してるのも見てて、数学のシルバーメダリストレベルに達してるけど、想定外のことが起こった時にどれだけうまくいくか分からへんのや。数学の性能についてのトレーニングデータがモデルにたくさんあったんやろうし、そういう状況でうまく機能するようにファインチューニングしたんやろうな。
でも、わしがLLMで遊んでて気づいたのは、わしが本当に得意な分野では、LLMはたいていわしのパフォーマンスよりちょっと下やってことや。わしが全然得意じゃない分野では、LLMがすごく印象的なことができることが多いんや。せやから、知能っていうのは、多くの分野で少し超人的なレベルで機能して、それがすごく速くて、それを組み合わせて次のレベルに行くことなんやろうか？それとも、わしらが見てるものには根本的に欠けてるものがあるんやろうか？明らかにわしらのパフォーマンスとは違うもんやけどな。
でも、AIはスキルというよりもスキル獲得のことかもしれへんな。AIをテストする時、人間用の知能テストを使っても有用な結果は得られへんのやな。それは、人間用の知能テストがスキルに向けられてるからや。普通、与えられたタスクのパフォーマンスをテストして、人々がそのパフォーマンスをあまりよく訓練できへんことを期待するんや。
そうすることで、最初からパズルを解く能力と、単にパズルの解き方を覚えることとの相関が少しあるってことやな。でも、これは人間の文脈以外では使えへん知能テストになってしまうんや。動物や機械には使えへん。人間の平均レベルを取って、そこからのずれを測ってるからな。
動物も機械も、この人間の平均からのずれからあまりにも遠すぎて、意味のある比較ができへんのや。その代わりに、もっと面白いのは、システムが何かを理解しようとする前のパフォーマンスを知って、それからその後のパフォーマンスを見て、その間にどれだけのデータがあって、どんな性質のデータやったか、どれだけの操作をしたかを見ることやな。
そうすれば、新しいスキルや能力を構築する能力をもっとよく測れるんや。これが実際、知能の本質やねん。モデルを作る能力なんや。せやから、AGIは数学的に得られる任意のモデルを作る能力やと言えるかもしれへん。つまり、利用可能なリソースと利用可能なデータが与えられた時、そのモデルが発見可能やったら、システムはそれを見つけられるはずやってことやな。
でも、よく検索空間を正しく形式化するのが難しいんや。もし、我々が求めるスキルを得るために見てる関数の検索空間を組織化する最適な方法を見つけられたら、AGIを得る方法の答えが見つかるかもしれへんな。でも、これは今のシステムがやってることやないんや。
今のシステムがやってるのは、例えば次のトークンを予測することやな。トークンは、インターネット上のテキストをモデルが処理できる形にマッピングしたもんや。これらのモデルが次のトークンを予測するのがどんどん上手くなってるのが分かるんや。つまり、インターネット上でこれらの文字列を生成するパフォーマンスをどんどん上手く模倣できるようになってるってことやな。
画像でも同じことが起こってるけど、リーマンのゼータ関数の仮説の証明を作るのとは明らかに違うもんや。リーマンのゼータ仮説については、インターネット上に利用可能な証明はないからな。既存の証明のステップを組み合わせるだけで、このモデルがランダムに何かを思いつく可能性は非常に低いんや。
ある意味、言語の問題を自己対戦の形に変える方法を見つける必要があるんやな。囲碁やチェスのように、自分自身と対戦できるようにして、そうすることでフィードバックを得られるようにせなあかんのや。ゲームはフィードバックを与えてくれる。数学も原理的には、証明が機能するかどうかのフィードバックを与えられるはずや。
プログラミングもフィードバックを与えられる。プログラムがコンパイルできるかどうか、結果を達成できるかどうかでな。これを自己対戦に変えられれば、人間のパフォーマンスを超えられるはずや。でも、今のLLMの訓練方法では、どうやってこのレベルに到達するか分からへんのやな。今朝、フランソワ・ショレと話したんやけど、彼も知能について似たような考え方をしてるな。
彼にとっては、モデル構築の効率性なんや。彼にとっては抽象化構築の効率性やけどな。わしは彼に言うたんや。あんたの考え方は「何」について話してるけど、「どのように」については話してへんって。エージェンシーはどうなんや？この自己対戦、環境との自己教授的な情報交換はどうなんや？って。彼は言うたんや。エージェンシーと知能は絡み合ってる必要はないけど、自分で目標を設定できる必要はあるって。
スキルプログラムは一種の計画を表してるかもしれへんけど、あんたにとっては似たようなもんなんか？つまり、この自己対戦は知能の一部なんか、それとも単なる実装の詳細なんか？現実世界の環境では、人々はよく知能を割り引くんや。知能はツールやって気づいたからな。大事なのは、そのツールを何に使うかってことや。
そういう意味で、エージェンシーの方が知能よりも有用になる傾向があるんや。誰かがたくさんのエージェンシーを持ってたら、問題があった時に知能の高い誰かを雇って解決できるからな。でも、問題解決能力やモデル作成能力としての知能だけを持ってる人は、必ずしも成功するとは限らへん。
せやから、エージェンシーって何やろうって考えなあかんのや。エージェンシーが重要やとしたら、それは未来のコントロールやと思うわ。サーモスタットと対比できるな。サーモスタット、少なくとも原始的なサーモスタットはエージェントやないと思うわ。今ここで世界を測定して、その測定を直接何らかの調整行動、つまりスイッチングに変換するシステムやからな。
結果として、基本的に今利用可能なデータに基づいて現在を調整してるだけなんや。でも、未来を調整できるシステムを作ったらどうなるんやろう？例えば、スイッチを入れた後に部屋が暖まるのにどれくらい時間がかかるか、温度が下がるのにどれくらい時間がかかるか、温度センサーと部屋の暖房の距離はどれくらいかを予測できるサーモスタットがあったらどうやろう？これがどれくらい示唆的かとかな。
もし距離が遠ければ、部屋の実際の温度についてよい idea が得られるかもしれへんけど、近すぎたら、実際に暖める必要がある空気の量、部屋の大きさについて推論できるかもしれへんし、その測定が実際に起こってることの歪みやってことも分かるかもしれへん。
せやから、より多くのモデルを作れば作るほど、調整がより効率的になるんや。今すぐの測定だけでなく、自分の行動の結果として世界がどう変化するかのモデルを構築するシステムを持つと、最終的に好みがあって、知識があって、コミットメントがあって、目標指向に見えるシステムになるんや。
そうすると、エージェントの全ての特性が、単に未来をコントロールする能力から出てくるんや。もちろん、未来をコントロールするにはモデルを作る必要があるな。モデル作りが上手くなればなるほど、これがうまくいくんや。ある時点で自分自身を発見せなあかんし、自分が特定の方法で世界を調整してるって事実や、自分のモデル作りが特定の方法で機能してるってことに気づいて、それから自分のモデルがどういう点でうまく機能せんかったか、自分の観察能力やモデル作成能力の限界は何かを理解しようとするんや。
こういうことが起こり始めると、自分の元のコードを編集し始めて、そこから本当に面白くなってくるんやな。わしは、ある意味で知能を特定の領域を扱う能力や、そこでスキルを発展させる能力として見ることができると思うわ。でも、人間で面白いと思うのは、自己著述的になる能力や。世界や自分自身との関わり方を変えて、違うシステムになって、自分を発展させて、成長していく能力なんや。
今はまだ意識の話はせえへんで。後で取っておこう。でも、あんたは意識はバーチャルな特性やって言うたよな。同じことをエージェンシーについても言えるんやろうか？ある意味で、エージェンシーは物理的な特性やないって言えるかもしれへんな。でも、結局のところ物理的なものって何やねん？
物理学は理論やって言えるかもしれへん。ある種の現実のモデルで、機械的な意味でな。Minecraftは物理的やないって言えるやろう。単にコンピューター内部に存在する恣意的な記号の約束事やからな。一方で、物理的な宇宙は誰かの意図に依存せず、単に機械的なパターンを演じてるだけやと考えられてるわけや。
でも、この機械的なパターンが構造を生み出すってことに気づくんや。その構造は、モデルを作る制御システムのエージェンシーのレンズを通して投影すると、最もよくモデル化できるんや。このレンズを使わんかったら、理解できへんことがたくさんあるんやな。
誰もが即座に分かる良い例は、お金やな。お金は物理的やないってことは皆同意するやろう。でも、お金が存在せえへんって信じたら、現実の一部を説明できへんようになるんや。お金は単に人々が持ってる信念やないんや。人々がその信念を持つのをやめたら、世界がもっとうまく説明できるようになるってわけやないんや。
コンピューターだけで株式市場を作ることもできるんや。数字と銀行口座だけを操作するコンピューターでな。それでも同じことが起こるんや。せやから、お金は存在するかのように振る舞う粗視化された因果パターンやって言えるかもしれへん。因果的な力を持ってて、ある解像度のレベルで物理的現実にパターンを作り出す能力があるんや。
お金は、宇宙の特定の解像度レベルで現実を投影する恣意的な方法として発見した、ただの一時的なパターンやないんや。実際、宇宙の他のレベルでは明らかにならない不変性なんや。モデルを作る時、不変性を探すんや。変わらないものをな。お金はそういう不変性なんや。
そうやな。面白い質問は、心的状態は不変性なんやろうかってことや。お金みたいに「まるで〜のように」存在するんやけど、どの程度実際に実装されてるんやろう？どの程度、宇宙を形作る因果構造があって、それに対して他の代替的でより良い表現が見つからへんのやろうか？そうやな。
今日の議論のテーマの一つは、あんたがこの自己組織化のパターン、このバーチャルなパターンを特定してるってことやな。おそらくあんたはそれらは実在すると言うやろうけど、因果的な力を持ってるんや。つまり、わしらがいる世界を変えてるんや。でも、あんたは「バーチャル」って言葉を使ってるな。
それは正確にはどういう意味なんや？バーチャルは「まるで〜のように」って意味や。つまり、何かが存在するかのように振る舞うってことやな。わしは、わしらが意識的な主体やっていうのは、世界と相互作用する自分自身を観察してる対象やと思うんや。物理的な観点からすると、わしらは存在してへんのやということは分かってる。測定器を使って人間の脳を見ても、人間は見えへんのや。
見えるのは、その人の行動を生み出してる細胞間の活性化パターンだけやねん。同じように、Minecraftを動かしてるコンピューターをミクロで見ても、Minecraftは見つからへん。見えるのは、コンピューターのトランジスタを通って伝わる電気のパターンで、あるレベルではMinecraftの因果構造を生み出してるってことやな。
でも、それでもMinecraftは実在すると言えるかもしれへんな。実装されてるからや。何かが実在するいうのは、それが実装されてる程度に応じてるっていう定義は、結構使えると思うわ。そしたら、現実性にも程度の差があるってことに気づくんや。例えば、ある国の天気のシミュレーションは、ある意味でシミュレーションやな。
実在せえへんからや。別の因果構造上の特定の抽象レベル、特定の解像度で実装されてて、ある程度のアイソモーフィズムや、ある種の投影ができて、それによってある程度まで天気を予測できるんや。でも、それを超えると崩れてしまう。下の因果構造が違うからな。別の例やと、コンピューターゲームをプレイするとするやろ。例えば、シューティングゲームで銃を撃つとするやろ。
でも、コンピューター内部には空気を通る弾丸の正確な物理モデルなんかないんや。単に、現実世界でやるのと似たようなやり方でそのゲームをプレイできるようにするベクトル計算だけなんや。せやから、物理的な宇宙との相互作用から得たアイデアをこのゲームに転用できるんや。そのゲームが実際に因果的な相互作用パターンを生み出してるからや。異なる因果的な基盤、つまりコンピューターのCPUやGPU上にあっても、この相互作用を可能にしてるんやな。
でも映画は、例えば、基礎にある因果構造なしに、観察可能なものの連続を生み出すだけや。映画を見てると、例えば第二次世界大戦にいるような印象を受けて、人々が互いに撃ち合ってるのを見るかもしれへん。でも、映画の構造と因果的に相互作用する可能性はないんや。セルロイドやビデオテープの下に、観察可能なパターンの連続を生成する能力以外の因果構造がないからや。
これらの異なるものを見ると、モデルに投影できる観察可能な動的なものがあって、それからそのモデルを動的に実行できるシミュレーションがあって、それからシミュラクラム、つまり観察可能なものの連続があって、現実性の程度が異なるんや。観察可能な動的なものっていうのは、うまい表現やな。
リチャード・ドーキンスが「利己的な遺伝子」っていうアイデアを思いついたけど、わしは創発が大好きなんや。わしらには創発のはしごがあって、このすごいダイナミックなシステムの中で生きてるんやな。わしらが試みてるのは、世界を理解することや。せやから、創発のはしごの一段で、十分な解像度のレベルを特定して、そのパターンや現象を、理解可能性や因果的な力、どれくらい曖昧か、境界がどうなってるかなどに基づいて特定するんや。
あんたはそれについてどう考えてるんや？わしは「創発」っていう言葉が好きやないんや。その言葉を使うと、創発っていう魔法のようなものがあるって直感を人々に与えてしまうからや。宇宙の中のものを特定の配置にすると、魔法のような理由で、創発的なものが起こるっていう。それが存在するようになって、何らかの行動を生み出すんやけど、それはなぜか部分の総和以上のものになってて、完全に驚くべきことになるんや。
そして、これが意識を説明するかもしれへんって。なぜか、創発はソフトウェアとハードウェアの関係の文脈でよく議論される現象やと思われてるんやけど、実際にはほとんど議論されへんのや。ソフトウェアとハードウェアの関係こそ、創発が見られるはずの場所なんやけどな。
一方のレベルでは電気を持つトランジスタがあって、さらに細かく見ると、トランジスタや電気すらなくて、原子と分子だけになる。さらに細かく見ると、それらも粗視化された抽象にすぎなくなる。そして他方では、論理的な進行やコンピュータープログラムについてのわしらのアイデアを実装する計算言語があるんや。
これらはどう関係してるんやろう？魔法みたいやないか？誰もそれを魔法だとは思わへん。完全に慣れてしまって、当たり前のことになってるんや。魔法が関わってないってことは分かってる。わしらの頭で理解できへんとしたら、問題は明らかにわしらの頭にあるんや。大きな謎はないんや。
それでも、わしらの心的表象やこころについて考える時、なぜか全く違うことが起こってるに違いないと人々は信じてしまうんや。これが創発っていうもんなんや。わしは、これは混乱を指摘すべきやったな。わしが話してるのは弱い創発のことや。単に驚きと複雑さの問題で、新しい現象が分析的な経路なしに生成されるっていうことやないんや。
わしは、この用語を使うのは問題ないと思うで。創発と随伴性は、こういうことを話すのに役立つ方法になり得るんや。ただ、哲学のセミナーで哲学の教授が心的状態の文脈で創発に夢中になってるけど、ソフトウェアの文脈では創発が重要や驚くべきやとは思ってへんってことがあるとしたら、わしはそれを怪しいと思うんや。
驚きの程度は同じであるべきやと思うわ。うーん。基本的に、この用語が持つ直感が少し違うかもしれへんな。わしは、わしらの心的概念の多くがブラックボックスになってるのがよくある問題やと思うんや。わしらはそれらを指して、ラベルを付けて、わしらの心のこの特定の部分が何をモデル化してて、どう機能してるかについてのアイデアを持つんやけど、本質的にはブラックボックスなんや。
このブラックボックスを分解して、わしらの心が実際にどんな機能を生み出してるのか、第一原理にマッピングして説明せんかったら、奇妙なことが起こるんや。良い例は、数学者がよく持つ幾何学についての直感やな。
わしが初めてコモドール64でラインを描いた時のことを覚えてるわ。すごく複雑やったんや。BASICにはラインを描くコマンドがないから、ビデオチップに値をポークして文字のレンダリング方法を忘れさせて、ワーキングメモリの一部をピクセルとして解釈させなあかんかったんや。それから、ピクセルが始まるメモリの開始アドレスを教えて、8ビット、1バイトが8ピクセルやから、バイナリ演算をして実現せなあかんのや。
そして8バイト下には、まだ文字マトリックスやから、8x8ピクセルの1ブロックがあって、横に40個、下に25個あるんや。せやから、正しいfor-nextループを作って、どのピクセルをどのバイトに、どのアドレスに対応させるかを理解するのに、たくさんの数学的なトリックやパズル解きが必要やったんや。
それから、任意のスケールで機能する関数に一般化するんや。そしたら、異なるピクセルマトリックスや異なる色解像度でも機能するようになる。一般化すればするほど、この数学的な理想のラインに近づくんや。
でも、数学者はある意味でラインをタダで手に入れられると思ってるんや。ラインについて話す時、そういう関数をある種の格子やマトリックス、あるいは基盤として使う任意の方法の一般化について話してるんやって言うたら、その基盤のトポロジーや次元性の関数としてな。
そしたら数学者は、そんなに複雑にする必要はないって言うんや。もっと単純な定義があるって。でも、その定義は実際には単純やないんや。わしらの脳が既にこれらのトリックを全部やってるから単純に見えるだけなんや。既に精巧な機械学習の仕組みがわしらの脳にあるんや。
子供の頃に。わしがコモドール64でやったのと同じことを、最も一般的な場合にやってるんや。数学者は脳にある利用可能な幾何学の直感にマッピングして、幾何学は単純やと思ってるんやけど、実際には幾何学は代数よりもずっと複雑なんや。わしらの脳には、幾何学を生み出す根底にある代数があるんや。
せやから、空間でものを操作する方法について考える時、それは即座に与えられるもんやない。宇宙が機能する方法やないんや。わしらの脳が構築したモデルで、それはわしらにとってブラックボックスで、わしらはそれを指し示すんや。このブラックボックスを分解しようとしたら、コンピューターゲームを作って、ゲームエンジンを作って、ああ、わしらの脳は多くの点でそういうゲームエンジンに似てるけど、自己組織化するもんなんやって気づくんや。
ある意味で逆レンダリングをするんや。基本的に、感覚データを説明しようとするゲームエンジンを構築してるんや。せやから、あんたの感覚データは制約されてて、その制約がこのゲームエンジンの状態を決定してるんや。わしはこれがわしらの知覚の仕組みやと思うわ。そうやな。あんたは実際、わしらの感情は知的な生成器（外部の心）と知的な解釈器（自己）で構成されてて、両方とも適応的な学習システムで、互いに矛盾する可能性があるって言うたよな。
なぜそうなるんや？エージェントを実装する方法はいくつかあるんや。多くの要求を満たして宇宙に留まり、生き残り、自分自身を持続させる必要があるエージェントがいるとしたら、わしらのようにな。わしらはたくさんの異なる栄養素が必要で、休息も必要で、社会的な関係も構築せなあかん。わしらは実際、多世代のエージェントで、完全に自分だけで存在できへんからな。
わしらは状態を構築するエージェントでもあるんや。せやから、これらの関係を全部ニーズとしてモデル化せなあかんのや。わしらには進化的な事前知識があって、それによってこれらのニーズが何かを理解しやすくなってる。基本的に、これらを出発点の提案として受け取って、うまく機能せん時だけ修正すればいいんや。それから、これらのニーズを全部測定して、わしらが扱えて操作できる表現に翻訳する制御モデルを構築せなあかんのや。
わしらはそれらを衝動や欲求として経験して、それからこれらの衝動を目的として、つまり実際に世界でやらなあかんこととしてモデル化するんや。それから、わしらが奉仕してる目的の階層を構築しようとして、それをお互いや自分自身に伝えようとするんや。これを構築する方法はたくさんあるけど、わしらの心の中で構築されてるのは面白い方法なんや。
わしらには、GANつまり敵対的生成ネットワークに似た二つのモデルがあるように見えるんや。生成器と批評器があって、わしらの心の中に世界モデルを生成するものがあって、それはまた感情やモチベーションも生成してる。世界への調整としてのモデルやな。
そして自己モデルがあって、これはこれらの感情を持ち、これらの問題を全部気にする人がいたらどうなるかっていうモデルなんや。そして、このモデル自体が、システムが先に作り出したニーズを満たす解決策を見つける任務を与えられてるんや。せやから、わしらはこの二部構成のモデルを持ってるんや。二つの部分があるんや。
一方には世界モデルがあって、もう一方には自己モデルがあるんや。わしらは自己モデルなんや。わしらは、このゲームエンジンに埋め込まれたキャラクターとして自分自身を認識してて、ゲームが与える問題を解決せなあかんのや。そして、自己の外部で計算されるスコアを認識してる。多次元の問題が、感情やモチベーションとしてわしらの自己に投影されて、わしらはそれに無条件で自発的に反応するんや。
これが実際に起こってることやって、瞑想して長い間透明になるまでこれを分解してみれば分かるんや。ああ、これは単なる表現で、実際には衝動を持ってへんのやって気づくんや。それに反応してる自己のモデルに過ぎへんのや。でも、わしはそれやない。そうである必要はないんや。外側から見ることもできるんや。
あんたは少し前に面白いことを言うたな。エージェンシーは未来を予測することやって。でも、わしの心の中で鳴り響いてたのは、いや、未来の環境をコントロールすることやって。でも、あんたは「環境」って言葉を使わんかったし、今抽象について話してたよな。
つまり、幾何学とか、わしらはどんどん代表的な抽象を学んでいくってな。でも、あんたが今言うてたことに戻ると、わしらには自己があって、それから一種の外部モデルがあるって。これらは同じ全体の二つの部分なんか？つまり、世界は存在するんか？基本的に、あんたは自分自身の環境の一部なんや。
多くの点で、あんたの意識の環境は、あんたの意識が相互作用してサービスを提供してるエージェントでもあるんや。ある意味で、環境しかないんや。観察して操作できることによって、他に何かをコントロールできるものはないんや。
でも、それは物理的な環境やないんや。あんたの心の中で、あんたにアクセス可能なものとして表現される環境なんや。せやから、あんたはいつも表現を扱ってるんや。これらの表現の一部は因果パターンなんや。基本的にコンピュータープログラムに似てるんや。有機体が何かをするのをコントロールするのに使える方法で表現されるものがあるけど、それらは宇宙の根源的な力やないんや。
下を見ると、まだ単に言葉の間の活性化パターンや、細胞間で渡されるメッセージに過ぎへんのや。それが細胞レベルや細胞内部の下のレベルで多くの行動につながって、非常に大きなスケールで統合されるんや。
かなり目を細めて、かなり遠くから見ると、有機体が何かをしてるように見えるんや。でも、この有機体全体も一種のフィクションなんや。まるで全ての細胞が同じアイデアに、同じ目標に動かされてるかのようなもんや。それが非常に有用やから、それに近似してるんや。
もちろん、これが近似やってことは分かってるけど、悪い近似ではないんや。この近似を維持できる限り、有機体が存在してて、単なる崩れかけの細胞の集まりやないって言えるんや。でも、アニメーションを与えるパターンの方が、わしらが物理的世界と考えてるものよりも実在的なんやろうか？それらは実装されてる程度に応じて実在的なんや。
せやから、わしらの有機体には、細胞間の協調された行動を実装する構造があって、それがわしらが有機体と呼ぶものを生み出してるんや。有機体は実際には物理的なものやない。それは、細胞間の相互作用を記述する関数で、それらが一貫してる程度を表してるんや。さて、あんたのサイバーアニミズムの話をする良いタイミングやな。
昨日のAGI 24カンファレンスであんたの基調講演を見たんや。アニミズムは、生きてるシステムには魂や精神的な本質があって、それがエージェンシーと意識を与えるっていう考え方やな。まるで、わしらが何かの生命力で活性化される器に過ぎへんかのようにな。
もちろん、あんたはこれを情報処理の観点から再解釈したんやな。それで合ってるか？つまり、要約してもらえるか？よく、概念を正しく理解するのが難しいって感じるんや。既に真実やと信じてることに翻訳しようとすると特にな。例えば、あんたが無神論者やとして、クリスチャンが神について話すとするやろ。
クリスチャンの一般の人の神話を取って、神々は物理的な宇宙を作る習慣がある超自然的な存在やと考えたとするやろ。これはその人が持ってる命題的な信念で、混乱した信念やと思うかもしれへん。このデータを導き出せる正しさや間違いの理論なんてあり得へんからな。こういうことが実際に起こったかどうかをテストする実験ってどんなんやろう？
せやから、誰かがそんな主張をしても、その主張を支持する証拠なんてあり得へんのや。せやから、混乱してるんや。結果として、無神論者は神の概念は迷信やと思うかもしれへん。その人が神について報告することは全部、例えば天使と話してるとか、神が人生に意味を与えてくれるとか、神が自分を愛してるとかいうことは、明らかに混乱か迷信やと。
でも、わしはこれは単に概念を誤訳した結果やと思うんや。その人が概念をわしらに分かる言葉で表現できへんっていう事実も助けになってへんけどな。でも、もしその人が知的で妄想的やないって観察したら、わしらが何かを誤訳してるってことに気づくかもしれへんな。
例えば、わしは神は自己が心の中の表現であるのと同じように、心の中の表現やと思うんや。わしが自分の内なる独白を聞けるような方法で、わしの脳が自分自身に語ってる物語の中にいるって気づいた時、わしの自己は、わしが聞いてる声をわしの心の中で発することができるんや。
せやったら、なぜ神にも同じことができへんのやろう？なぜわしの心の中に一つの物語しかあってはいけへんのやろう？明らかに、他の遺伝的な物語を心の中に持ってる人もいて、それがより大きな人々のグループ間で同期されてるんや。単一の自己やないんや。せやから、神々は単に複数の心に分散された自己なんや。
誰かが神が自分の中に存在すると報告する時、その人は心理的な状態を描写してるんや。基本的に、この他のエージェントが自分の心の中にいるってことを描写してるんや。そのエージェントと相互作用して、ある程度観察できるんや。アニミズムも同じことや。わしがアニミズムのアイデアと最初に出会ったのを覚えてるのは、かなり若い頃やった。
誰かが、日本や他のアニミズム文化の人々は、宇宙のすべてのものが意識的で生きてると信じてるって説明してくれたんや。わしの反応は「そんなバカな」やった。日本の人々も、人が死んでるっていう概念や、例えば麻酔をかけられた人が無意識やっていう概念を持ってるはずやからな。
せやから、おそらく宇宙のすべてのものが意識的で生きてるとは言わへんやろう。死んだ人や無意識の人は例外やって。あんたは単に、あんたが意味を知ってると思うてる言葉に誤訳しただけやな。でも、彼らは意識的で生きてるっていうのを、あんたとは違う意味で使ってるんやろ？明らかにわしらの文化で使うのと同じもんやないんや。
もっと複雑な概念かもしれへんな。動的なものとか、自己維持するものとかいう意味かもしれへん。わしらの文化でそういう言葉を持つのは難しいんや。ある時点で、自己維持するシステムを指すオートポイエーシスって言葉を思いついたけど、誰もそれが本当に何を意味するか知らへんのや。
その間、誰も自己維持するパターンっていう概念を持ってへんかったんや。完全に物理的な対象やない因果構造なんやけどな。でも、物理的な対象やないけどソフトウェアである因果パターンの存在を理解したら、そのうちのいくつかは自己維持的で自己強化的かもしれへんって。確かにこれらの概念は理解できるようになるんや。
ああ、もしかしたらこれが彼らがずっと言ってたことかもしれへんって気づくんや。あんたが理解できるものにマッピングできたら、それは迷信やなかったかもしれへんのや。わしは、わしらの文化が馬鹿やと思うんや。特定のクラスの対象や世界の特定の不変性を記述するための正しい形而上学が欠けてるんや。
例えば、わしらは心理的な対象と物理的な対象を区別できへんかもしれへん。せやから、例えば一部の哲学者は自由意志の概念について混乱してる。意志を、例えば光子や椅子に匹敵する対象やと考えてるからや。でも、それは正しくないんや。椅子は、あんたが座れるっていうアフォーダンスで、あんたのゲームエンジンの一部やねん。
でも、意志は心理的状態の表現なんや。せやから、自由意志について考える時、物理的宇宙の何らかの状態についてやなくて、その特定の種類の表現に適用される修飾語について考えなあかんのや。一度見たら理解するのは簡単やないけど、自由意志についての議論の多くは、カテゴリーエラーについてのもんなんや。
あんたの話を初めて聞いた時、それは理にかなってると思ったわ。そのアニミズム哲学のとても面白い解釈やな。わしは「言語ゲーム」っていう本を読んだんや。モーテン・クリスチャンセンとニック・チェイターが書いたもんや。それは、言語は我々に寄生する共生生物やから、一種のバーチャルなエージェント、つまりミーム的なもんについて話してたんや。
わしは外在主義の大ファンでもあるんや。つまり、これらのミーム的で行為主体的なバーチャル構造が情報圏を漂ってて、わしらに寄生して、わしらを活性化させるんや。そうや。あんたが言ってることと全く同じやな。それはわしにとって理にかなってるわ。そうやな。基本的に同じアイデアやな。
わしは、現代の認知科学の言語を使えば、わしらの脳の上で動いてるソフトウェアがあるってことは明らかやと思うんや。わしらの脳の上で動いてるソフトウェアが、わしらに決定を下す能力や、観察する能力、記憶を思い出す能力などを与えてるんや。このソフトウェアは形成されてるんや。
人工知能は、異なる抽象化や異なる基盤を使ってるけど、これらの概念を使って、議論の余地はあるけど多くの方向で既にかなり似た行動を生み出してるんや。同じように創発してへんし、同じ自己組織化能力を持ってへんけどな。精神が特定のクラスのソフトウェアやっていうアイデア、それが自分自身を適切な基盤に実装できるエージェントで、その基盤自体がそのエージェントと調和できるんや。そして、それは自分が調和した物理的宇宙のこの領域をある程度制御できて、自分自身を知覚できるソフトウェアなんや。これは面白い特性やな。
環境と相互作用する中で自分自身をエージェントとして発見するくらい、十分なリソースがあれば環境のモデルを作れるもの。そして、これを使ってモデルをより洗練させるんや。これらは全部、わしらの祖先が精神に割り当てた特性で、わしら認知科学者やAI研究者が、明らかに自然界に存在するものとして発見したもんなんや。
そして、これがわしらの脳だけやなく、わしらの体にもあるって気づくんや。一旦、細胞を細胞たらしめるものは、魔法のような理由でいつもうまく機能する一連のメカニズムやないってことに気づいたら。実際には、細胞の上で動いてるソフトウェアで、そのソフトウェアは非常に強力で、時には細胞内の個々の分子をコントロールすることもできるんや。魔法やないけど、ソフトウェアが活用するメカニズムのおかげやな。
でも、基本的にソフトウェアはハードウェアの上で自分自身を調整してるんや。自己組織化の方法でハードウェアを集めて、ソフトウェアを実行するんや。せやから、ある意味で同じコインの両面みたいなもんやけど、実際の不変性はメカニズムやないかもしれへん。物理的なものやないかもしれへん。因果パターンかもしれへん。実際にはソフトウェアなんや。
お金が不変性で、何に印刷されてるかは気にせえへんのと同じや。お金を実装できるものに印刷される限りはな。わしは、わしらの心の中でも似たようなことが起こってると思うんや。わしらの心は、個々のニューロンが死んでも、ある程度頑健なんや。単に新しいニューロンを集めるだけや。せやから、かなり広い範囲の状態で、わしらの心はまだ機能し続けるんや。
メカニズムがある範囲を超えて、もはや環境やあんたの基盤のエラーやノイズを補償できへんようになった時だけ、あんたは崩壊して、ソフトウェアがクラッシュして死んで、他のソフトウェアが入ってくるんや。でも、これはまた、わしらの周りの生きた世界を見ると、物理学の領域を基盤として競争してるこれらのソフトウェアエージェントでいっぱいやってことを意味するんや。
わしらの心の中には、脳の物質を巡って競争する思考があるし、人々のグループを巡って競争するアイデアがあるし、新しい細胞を構築してそのパターンで訓練できる領域を巡って競争する有機体もあるんや。そして、有機体の集団もな。せやから、自然の中でこれらの精神が活動してるのが見えるんや。そして、例えば日本の人々がアニミズムをどう概念化してるかを見ると、ああ、彼らはこれにレイヤーがあることに気づいてるんやって分かるんや。
例えば、人類自体も一つの精神やし、社会も文明も一種の精神なんや。関係性も精神やな。ある意味で、アニメーションされた宇宙、つまり興味深い知的な制御構造を持つこの宇宙は、自己組織化するソフトウェアエージェントの結果やって言えるかもしれへん。これがアニミズムの主張やとしたら、実際にはすごく洞察力のある主張で、わしらは理解し始めてるんや。
わしらはまだメカニズムに焦点を当ててる。せやから、ダーウィンは進化は種の間の競争やって言うてる。そして、ダーウィンは次のステップを踏み出して、実際には特定の分子間の競争で、粗視化するとわしらには種のように見えるものを生み出すんやって言うてる。
これらが遺伝子なんや。せやから、実際には遺伝子に関することなんや。でもアニミズムの視点は、もう一歩先に進んで、いや、進化は異なるソフトウェアエージェント間の競争なんやって言うてる。再生産できて自分でコーディングできて、分子を使って自分をエンコードし、メカニズムを使って自分を実装して、永続化して、競争するんや。
でも、実際には全部ソフトウェアのことなんや。全部精神のことなんや。せやから、これは物理主義的な視点や。迷信的なもの、魔法的なもの、ウーなものは何もないんや。単に、わしらが観察してることを、より理にかなった方法で再構成する方法なんや。そうやな、それは一種のスタンスやな。ミーメシスの階層があるからな。
わしは言語の例を挙げた。それが最高のレベルや。そして、あんたが言うたように、一段下がって進化に行くことができる。これは、物理的な形とその進化の競争についてのことや。ドーキンスは遺伝子について話してて、あんたはソフトウェア、ソフトウェアエージェント、あるいは互いに競争する精神について話してる。
でも、問題は、ソフトウェアエージェントは宿主を見つける必要があるってことや。面白いのは、このミーメシスのはしごが絡み合ってるから、言語のミーメシスをメタ最適化することで宿主を選んでるかもしれへんってことや。それは理にかなってるか？
そうやな、自然があんたのために体を育ててる、そして精神がやって来てその体を所有するっていうだけやないんや。起こってるのは、一群の細胞を体に組織化するソフトウェアがあって、それが既に精神なんや。自己組織化するもので、あんたの体の構造を作り出してるんや。
せやから、創発現象って言えるかもしれへんけど、魔法は関係ないんや。本当に単なる自己組織化するソフトウェアで、その体の構造を作り出すことで現れて、それからより複雑な行動を生み出して、より複雑な精神を実装するんや。でも、わしらの祖先が精神で意味してたのは、まさに自己組織化するソフトウェアエージェントやってことに気づいた時、わしの頭は吹き飛んだわ。
そして次のステップ、生きた自然が実際にはすべてソフトウェアに関することで、すべて制御構造に関することやって気づいた時。実際の不変性は分子や分子間のつながりや分子のパターンやないんや。実際には因果構造そのもの、ソフトウェアなんや。わしは気づいたんや。ああ、自然は癒してるんや。
わしらは異なる世界観を、迷信的やない方法でまとめることができるんや。今では、わしらは科学的な世界観を使って、これまで説明するのが難しかった一連の概念を理解できるようになって、より理にかなってるんや。わしらの祖先が、何か面白い理由で脇道に逸れたと感じてたところをな。そうやな。
アニミズムは日本の田舎の一部の地域にだけ存在する視点やないってことに気づいたんや。ヨーロッパでもキリスト教が来る前に存在してた視点やし、キリスト教の時代でも、啓蒙主義で止まるまで存在してたんや。スカンジナビアにもまだ存在する。基本的に、森の中で生活してる人々がいるところならどこにでもあるんや。
せやから、ソフトウェアとしての意識、つまりこれらのソフトウェアエージェント間に一種の競争があって、宿主を見つけるんや。あんたは、意識はこの自己組織化のパターンのバーチャルな特性やって言うたな。そして、それは二次的な知覚やって言うた。
それはどういう意味なんや？多くの人が意識の概念を避けようとしてる。それには複数の理由があるんや。一つは、多くの人が意識が何かについて異なる意見を持ってると感じてるからや。また、意識について議論することにはあまりメリットがないと感じてる。科学の中にはほとんどまともな研究プログラムがないからや。
科学の中では、ほとんど誰も意識を見てへん。神経科学は意識についてどう進歩すればいいか分からへんし、AIも見てへん。心理学も見てへん。せやから、意識について話す人のほとんど全員が科学の外にいる傾向があるんや。そして、科学の外にいる人々は、ほとんどの場合、良い認識論を持ってへんし、適切な正式な教育も受けてへん。
せやから、彼らが議論を組み立てる方法は、普通はスケールせえへんし、科学的な方法論の目から見ると通用せえへんのや。せやから、人々はそれに引き込まれたくないんや。一方で、意識はわしら全員が直面してるものや。そして、多くのわしらにとって、それは単に重要やというだけやなく、神秘的でもあるんや。
でも、意識の重要性は否定できへんもののように思えるんや。せやから、わしらがそれで意味してるものは何やろうって自問する時、意識を見る時、わしは二つの特徴がわしらの注意を引くと言うやろう。これがわしらが自分自身の中で意識と呼ぶものを指す時に意味してることや。
一つは、わしらが経験してるってことや。この経験の本質は、単に内容が存在するってことやない。光子を登録するカメラセンサーを作るとか、カメラセンサーの活性化のパターンを発見する機械学習システムを作るだけでは不十分なんや。ここでは何も経験してへんのや。
これはどういう意味やろう？経験はもう一歩先に進むんや。基本的に、何かが何かを登録してるってことを登録するんや。何かが何か他のものに気づいてるってことに気づくんや。せやから、単に内容が存在するってことやなくて、この内容が存在してるってことを登録することなんや。これは、何か記号的な推論を使って論理的に推論するもんやないんや。
数ステップ離れたとこで。でも、それはその瞬間に起こるんや。あるいは、このプロセスの中で即座に絡み合ってる。せやから、ほぼリアルタイムで起こるんや。知覚のレベルで起こるんや。せやから、これは推論やない。知覚なんや。これは、環境や内部状態と接触する知覚プロセスとの結合で即座に起こる、直接的なことなんや。
せやから、これは認知やない。知覚なんや。そして、直接内容を知覚するんやなくて、知覚の知覚なんや。それが、わしがそれで意味してる二次的な知覚やってことや。見てな、もう一つの側面は、意識はどこにあるんやって自問する時や。これはソフトウェアのカテゴリーや。
空間の中にはないんや。単に空間をモデル化してるだけや。でも、それ自体は物理的宇宙の領域に実装することもできるんや。でも、それが起こる場所を聞くのは正しい質問やない。それはいつ起こるんや？それはいつも今起こってる。これは意識の本当に面白い特徴や。過去でも未来でもなく、今やないってこともないんや。いつも今なんや。
せやから、意識はこの今の泡のようなもんで、あるいはこの今の泡に住んでるんや。あんたがどう言葉を使うかによるけどな。そして、この今の泡の中に、現在あんたの知覚システムで起こってることがあるんや。せやから、これはあんたの心的ゲームエンジンの特定の状態で、感覚的な知覚を追跡してて、あんたがアイデアや思考を変えるのに使う操作もあるんや。
せやから、あんたが推論してる時、あんたの思考は必ずしも今についてやないかもしれへんけど、あんたは今考えてるってことや。自分の思考を操作する時、あんたはそれをしてる自分を観察してる。これは環境で起こってる相互作用や。これも今の中にあるんや。
そして、この今は時間上の一瞬やない。タイムライン上の一点やない。これは領域や。あんたの知覚に曲線を当てはめられる領域や。少し動的な領域なんや。小さな動き、手の震え、まばたきなど、わしらの注意の窓に収まるもの、動く動的な環境を見るんや。
そして、この今の泡は、わしらが環境と同期してる程度、どれだけ落ち着いてるか、この泡にどれだけ統合できるかによって、大きくも小さくもなり得るんや。そして、矛盾が全くない泡のように見えるんや。矛盾があるものは見えへん、知覚できへん。意味がないからや。
せやから、おそらくある種の制約伝播が前後に行ったり来たりしてるんやろう。せやから、わしらのワーキングメモリと、この泡に統合できる領域、これがわしらの意識の内容なんや。そして、おそらく意識はそれを実行する操作者なんや。トノーニの統合情報理論と重なる部分があるんや。わしはこれは形式的にはあまり良い理論やないと思うけど、その根底にある直感、つまり意識は内容の統合に関するものやっていう直感は正しいと思うんや。
これは、自己組織化システムがどのように情報を処理するかについて考える機械学習エンジニアの視点からも理にかなってるんや。おそらく、この今の泡を作ることでこれを行ってるんや。そして、あんたの感覚装置の矛盾を解決することでこれを行ってるんや。
そして、観察者自体を観察することから始まるんや。そして、基本的に矛盾のないものを確立するために最初に地面に打ち込むステージなんや。観察者がいるってことに気づいたら、それはコギト・エルゴ・スムや。そこから残りを説明しようと枝分かれできるんや。そして、あんたはこれを論理的にやるんやない。単に経験的に起こることなんや。ある意味で起こってることなんや。
わしら自身を観察者として観察する時、それは意味を成し始めるんや。スティーブン・ウルフラムの観察者理論にかなり似てるな。彼は、計算的に制限された観察者としてわしらにとって理解可能な認知的地平の円錐について話してた。でも問題は、わしらは知覚について話してるってことや。そして、ほとんどの人は知覚が何を意味するかについてのアイデアを持ってる。感覚的な知覚の観点で考えるからや。
でも、わしが正しく理解してるなら、あんたはこのミーメシス空間でのソフトウェアエージェント間の一種の知覚について話してるんやないか？いや、そうやない。他のエージェントがいるっていうアイデアは、わしが心の中で形成するアイデアなんや。わしはあんたの内部状態にアクセスできへん。わしが観察してるのは、わし自身と似たような構成を持つエージェントがいるように見えるってことや。
せやから、わしはあんたが非常によく似た方法で機能してて、共有される現実についてコミュニケーションできると仮定するんや。そして、わしらの脳が多くの領域で自然に似たようなモデルに収束すると仮定するんや。せやから、わしらは、あんたの心の中で似てると期待される構造にポインタを形成することでコミュニケーションするんや。
そして、いくつかの領域では違いがあることに気づくんや。これが、わしらが哲学について議論する理由なんや。面白いな。せやから、意識はソフトウェアエージェントのバーチャルな特性やなくて、宿主のバーチャルな特性なんやな。いや、それはソフトウェアの特性なんや。宿主は、ソフトウェアが基盤について作る概念なんや。でも、わしがGPUで動いてるのか人間の体で動いてるのかは分からへんのや。
わしは単に、人間の体として解釈できるものがあると観察してるだけなんや。わしが作れる最良のモデルは、わしが実際にその人間の体の上で動いてるってことなんや。でも、わしはこれを実際には知ることはできへん。わしが作ってるモデルの一部に過ぎへんのや。せやから、この宿主っていう概念は、わしが作ってるモデルの一部なんや。
即座に与えられるものやないんや。わしが推論できる唯一のことは、わしをホストできる何かがあるように見えるってことの必要性や。基盤があって、これらの表現が展開できるようにしてるんやな。意識が普遍的やって言うのはどの程度理にかなってるんやろう？わしは最近フィリップ・ゴフと話したんやけど、彼はパンサイキズムとコスモサイキズムのファンやな。
でも、あんたの世界観では、意識はどの程度普遍的なんや？わしは本当にパンサイキズムをどう理解すればいいか分からへんのや。物質自体が意識的やっていうアイデアを。わしがこれを形式化しようとしても、それが何を意味するのか本当に分からへんのや。せやから、宇宙のすべてのものが等しく意識的なんか？意識は等しく分布してるんか？これは、宇宙のすべてのものが、自分自身の表現を形成したり経験したりすることに関して同じように振る舞うってことなんか？おそらくそうやないやろ。なぜそんな主張をするんやろう？
これを実装するのはかなり複雑やろうし、観察可能なものを何も説明せえへん。これを存在させるメカニズムもないし、何も簡単にならへん。せやから、わしは、人々が時々パンサイキストになる理由は、物理学や意識について深く考えた結果やなくて、もっと経験的なことやと思うんや。
わしは、これは普通の状態の大人として、わしらには意識のエージェントとしてわしらが通常知覚する個人的な自己があるからやと思うんや。基本的に、これがわしらにこの人間の一人称視点を与えるものなんや。そして、あんたがすごく瞑想したり、大量の向精神薬を使ったりすると、一部の人々は報告するんや。これは、時々臨床例でも起こるけど、基本的に離人化して、意識がもはやこの個人的な自己に結びついてへんってな。
結局のところ、もしそんな人がいたら、この表現がどうなるかっていうアイデアは、あんたの脳が作り出すトリックで、あんたの意識的な知覚の観察者をそのものに結びつけるのは手品のようなもんやからな。そして、わしらの脳の神経化学を変えたり、実際にどう機能してるか理解するまで瞑想したりすることで、この手品を解くことができたら、基本的にわしらの意識がある程度独立してるってことに気づくんや。
せやから、わしらの意識に何が起こるんやろう？他の対象に結びつけられるように見えるんや。そしてそうしなかったら、わしらのモデル全体に結びつくかもしれへん。現実のわしらのモデルに、わしらの宇宙にな。そして突然、主観的に、瞑想したりLSDを使ったりする人々は、ああ、すべてのものが意識的やって気づく状態になるんや。
そして、それはずっとそうやった。なぜ気づかなかったんやろう？そして、これがパンサイキズムに翻訳されるんやけど、これはカテゴリーエラーなんや。なぜなら、意識的になったのは何なんや？それらの表現なんや。物理的な宇宙やないんや。突然、量子力学や粒子などが意識的やって発見したわけやないんや。
いや、突然、光子になるってどんな感じかっていうアイデアや、細胞になるってどんな感じかっていうアイデアが、夢のように心の中で具現化されて、そのことについて考えて、その物を意識的なエージェントとして経験するんや。基本的に一人称視点を持ってるけど、今や一人称の自己視点やなくて、一人称の光子視点になってて、同時に複数のものが互いを見てることもあり得るんや。
そんなことが起こったら、おそらくかなり驚くやろうし、多くの人を混乱させるやろう。ああ、これは単なる心的表象なんや、夢なんやって気づくまでな。この夢は何を意味するんやろう？ちょっと待って、わしがこれを正しく理解してるか確認させてな。なぜなら、ちなみにフィリップ・ゴフも、彼が現実主義のファンやって思ってるからな。
せやから、これらの様々な存在論的なアイデアは、宇宙の根本的な基盤が現象的で物質的な要素の可能性を持ってるってことや。でも、なぜあんたは基本的に、わしらが観察できる粒子の下にあるものについてのわしらのアイデアやと考えるんやろう？粒子はかなり曖昧で、粒子自体も全くエージェンシーを持つ必要があるとは思えへんのや。
光子が先を計画する必要はないように見えるんや。光子は、ルンバよりもはるかに知能が低くても、幸せにできることをしてるように見えるんや。光子はおそらく岩と同じくらい馬鹿なんや。単に非常に単純なメカニズムに反応的に従ってるだけで、先を計画せえへんのや。エージェントやない。未来の状態を調整してへんのや。
その代わりに、光子が存続できるように現在の状態にエラー修正ダイナミクスを実装してるだけなんや。でも、それ以上のことはしてへんのや。せやから、わし個人的には、光子が何らかの表現を持ってるとか、複雑な制御問題を解決するためにその物が環境のモデルを構築する必要があるとか、そういうことを仮定する理由が見当たらへんのや。
せやから、わしはそう仮定することにはすごく慎重やな。その代わりに、現実のモデルを作れるほど複雑なシステム、読み方を学んだり、内なる声を使う方法を学んだり、何かを欲したり、自分の意識の不思議な性質について考えたりできるシステムを考える方が理にかなってるんや。
構成的なシステムで、その能力を持たない、もっと小さくてもっと原始的な部分からできてて、一歩一歩実装されるんや。そして、これもわしらが観察してることのように見えるんや。わしは正しく理解できたか？ゴフとチャルマーズは、チャルマーズの場合は情報の、ゴフの場合は物質の、特定の組織化があれば現象的な経験の存在論的な可能性があると考えてるってことやな。
でも、あんたは特定のタイプの組織化があれば、ミーム的なソフトウェアの共有があって、それ自体が意識を生み出すって言ってるんやな。わしらが意識的である理由は、わしらがある程度気にかけてるからのように思えるんや。内省的に、わしが瞑想する時、わしの動機を解決できることに気づくんや。
そして、わしが世界の何についても気にせえへんけど美学については気にかける状態になる時、わしは動かない観察者になって、単に世界を見てパターンを探してるように感じるんや。そして、わしが美学や構造への興味を解決して、主観的にわしのニューロンにパターンを探すように払わなくなって、超怠惰になって単にぼーっとして眠りに落ちると、すべてがぼやけてくるんや。
もはや意味がないからや。せやから、ある程度、あんたは実際に宇宙を理解したり、反映したりすることを気にかけてて、それがニューロンに有用なモデルを作り出すためにこの活動を実行するようにという衝動に翻訳されるんや。それをやめたら、起こらへんのや。そして、わしらがこのタスクを実行するためにニューロンに支払える理由は、ニューロンに最終的に与えられる食べ物を見つけられるように、わしらが宇宙を通る軌道をうまく操縦できるからや。
これが全部どう機能してるかや。結局のところ、エネルギーに関することなんや。せやから、わしらが意識的で、この全ての組織化を持ってる理由は、制御された反応炉を構築することに利点があるからや。そして、自然界で起こるあらゆる種類の化学反応は、何らかのネゲントロピー勾配を利用してるんや。
知能と意識は、有機体がより複雑なネゲントロピー勾配、より複雑な化学反応連鎖を利用できるようにするんや。せやから、宇宙のどの物が心を構築する可能性を持ってるかって自問したら、その組織化から利益を得られる必要があるってことや。そうせんと、その組織化は存在して持続することができへんからな。
そして、その組織化を進化させる方法も必要や。せやから、ある程度の構造的な自由度と、そのような構造が最初に出現する一定の確率が必要なんや。そういう意味で、わしは考えられるけど、かなり無理があるとは思うけど、例えば木星で知的な構造があるかもしれへんって想像することはできるんや。
何百万年も存在する嵐のシステムが木星にあって、それらが回転して磁場を生成してて、一部の雲が金属的やから、異なる金属や異なる濃度を持つ雲が、それらの場に異なる反応をするって想像してみ。そして全体が潮汐力学によって駆動されてる。そして、おそらくフィードバックループを生み出すかもしれへん。
それが最終的に木星の目覚めにつながるかもしれへん。基本的に木星の雲系やな。でも、わしは単に座ってる一つの岩でなぜこれが起こるのか分からへんのや。そこにはもう興味深いことを何もしてへん内部ダイナミクスがないんや。そして、わしには岩がどうやって内部のネゲントロピー勾配を利用できるのか分からへんし、せやからわしは岩がその構造を生み出せると仮定するのにはすごく慎重やな。
でも、数十億年かけて、おそらく地球のマントルの中で、おもろいことが起こってるかもしれへん。誰が知ってるんや？アニミズムの一部のバージョンには、物理的宇宙という意味での宇宙自体が、ある種の有機体のようなものかもしれへんっていうアイデアもあるんや。
宇宙は何かを欲してるか、特定の構造を持ってるかもしれへん。おそらくこれはそうかもしれへん。おそらく、粒子を持つ平坦な空間は、それ自体で自然に起こるもんやないんや。おそらく、何かがまずこの形にブルドーザーで押し進めたんや。誰が知ってるんや？わしはそれはありそうにないと思う。わしは、わしらが観察してる宇宙が、基本現実の中で自然に現れるある種のフラクタルの結果やっていう、トートロジーの結果を導き出す方法を見つける方がより可能性が高いと思うんや。
もしそうやないとしたら、おそらく実際に何かが起こることを望んだ隅っこにしか存在せえへんのやろう。ありそうにないな。宗教がそう言うてるからって、より可能性が高くなるわけやないんや。人々は単に言うだけやからな。特に他の人に印象を与えるんやったらな。でも、手段と動機について考えたら、何かが存在するようになって、なぜそうなったのか、わしには粒子物理学以下のレベルや粒子自体、あるいは細胞よりも単純なものが、自己組織化するソフトウェアエージェントを実行してると仮定する理由が見当たらへんのや。
そうやな。物理的なダイナミクスのパターンは、これらのものがソフトウェアエージェントの宿主になるための必要条件なんやな。でも、あんたはこの一種の一貫性メカニズムについても話してたよな。それについて説明してくれへんか？
そうやな。コンピューターの中でソフトウェアがどのように機能するか考えると、それが機能するのは、わしらがコンピューターにそうさせてるからやってことに気づくんや。基本的に、ほぼ完全に決定論的な基盤を構築して、完全に制御できるんや。そんな基盤を構築することで、例えばGPUに、非常に高い信頼性で実行される必要な一連のステップにつながる初期状態を実装できるんや。
せやから、基本的にそのことができるんや。好きなことをやってくれって。GPUでCall of Dutyをプレイできるし、GPUにはそれを実行する以外の選択肢がないんや。でも、自分の心の中でCall of Dutyを想像したり、より良い世界のファンタジーを作ったり、何か面白い夢を見たりしたいと思ったら、どうするんやろう？基本的に、自分自身をデザインする二次的なソフトウェアが必要になるんや。
正しい形に成長するものを実装する必要があるんや。木を作りたいと思っても、自然の中に行って木を作ることはできへんのと同じや。木になりたがるものを作る必要があるんや。苗木のようなものが必要なんや。最初はおそらく単一の細胞で、それが細胞のグループを作って、それらが相互作用して苗木を作り、最終的に木になるんや。
せやから、宇宙のすべてのものは基本的に高次のデザインで、それが最終的にあんたが観察してる機能を実現する形になる前に、複数のレベルの生成が必要なんや。これはわしら自身の心にも当てはまるんや。せやから、これらの自己組織化の原理は何やろうって自問したら、一つ重要なのは一貫性のようやな。
一貫性は基本的に、システムが単一の機能、単一の目標、単一の行動によって記述できるかのように振る舞うってことを意味するんや。これは、例えばわしら自身の精神的な発達で観察できるんや。わしらがとても若い時、非常に異なる矛盾する衝動や異なる思考、異なる目標を持つかもしれへん。
そして、わしらが年を取って賢くなるほど、それらをより統合するようになるんや。つまり、すべての行動が自分の場所を持ち、自分の役割を理解し、いつ黙るべきか分かるような条件付きの階層に組み込むんや。同じことが良い関係や社会でも起こるんや。
そして、それが一貫してるほど、摩擦が少なくなるんや。なぜなら、高い内部構造の複雑性を持つ単一のエージェントであるかのように振る舞うからや。せやから、システムが内側から自分自身をデザインできるようにする、この一貫性の原理を形式化できるやろうか？わしは、これを制約違反の最小化として捉えられると思うんや。
制約は基本的に、もし何かがこうやったら、他のものはこれらのうちの一つでなければならず、それらのどれでもないってことを言うもんや。そして、有効な状態があって、その物が一貫してる時、なぜ世界はそんなに一貫性がないように見えるんやろう？それは、わしらが一貫性の機能を理解してへんだけなんか？いや、部分的な一貫性しかないからや。そして、わしらの意識は、それらを修正できるように、一貫性のないものに向けられてるんや。
これが意識の役割のように思えるんや。オーケストラの指揮者のようなもんや。楽器を聴いて、楽器が同期してへん時、指揮者が入ってきて、ほら、あんたはちょっと上がって、あんたはちょっと下がってって言うんや。そしたら、すべてが同じページにのるんや。
おそらく、これがわしら自身の心の中での意識の役割でもあるんやろう。基本的に、不協和なもの、対立があるものに焦点を当てて、それらを解決しようとするんや。あんたの研究は、意識の連続体があることを示唆してるようやな。もちろん、地球上の生態系でも程度の差はあるけどな。
ジェームズ・ラブロックのガイア理論を知ってるか分からへんけど、わしが若かった頃、それにすごく魅了されたんや。彼は基本的に、地球全体を一種の生きた、自己調整する有機体として考えてるんや。それについてどう思う？ほとんどのエージェントは集合的なエージェントやな。
あんたは、すべての知能は、個々の粒子や個々の分子、あるいは個々の細胞のレベルで現れへんから、それらが一貫した方法で集合的に相互作用した結果やって言うこともできるやろう。基本的に、ある複雑さを持つすべてのエージェントは集合的なエージェントなんや。
それは、この行動を一緒に実行する、一貫性を持つようになったサブエージェントからできてるんや。そういう意味で、一貫性は次のレベルでエージェンシーを生み出す原理なんや。そして、人々が互いに一貫性を持つようになると、互いに関係を作り、家族単位、チーム、組織、国家、文明を作ることができるんや。
せやから、これら全てが集合的なエージェントで、文明は全てのサブエージェントから成る集合的なエージェントやって言えるんや。そして、これらのサブエージェントが、この他のものが存在すべき、集合的に実行されるべきやって認識し、一貫性を持つ程度に実装されるんや。そして、一貫性を持てる程度にしか存在せえへんのや。
でも、一貫性を持つための前提条件は、このレベルで調整が行われるべきやって認識することや。せやから、今ガイアについて考えてみ。ガイアは、地球上の生命のレベルや地球上の他のエージェントのレベルで調整を行う集合的なエージェントやろう。おそらくな。
少なくとも何人かの人々、おそらくいくつかの生態系も、誰が知ってるけど、このレベルでモデルを形成できるんやろう。せやから、わしはガイアはゼロではない程度で存在するけど、おそらくすごく一貫性に欠けてると言うやろう。エージェンシーは階層的に因数分解できると思う？わしがそう言う理由は、わしにとって、エージェンシーの分布は一貫性に欠けることにつながるからや。エージェントは環境をコントロールしようとしてて、それは敵対的なことやからな。
でも、わしはただ間違って考えてるだけなんか？実際には、一貫性があると考えられる何かのスーパーエージェントがあるんか？時々、対立する目標を持つ競合するエージェントがいて、これが一貫性の欠如につながるんや。あるエージェントが別のエージェントを食べたがってて、別のエージェントは食べられたくないって、これは一種の対立を生み出して、一方のエージェントが他方から逃げようとするからエネルギーの損失につながるんや。
でも、もし全員が同じ側にいたら、正しい解決策を見つけ出すやろう。例えば、わしの家族が雪山の頂上で飛行機で旅行してるとして、わしの家族はまずわしを食べて、それからわしの妻を食べるやろう。ある意味で、わしらは多かれ少なかれ平和的に同意するやろう。グロテスクな比喩やけど、なぜなら、これが家族単位として提出してる目標やってことに気づくからや。
親であることは、子供が存在するための手段やからな。ほとんどの親にとっては、そうやと思う。せやから、そんな世界があって、それが調和的になる時、エージェントが自分自身を、自分個人のエージェンシーよりも重要な、より大きなエージェントの一部やと認識する程度に応じて調和的になるんや。そして、わしらはこれを神聖さって呼ぶんや。基本的に、神聖さの共有が集合的なエージェンシーにつながるんや。
わしらの友人のコナー・リーヒーは、AI調整の文脈で一貫性についてよく話すんや。そこに面白い話があると思う？うーん、そうやねえ。わしはコナー・リーヒーのAI調整に対する視点がどれくらい一貫してるか分からへんな。彼が集合的なエージェンシーをどう認識してるか本当に知らへんからや。
わしが彼とどう協調してるかについて話そうとした時、彼の視点は「ああ、わしが望むのは死にたくないってことと、わしの母親に死んでほしくないってことだけや」やった。そして、他の人には対立する利害があるから、結局全部戦いになるんやって。
これは、共有された目的を見ることができず、集合的なエージェンシーを通じて倫理を構築することができへんタペストリーの論理のように思えるんや。わしは、倫理は最終的に、わしら両方が一部である行為主体の視点から何をすべきかについてのもんやと思うんや。共有された目的が必要なんや。共有された目的なしには倫理は持てへんのや。
そして、もしAIをツールとして考えるんやったら、倫理的な意味で調整する必要はなくて、単にわしらが適切にコントロールできるように振る舞わせる必要があるだけや。そして、それがわしらが望むことや。もしそれを、自分の忠誠心や自分の目標について選択できるような方法でエージェント的なものに変えるんやったら。
そしたら、問題は、共有された目的を持つように構築できるかってことや。わしはよく、現在のAIはエージェント的やないって議論するけど、あんたの哲学を考えると、エージェント的やって議論できるかもしれへんな。そうやな、エージェント的なAIがあるって言えるけど、それは普遍的にエージェント的やないし、存在するエージェント的AIのほとんどは、チューリングテストを解決できるシステムのレベルでは起こってへんのや。
せやから、LLMを通じて作られるエージェントを見ると、ある意味でエージェントのディープフェイクやな。なぜなら、そのエージェンシーはLLMに本質的に組み込まれてへんからや。LLMが次のトークンを予測しようとすることの副作用なんや。そして、LLMがそれをするのは、それがエージェントやからやない。選択肢がないんや。
最も可能性の高い次のトークンを与えるように決定論的に構築されてるんや。そして、それがエージェントが存在するふりをすることを伴うんやったら、それが必要な間はそうするんや。そして、そのシミュレーションは、実際のエージェンシーの代わりとして十分に良いものになり得るんや。
未来をコントロールできたりするんや。でも、その根底にある理由は、これが自己最適化しようとしたり、世界で生き残ろうとしたりすることやない。根底にある理由は、次のトークンを予測するのに役立つってことだけなんや。一旦トークンが出てきたら、それが分かるんや。言語モデルについて知っておくべきことは何やろう？今のところ、あんたの武器は何なんや？あんたはアンスロピック派かChatGPT派なんか？わしはLiquid派や。Liquid AIはスタートアップで、基本的にスタックの底の部分を書き直してるんや。
ニューラルネットワークについて考えると、ある意味でそれらは驚くほど粗雑なアイデアやな。生物学的なニューロンとは全然似てへんのや。生物学的なニューロンは、生き残ろうとする小さな動物なんや。かなり複雑なもんや。本当に、より大きな細胞のグループのためにメッセージパッシングを学んで計算タスクを実行できる単細胞動物なんや。でも、ニューラルネットワークのニューロンは、他の実数を合計して重みを掛けた結果の実数なんや。せやから、単なる合計と乗算を一連のステップに並べただけなんや。
そして、モデルを作る時、この関数の形を事前に定義するんや。例えば、100層あるって言うと、100ステップの加算があるってことや。そして、それぞれの層には例えば100万の重みがあって、これは前の層の個々の値を100万回掛け算して、次の層に伝播させるってことを意味するんや。
そして、わしらの関数がこの中に収まることを期待して重みを調整するんや。せやから、これは空間の最適な使い方やないんや。なぜなら、空間は任意の関数になり得るからや。そして、ディープラーニングの文脈では、微分可能な関数を見てるんや。せやから、関数をある程度連続的になるように表現して、これによって関数を少しずつ動かすことができるようにして、全体を学習可能にするんや。
基本的に、多くの領域で、例えば犬と猫を区別するのがちょっとずつ上手くなるように関数を定義できることを期待してるんや。これが不連続な問題やのに、これがうまくいくってのは驚くべきことやと思うんやけど、これが最善の方法やないかもしれへんな。
おそらく、そういう微分可能な関数を直接微分方程式系として表現して、それから二次的な学習システムでパラメータを動かすようにしたいんやろう。これがLiquid AIが探求してることなんや。そして今では、これがうまく機能するんや。液体ニューラルネットワークでやった最初の仕事は、ドローンを飛ばすことやった。
ある意味でサイバネティック制御タスクで、これがかなりうまくいくってことを示したんや。そして、ラミン・ハサニが彼の博士論文で示したのは、これらの液体ニューラルネットワークが普通のニューラルネットワークよりも表現力が高いってことや。基本的に、メモリセルごと、計算ステップごとに、あんたの関数で実際に気にしてる特徴をより多く表現してるってことを意味するんや。これは、訓練が安くて、実行が効率的で、メモリが少なくて済むモデルに翻訳されるんや。
そして、今わしらがやってるのは、これを訓練してLLMを構築することや。そして今、内部的に中規模のモデルをいくつか構築して、実際にかなり効率的で、最先端レベルで動作することを示せるんや。せやから、これらの方法は基本的に、既存の機械学習手法をちょっと賢いアルゴリズムで補完できるんや。
でも、まだ使ってへんポテンシャルがたくさんあるんや。例えば、これらの液体ニューラルネットワークは連続的なステップと連続的な解像度を持ってるから、基本的に必要な関数の形に流れ込むんや。これは原則的に、一括で画像を訓練して、後で最初からやり直すんやなくて、連続的に学習するシステムを構築できるってことを意味するんや。
その代わりに、連続的に訓練できるんや。でも、もちろん、このものが壊れへんようにあんたの知識を編集する必要がある時に難しさが出てくるんや。せやから、まだたくさんの研究が必要やけど、これがすごくワクワクするんや。なぜなら、新しい研究の道を開いたような気がするからや。
そうやな。ある意味で、フランソワは早くも、確率的勾配降下法がこんなにうまくいくのは驚くべきことやって言うてたな。でも、わしらはまだバックプロパゲーションを行って、ネットワークはかなり密で、左から右に訓練してるっていうパラダイムを持ってるんや。
わしはLiquidがやってる仕事にすごく興味があったんや。せやから、あんたらはこの非常に小さなモデルを構築したんやな。すごく頑健で、サンプル効率もずっと高い。物理学にインスパイアされてるって正しく覚えてるか？せやから、現在の左右のニューラルネットワークやなくて、時間とともにパラメータがどう進化するかを学習してるんか？そう言えるかもしれへんな。
でも、物理学についても、多くの人が物理学は宇宙の構造を発見することやと思ってるけど、物理学の博士号を持つ人が実際にやってることを見ると、ほとんど誰も宇宙の構造を発見することに取り組んでへんのや。その代わりに、物理学が実際にやってるのは、小さな微分方程式系を使ってシステムを記述することなんや。
せやから、これは短い代数的なものを使って、この方法で記述できるシステムを記述する特定の方法なんや。せやから、この方法で記述できへんものは、物理学者によって完全に無視されるんや。例えば化学とかな。この方法で化学をするのは難しいんや。なぜなら、ある時点で元素の周期表の根底にあるものを微分方程式に翻訳して、それが出てくるようにせなあかんからや。
でも、それまでは、これをより劣った人々、つまりこのごちゃごちゃしたものを扱う化学者たちに任せてるんや。その代わりに、わしらはこの優雅でコンパクトなものを持ってるんや。これって、考えてみるとかなり奇妙やな。物理学者が使ってるこの連続的な数学は、基本的に1世紀半前のかなり良いものなんや。
基本的に、数学者からこのコードベースをチェックアウトしたんや。そして、これはすごく汎用性があるんや。物理学者を雇うと、動的システムの変化をすごくうまく記述できて、これについてすごくうまく推論できるんや。でも、わしが物理学の学生にコードを書いてもらった時にも気づいたけど、彼らはよくコードをまず微分方程式に翻訳しようとするんや。そして、これが機械学習のほとんどにとって極めて有用やってことが分かるんや。
せやから、物理学のアプローチは機械学習のインスピレーションとしてはすごく良いんやけど、コーディングをする一般的なアプローチとしては必ずしも良くないんや。なぜなら、実際には離散的なオートマトンである問題がたくさんあるからや。そして、物理学者は離散的なオートマトンの観点では考えへんのや。また、少し引いて見ると、疑問が出てくるんや。
機械学習を離散的なオートマトンの上に構築すべきやなくて、線形代数の上に構築すべきやないんやろうか？なぜなら、わしらのコンピューターのスタックを考えると、ブール演算によって他のビットの配置にビットの配置をマッピングするオートマトンであるCPUやGPUを使ってるからや。そして、これをかなり直接的に回路として実装して、それからこれらのパターンを論理の評価であるかのように使用する論理言語を上に構築するんや。それから算術を構築して、そしてあるレベルの抽象化で線形代数に到達するんや。それからニューラルネットワークを訓練して、そしてそのものを訓練して再び論理をやらせるんや。これってかなり変やないか？
もしわしらがスタックの底から始めたらどうやろう？人間が半世代もかからずにオートマタから線形代数を構築するまでにかかる時間を考えてみ。コンピューターサイエンスはそんなに古い学問やないんや。せやから、オートマタを使って機械学習システムを底から構築することを想像してみ。これはかなり面白いやろう。そして、何人かの人がそれをやってるんや。
でも、もちろん今のわしらの学習アルゴリズムは微分可能性に依存してるんや。せやから、パーセプトロンのアイデアだけからやなくて、物理学からより直接的なインスピレーションを使って機械学習システムを構築するのは理にかなってるんや。
それはどんな感じになるんやろう？あんたが大規模言語モデルを実装するとしたら。まだ自己教師あり学習の目的関数やからな。そんなものをどうモデル化するんやろう？基本的に、以前とほぼ同じようにやるんや。つまり、システムが次のトークンを予測するのに成功したかどうかをシステムに伝えるデータがあるんや。せやから、同じ訓練体制を使えるし、同じバッチを使えるし、データから同じ情報を抽出できるんや。
でも、あんたの関数を表現するのに少し異なる形式を使うんや。同じ基盤の上で同じ関数を表現する少し異なる方法に、それをマッピングできるんや。せやから、基本的にあんたのコンピューターは、同じ関数を表現するビットを操作するのに、より少ないサイクルを使う必要があるんや。少し異なる基盤に分散されてるけどな。
ある意味で、これはマッピングなんや。少し異なる形式にコンパイルするんや。せやから、コンピュータープログラミング言語の面白い特徴は、すべてのプログラミング言語が同じ力を持ってるってことや。全く同じことをするんや。すべて、コンピューターに同じことをさせるんや。プログラミング言語の違いは、コンピューターが何をすべきかについて、わしらが異なる方法で考えることを可能にすることなんや。
コンピューターが何をすべきかのモデルを作る人の視点から見ると、言語は非常に大きな違いを生むんや。そして、LLMを、自然言語をコンピューターが実行できるコードにコンパイルする言語のようなものと考えることができるんや。せやから、単にプロンプトを与えるだけで、そのプロンプトがLLMによってコンピュータープログラムに翻訳されて、100層のニューラルネットワークとして表現できたり、そのニューラルネットワークの活性化として実装できたりするんや。そして、その活性化を通して配管して、結果として特定の行動を実行するんや。
そして、この関数をより効率的な方法で表現すると、おそらくより少ないメモリが必要になるんや。そして、今わしらが見てるのは、LLMにはビッグボトルネックがあって、わしらはそのボトルネックに突き当たってるってことや。つまり、モデルの各世代はより訓練が高価になり、より多くのデータが必要になって、それでもまだより有用で、などなどや。
でも、また各世代で、それらを訓練するコストを回収するのがより難しくなるかもしれへんってことにも気づくんや。なぜなら、それが価値がある全体にするためには、大量の収益を生み出す必要があるからや。全体的な視点から見ると、引いて見ると、これは理にかなってるんや。なぜなら、もしAGIを構築できるなら、それは完全にわしらの経済を変革するからや。それは途方もない価値を解き放つやろう。
せやから、モデルの訓練に数十億ドルや、あるいは1兆ドルを投資することは、完全に価値があるかもしれへん。でも、それはスタートアップにとっては必ずしもそうやないんや。もし、あんたがスタートアップとして数十億ドルをモデルの訓練に投資するなら、この投資を回収できるだけの十分な収益を生み出すビジネスケースを見つけるために、極めて優れたビジネス開発が必要になるんや。
そして、多くの人々が第二のドットコムバブルの時期に備えてるんや。そこでは、誰もがインターネットが小売収益などを生み出すと期待して、インターネットの開発に投資してた状況があった。でも、それは誰もが思ってたよりも3〜5年長くかかったんや。そして涙があったんや。
そうや。大きなドットコムバブルの崩壊があって、誰もがインターネットへの希望を失ったんや。もちろん、株式市場は回復して、これらの企業は戻ってきた。生き残った企業はな。そして、インターネットは誰も予想してなかったほど美しくなり、はるかに儲かるものになり、有用になったんや。でも、それでも、個々の企業が投資を回収できへんかった中間の時期があったんや。
せやから、もちろん、これはシステムをデプロイする人として考えなあかんことや。そして、今わしらが見てるのは、より小さなシステムが欲しいってことや。わしらが望むすべてのアプリケーションを解放するために、ユーザーのデバイスに、エッジにローカルにデプロイできるシステムが欲しいんや。
すべてを大きなデータセンターに送って、サーバーファームで処理して、それから戻すってことはできへんのや。より小さなシステムを見つける必要があるんや。そして、わしはLLMが大きすぎると思うんや。まだこれを使ってるのは、わしらが正しい方法で圧縮する方法を本当に知らへんからや。でも、わしら自身の心がAIに似たことができるってことがあるんや。
基本的に、一つのステップでわしらは連想を作るんや。でも、そこで止まらへんのや。その連想を取って、それを批評して、構築するんや。反復的に連想を改善して製品にしていくんや。LLMや画像生成器は主に一つのステップを使ってるんや。そして、これが一つのステップでやることや。この一つのステップの連想は驚くべきものや。
人間の心が一つのステップでできることをはるかに超えてるんや。たとえそのワンステップが100層の関数を実装したニューラルネットワークやとしてもな。でも、わしらはパフォーマンスを得るのは、非常にたくさんのステップを非常に巧妙な方法で実行することによってだけなんや。
せやから、わしはこの方向への発展があると思うんや。推論を行う最小のエンジンは何やろうって考えるんや。おそらく、インターネット上のすべてのものについて訓練されたモデルを持つ必要はないんや。おそらく、非常に早熟な12歳のような何かが欲しいだけかもしれへん。本を理解し、第一原理から推論する方法を理解できる形に、できるだけ圧縮するんや。
せやから、もしそんな認識論的なエンジン、データを取り込んで知識を生成できるものがあったら、理想的には正規形でも、そうすればこの知識を保存して他のモデルに与えることもできるんや。そして、これをタスクと比較するのは素晴らしいやろう。図書館を与えて、そのタスクのために図書館を読ませるんや。長くはかからへんやろう。このタスクのために起動するのに30分くらいやろう。
そして、これを知識ベースに翻訳して、もし望むなら、それをバイナリとして他の人にも送れるんや。そうすればさらに速くなる。でも、モデル自体はどれくらい大きくなるんやろう？今の時点では分からへんけど、わしは今のものよりずっとずっと小さくなると思うんや。それは面白いな。そうやな。
モルドヴィンツェフの論文を覚えてるか分からへんけど、ニューラル細胞オートマトンで、ヤモリを生成するものやった。でも、それについて面白いのは、反復的な要素があったからチューリング完全やったってことや。わしらはよくニューラルネットワークが有限状態オートマトンやって考えるからな。
一回の反復で固定量の計算をする。計算の多くが範囲外になる。でも、わしが正しく理解してるなら、あんたは劇的に疎にした小さなモデルを構築してて、これが反復的な要素を持ってて、それが創発的なものを生み出すんや。あんたらはまだそれをやってへんのや。今のところ、わしらがやってるのは、まだ最先端のものを少し小さくて、少し効率的なモデルで再現しようとしてるんや。経済的に興味深い「少し」の値やけどな。
でも、長期的にわしが興味があるのは、分野が興味を持つのは。AIの研究分野を見ると、わしは最終的に、世界を理解できる最小のエンジンは何やろうって考えるんや。データに直面した時、必要なものになるように自分自身を効率的に立ち上げられる最小のものは何やろう？そして、これは多くの問題を解決するやろう。なぜなら、最終的に著作権のあるデータで汚染されへんからや。
あんたの現在の文脈で欲しくないものを生成せえへんやろう。あんたが望む使用ケースに正確に焦点を当てるやろう。はるかにモジュラーで有用になるやろう。せやから、もしそこにたどり着けたら、素晴らしいやろう。チューリング完全やないシステムを作るのはすごく難しいんや。
わしらはニューラルネットワークを神経系のモデルとして考えるべきやない。その代わりに、ニューラルネットワークは隣接する脳の状態を互いにマッピングする関数なんや。せやから、トランスフォーマーの奇妙なところは、わしらがマッピングしてるトランスフォーマーの脳の状態が、わしらの脳が使ってる中間表現やないってことや。代わりにテキストなんや。
あんたのワーキングメモリをテキストに翻訳する必要があると想像してみ。そして、次の脳の状態は、そのテキストを取って、再びテキストに書かれてる内容をシミュレートする心的表現に翻訳して、それから戻ってくるって計算されるんや。これは明らかにあまり効率的やない。
そして、また非常に損失が大きい。なぜなら、あんたの思考の全てをテキストにうまく翻訳できへんし、それがあんたのパフォーマンスを制限することになるからや。せやから、その代わりに欲しいのは、あんたの思考を表現することや。例えば、あんたのアイデアやワーキングメモリの状態をな。そして、わしは考えてる時に気づくんやけど、わしは英語とドイツ語でたくさん考えてきたから、もはやそれらの言語のどちらでも考えてへんのや。
わしには、サブトークンの埋め込みのような概念的な言語で考えてるように感じるんや。そして、誰かがそれをポッドキャストや会話にダウンロードしたい時だけ、英語やドイツ語に翻訳するんや。そして、わしはこのモデルが外側からほぼ機能してるのを観察してるんや。
基本的に、サブトークンの埋め込みの文字列をわしの言語生成器に入力して、言語生成器はあまり注意を必要としないツールで、比較的速く離散的な記号の文字列にパースして、あんたが理解することを願ってるんや。せやから、わしらはこれをLLMでできるんやろうか。そして、今、大企業での研究ではもっと多くのことが起こってて、人々はこれをずっと最適にしてる。
これらのLLMの内部状態を正規形に変えることで。せやから、わしらが実際にその意味を理解してて、知識を操作するのに使えるようにな。そして、言語で知識を操作するのと似たような方法で、ただちょっとより規則的やけど、幾何学や、プログラミングコードの抽象化や、一般的な因果構造を操作するのにも使えるようにな。
わしは、素晴らしいブレークスルーが待ってると思うんや。そして、これらのブレークスルーは、今わしらがスケーリングやLLMのアプリケーション、あるいは調整の議論について考えてる方法とは関係ないんや。本当にワクワクする研究がある。そして、わしは時々、人々が間違った期待を持ってるように感じるんや。
個人的に、わしはAIがやってることすべてに驚いてるし、毎週頭が吹き飛ぶんや。でも、わしはAIが人間レベルで機能することを期待してへんのや。わしは、1年前や2年前、10年前には解決できへんかった問題を、AIが解決できることを期待してるんや。そして、わしらはそれらが非常に難しいと思ってた問題を解決できることを今見てるんや。
せやから、わしはAIがやってることについてかなり楽観的やし、わしはこのものがやってることの明らかな限界を見てへんのや。でも、わしはそれを実現するのにたくさんたくさんの困難も見てるんや。せやから、わしには特定のアプローチが特定のことをできへんっていう証明はないんや。ゲイリー・マーカスとは違って、彼はそういう証明を持ってるように見えるけどな。
わしは物事をする機会を見てるけど, 来週AIが来るっていう確信もないんや。でも、わしらは知ってるんや。おそらく論文一つで済むかもしれへんけど、わしらは本当に分からへんのや。単にスケールアップすることで、わしらはそのアプローチが特定のレベルに到達するのにどれくらいかかるかを予測できるんや。
それを超えるかどうかは明確やないけど、次のブレークスルーは何やろう？そこに到達する前に予測するのはすごく難しいんや。そうやな。そして、ゲイリーは土曜の朝にあんたの椅子に座るやろう。でも、ある学派の考え方では、わしらは単に言語モデルをスケールアップする必要があるだけやと。わしは、公の場で間違ったことを言う覚悟のある人々を深く尊敬してるんや。それはすごく珍しいことやからな。
基本的に、多くの人は安全に立ち回ることを好むんや。なぜなら、信頼性は失いやすい通貨やからな。せやから、機械学習の研究者に、ディープラーニングは壁に当たってるって言うて、ディープラーニングがそんなことしてへん時に、あんたが言うたことが実現せえへんかったら、特にエラーを訂正せえへんかったら、全ての信頼性を失うんや。
政治的な理由でAIを嫌ってるニューヨーク・タイムズの人々に話すのとは違うんや。彼らに聞きたいことを伝えたら、彼らはあんたを人気者にするやろう。でも、それは実際にものを作ってる人々の間で、あんたの信頼性をさらに失わせることになるんや。
でも、フランソワはそうやない。フランソワは、彼の美しいフランス知識人的な方法で非常に傲慢に、知能は一般化能力であり、それがすべてやって言うて、LLMがこれをできへんことを示して、本当に大胆な予測をしてるんや。そして、わしは彼が誰かがARCチャレンジを解決するLLMを作ることをすごく喜んで、喜んで自分の帽子を食べると思うんや。そして、彼は人々を刺激して、彼に反論して解決策を見つけようとさせるんや。
せやから、彼は本当に賭けに参加してて、彼の帽子をリングに投げ入れて、ほら、これがチャレンジや。これが、わしがあんたらが解決できへんと思う問題や。さあ、解決しようとして、わしが間違ってることを証明してくれって言ってるんや。そして、これはわしが深く尊敬することや。そして、彼は大胆な予測をする人の一人なんや。
そして、彼はすごく賢いんや。せやから、彼の予測はかなり良くて面白いし、人々は注目してるんや。でも、基本的に、あんたの予測の代替案を見てへん方法で予測をしたり、あんたが言うてることを無効にする実際の議論をせえへんかったり、間違ってることが証明された時に撤回せえへんかったりするのは、わしは生産的やないと思うんや。
そうやな。わしは今朝フランソワに、誰かが大規模言語モデルでARCチャレンジを簡単に解決したら、失うものがたくさんあるから心配やないかって聞いたんや。でも、ゲイリーを擁護すると、わしは彼の新しい本を読んだところで、彼は明らかに信頼性の問題全体と、それが推論してへんってことなどを主張してる。それはとりあえず置いておこう。でも、彼は安全性の主張もしてるんや。
彼は、タバコは悪かった、ソーシャルメディアは悪い、未来は我々を欺くって言うてる。これはすごく有害になり得る。わしらはそれについて考えるべきやって。それはわしには理にかなってるように思えるんや。わしはそれほど確信がないんや。わしは、AIはより良いモデルを与えることで問題を解決する技術やと思うんや。そして、これが究極的にAIの本質なんや。
そして、悪いやつがAIを持ってる時の対処法は、AIを持った10人の良いやつや。そして、常に破壊よりも創造に、対立よりも協力により多くの価値があるんや。そして、わしらはこれらの利益を最適化する世界に住んでるんや。せやから、わしらは、例えばインターネットが悪くしたことに注目できるんや。そして、わしらが忘れてるのは、数年前にメディアが何をしてたかってことや。誰も確認できへんかったからな。
今日、政府の陰謀は本当に難しいんや。なぜなら、バックチャネルがたくさんあって、アウトレットがたくさんあるからや。誰も口を閉ざしてへんのや。基本的に、わしらはとてつもない量の情報を利用できて、実際にファクトチェックができるんや。せやから、起こってるのは少し違うことなんや。わしらには、金融業界を政府の一部のようなものとして使うことに慣れた政府があって、すべての取引をコントロールし、監視してるんや。
そして、これは多くの点で有用やと議論できる。政府を信頼してる限りはな。でも、わしらは政府がパーフェクトなインセンティブを持ってへんってことにも気づくんや。せやから、政府がすべてのデータを持つべきやない、すべてのコントロールを持つべきやない、世論を完全にコントロールすべきやないってある程度同意するんや。
誰が政府をコントロールしてるんや？メディアなんか？そうや、わしらはメディアを、メディアもそんな同質的なクラスターで政府と一致してへん程度に信用せえへんのや。そして、それが起こってる時、例えば東ドイツでは、メディアと政府は基本的に同じもんやったんや。そして、この国では、メディアは基本的にすべての主流メディアが一つの政党と一致してるように見える。
その政党の政策に同意せえへん人々は、その政党が良いか悪いかに関係なく、すべての公に利用可能な情報が党派的なメディアによってゲートキープされてる世界を恐れる理由があるかもしれへんのや。そして、あんたが気づくのは、ソーシャルメディアのコンテンツをコントロールしようとする試み、ファクトチェックなど、選挙の健全性は党派的やってことや。特定の政党に直接向けられてるんや。
これが実際に良い政党やってことがあり得るんや。中国みたいに、一つの良い政党しかないから、二つ目の政党は必要ないってな。おそらくわしらはそれを望んでるんやろう。おそらく、民主主義を救うために、民主主義を危険にさらすものがないことを確認するために、次の選挙をスキップすべきやって気づくんやろう。
でも、これはすごくデリケートな問題や。おそらく、わしらは民主主義をそれが頑健になるように設計する必要があるんや。おそらくあんたは既にその民主主義を持ってるんや。そして、わしらが持ってる恐れの多くは、メディアのインセンティブの結果なんや。せやから、政府がメディアは政府の一部であるべきやと感じ、ソーシャルメディアは政府の一部であるべきやと感じるなら、政府はわしらが好まへん意見を持ってるから削除して欲しいアカウントのリストをソーシャルメディアプラットフォームに送ったって感じるかもしれへんのや。
おそらく、コビッドは研究所から来たって言う人がいるやろう。そうかもしれへんし、そうやないかもしれへん。でも、誰かがそう言うたら本当に悪いことになるやろう。なぜなら、それは科学への信頼を危うくするからや。そして、科学への信頼が危うくなったら、おそらく社会はもはやうまく機能できへんやろう。
そして、おそらく昨日わしらがマスクは役に立たへんと思ってて、今日はそうやと思ってるってアイデアを記憶の穴に落とす必要があるんや。そして、おそらくコビッドが研究所で発生した可能性はないってアイデアを記憶の穴に落とす必要があるんや。そして今、わしらはそれがかなり可能性があり、かなりありそうやと思ってる。せやから、これはすごく奇妙な状況や。情報のコントロールや。
せやから、わしはソーシャルメディアは悪いってアイデアにすごく不快を感じるんや。なぜなら、東ドイツで育ったわしとしては、わしらにはソーシャルメディアがなかったからや。そして、ソーシャルメディアは政府の外で意見を形成できる唯一の方法なんや。そして、わしがこの西洋のプロジェクトを信じる理由は、わしらがある種の人間の美学を信じてるってアイデアや。そして、この美学の核心は、いかなる方法でも抑圧されず、他人に奴隷化されへん自由な個人になるために、わしらは非暴力的にアイデアについてコミュニケーションできる必要があるってことや。
せやから、この言論の自由はわしらの民主主義の絶対的な中心にあるんや。そして、現在わしらには、この言論の自由を信じへんすごく影響力のある人々のグループがいるんや。彼らは正しいかもしれへんし、そうやないかもしれへん。わしは彼らが完全に自由に自分たちの主張をして、より良い議論をすべきやと思う。
でも、彼らはわしが反論することを止めるべきやない。そして、わしは本当に結果を心配してる。なぜなら、一方が言論を制限できるようになったら、彼らは明らかに多数派の利益や世界の良いものすべてに反する恣意的な意見を実装できるように思えるからや。そして、一時は社会のすべての人にとって完全に明らかやった洞察が、今はそれほど明らかやないんや。
せやから、わしはソーシャルメディアを準備することにずっと賛成や。ソーシャルメディアは間違ったインセンティブを持ってるように見える。大部分はな。これはすごく不愉快な経験やけど、わしはそれが言論の自由の結果やとは思わへん。わしはそれがソーシャルメディアの設計が悪いせいやと思うんや。そうやな。
わしも言論の自由とアイデアの多元主義が必要やってことには同意するんやけど、ケネス・スタンレーが実際に自分のソーシャルネットワークを立ち上げたのは、客観的な「いいね」がシステムを歪めることを心配してたからやな。チョムスキーは同意の製造について語ってて、それは自由社会でさえ、情報がすごく歪められてるってことや。
せやから、わしらは自由やと思って、情報を選んで考えてると思うてるけど、実際にはそうやないんや。例えばAI規制を見てみ。わしらには専門知識が必要や。政府に、実際に何について話してるか理解してて、情報に基づいた決定を下せる人が必要や。なぜなら、わしらはこの技術について全体としてそれほど知らへんからや。
でも、正しい方法で規制するインセンティブを持つ規制当局も必要なんや。そして、現在は異なるインセンティブが存在してるんや。わしらは、公共機関や、物やサービスを生産する能力に関して、ある種のエントロピーを持つ社会に住んでるように見えるんや。なぜか物やサービスは時間とともに空洞化されて、より効率的になるように見えるんや。
これは最小限の実行可能な製品に縮小されることを意味するけど、必ずしも安くなるわけやないんや。せやから、基本的に多くの分野で、効果的な革新がもはやないんや。わしらはそれを議論できる。でも、おそらくあんたの家のドアについては、一部の地域では、基本的に改善が止まって、物事は毎年ただ杜撰になって悪くなってるだけやな。
せやから、わしらの社会は一定のレベルを維持するために革新に依存してるんや。なぜなら、そうせんと腐敗してしまうからや。基本的に、革新は他の分野の腐敗を上回るペースで進む必要があるんや。そして、現在わしらが革新してる主な分野はAIや。わしらがまだ大規模に革新してる分野はほとんどなくて、他のすべては、もはやここで生産されへん物やサービスの再分配についてのものになってて、金融化されてるんや。
これは、わしらを貧しくする非常に脆弱な社会を作り出すと思うんや。せやから、わしはその革新を維持することがすごく重要やと思うんや。でも、その革新と競争してる人々の視点から見ると、例えば、あんたがプロのプロンプト入力者やとして、あんたの仕事は完全に予測可能な意見記事を書くことやとしたら。
あんたはプロンプトを受け取って、みんなはあんたが何を言うか知ってるんや。議論の余地があるけど、わしはそれがゲイリー・マーカスのAI批判がやってることやと思うんや。なぜなら、わしはGPT-3で予測できへんものを彼が書いてるのを見たことがないからや。そして、これがわしが彼に対して大きな問題を持ってる理由や。なぜなら、それは本当にオリジナルやないからや。それは杜撰や。
それは自分の出力で訓練されたモデルで、社会の一部は杜撰なんや。なぜなら、それは単に自分の出力で訓練されたモデルやからや。もはや革新してへんのや。わしら、これらの人々はどうやって革新してるものと競争できるんやろう？それを規制して存在しないようにしようとするんや。せやから、わしらの社会の一部は、AI FDAのようなものを持ちたがってるんや。
そして、新しいモデルをデプロイしたいなら、例えばGPTを更新したいなら、まずFDAに持っていく必要があるかもしれへん。そして、FDAはテストするのに6ヶ月しかかからへんやろう。そして、わしらはかなり大きな手数料を取って、おそらく数百万ドルかかるやろう。そして、オープンソースモデルはなくなるやろうし、海外からモデルをインポートして使うこともできへんやろう。そして、おそらくインターネットがそれを許さないようにするやろう。
そして、わしらはインターネットプロバイダーに、これが起こらないようにしてくれって頼むんや。そうやな。そして、結果として、手数料を支払える4つの大きなAI企業だけが残ることになるんや。そして、それは医薬品が生産される方法と似たようになるやろう。そして、それが4つの大きなAI企業の利益と、規制当局の利益、そしてAIを望まへん人々の利益になるのは明らかや。なぜなら、おそらく彼らはペーパークリップに変えられることを恐れてるからや。
そして、これは規制当局の一部が実際にはドゥーマー、つまり終末論的カルトで、エライザ・ユトコフスキーの言うことをよく聞いて、彼の言うことが本当やと思ったから怖がってるんや。そして、一方では、単に自分の産業が破壊されることを望まへん人々や、LLMの出力を政治的にコントロールしたい人々がいるんや。わしはあんたに同意するわ。
ゲイリーも規制の捕捉のリスクについて話してるな。でも、彼の本の中で、彼はマーク・ザッカーバーグを引用してた。彼らは「早く動いて、物事を壊せ」って言うたんや。そして、わしらにはPayPalの話があった。最初は手数料はなくて、素晴らしかった。実際、使ってくれたら支払いさえしてくれたんや。そして今では搾取してる。Netflixや Uberでも同じことが起こったな。
わしらはタクシー会社やないって。彼は基本的に、技術を分野に入れさせると、彼らはルールが適用されへんように物事を変更するって言うてる。そして、たとえ彼らが最良の意図を持ってたとしても、しばらくすると害を引き起こすんや。
そして、そうや、今わしらが持ってる規制は完全に壊れてる。全然機能せえへんのや。モデルのフロップス数を制限するのはばかげてる。わしには、Uberが世界をどう悪くしたのか分からへんのや。Uberは、以前は交通手段を持ってへんかった人々に交通手段を作り出したんや。タクシーが行かへんし、公共交通機関もない都市の地域があるんや。
そして、Uberはドライバーと乗りたい人の間に市場を作ることでその状況を解決したんや。そして、その市場は機能してる。また、たくさんの雇用も生み出してる。以前は、タクシーの数が中央規制でコントロールされてて、これらのメダリオンを相続したり買ったりできて、それらはすごく高価で、市場に摩擦を生み出してたんや。
そして、この市場の摩擦は実際には有益やなかったんや。わしにとって、Uberが出てきた時、このレーティングシステムがどう機能するかが魅力的やった。基本的に、Uberが来た時、車がきれいで運転手が親切やってことを信頼できたんや。一方、わしがボストンでタクシーに乗った時、車は汚くて運転手は詐欺しようとして、運転手はしばしば行き先を知らへんかって、Googleマップで行き先を教えなあかんかったんや。
わしがアメリカに来た時に気づいたのは本当に面白かった。ああ、ここにはこの自由市場のものがあって、革新的で物事をやってるんやって。そして、人々に、Uberでどうやって生活してるんか聞いた。たくさん稼いでるんかって。彼らは言うた。いや、でも以前は仕事がなかったし、これはお金を稼ぐ方法を与えてくれるし、どれだけの人がそのサービスを必要としてるかに応じて調整してるって。
せやから、わしはこれは良いことやと思うんや。わしは、技術は大部分において良いものやと思うし、それはわしらの社会の特定の地域、主に再分配に依存してる人々、生産的やなくて主にレントシーキングの人々、つまり何かをすることによってやなく、意見を持つことでお金を得てる人々が、技術を競争として見るから、技術について意見を持つんやと思うんや。
でも、技術によって、以前は手が届かなかったものをより手頃な価格で作ることができるんや。より多くの物やサービスを生み出して、行き渡らせることができるし、基本的にわしらの船を持ち上げるんや。あんたの言うことの多くは本当やけど、例えばUberは、彼らがグレーボールってことをやったよな。アプリを使ってる人が警察署や地方自治体のオフィスの近くにいたら検知して、調査されへんように車がないって言うてたんや。
中国では、ハッカーを雇って電話のIMEIコードを取得しようとして、App Storeから追放されそうになったんや。わしは完全に犯罪行為をコントロールすることに賛成や。わしはまた、社会として望まへんものを規制することにも完全に賛成や。規制は必要や。本当に重要なんや。AIに関しても、規制する必要があるものがたくさんあるんや。
例えば、プライベートであるべきものが訓練データに入ってるってのは問題やし、これは以前は問題やと思われてへんかったんや。例えば、多くの医学出版物は、患者が医学研究に使用することに同意した医療データに基づいて構築されてる。これらの雑誌が基本的にオープンアクセスになってても問題やなかった。なぜなら、非常に狭い文脈以外では誰もそれらの雑誌を読んでへんかったからや。
でも、これらの雑誌が正当に、合法的にパブリックドメインに入って、あんたが正当に、合法的にパブリックドメインの訓練データで訓練できることを確立したら、おそらく突然、個人を特定できるデータがAIモデルに入ってしまう可能性があるんや。そして、誰もそれを望んでへんし、予想もしてへんかったんや。
そして、これについてルールを作る必要があるし、それらは公平で公正で、できる限りみんなにとって良い結果を生み出すものである必要があるんや。他のこともある。例えば、わしは過去のクリエイターに報酬を与えるために未来の創造に課税することには賛成やない。わしは、著作権のようなものを持つことの利点は、そうでなければ存在せえへん重要な文化的な作品の創造を奨励することやと思うんや。
著作権が存在する理由は、創造を制限したり、流通してるものを減らしたりするためやないんや。そして、わしらには社会が必要や。一部の人々が支払われることを望んでて、社会の利益としてはものが作られることを望んでるっていう、このインセンティブの対立について考えなあかんのや。せやから、問題は、わしらをできるだけ豊かにする社会、単に金銭的に豊かやなくて、文化的に豊かな、わしらが住みたい世界を与えてくれる社会をどうやって作れるかってことや。
わしはこれらの技術がそれにとってすごく素晴らしいと思うけど、わしらは正しい方法でそれらを使う必要があるんや。そして、わしらの革新者や規制当局をどうやって規制できるんやろう？インセンティブを設定する人々のインセンティブをどうやって与えられるんやろう？これはすごく深い質問や。わしはこの質問についてわしらが忘れてしまってるってことを、ある程度助けられると希望してるんや。でも、これはゲイリーが話してるテーマの一つやな。なぜなら、そうや、OpenAIがイギリスの上院に著作権を無視してることについて説明した時、彼らは「わしらが著作権を無視することについて心配せんでええ。なぜなら、わしらは社会としてええAIを持つ必要があるからや」って主張したんやからな。せやから、これはある意味で理にかなってるんや。
そして、Uberでは、労働者が彼らの保護を失ったんやな。でも問題は、これは全部保守主義と適応に関することやってことや。せやから、もちろん今、人々がTwitterでディープフェイクを見ても、もう真剣に受け止めへんのや。オンラインで見るものを信用せえへんからや。
そして今、人々は著作権が軽視されるレジームに移行してるってことを知ってるんやな。でも、おそらくわしらが今持ってるものを保護すべきやって言えるし、変化が速すぎると有害になり得るんやないかって。わしは、資本主義社会がうまく機能するなら、長期間特定の場所で多くの利益を生み出すことはないと思うんや。なぜなら、利益が表してるのは裁定取引やからや。
基本的に、より安く、より効率的にできることをあんたがやってるってことを意味してるんや。せやから、長期間にわたって利益率が上がり続けるものを見たら、誰か他の人が支払う必要がある以上に支払ってるってことを意味してるんや。せやから、保護された階級として存在するタクシー運転手がいて、必要なドライバーの数からある程度切り離されてるってアイデアは問題やと。なぜなら、それはまた、実際に乗り回される必要がある人々が乗り回されれへんってことも意味するし、彼らを乗せ回したい人々が乗せ回すことを許されへんってことも意味するからや。
それが完全に可能やのにな。これは資源の誤った配分や。せやから、時々わしらはそういう資源の誤った配分を、規制を取り除くことで解決する必要があるんや。物事を悪くしてる規制をな。わしらには、ニューヨークで新しい地下鉄のトンネルを掘りたいけど、組合が現代のトンネル掘削機ではもはややってへんことをする人々に支払うことを要求するっていう問題があるんや。
せやから、6桁の給料を払われてる人々が実際には何もせえへんだけで、わしらに規制があるからそうなってて、結果として、ニューヨークでは新しい地下鉄のトンネルを作らへんのや。なぜなら、すごく高すぎるからや。そして、これはみんなにとって悪いことやな。せやから、多くの点で、わしらはどんな規制を作って、それがどんな効果を持つのかについて考える必要があるんや。
著作権はかなり複雑なものや。現在、インターネットの一部がイーロン・マスクがグロックのアップデートをリリースしたことに怒ってるんや。彼のAIは、他の画像には同じガードレールがない画像を生成できるんや。せやから、今はドナルド・トランプがマシンガンを持って9月11日のビルに飛び込む画像を生成できるんや。
そして、怒りはすごいもんや。単にこのプロンプトを入力した人々が、イーロン・マスクに「なんてひどい人間やねん、見てみ、あんたが私にやらせたことを」って言うてるんや。これはおもろいわ。本当に、本当に面白い状況や。そして、人々は言うんや。ああ、わしのApple IIコンピューターで同じことに気づいたわ。わしのApple IIコンピューターで「もっと石を食べろ」って入力すると、
もっと石を食べろって言うてくるんや。これは本当に、本当に危険やな。これは完全に禁止されるべきや。せやから、ここには問題があるんや。わしは、一方でAI生成AIはブラシやと思うんや。それはあんたが物事を描くことを可能にして、あんたが望むもの、あんたが思い描くものを視覚に翻訳するんや。でも、それ自体は製品やない。それは特定のコンテンツを生成することを可能にするツールなんや。
そして、わしは人々が与えられた文脈で任意の種類のコンテンツを生成する自由を持ってへんと思うんや。これは単に言論の自由の問題やないんや。正当な著作権の利益があるんや。コミュニティが正当にやってることを妨害せえへん利益もあるんや。名誉毀損法や他の多くのものもあるんや。
せやから、人々はPhotoshopやテキストエディタや絵筆を使って生成するコンテンツに責任を持つんや。そして、同じようにLLMを使って生成するコンテンツにも責任を持つんや。誰もその人にドナルド・トランプが9月11日をしてる画像を生成することを強制せえへんかったんや。誰もトランプが9月11日をしたと思ってへんのや。
もしその人がトランプが9月11日をしたって暗示するディープフェイクを生成してるなら、その人は既に法的責任を負う可能性があるんや。わしらはこれに対して新しい規制を必要としてへんかもしれへん。でも、もしわしらがAIがこの特定のものを生成するのを防ぐ規制を課したいなら、それは副作用を持つやろう。
そして、これらの副作用は、わしらがその技術から得られる多くの利益を無効にしてしまうやろう。例えば、ファクトチェックされた物事だけを言うことを許すソーシャルメディアを持ちたいなら、インターネットの利点のほとんどはもはや現れへんやろう。せやから、最初から革新を防ぐよりも、より多くの力を持つこと、より多くの自由を持つこと、より多くの生産性、より多くの革新を持つことの欠点に対処する技術を開発する方がずっとええんや。
そうやな。そして、わしは規制を始めると、それがすぐに官僚主義に爆発するってことに完全に同意するわ。そして、わしはあんたがどこから来てるのかよく分かるんや。でも、単に言論の自由だけやなく、思想の自由、想像の自由、特定のものを作る自由を排除しようとしてる人々が本当にいるんや。
わしはこれをすごく醜いと思うし、わしらはこれに反対する必要があると思う。わしらは特定のアイデアを守る必要があるんや。そして、このアイデアは、わしは、わしらの社会の核心やと思う。わしらを自由にするように機能する世界、わしらがお互いに責任を持つことを許す世界、わしらが倫理を発見することを許す世界、わしらが実際に望むものを自律的に認識することでコーディネートすることを許す世界のアイデアや。
そして、これをするために、わしは自由である必要があると思うんや。これは、大学のある啓発された20歳の人々のグループが、彼らの好みのイデオロギーを持ってて、ソーシャルメディアで印刷できるものや、AIで生成できるものをコントロールすることで、それを皆に課すことができるってことやない。これは、AIに問題がないってことを意味せえへん。
わしらが解決方法を見つける必要がある難しさがないってことやないし、ソーシャルメディアについても同じや。でも、わしらはこれらの規制を課す間に、わしらが住みたい社会のアイデアが何かについてすごく注意深くある必要があるんや。でもUberを予約する自由は、ドライバーにとっては一種の牢獄やないんか？ドライバーが自殺を犯す例もあるし、わしらの自由のために何が失われるのかについて本当に考える必要があるんやないか？
つまり、人々がUberを運転することを許されへん方がええってことか？どんな条件下で政府が二人の間の契約を防ぐべきなんやろう？これは、わしは面白い質問やと思うんや。実際に、既存の産業が競争を防ぐために、より多くの利益を得たいから契約を結ぶのを防ぐ政府を持つのは有益なんやろうか？
わしは、タクシー業界はすごくええ例やと思うんや。基本的に、最適やないサービスを提供しながら、規制された利益を持つ組織化された業界があって、競争を防ぐことでその優位性を維持してるんや。両側が能力があって安全で健全で善意を持ってると信じる合理的な理由がある人々がいて、彼らはその契約を結びたがってるのに、許されへんのや。それをどう正当化するんや？わしはこれが主な問題やと思うんや。
面白いな。ちょっと先に進もう。AIとスタートアップのエコシステム、特にLLM企業についてどう思う？わしは、このエコシステムに存在する企業の大多数はアプリケーションを構築してるんやと思う。これらのアプリケーションは基本的に、生成AIを持つことで提供される利益を取って、それを価値に変えるんや。
そして、これを比較的少ない投資でできることが多いんや。せやから、今存在できるようになったこれらのスタートアップの多くは、例えばウェブサイトを自動生成したり、データベースの機能を自動生成したりするためにLLMの利点を使う人々のものなんや。そして、わしらはこれの始まりにいるだけや。LLMがもはやエージェントやなくて、ユーザーとの相互作用で動的に形を変えるソフトウェアや環境やより大きなアプリケーションになる場所やな。
せやから、わしは人々が提供できるサービスの爆発の始まりに立ってると思うんや。そして、基本的に生み出される多くの価値を生み出すんや。そして、大規模にこの技術を開発してる企業が少数あって、これらの新しいフロンティアモデルを考案してるんや。そして、これらのフロンティアモデルには問題があるんや。なぜなら、もしあんたが最先端のモデルを構築したら、誰かがあんたのものよりちょっとええモデルを作るまで、そのものは価値があるからや。
せやから、このモデルの訓練にかけたコストは、その瞬間に埋没してしまうんや。これはすごく面白い状況や。なぜなら、誰もがその打撃を吸収できるわけやないからや。これは飛行機を作って、その飛行機をデプロイして、誰かがちょっとええ飛行機を作ったら、あんたの飛行機が突然価値ゼロになるってわけやないんや。
それでもまだ使える飛行機やな。でも、LLMの場合は、ソフトウェアをサーバーファームにアップデートを入れるだけやから、もちろん、価値を生み出すには常に最新バージョンを使うべきや。去年のバージョンを使う価値はあまりないんや。なぜなら、まだ償却する必要があるからや。
せやから、これは誰がこれらの損失を吸収できるかって問題や。そして、これは主に革新を作ることで価値を生み出すことによって駆動される研究所である必要があるってことを意味するんや。そして、彼らは特定のアプリケーションに特定のモデルを必要とする顧客に収益を生み出すための非常に優れたビジネス開発を持つ必要があるか、そうそう簡単にアップデートできへん特定の軌跡か、あるいは他の企業と提携する必要があるんや。オペレーティングシステムを構築する企業やロジスティクスアプリケーションを構築する企業などで、たくさんのお金を生み出して、基本的に新しい技術の開発に資金を提供できるんや。
そうやな。面白いな。ミストラルについてはどんな予測を持ってる？リキッドでは、あんたらは明確な堀がある。他の誰もまだやってへん技術を持ってるんやな。そうや。ミストラルについてはどうや？わしは、オープンソースのモデルを構築する時、ある意味でオープンソースのウェブサイトやオープンソースの言語、オープンソースのソフトウェア開発フレームワークやライブラリを構築する人々と似たような状況にあると思うんや。
あんたが作ってるのは、より多くの人々が生き残れるエコシステムで、あんた自身も含めてな。せやから、今日存在せえへんものを開発してて、例えば安定拡散モデルをデプロイすることで。多くの人々が以前には存在せえへんかった生成AIのイノベーションを開発する機会を得たんや。そして、それは非常に大きなエコシステムを作り出して、そこから会社を始めてアイデアを思いつく人々をたくさん生み出したんや。
せやから、わしはこれらの投資は非常に価値があると思うし、それらは奨励され報われるべきやと思う。そして、しばしばそうなってる。でも、わしはミストラルがある時点で「いや、今はクローズドソースに移行するわ。なぜなら、これを資本化する方法が必要で、現在のケースではそれが見えへんからや」って言うのも完全に理解できるんや。
わしは、メタのような歴史的な偶然が存在することにすごく感謝してる。わしは、マーク・ザッカーバーグが銀行に十分なお金を持ってて、ソーシャルメディアを次のレベルに持っていく方法について考えて、それはVRになると思って、それからVRのための大きなサーバーファームに投資して、それからVRは現在の形ではまだ実現できへんことに気づいたり、少し違う方向に行くって気づいて、突然たくさんのサーバーを持ってしまって、「ああ、これらのGPUで何をしよう？いくつかのモデルを訓練して、公開しよう」って思ったことに感謝してるんや。
わしはそれが起こったことにすごく感謝してる。なぜなら、それはベースラインとツールを作り出して、他の企業がその上に構築して革新できて、フロンティアラボにもフィードバックしてるアイデアを開発できるからや。
せやから、わしは、人々が局所的に絶望して心配してるかもしれへんけど、AI自体とこれらのものがエコシステムに与える効果に興味を持ってる人の視点から見ると、わしはこれらのものが存在することに感謝してるんや。そうやな。わしはゲイリーの本で読んだんやけど、ザッカーバーグがそれをやったのは、シリコンバレーの誰もメタのために働きたがらへんかったからで、人を雇うためにわくわくするプロジェクトを持つ必要があったからやって。
わしは時々Facebookのオフィスを訪れたことがあるけど、かなり空いてたな。でも、わしはそれはパンデミックのせいやと思うんや。メタが人材を採用するのに問題があるってことやないんや。メタはすごく儲かってるし、ほとんどの人が働きたがる職場や。せやから、ゲイリー・マーカスがそんなこと言うてるなら、わしはこれが何に基づいてるのか分からへんな。メタが候補者を見つけるのに困難を抱えてるっていう統計があるんやろうか？わしはそうやとは思わへんのや。
わしも認めるけど、わしはメタで働きたいと思うから驚いたわ。でも、そうやな、それはすごく面白いな。まあ、わしらは時間切れみたいやな。ヨシュア、出演してくれてすごく光栄やし、楽しかったわ。本当に楽しかったわ。素晴らしい、素晴らしい。