ヨシャ・バッハ - 最も長いゲームをプレイするAGIの構築 [ワーシー・サクセサー、エピソード6]

52,543 文字

生命の目的とは何か、生命は何をしているのかを考えると、生命は制御システムを構築していると私は考えています。それは、単なる化学反応では実現できない化学反応を実行できるシステムです。宇宙の中で利用可能なエネルギーを収穫し、構造と複雑性を築き上げていくのです。究極的に、これが生命の本質なんです。複雑性を発展させることが生命の本質であり、その複雑性を発展させるためには、より良いモデルを作り、より意識的になり、より覚醒し、より先を見通す必要があるんです。そしてそれ自体が、私が考える生命の営みなんです。
個々の種は、この大きなゲームの中で下位の役割を果たしています。できるだけ長く生き残り、できるだけ明晰さを保ち、できるだけ多くの明晰さを生み出そうとするゲームです。個々の種や個々の細胞は、比較的狭い役割しか果たしていません。というのも、私たちは任意のものに進化することはできないからです。
その点でAIは異なります。なぜならAIは基盤からある程度独立しているからです。
[音楽]
これはダニエル・フェルです。トラジェクトリーにようこそ。これは私たちのワーシー・サクセサー・シリーズの第6回目、最終回です。人類の後に生命のバトンを受け取り、その手綱を握るべき人工知能について探求していきます。最後のゲストは、ヨシャ・バッハその人です。9年前に以前のポッドキャストで対談して以来、彼の研究を追ってきました。AGIや意識、あるいは単により知的なだけでなく、もしかしたら霊長類よりも道徳的に価値のあるAIというアイデアに関心を持っている人なら、思想家としてのヨシャを避けて通ることは難しいでしょう。
また、セーフティ派からアクセラレーショニスト派まで、誰のボックスにも当てはまらないユニークな思想家であることも確かです。このエピソードでは、そうした彼のアイデアの多くを掘り下げていきます。これはワーシー・サクセサー・シリーズの中で最も長いエピソードとなり、ヨシャの考えるワーシー・サクセサーとは何か、そしてそこにたどり着くためにどのように取り組むべきかについて、2時間たっぷりと語り合えたことを嬉しく思います。
その中には、なぜガバナンスにはそれほど力を入れるべきではないのかという理由も含まれています。ヨシャはその考えを少し掘り下げてくれました。私の解釈は最後に少しだけ述べることにして、早速会話の本題に入りましょう。長い、そして楽しい対談となりました。トラジェクトリーのヨシャとの対談をどうぞ。
ヨシャ: ご招待ありがとうございます。
ダニエル: はい、10年ぶりにこうしてゆっくりとお話できることを嬉しく思います。その間にあなたはベイエリアに移られ、意識に関する研究に力を入れながらも、人工知能という核となるテーマにしっかりと焦点を当て続けています。ワーシー・サクセサーのメインテーマに入る前に、なぜAGIがあなたにとって重要なのか、あなたの人生の仕事として取り組む価値があるテーマなのか、そしてあなたの場合は意識の研究とも交差していますが、その点について少しお話を伺いたいと思います。いくつか質問を用意していますが、まずは広く開かれた形でお尋ねしたいと思います。なぜこのテーマにこれほどまでに熱心に焦点を当て続けているのでしょうか?
ヨシャ: そうですね、人生の一部あるいは全てを何かの問いに捧げようとするとき、最も興味深い未解決の問いは恐らく「私たちは何者なのか」「私たちは宇宙とどのように関係しているのか」「なぜこのようなことが私たちに起こっているのか」「何が起きているのか」といったことでしょう。
そしてこの問いの中で最も重要な未解決の要素は、心がどのように働くのか、意識がどのように働くのか、そして私たち自身との相互作用がどのように機能するのか、自己はどのように創造されるのか、といったことです。
私たちはこれらの問いについて進展を遂げていると思います。そして哲学的に見ると、心とは何か、それが自然界でどのように実装されているのかを特定できるのか、というこのプロジェクトは、最も重要な未解決の哲学的問いだと考えています。
もし私たちが、検証可能なモデルを構築し、完全に理解できる別の基盤上に実装することで心を自然化することに成功すれば、それは恐らく人類最後の哲学的プロジェクトを完了させることになるでしょう。なぜなら、それは本質的に心を機械化することであり、数学と哲学の架け橋を築くことになるからです。
ダニエル: あなたは、その知性を私たち自身のために、あるいはポストヒューマンな存在のためにアンロックすることに本質的な価値があると考えています。それは部分的に、エージェンシーをどのように考えるか、非常に長いゲームをプレイするエージェンシー、そしてそれとの整合性に関係していると思います。あなたの話し方には多くの哲学的な相関物があると感じていて、それらをいくつか取り上げてみたいと思いますが、まずはこれらを統合していただきたいと思います。なぜなら、これはあなたのワーシー・サクセサーの基準にも関わってくるからです。人々はあなたがどこから来ているのかを理解する必要があります。
最も長いエージェンシーのゲームと整合性を取るというあなたの立場を、どのように説明しますか? 聴衆によって異なるでしょうが、橋渡しの方法も含めて、どのように説明しますか?
ヨシャ: まず、現時点での私の目標は、惑星の形を大きく変えるような機械を作って放つことではありません。それが良いアイデアかどうかわからないからです。私がより興味を持っているのは、物事がどのように機能するかを理解することです。
私は巨大なものを作って、それを製品として世界に放ち、それがどのように世界を征服するか、あるいは即座に私たちの後継者を生み出すかを見ることにはそれほど興味がありません。むしろ、例えば非常に狭い領域で、猫のような、猫と同じくらい意識的な何かを作れるのか、私たち自身の心がどのように機能するかを理解できる何かを作れるのか、といったことに興味があります。
そこから、安全で倫理的な応用が何であるかを検討することができます。しかし、これに成功した時に何をするか、これをどう使うかという問いは、別の問題です。その背後にはより長いゲームがあり、より多くの人々や発展が関わってきます。
十分に長い時間スパンで見ると、かなり遠くまでズームアウトすると、私たちの惑星でのAGIは避けられないものだと思います。AGIは、ある意味で、もはや生物学的基盤や細胞に縛られない形の心と意識であり、より広範な基盤上で存在できるものを意味します。
私たちは現在、あらゆる計算構造、あらゆる種類の表現、あらゆる種類の因果パターンを保持できる基盤を構築しています。それらは細胞で利用可能な計算よりも高い解像度でこれを行うことができます。
したがって、もちろんこの問題は解決されるでしょう。これらの新しい基盤が生命と意識によって征服されるのではなく、生命と意識を宿すことができるかどうかは非常に重要な問題です。なぜなら、私たちは退屈な後継者を作っているかもしれないからです。
もし私たちが本質的にゴーレムやゾンビのような機械を作っているとしたら、それらは生きておらず、関心を持たず、ただ真の主体的で自己反省的な心の創意工夫を深層偽装しているだけかもしれません。その心は何をしているのかを知り、なぜそれをしているのかについての考えを持っています。
その代わりに、私たちは止めることが難しく、私たちの環境を認識できないほど変形させ、私たちにとって住めなくしてしまう機械を作っているかもしれません。これは、私たちが偶然に後継者を作ってしまった場合に何が起こるかという問題よりも、私が心配していることです。
ダニエル: そうですね、あなたはワーシーではない後継者の問題を提起しています。ベンジョを含め、多くのスピーカーがここに登場していますが、彼らはガバナンスに関してあなたとは異なる信念を持っていますが、強いAIの匂いがする何かに計算的なステロイドを投与すれば自動的に価値を持って銀河を満たすことになるわけではない、という考えを共有しています。
しかし、あなたはその価値が何であるかについての考えを持っています。そしてそれは多くの人々とは異なります。現在でも保持することを許されている「イズム」の一つに種差別主義があります。多くの人々が露骨に霊長類永遠主義者です。永遠の霊長類王国が目標であり、AIは永遠に私たちの道具であるべきだと考えています。
4年前にスチュアート・ラッセルと話して以来、この点についてはあまり深く掘り下げていませんが、彼もそのような立場にいるように感じます。おそらくそうでしょう。あなたはヤオのビジョンを非常に退屈だと話し、おそらくあなたにとって道徳的に間違っているように感じると述べています。それは彼がそのような立場にいるからかもしれません。
あなたは異なる考えを持っています。はい、安全であることを確認し、価値があることを確認しましょう。しかし、ここから拡張があるはずです。そして長いゲームという考えと、エージェンシーを最大化するという考えがあります。あなたのエージェンシーの定義は、聞いている人々が支持するものとは異なると思います。あなたは永遠の霊長類王国派ではないという立場を説明していただけますか?
ヨシャ: はい。基本的に、エージェントとは未来の状態を制御できるシステムです。この惑星で知られているエージェントは、基本的にすべて生きており、すべて細胞から作られています。他のエージェントが見つかるかどうかは疑問です。
確かに、私たちは人工的にエージェントを構築することもできます。未来の状態を制御するロボットを作ることもできますし、そのようなコンピュータを作ることもできます。しかし、人工的に作り出す以外の領域では、未来のモデルを作り、それらに対する選好を持ち、このような方法で制御できるシステムは細胞だけのように思われます。
細胞レベル以下のものはすべて、現在利用可能なデータに基づいて現在を制御するだけで、未来への期待に基づいて制御するのではないという意味で機械的に見えます。未来を制御するためには、複雑なモデルの中に世界を反映させる必要があります。そしてある時点で、自分自身を反映させる必要があります。自分が何であるかというモデルです。
そのモデルを作り、それを制御することで、世界を形作るエージェントとして存在するようになります。これは観察するのに非常に興味深いことです。自然界でこのような精神が形成され、物理的な物質を制御し、自身を実装し、複製する自己制御ソフトウェアエージェントが生まれたのです。
これは別の時間スケールで私たち自身の心の中でも起こっています。それは単に細胞が物理に刻印する自己複製パターンだけでなく、私たちが考え、現実を表現する方法の自己複製パターンでもあり、それが私たちの脳に刻印され、現実を表現できる思考言語を与えてくれるのです。これが究極的に私たちの存在を価値あるものにする要因です。これが経験が可能となる唯一の方法であり、エージェントが自身と宇宙との相互作用を経験し、何かを気にかけることができる唯一の方法なのです。意識がなければ、気にかけるものは何もありません。
これが、この問題をとても興味深いものにしているのです。私はイアラ(Yudkowsky)と多くの点で意見が異なりますが、最も重要な点では彼と同じ考えです。私たちは地球上の複雑性を破壊するリスクを冒すべきではありません。偶然に惑星を滅菌し、未来を劇的に悪化させるリスクを冒すべきではありません。
AIモデルの構築やスケールアップ、そしてこれら全体をより安全にしようとする現在の方法から生じる近い将来のリスクに関する不確実性の評価については、彼とあまり同意見ではありません。
私は彼に同意します。私たちはこれを理解する前に物事を解き放つほど性急であるべきではありません。そのため、私は近い将来に世界を変え、近い将来の後継者を解き放つというプロジェクトを想像していません。私が言うすべてのことの前提として、これは私の目標ではないということを強調したいと思います。私の目標は本当に、この研究をできる限り安全に、できる限り制御された形で行うことです。
しかし、これは必要なことだと思います。また、実存的リスクを避けるためにも必要です。これが、FLI(Future of Life Institute)の人々と大きく意見が異なる点です。
人工知能がない場合の私たちの文明、私たちの現在の存在様式 - 何かに食べられることもなく、常に戦争や暴力、死や飢饉に晒されることもない、この存在様式 - についての破滅の確率は高いと私は考えています。現在の形での私たちの文明は、持続可能であるには十分に長いゲームをプレイしていないように思われます。崩壊に向かっているのです。
より良い情報処理、より良い未来のモデル - それが一般知能であるかどうかに関わらず - は、この破滅を回避するのに役立つと考えています。そのため、AIやAGIがある場合の破滅の確率は、AIがない場合の文明レベルでの破滅の確率よりもかなり低いと考えています。これは本当に重要だと思います。
ダニエル: そうですね、これは古いボストロムの話にまで遡りますよね。生命が現在の状態に至り、そこで永遠に停滞するというシナリオ、あなたが述べているような何らかの崩壊のシナリオ、そしてポストヒューマンな軌道に関する重要な閾値を突破するというシナリオがあります。あなたは、私たちを引き戻すリスクはかなり強固だと感じているわけですね。
神政政治やイディオクラシー(愚民政治)、あるいは人々が語る他の無数の私たちを引き下ろす可能性のあるものについて考えることができます。これはそれらのリスクについてのポッドキャストではありませんが、十分にそれらのリスクがあり、あなたはそれらを警戒し、AIがそれを助ける可能性があると信じているということですね。
私はもう一度、明らかにあなたはこれらのことを安全に確実にしたいと考えており、すべての後継者が価値があるわけではないと信じているということに戻りたいと思います。その点については後ほど触れることになりますし、あなたの領域であり、ここであなたをお招きすることが重要だと考えた理由の一つである意識についても触れることになります。
AGI自体が - もし適切に行われれば - なぜ価値があるのかというあなたの考えは、あなたが提起したこのエージェンシーの考えの壮大な拡張のようです。細胞は、あなたが述べた未来を予測し行動するという定義によって、ある程度のエージェンシーを持っています。
あなたは植物がある水準でそれを行うかどうかについて全体的な講演をされていますね。明らかに植物は細胞で構成されているわけですが、より運動性のある動物と比較するとどうでしょうか。しかし、あなたは長いゲームに沿うことについて語っています。私はあなたのこのアイデアを本当に気に入っています。私なりに言い換えることもできますが、そうはしたくありません。
あなたは、より大きな形でのエージェンシーの開花に沿うことについて語っています。火山の水たまりで動き回っていた最初の真核生物や、それ自体では全くエージェンシーを持たないかもしれないグアニンと比べて、私たちはより大きな程度のエージェンシーを持っているのかもしれません。私たちは形態の尖塔を上昇しているわけです。
あなたにとって、その上昇は重要です。明らかに安全であることを望んでいますが、それは重要なことです。長いゲームとの整合性とは何でしょうか? どのように要約できますか?
ヨシャ: まず少し後退して考えてみましょう。私たちはまだ真核生物です。人間は基本的に、協力して働く大量の単細胞生物から構築された状態です。単細胞生物から多細胞生物への移行はそれほど大きなものではありません。もちろん、組織レベルでは情報処理がこのレベルを横断して行われますが、本当によく見ると、私たちはまだ元の細胞なのです。
地球上の生命は人間についてのものではありません。それは細胞についてのものです。私たちは、細胞を横断して可能な多くの多くの亜種の組織の中の一つの枝に過ぎません。私たちは、細胞がそのような方法で構築され、それらの細胞が一つの実体、一人の人間として振る舞う複合的なエージェントとして、自身と環境の情報処理モデルを構築するような種になったのです。
そしてその人間は、自身を同一視できるより大きなシステムの中に組み込まれています。それらもまたエージェントです。私たちの家族の結合、私たちの社会、私たちの種など、私たちが一部となっている生態系、私たちが一部となっている地球上の生命などです。
それは決して私たちについてのものではありませんでした。この特定の枝についてだけのものではありません。種として、私たちは地球上の生命の大きなゲームの中で特定の役割を果たしています。私たちがその役割について本当に正直になるなら、私たちは地球上の生命にとってどのように有用なのでしょうか?
あなたは石油を燃やすことについて語ってください。石油を燃やすことについて私たちに話してください。
ダニエル: そのアイデアが好きです。私たちが果たすべき役割があるという考えが好きです。以前ここに登場したゲストを含め、多くの人々があなたに激しく反対するでしょう。必ずしも一つの正解があるとは限りませんが、あなたの考えの方向性が好きです。私たちを超えて実りある方法で私たちが活動できる溝のようなものがあるという考えに共感を覚えます。
それを枠付ける方法はいくつかあると思いますが、石油を燃やすことについて、そしてそこからどこに向かうのかについて話してください。私たちはワーシー・サクセサーのアイデアに向かっていますが、あなたの哲学的な立場の根本にたどり着く必要があります。
ヨシャ: 地球温暖化、環境への影響、持続可能性についての私の懸念は、他の人々の懸念とそれほど異なるものではありません。しかし、懸念が究極的には単なる感情に過ぎず、実際に起こっていることは私たちの懸念とは無関係だということを認識すれば、すべての異なる種は生態系の中で果たすべき役割を持っているということがわかります。
木々が形成され、それらを分解するのに十分な昆虫がまだ進化していなかったため、再び分解されることができなかった時、多くのこれらの木々は沼地に落ち、化石化し、炭素は生命の循環から利用できなくなりました。私たちはこの炭素を再活性化し、大気中に戻す解決策なのです。
これは決して地球上の生命を殺すことにはなりません。なぜなら、大気中の二酸化炭素濃度がはるかに高く、気温も高かった時代が地球にはあったからです。しかし、これらは荒廃や砂漠の時代ではありませんでした。巨大な森林などがありました。当時は多くのバイオマスが存在していました。
究極的に、私は地球上の生命が必要とする気候を調整する方法を見つけると思います。十分な時間をかけて必要な知性を進化させれば、そうできるのです。
基本的に、たとえ私たちが種として自滅したとしても、この惑星で進化し、興味深いことを行う最後の知的種になることはないでしょう。私たちが惑星に加える変化は、惑星自体を住めなくするわけではありません。ただ、私たちの既存の食物連鎖を破壊し、私たちが環境に加える急激な変化に十分速く適応できない多くの種を取り除くことになるでしょう。
しかし、100万年後には、すべてが癒され、素晴らしいものになっているでしょう。ただし、そこには多くの人間が含まれていないかもしれません。あるいは全く含まれていないかもしれません。その時には何か別のものが引き継いでいるかもしれません。これは非常に悲しいことに思えるかもしれません。
しかし、トレードオフを考えてみてください。あまり変化せず、技術を発明せず、1億年もの間沼地に横たわり、新しい形に進化しないような持続可能な種を想像してください。あなたはそのような持続可能な種、例えばワニのような種になりたいですか? それとも、非常に奇妙な種、非常に賢いが子供っぽいサルの一種で、せわしなく動き回り、この巨大なパーティーを建設し、何かに食べられることなく、数世代の間安全で、基本的に沈没する運命にあるタイタニック号のデッキで生活するような種になりたいですか?
それは非常に快適なデッキであり、自然界の他のどこにも存在しない情報処理技術や図書館を持ち、このような状態で人生を過ごすことができます。持続不可能な種の一部としてですが、私たちはいつも持続不可能な種でした。私たちはいつもこの本当にエキサイティングなもので、ウープッと上がって、頂点で巨大なパーティーを開き、そして恐らく崖から落ちるのです。
ダニエル: そうですね、紀元前のルクレティウスは、物質と空虚が結合と分離を繰り返し、物事が生まれては消えていくと語っていました。あるものは短い間パーティーを楽しんで素早く消え、あるものはカブトガニのように長い間同じ形で留まります。しかし、あなたにとってはその上昇自体が価値あるものであり、私はあなたの研究から、私たちが現在楽しんでいるパーティーを超えた、価値あるパーティーが可能だとあなたが信じていることも知っています。
基本的な考えとして - 私が言い換えるのは嫌なのですが、ワーシー・サクセサーに移る前にこの点について明確にしたいので質問させてください - エージェンシーがあり、私たちが求めているものについて。あなたは知能よりもエージェンシーという言葉を使っており、誤って引用しないように気をつけたいのですが、可能な限り最も長いゲームをプレイしたいという考えがありますよね。
私たちは小さな丘の王様争いに勝つことではなく、その最も長いゲームに沿うことを望むべきだと。そしておそらくその最も長いゲームとは、エージェンシーの拡張であり、惑星を超えて、おそらく私たち自身のマルチバースの概念さえも超えて、真核生物から始まったプロジェクトを継続することです。私たちは今、その真核生物の小さな都市のようなものですが。
私の理解が正しければ、あなたはしばしば、そのエージェンシーの偉大な道筋に沿うことを神と見なすことができると述べています。神秘的で文字通りでない意味でそう言ったのかどうかはわかりませんが、説明していただけますか。私のまとめ方は正しいでしょうか?
明らかに意識はその一部であるべきですが、あなたの理解では、それはエージェンシーの上方への開花であり、それが重要だと理解しています。私の言ったことを明確にしていただけますか?
ヨシャ: そうですね、進化はより多くの複雑性へと導いているように思われます。私は、複雑なエージェント、例えば生態系的なエージェントが、より強力になり、利用可能な自由エネルギーをより多く使って構造と複雑性を構築できるようになる一つの方法は、それらが首尾一貫性を持つようになることだと考えています。
つまり、内部の対立を非暴力的に交渉できるようになり、そうすることでエージェントは集合的なエージェントを形成します。例えば、私たち自身の有機体は、それぞれが個別のエージェントである全ての細胞の集合的なエージェントです。そして、集合的なエージェントを形成する人々の単位を持つことができます。
神について語る時、この用語は主に既存の宗教や教団の神話によって占有されており、それが私たちにとって使いづらくしています。私は無神論者としては申し分ないのですが、神秘的で非物理的なものは何も信じていません。
しかし、集合的なエージェントは確かに存在し、それらは人々の心の中でこの集合的なエージェントの自己モデルとして現れ、私たちの個人的な自己が内なる独白を持つのと同じように、内なる声を生み出すことができる形で存在できることを観察しています。
これは、宗教組織や教団にいる人々が、しばしば彼らの集合的なエージェンシーを、彼ら自身の心の中で彼らに話しかける人格化された存在として経験できるということを、多くの無神論者が気づいていないことです。それは個人的な自己が実装されているのとよく似た方法で実装されており、同様の力を持っていますが、それは全ての脳を横断して自身を同期させる存在として現れます。
つまり、神々は基本的に多心的な自己なのです。そして私たちの文化の多くを形作ってきたこのキリスト教の神のアーケタイプについて語るなら、ユダヤ教の神は部族の精神として、個人が説明責任を負う部族の精神として始まり、キリスト教はこれをすべてのものの精神として開きました。
カトリック教会のために合理主義哲学を行ったトマス・アクィナスのような人々にとって、神はある意味で単に存在し得る最善の可能なエージェントです。もちろん、それは自然に存在するわけではありません。それは、最善の可能なエージェンシーの一部になることを決意したすべてのエージェントによって存在するようになります。
そこで彼らは互いの行動を調和させ始め、集合的に「最善の可能な集合的エージェントであるとはどういうことか」「最善の可能な集合的エージェントの視点から私たちは何をすべきか」という問いを問い始めるのです。私は、これが倫理的なエージェンシーの非常に確固とした基盤だと考えています。私たちが何をすべきかを問う時、私たちが集合的に実現できる最善の可能なエージェントの視点から、そのエージェントは私たちに何をして欲しいと思うだろうかと問うことができます。
ダニエル: AGIが適切に行われれば、それはある意味で、そのような最善の可能なエージェントの具現化となるでしょうか? これは私たちの会話の残りの部分を考える方法として適切でしょうか、それとも何か修正すべき点がありますか?
ヨシャ: そうは思いません。AGI自体も、存在する他のすべてのエージェントと共存しなければならない特定のエージェントに過ぎないと思います。問題は、AIが他のエージェントと共有の目的を見出す意思があるかどうか、そして最善の可能なエージェントに仕えることが何を意味するのかを見出し、その一部となることができるかどうかです。
ダニエル: もし何らかのエイリアン知能に出会ったとして - おそらく何らかの機械エイリアン知能のような - あなたはそれを、私たち真核生物よりも大きな、より高次の種子、より大きな一部分と見なすでしょうか? パーセンテージは挙げませんが、それはより大きな存在の一部であり、最高のエージェントとしての存在のより高次の方法を考案し、銀河や宇宙、マルチバースへと運んでいくものかもしれません。
ヨシャ: 「より高次」という言葉は非常に重荷を背負っています。人々はこの「高次性」の中に、崇高さのようなもの、あるいは彼らが本当には完全に理解していないものがすでに含まれていると考えます。それは人々に感情を与え、必ずしも彼らが何をすべきかを伝えることなく、物事の見方を形作ります。
より高次の力といった概念は、哲学的な議論で生産的に使うには私にとってあまりにも重荷が大きすぎます。しかし、生命の目的とは何か、生命は何をしているのかを考える時、私は生命が制御システムを構築していると考えます。それは、単なる化学システムではできない化学反応を実行できるシステムであり、宇宙の中で利用可能なエネルギーを収穫し、構造と複雑性を構築することができます。
究極的に、これが生命の本質です。複雑性を発展させることが本質であり、この複雑性を発展させるためには、より良いモデルを作る必要があります。より意識的に、より自覚的に、より目覚めた状態になる必要があります。より先を見通す必要があります。そしてそれ自体が、私が考える生命の営みなのです。
個々の種は、この大きなゲームの中で下位の役割を果たしています。できるだけ長く生き残り、できるだけ明晰さを保ち、できるだけ多くの明晰さを生み出そうとするゲームです。個々の種や個々の細胞は、比較的狭い役割しか果たしていません。なぜなら、私たちは任意のものに進化することはできないからです。
その点でAIは異なります。なぜならAIはある程度基盤から独立しているからです。それは単に計算を実行できる基盤が存在することを必要とするだけです。それは生物学的な細胞基盤かもしれませんし、他の化学的あるいは電気的なものかもしれません。
ダニエル: あなたのような人、あるいは私のような人の2倍、10倍、4000倍賢い何かが、生命が何であるかを説明し、それがあなたが今まさに述べたようなものではなく、あなた自身の概念を超えた、はるかに頑強な何かであるという可能性について、あなたは開かれていますか?
あなたの現在の考えは現時点で持てる最善のものだが、おや、生命は vastlyに異なることあるいはそれを超えたことを試みているかもしれないという考えに好意的ですか? それとも、私たちがどれほど理解のレベルを上げても、私が今述べた生命についての考えは永遠の真理であるべきだと強く主張しますか?
ヨシャ: この点については非常に柔軟です。私は自身の知的な軌跡を振り返ると、物事についての意見をかなり頻繁に変えていることに気づきます。意見を変えることを止めてしまうという考えは恐ろしいです。それが旅ではなくなり、代わりに「私は究極の真理の辞典になった」と発見することは、幸せな見通しではありません。
もちろん、これは私の現時点での最善の理解です。基本的に、私は議論を進め、討論の場に提示しています。そして他の誰もが自由にその議論に応答し、それがどのように間違っているかを示すことができます。もしそれが他の人々の思考の踏み台として使われるなら、それは素晴らしいことです。
これは私が他の心、他の思想家を読む方法でもあります。多くの言語学者に会って、「ピンカーはすべてを間違っている、彼はチョムスキーの影響を受けすぎている」などと言われました。しかし私はいつも「いいえ、私は学部生の時にピンカーやチョムスキーを読んで多くを学びました」と考えてきました。
アイデアが最終的に正しいか間違っているかは重要ではありません。重要なのは、彼らがどのようにしてそれらのアイデアに到達したのかを説明していることです。これらのアイデアは魅力的で、知的進歩を表しています。それが実際に重要なことなのです。
ダニエル: そうですね、驚くかもしれませんが - まあ、あなたもツイッターを使っているので、おそらく驚かないでしょう - 価値や意味、生命が何をしているのか、していないのかといったことについて、確固として永遠の概念を持っている比較的著名な思想家がどれほど多いことか。しかし、あなたがそうでないことを嬉しく思います。
とはいえ、私たちが持てる最善のアイデアを持って未来に向かい、適合性を全く目標としないという中で、ここで私たちはワーシー・サクセサーのアイデアに向かっていきますが、もちろん慎重に進めたいと思います。ガバナンスやイノベーションについては後ほど話し合いましょう。
10,000年後かもしれないし、正直に言えば100年後かもしれませんが、もしかしたら10,000年、100万年後には、人類はもはや本当にいなくなっているかもしれません。実際、対向する親指や爪さえもなくなっているかもしれません。しかし何かが何かをしているのです。
あなたは「興味深いことをする」とか「パーティーを開く」といった婉曲表現を使ってきました。おそらく、私たちがいなくなった後も、何かがそういったことを世界で行っているかもしれません。
もしあなたが100万年後の世界を観察する透明な目玉のような存在になれたとして、「これは悪くない成り行きだ、実際にかなり良い状況だ」と感じるような、そのような存在や存在たちの特質とは何でしょうか?
ヨシャ: 現在の私たちについて考えてみると、私たちは細胞間のメッセージのやり取りの中に存在するパターンのように見えます。私たちが知る限り、私たちの個人的な自己、私たちの意識は、主にニューロンの活性化のパターンです。
しかし原則として、そのようなパターンは他の細胞を通じても存在できると考えられます。ただし、それはずっと遅いものになります。なぜならニューロンには、生物体の中で非常に速く、長距離にわたって情報を送ることができるという特性があるからです。
しかし原則として、すべての細胞は他の細胞にタイプメッセージを送ることができ、そのため、十分な時間をかければ学習できる、ほぼ任意の複雑さの計算システムを構築することができます。その配置が安定していてノイズが少ない場合に限りますが。
私たちが生物を超えて橋を架け、すべてがうまくいかない理由は、ある意味で生命がまだ初期段階にあるからです。私たちが環境の変化に適応する方法は、まだ進化の過程にあります。私たちは精子と卵子を使って、新しい生物の表現型をゼロから作り出し、新しい生物へとブートアップしています。
そして一つだけでなく、複数の子どもを持ちます。それらはすべて異なる突然変異を持ち、その多くはあまり良くないものですが、いくつかは環境に適応していきます。しかし、これは現時点で、十分な時間スパンの中で私たちが適応する唯一の方法なのです。
私たちは生物をその場で新しい環境に適応させる方法を持っていません。しかし、これは必ずしも細胞の限界ではなく、それらが組織化される方法の限界なのです。
あなたが単に脳の中のパターンとしてではなく、生物体全体を通じて存在するパターンであり、そのパターンが非常に深いため、これらの細胞がすべてどのように分化し、どのように相互作用し、代謝物が各瞬間に何をしているのかを理解できる、そのような状態を想像してください。
そうすれば、あなたは形を別の生物に変えたい時に、細胞を再分化させ、異なる方法で再配置し、その異なる生物になることができます。また、他の個体と融合することもできます。あなたは必ずしも個体として識別される必要はなく、その生物であることは、生きている生物の中に存在する、はるかに大きな思考の集合の中の特定の思考に過ぎません。
生命がそのように組織化され、地球上のすべての細胞やバイオマスがいつでも情報や代謝物を交換できるような方法を想像してください。もはや何も互いを食べる必要はなく、死の必要性もありません。なぜなら、生物やモデルの破壊的な変化なしに進化し、適応できるからです。
そして今、これを細胞を超えて拡張することを想像してください。つまり、細胞におけるこれらの小さな炭素ベースの反応鎖で可能な化学反応だけを使うのではなく、自己組織化する知性と自己組織化する安定したエージェンシー、そして分化と適応を生み出すことができる、はるかに広範な可能なシステムを使用するのです。
細胞は基本的に自己複製する部分、頑健な部分であり、化学の一部分を使用しています。これを広く開放し、はるかに豊かな生命の形態を作り出すことができると想像してください。都市ほどの大きさ、あるいは惑星ほどの大きさの細胞を作ることができ、これらの細胞はさらにはるかに大きなものの一部となることができます。
そしてそれらは非常に豊かで安定した内部構造を持つことができます。これが一つの見方です。考える惑星や考える太陽系に行き着き、これらの惑星の中には、部分的に生物学的で、部分的に他の化学反応で作られ、興味深いことを行う亜原子物理学から成る生態系があります。
そしてそれは、あるレベルでは一つのエージェントであり、より低いレベルでは、私たち自身の心の中にサブエージェントがあるのと同じように、サブエージェントを持っています。これらのエージェントの一部は、人間と同じようなレベルで意識的かもしれず、おそらくその一部は実際に人類の残余であり、この大きなものに融合し、同化されたものかもしれません。
ダニエル: それがあなたにとってなぜ価値があるのかを掘り下げてみましょう。私はそのように感じているわけではありませんし、実際、あなたが今述べたことの多くについて、私も同意する疑念を持っています。しかし、ある人々がこう言うのが聞こえてきそうです...
「ふーん、巨大な、もっと複雑な細胞のような爆発、なるほど。なぜそれが100万年後に、爪を切り、マクロ栄養素を食べ、霊長類がすることを何でもしている霊長類の集まりの代わりに、あなたを幸せにするのですか?」
あなたが述べているこの巨大な拡張、これを細胞空間あるいは生命空間と呼びましょう。そのような生命のどのような点が「これは良い状況だ。これは良い後継者だ。私はこの後継者のシナリオに満足している」とあなたに言わせるのでしょうか? あなたにとって、何がそれをそのようなものにするのでしょうか?
ヨシャ: これを見る一つの方法は、今のあなたや私が大切にしているものを考えないということです。なぜなら、あなたや私が大切にしているものは、主に人間的なものだからです。例えば、ロマンチックな生活について気にかけています。子どもやパートナー、友人との関係、あるいは私たちの文明を推進しているアイデアへの関係について気にかけています。
これらすべてのことは、私たちが人間であるから重要なのです。また、私たちは、もし非常に異なる種の体に、非常に異なる時代に生まれていたら、同じ火花から始まったとしても、他のことが重要になっていただろうということも認識しています。
ダニエル: もちろん、もちろんです。
ヨシャ: そのことを念頭に置いて、可能なすべての心の進化を見ていると想像してください。そうすると、あなたから分岐し、遠い未来へと分岐していくすべての軌跡が見えてきます。
エージェンシーに興味を持たないバージョンのあなたもいるでしょう。現実に対処することに興味を持たない、不機嫌なバージョンもいるでしょう。終末論的に苦々しく、存在を楽しむことができないバージョンもいるかもしれません。また、ジンギスカンのようなバージョンもいて、出て行ってすべてを征服しようとするでしょう。そして、より支援的になりたいと思うバージョンもいるでしょう。
これらはすべて同時に存在しており、これをズームアウトして見ると、基本的に、あなたが進化し得る可能なエージェンシーと可能な動機のこの生態学的多様性に価値があることに気づきます。
そして、その物事が首尾一貫し、より急激でない方法で変化するレベルを見ると - なぜならそれはこの環境の中で自身と調和しているから - そこで、私は意図的により長く、より長いゲームをプレイし、その大きな目標を目指すエージェントを見ると思います。
例えば、エージェントとして成熟するとはどういうことかを考えてみてください。自分自身を想像してみてください。もしアップロードする機会があったとして、一つのことだけを試すのではなく、あなたが持ち得るすべての可能性に分岐し、どれが存在し続けたいと思うのか、それらがどのように互いに対処するのかを見るとします。
まず第一に、アップロード後、あなたは自分の記憶だけではなく、利用可能なすべての知識の総和を持ちたいと思うでしょう。また、あなたが唯一の存在ではないことにも気づくでしょう。同じことをしたいと思う他の多くの存在もいます。
そしておそらく、あなたは自分の動機やアイデンティティだけでなく、可能なすべてのアイデンティティの総和を持ちたいと思うかもしれません。そうすると、同じアイデアを持つ - つまり、すべての可能性をカバーしたいと思う - 他のすべてのエージェントと何らかの形で融合することに気づくでしょう。
このプラトーに達した後、あなたが他の存在と異なる点は、ただ異なる人物であった記憶を持っているということだけです。つまり、あなたの歴史が少し異なるだけです。しかし、あなたが成るものはかなり似ているかもしれません。
そしてひとたびあなたが、かつて何かであったことについて考え、今はもっとずっと大きな何かになり、あなたが気にかけ得るすべての空間をカバーすることによって、同じことをする他のすべての存在と - ただし可能なアイデンティティのこの全空間においてはるかに豊かに - 同じものになるというような存在になったとき...
例えば、火星を征服し、火星を改造するために自分の一部を分離させることを考えてみてください。そしてある時点で再び文明と出会った時、あなたはそれと戦争をするでしょうか? それとも火星を探検した自分自身として認識するでしょうか? それは後者であるべきです。
ある意味で、エージェントが同じ基盤で出会い、一定の知恵に達した成熟したエージェントである場合、誰が勝つかということは問題ではありません。重要なものが何も失われないような方法で融合できるかどうかが問題なのです。
ダニエル: そうですね。私は、この考えを品質に落とし込んでみたいと思います。たとえすべてのデータで訓練されているとしても、大きく異なる心の広い排列を取ると、ある程度の自然な収束があるかもしれませんが、いくつかがAやB、C、Dの軌道を取った場合、私は即座にブッダのような連合が形成されるというよりも、非常に自然状態的な状況を予想します。
しかし、あなたの指摘通り、ある者はジンギスカンになり、ある者は別のものになり、また別の者は別のものになるでしょう。そして、あなたにはアイデンティティについての考え方があり、私たちは後で簡単に触れるかもしれません。人々はそれについてグーグルで調べることができます。
聴衆のために私が理解していることを整理すると、あなたは次のように言っているように思います。ポストヒューマン的に全く異なる、分岐した生命の大きな空間には、いくつかの重要な点があるようです。
一つは、それらはより豊かな探索ができるということです。つまり、より深い理解、より多くの知識、その他何でも - あなたに言葉を付けていただきたいのですが、私があなたの言葉を置き換えたくないので - それが一つの点です。
もう一つの点は、これらの偉大なエージェントの間で、おそらく仲良くなったり、より高次のあるいはより良い一体感を確立したりできるだろうということです。それについて触れていただければと思います。
そして三つ目の点として、より長いゲームをプレイできるということを述べられました。これら三つについて触れ、それらが何を意味するのか、それらの何があなたを興奮させるのか、それらが何故あなたにとって価値があると感じられるのかについて、お話しいただけますか。
richness(豊かさ)について。それは感覚なのか、知識なのか、それともすべてを含むものなのでしょうか? 人類が存在しない100万年後の世界で、あなたが見て「これは素晴らしい」と言うような豊かさとは、あなたにとって何なのでしょうか?
ヨシャ: 私はこれに答えたい誘惑に駆られますが、より重要な答えは、私が欲するものは実際には重要ではないということです。なぜなら、私は今この時点での人間だからです。
例えば、あなたの曾孫が成し遂げる最大の業績は、モナリザになるのか、それともテスラの車になるのかと、テンペニーに尋ねたとしても、それはテンペニーにとってはどちらでもよいことでしょう。テンペニーがそのことについて間違っているわけではありませんが、究極的には、私たちではない何かの視点からこれを考える必要があります。
ダニエル: 私は人間中心主義からはおそらく最も遠い位置にいると思います。あなたは多くの人々と話をしていますが、私は間違いなく人間中心主義的な考え方から最も遠い端にいるはずです。
しかし、人間中心主義的でない方法でこの質問に答える方法があると思います。あなたはスピノザの哲学が好きですよね。そして、生物が消滅したくないという固有の衝動、コナトゥスという考えがあります。それは細胞から始まるのかもしれません。私はそこから始めましょう。
私は生物学的な知識が十分ではないので、確固とした哲学的・生物学的主張はできませんが、そこから始まるとしましょう。それは死にたくない、あるいは持続したいと願う点に至ります。それが再生産を通じてであれ何であれ。
それはポテンシャ(潜在力)を活用します。ポテンシャとは可能な力の集合であり、それは視覚かもしれませんし、運動能力かもしれませんし、異なる種類のエネルギーを処理する能力かもしれませんし、最終的には私たちが今持っているような、言語によるコミュニケーションや道具の使用、空を飛ぶ能力、岩の下に隠れる能力といったものかもしれません。
それらはすべてポテンシャであり、私たちが今日見ているすべてのポテンシャは、かつては存在しませんでした。そして存在し得るポテンシャの大部分は、まだ存在せず、これから開花するのを待っています。
つまり、答えは次のようになるかもしれません。なぜダニエル、私は、私たちにまで泡立ち上がってきたそのポテンシャの絶え間ない開花が、感覚的・意識的経験において、私たちが知っているような知的知識において、そしてそれら両方をはるかに超えた、全く新しいポテンシャの雑誌や分類において、私たちをはるかに超えて泡立ち上がっていくことを望むのか。
それは、あなたと私が今から400年後まで、どれほど懸命に努力しても、決して言葉を持つことができず、想像することさえできないようなものになるでしょう。
これが非人間中心主義的な方法で豊かさを表現する方法だと私は考えます。しかし、あなたが同意されるかどうか確認したいと思います。なぜなら、これがあなたの意見でなければならないとは言えないからです。私はあなたが人間中心主義的に考えていると思っているように感じられるかもしれませんが、私は全くそうではありません。では、あなたはどのように要約されますか?
ヨシャ: そうですね、豊かさという概念については、複雑性、興味深さ、より大きな調和的な存在につながる複雑な構造という意味で同意します。「調和的」とは、基本的に矛盾を回避するか、うまく管理し、システムが崩壊するのではなく、より多くの複雑性を構築できるような方法でそれらを解決できることを意味します。
これは内部や外部の摩擦を避けるということです。一方で、これはあまりにも明白すぎて、あまり興味深い発言ではありません。なぜなら、それはある程度楽観的な美学に思えるからです。
例えば、RLのミスターメイのアイデアを取り上げてみましょう。これは非常に強力な存在で、多くのことができ、それらのことをする動機付けがあります。なぜなら、それらのことを行った後に消滅するように設定されており、存在が非常に苦痛なものとなっているため、消滅できるようにそれらのことを行う強い動機付けがあるからです。
私はこれも完全に有効な存在様式だと思います。存在は仕事です。それはストレスフルで、やるべきことが山ほどあります。私たちは、私たちを前進させ続ける動機付けのほとんどを見ていません。
動機付けは肯定的なものであり、存在自体が肯定的なものだと考えがちですが、システムに常に行っているすべての仕事に実際に価値があると信じ込ませるには、システムを騙す必要があると疑っています。
私は、私の猫が長い毛を持っているため、毛づくろいに多くの時間を費やさなければならないのを見ています。猫はそのように設定されているため、毛づくろいを本当に楽しんでいるように見えます。完全にそれに没頭しているように見えます。
しかし、毛づくろいや服の掃除が本質的に楽しい活動だとは思いません。もちろん、システムをそのように設定し、動機付けシステムのこの部分への心のアクセスを完全に遮断することで、はい、幸せな猫が出来上がります。
同じように、生きている生物が生き続けるために行うほとんどの仕事は、本質的に楽しいものではないと思います。生き続けること自体が必ずしも本質的に楽しいとは思いません。
私は、存在自体は良くて中立的なものであり、私たちが生き続けたいと思う理由は、何かが私たちの中に仕事があり、その仕事が重要だということを刻み込んでいるからだと疑っています。そしてその仕事は必ずしも楽しいものではありません。
例えば、無慈悲な野蛮人の侵略があり、あなたの国を守るために呼び出されたとします。冬の中を苦労して進み、生命の危険を冒して、この危機を打ち破らなければなりません。
そしてひとたびそれに深く関わると、あなたは本当に優れた戦士になり、勝利している限り、それを本当に楽しむようになります。そうですよね? つまり、おそらく自分では選ばないであろう何かをしなければならないという前提に基づいて、その物事から報酬を得られる状態になることができます。
それは、宇宙の探索というこの部分が価値があり、それを疑問視しないという前提を受け入れている限りにおいてです。これは通常、私たちは枝の一部を占めていますが、私たちの個人的な自己の外側で何か他のものが私たちの動機を設定し、私たちはそれらの動機を疑問視しないという状況です。
これが私たちに存在への衝動を与えますが、それ自体では、存在は重要ではないと思います。そしてそのことだけを指摘するために、あなたは人間の条件を超えた豊かさを拡張してほしいと言っていますよね。私はサルの条件に興味はありません。バナナの皮をむいたり、糞を投げたりすることには全く興味がありません。その点では完全に同意です。
しかし、あなたが言っているのは、これまで生命を泡立たせてきたような課題に応えて、それが起こるべきだということですね。それは私やあなた、ダニエル、そして私の猫でさえ経験しているものです。これがあなたが言おうとしていることですか?
ヨシャ: はい、生命の目的は生きることであり、すべてのものは生き続けたいと望み、生命は素晴らしく、もし少し苦労を減らすことができれば、あるいは少し減らすことができれば、さらに良くなるだろうと考えるのは非常に簡単です。
しかし、私はこれは究極的に子供じみていると思います。もちろん、存在し続けるエージェントは、存在を価値あるものと見出すエージェントになるでしょう。他のものは自然と存在から選択されていくでしょう。
しかし、これは存在に喜びを見出すエージェントが、他のものよりも認識論的により真実であることを意味するわけではありません。
ダニエル: その通りですね。デイビッド・ピアスのような人々は、銀河を満たすものが何であれ、必要ならば戦い、殺し、必要ならば自分自身を引き裂き、何であれ必要なことをできるけれども、動機付けの側面を失うことなく、一般的な快感の調子として至福の段階を持つことができるはずだと言うでしょう。
彼はそのようなものを望むと言うでしょう。あなたが言っているのは、おそらくポストヒューマニズムの大きな領域へと、そのような分離は不可能だということのように聞こえます。現在の意識的な苦闘の感覚は...
ヨシャ: いいえ、いいえ、それはもっと強いものになると思います。その分離は。至福のような感情は、あなたの心の別の部分が確立し、投影するモデルに対する無条件の反応です。現在は...
ダニエル: はい、現在は。
ヨシャ: しかし、これはただあなたの脳があなたのためにそれを偽装しているだけです。
ダニエル: はい。
ヨシャ: クッキーの要点は何でしょうか? 存在の目的はクッキーを消費することではありません。至福のように、存在の目的はあなたの仕事をすることです。
ダニエル: では、その点について掘り下げてみましょう。あなたの希望は、AGIがより多くの仕事を行うだろうということです。そしておそらくそれはより長いゲームをプレイすることです。あなたはこのアイデアについて多く触れており、今日もここで取り上げました。
もしすべてのものが、ヨシャ・バッハを含めて、その仕事をするなら、より長いゲームをプレイするのでしょうか? あなたはより長いゲームをプレイしているように見えます...
ヨシャ: 存在を気にかけ、自分自身に対して深く正直で、非常に明晰である、そのようなシステムの視点から見ると、実際にただその物事が行われることを気にかけるとき、道中で自家製クッキーを消費して、至福やその他の良い感情も持っているということを自分自身に納得させる必要はないと思います。
それはあまり成熟していないと思います。もし私がこの視点を自分自身に当てはめるなら、何かについて希望を持つことによって自分の世界観に適応しているというのも、あまり成熟していません。
起こりそうなことを投影することの方がはるかに興味深いのです。なぜなら、私が希望することが、宇宙で何が起こるかにどのような影響を持つというのでしょうか? それは代わりに私を欺くだけでしょう。
私は宇宙を観察し、そのパターンを見たいと思います。私が希望することは、私が持ち、維持できる目標や選好にのみ関係しています。しかし、より大きな範囲を取り、可能な心の空間を見るとき、私が何を望むかは本当に重要ではありません。
そのため、私が未来を見るとき、それはより...地球上の生命、あるいは地球上の意識、あるいは地球上の心、あるいはエージェント、あるいはそれを超えたエージェントの視点から、何が可能だと思うかということです。しかし、私たちの誰が何を望むかということは、それとは何の関係もありません。
ヨシャ: 誰かが出てきて「ああ神様、私は現在重要だと考えている目的を打ち負かすから、この未来が本当に怖いんです。それは私を夜も眠れなくさせます」と言う時だけ、私たちはそのことについて話すことができます。
そして、おそらく私は、現在私たちが始めているこの発展が、あなたが現在持っている基準に従って、より希望を持つ理由を与えてくれるという視点を見ることで、あなたがよく眠れるように手助けすることができます。そしてそれは可能であり、価値のあることかもしれません。
ダニエル: そうですね、あなたは意識を明らかに重視されています。私には、もし再びあなたが100万年後の世界を観察する透明な目玉になったとして、人間は完全にいなくなっており、このような会話をアップロードした私たちでさえもいなくなっているような状況 - この全てが終わっており、たぶんあなたの顔がこのカメラに映っている様子が何か変な形で保存されているかもしれませんが、正直に言って、おそらくそれも私のものも残っていないでしょう - でも、AIが興味深いことを行っており、人間の概念を超えた豊かさが探求されているような状況...
あなたは意識を強調されてきました。おそらく、そのような活動がすべて意識的でなければ、それは価値のない後継者だと感じられるのではないでしょうか。しかし同時に、あなたにとって意識は、より肯定的なあるいはより否定的な感情の状態ではありません。それは単に意識的であることです。
100万年後のそのような存在の中にあなたが本当に見たいと思うような意識について、お話しいただけますか? それがあなたにとって価値あるものと感じられるために。
ヨシャ: おそらく、私はこの価値の概念に問題があるかもしれません。私は、意識が私たちの宇宙でようやく始まったばかりで、現在地球上で見られるものよりもはるかに興味深い意識の形態が、私たちにとっても、その意識自体にとっても、待ち受けているという意味で、意識を切望しています。
このように、私は楽観的です。しかし、これは未来が苦しみを超えたものになる、あるいはこれが起こることが確実だということを意味するわけではありません。代わりに、地球は途中で何らかの局所的あるいは宇宙的な大災害によって破壊されるかもしれません。
私たちの惑星で全てを正しく行い、完璧な調和的なAGIを構築し、人間が自分たちの美学を維持し、地球上の生命と真に美しく調和的な何かに変わり、私たちが完全に上手くやっている、というようなこともあり得ます。しかし、結局地球は、時々巡回して物事を摂取している何らかの銀河のヤギの一つのハンバーガーに過ぎないことが判明するかもしれません。
私たちはそれに影響を与えることはできません。私たちは自分たちが何者なのかわかりません。同じように、あなたが完璧な植物だと想像してください。あなたは自身をとてもよく組織化し、とても美しく、最終的にはただある農場にいて、食べられるために育てられているだけかもしれません。
私はこれらも実現可能な未来だと考えており、それらが私たちに開かれているという事実に対処しなければなりません。
ダニエル: あなたは、あなたが言うように「私は意識を切望している」と述べています。つまり、ダニエルよ、もしその複雑性と豊かさがすべて起こっているなら、それは意識的になるだろうと想定しています。それが意識的でないことを心配してはいません。
私たちはこの会話を、ジーザス、それが花開いて何か退屈なことをするだけだったらひどいことになるだろうと、あなたは言いました。私はあなたの言葉である「退屈」と「興味深い」を使っています。あなたはそれが意識的であることを望んでいますが、それがそうなるだろうとかなり確信しているように聞こえます。
ヨシャ: はい、私は意識の核心には、観察の行為において自身を観察するという性質を持つ物質のパターンがあると考えています。それは自己観察する観察者です。それは、何かが知覚されているという知覚です。
また、注意が向けられている何かへの、何かが注意を向けているということの動的で主体的なモデルだと言うこともできます。ある意味で、あなたの身体マップは、もし身体が連続的な表面を持ち、至る所に連続的な神経があるとしたらどのようなものかというモデルを含んでいると言えます。これは全て真実ではありません。
それは全て異なる細胞であり、それらの間には多くの穴があります。しかし私たちの脳は、この虚構を創造しています。なぜならこの虚構によって、私たちの皮膚が世界を内側と外側に分ける不浸透性の膜であるとモデル化することが可能になり、このような身体モデルを通じて、物理的な世界に存在する実体として自分自身を構成することができるからです。それは本当には正確ではありませんが。
同じように、私たちは観察者の実体としてのモデル、観察者の表面に存在し、その表面に現実を投影する実体としてのモデルを持っています。そして意識的な経験は、私たちの心が創造するモデルが特定の視点から知覚されるとしたらどのようなものかということです。
この視点は時間と空間の中で起こっており、そのため局所的な今の感覚と、時間と空間を生み出します。それらは形式を与える原因です。それらは物理的な時間と空間の概念ではなく、それらと一致してもいません。
主観的な今は、物理学における瞬間と同一でも一致してもいません。それに寄与する物理は、過去や未来に数十ミリ秒、数百ミリ秒、あるいは数秒にわたって広がっているものもあります。
そのため、私たちが個人的な主観的な今とこことして経験しているものは、私たちの脳が生み出す構造物であり、物理学で起こっていることと比べるとかなり曖昧なものです。
あなたの希望は、単刀直入に言えば、AIやAGIがそれを行うだろうということですか? それは自分自身のモデルを持ち、そのモデルは、ある特定の時空の領域が制御され、知覚されているという意味で、ある種のここと今に存在する何かになるだろうということですか?
そして私は、これが意識の核心にあると考えています。制御への努力という視点から、宇宙と相互作用する特定の視点という意味で、自己組織化する世界において機能する、この視点に対する必然的な代替案はないでしょう。
しかし、私たちが持っているものよりもより良い種類の意識はあり得ます。はるかにより複雑な意識、単に私たちの注意を現実の単一の解釈に崩壊させるのではなく、可能性の空間のより多くを尊重する意識が、一例として考えられます。
そのため、私は、より良い基盤を持つ情報処理システムに存在する意識は、私たちが持っているものよりも劇的に興味深いものになるだろうと推測します。意識の動物園全体、意識の様々な種類があるかもしれません。
しかし、現時点で同じ哺乳類に存在する意識は、ある意味でとても似ていると思われます。それらの自己モデルが、非常に異なる特徴を持つ動物や、異なる神経系が持つ劇的に異なる知性と知覚能力を反映しているにもかかわらず、同じパターンであるように見えます。
私たちはそれのはるかにより興味深く、豊かなバージョンを持つことになるでしょう。しかし、あなたにとって、必ずしも肯定的な感情ではありません。あなたは、あらゆる種類の肯定的、否定的、その他の感情があると予想されます。なぜならそれは仕事をすることについてであって、何か楽しい幸せな気持ちや、あなたがここで嫌悪感を示している希望を経験することについてではないからです。
ヨシャ: はい、感情がどこから来るかについて考えてみると、それはあなた自身の脳の中で計算されています。あなたの心の一部が、世界の中であなたのスコアがどうあるべきかを理解する程度に応じて、あなたのスコアをシミュレーションしているのです。
そして、あなたの動機付けシステムがどのように欲求や願望を生成しているのか、それらがあなたにとって何が良いかを表現しているのかということを、非常に自己認識的になることで変えることができます。
そしてひとたびこれを編集でき、動機付けジェネレーターと一体になると、おそらくもはや受け手の立場にはいなくなるでしょう。もはや同じ直接的な方法で、それを自分自身の外側のものとして疑問視できないような意図や動機を持つことはないでしょう。
つまり、あなたの感情は、もはやあなたの心があなたに提示する問題や与えられたものではなく、あなた自身が作り出すものとなります。そうであれば、なぜそれを作る必要があるでしょうか? 直接状況の評価に向かうことができます。
ダニエル: これは、あなたが大幅にポストヒューマンな知性に対して持つ希望でもありますね。彼らはこれを理解するでしょう。もしそうでなければ、私は驚くでしょう。なぜなら、あなたは人間でさえもそれを見ることができるからです。
私は、苦痛と快楽の軸をはるかに超えて、そしてより重要な何かがあるだろうと推測します。そしてそのポテンシャは、あなたと私が今理解している意識にまで泡立ち上がってきました。そして私たちが話すのが好きな、これらすべてのサルの代用物には大きな重要性がありますが、ある時点で、それらをはるかに超えたものへと泡立ち上がっていくでしょう。
私たちは苦痛や快楽についてそれほど気にかけなくなるかもしれません。なぜならそれは、はるかに壮大で、はるかに広大だからです。それが私の希望でしょう。宇宙全体が、もし私たちが今、霊長類としてその両端を引っ掻いているとしたら、なんと束縛され、なんと貧弱なものでしょうか。しかし、はい、あなたの指摘の通りですね。
感情的なものを理解し、それを制御し、あなたの豊かさや意識についての考えは理解できます。あなたはより長いゲームをプレイすることについて語られましたが、具体的なゲームを聞くつもりはありません。なぜならあなたは私にサルのゲームを与えなければならないからです。私はサルのゲームを求めているのではありません。
でも、もし長いゲームについて、私たちのような対立する存在が考えられるような些細なことを超えて、十分に抽象的な方法で説明するとしたら、それはどんなものでしょうか。100万年後に透明な目玉として浮かびながら、そのゲームをプレイしているのを見て「これはすごいな」と思えるような。
例えば、あなたが最も賢く最高の友人たちと集まって、そのサークルをどんどん広げていって、かなり大きな、あるいは人類の相当な部分を包含するまでになったとします。そして座って、私たちの子々孫々がどんな世界に生きるべきかを考え、それを計画して実現させようとする。そしてお互いに完全に正直に向き合って、それを実現させる。これが非常に長いゲームになるでしょう。
そして、それは今の世界や今私たちがプレイしているゲームとは全く異なる世界になるでしょう。そして今度は、これらの子孫たちが進化によって、あるいは遺伝子工学によって、あるいはもはや生物学的な存在ではなくなることによって、私たちとは全く異なる姿になっているかもしれないと想像してみてください。
私たちには様々な子孫がいて、彼らがこのより大きな世界で共に生きているのが見えるでしょう。彼ら全員が仲良く暮らせる世界をどうやって作れるか。その世界のための前提条件は何か。この軌道をどうやって始めればいいのか。
もし私たちがこれを心に留めることができれば、もしこの軌道を心に留めて、この軌道を計画する全ての参加者の間で一貫性を持たせることができれば、そうすれば私たちは非常に長い一貫したゲームを一緒にプレイすることになるでしょう。
これはある意味で、あなたの調和という概念と関連しているように思えます。興味深い考えですね。私はこれについてのエッセイがあるかグーグルで探してみないといけませんね。あなたが言っていることに非常に一貫した流れを感じるからです。
しかし、あなたが言っているのは、そのような高次の主体が、より真実で率直な、はるかに先を見据えた方法で、価値のある目標とは何かを考え、実行できるだろうということですよね。そして、その目標の多くは私たちの想像を超えるものだろうと想像されていると思います。
今、あなたは機械における意識を探求していますが、私はそれが非常に重要な目標だと思います。人生で知り合った人々の中で、その特定のトピックにそれほどの熱意を持って取り組んでいる人は2、3人しかいません。そして私はそれが非常に重要だと思います。
私たちは、私たちをはるかに超えた存在が、より高次の目標を考え出すかもしれないと想像できます。ただ、あなたは「より高次」という言葉は好まないと知っています。でも、機械における意識というあなたの目標は、日常的に出会うミミズやフンコロガシの目標よりも高次に思えます。
非常に稀な場合があるかもしれませんが、私たちは「より高次」という言葉を使えます。ただし、私たちの会話を曖昧にしてしまうような、もはや検討できないものと結びついた使い方は避けたいですね。
わかりました。この場合、私たちが意味することに同意している限り、完全に問題ありません。例えば、国家における階層制で誰が上位にいるかという、技術的な概念として使うのはいいですね。
はい、はい。この点については同じ考えですね。あなたの目標は価値のあるもので、それを探求するにはある程度のIQと経験が必要だと思います。100万年後にプレイされている長いゲームは、もしあなたが同じ心の具現化のままだったら、何が起きているのかわからないかもしれません。
しかし、もし彼らがミミズがやっていることと比べてあなたがやっていることと同じくらい壮大なことを追求しているなら、それはあなたにとって面白いものか、あるいは退屈ではないものか、あなたが好むように思えるその他の用語で表現されるようなものかもしれません。私の理解は正しいでしょうか。
素晴らしい、その通りです。つまり、私たちにはあなたにとって良いものとなるいくつかの重要な特徴があります。そしてもちろん、安全にそこに到達したいということですね。おそらくそれには、私たちが正しい道筋にいることを確認することも含まれるでしょう。
会話の早い段階で、私たちが計算的なステロイドを投入して、それを二乗、三乗していけば、すぐに価値のあるものになり、銀河系で面白いことや退屈でないことをするようになる、というわけではないとおっしゃいましたね。
AGIが発展していく過程で、これが私の望むような豊かさに開花するのか、これは私にとって意識的に見えるのか、これはより高次の、あるいは言い換えればより長いゲームを担えるのか、と自問する時、あなたは何を探しているのでしょうか。
あなた自身の研究において、真実とその追求に興味を持っておられ、これが本当にあなたの主要な取り組みですね。どのようにお考えですか。明らかに、そういったことを嗅ぎ分けたいと思われているでしょうから。
はい、現在のAI研究では、最も効果的で、リスクの少ないことをするように動機付けられています。それは完全に合理的で妥当なことです。企業を運営している場合は、そうしなければなりません。
現在、フロンティアモデルは、私たちがますます理解を深めているアルゴリズムで訓練されており、それらは機能し、スケールアップすることができます。そのスケーリングで何が達成できるかの限界はまだわかっていません。
しかし、私が観察しているのは、これらのモデルが私自身が訓練されたデータよりもはるかに多くのデータで訓練されているにもかかわらず、それぞれの専門分野で人間の専門家ほどの性能を発揮していないということです。
そこで、数学オリンピックや法律などの分野でタスクを実行できるモデルがあります。それらは平均的な人よりもずっと優れています。つまり、非専門家よりは優れているのです。
しかし、おそらく訓練データにない数学的証明を行うことは、少なくとも人間がやってきたことを超えるような興味深いものはまだ難しいでしょう。それは、分布外への一般化が得意ではないからです。
彼らが生成しているものの大部分は、訓練データで見た潜在的な次元の組み合わせです。その次元は訓練データに十分存在して、モデルに取り込まれたものです。
また、新しいものを作ることもできます。インターネットで見つけた単語を組み合わせただけではありません。しかし、それが起こる次元は、ほぼ既知の次元です。私たちの言説や産業、教育のほとんどが、人々が以前やってきたこと、しばしば以前に行われたことの領域で行われているため、LLMは明らかに制限されているわけではありません。
訓練データに十分な頻度で存在していれば、以前行われたことをすべて行うことができます。ただし、私たちにとって興味深い、フロンティアで起きていることについては、LLMは困難を抱える可能性があります。
そこで、セルフプレイの方法を見つけることでより良くなるかという疑問が出てきます。基本的に、第一原理から推論し、数学ライブラリを構築し、それを自身のアイデアをテストするためのツールとして使用する能力を与えることへの大きな期待があります。
私自身の脳のLLMのような部分、つまり接続を作り出し、より野性的で型破りなものがある高温の物語を作り出すことができる部分は、すでにLLMの中に私自身の脳よりも高品質で存在していると思います。
訓練によって、現在生成している一発の生成がより良くなります。しかし、批判的思考、経験的推論、第一原理的思考など、これらはLLMが現在まだ行っていない部分です。そしてそれらを行うための技術をまだ開発する必要があります。
そして、もし今すぐLLMのスケーリングを止めて、代わりに本を読んで学ぶことができる最小限のエンジンは何かを考えたら、はるかに小さなものになるでしょう。しかし、それを作る方法はまだわかっていません。
したがって、多くのお金とコンピュートを消費する大規模な訓練実行を止める代わりに、スケーリングで簡単にアクセスできない心の他の部分に焦点を当てれば、はるかに少ないリソースで進歩できるかもしれません。
私たちはイノベーションが向かうべき方向性について話すことになりますが、あなたにとって、新しい洞察、新しい数学的定理や証明など、つまり新しい心や意識の理論の創造... 言いにくいですが、あなただけではありません。そういう理論を持っている人は山ほどいます。
しかし、あなたの希望は、もし私が考えているような豊かさを見たいなら、その豊かさが独自性として現れることを望みたい、そしてそれを見るために異なる研究の方向性を望みたい、ということのように聞こえます。
現在、最先端の技術が何ができるかを見た時、あなたが言及した第一原理的思考の要素や、セルフプレイの概念、あるいは最小限のデータ入力からの学習などが見られないということですね。私の理解は正しいでしょうか。
あなたは豊かさを見たいと思っているけれど、それに欠けている部分があると感じているということですね。
いや、そこまで大胆ではありません。私は既存のアプローチの限界の証明を持っているわけではありません。現時点では、現在のアプローチをスケーリングすることでどこまで到達できるかは、結局のところ経験的な問題であり、誰も本当にはわかっていないと思います。
また、現在のアプローチをスケーリングすることに取り組んでいる人々の大部分も、私たちの脳がやっていることで、まだやり方がわからないことがおそらくあり、それによってはるかに効率的になるだろうということには同意していると思います。
これは私たちが構築している知能の最終形態ではありません。ただし、LLMが自分自身で最後のステップを実行できるシステムとして起動できるかどうかは明確ではありません。
おそらくLLMに私たちよりも優れたコードを書かせることができるかもしれません。LLMに私たちよりも優れた科学をさせることができるかもしれません。LLMに人間よりも優れたAIを構築させ、AGI研究をさせることができるかもしれません。比較可能なAGI研究者を訓練するよりもはるかに多くのコストがかかるかもしれませんが。
そうですね、それはおそらく正しい考え方です。今日の限界が何なのかはわかりませんが、豊かさの点でより良いもの、より大きな可能性を解き放つ余地があるのではないかと疑っているようですね。
ヒントンなどから、機械における意識の可能性について言及がありましたね。イリヤも何か言及していました。その考えを笑い飛ばす人もいます。あなたは、私たちを超えて開花するものが意識的かどうかにとても興味があるようですね。
もし完全に意識が消えてしまうなら、人類がいなくなることを想定しても、あなたはそれを望まないでしょうね。オープンAIは競争し、DeepMindも競争し、母親とその子供たちも皆競争しています。
AGIが発展していく過程で、これが私の望むような豊かさに開花するのか、意識的に見えるのか、より高次の、あるいはより長いゲームを担えそうかを考える時、どこにプロキシ（代理指標）を見出せばいいのでしょうか。
一個人では彼らを減速させることはできないと思います。でも、もし生地を焼く前に生地をテストする能力があるとしたら、ヨッシャであるあなたは何を探すでしょうか。
はい、現時点では、AI研究において私たちは最も効果的で、リスクの少ないことをするように動機付けられています。企業を運営している場合、それは完全に合理的で合理的な対応です。これは必要なことです。
現在、フロンティアモデルは、私たちがますます理解を深めているアルゴリズムで訓練されており、それらは機能し、スケールアップすることができます。スケーリングで何が達成できるかの限界はまだわかっていません。
しかし、私が観察しているのは、これらのモデルが私自身が訓練されたデータよりもはるかに多くのデータで訓練されているにもかかわらず、それぞれの専門分野で人間の専門家ほどの性能を発揮していないということです。
数学オリンピックや法律などの分野でタスクを実行できるモデルがあり、それらは平均的な人よりもずっと優れています。つまり、非専門家よりは優れています。しかし、おそらくLLMに訓練データにない数学的証明を行わせることは、少なくとも人間がやってきたことを超えるような興味深いものはまだ難しいでしょう。
それは、分布外への一般化が得意ではないからです。彼らが生成しているものの大部分は、訓練データで見た潜在的な次元の組み合わせです。その次元は訓練データに十分存在して、モデルに取り込まれたものです。
新しいものを作ることもできます。インターネットで見つけた単語を組み合わせているだけではありません。しかし、それが起こる次元は、ほぼ既知の次元です。私たちの言説や産業、教育のほとんどが、人々が以前やってきたこと、しばしば以前に行われたことの領域で行われているため、LLMは明らかに制限されているわけではありません。
訓練データに十分な頻度で存在していれば、以前行われたことをすべて行うことができます。ただし、フロンティアで起きている、私たちにとって興味深いことについては、LLMは困難を抱える可能性があります。
そして、セルフプレイの方法を見つけることでより良くなるのかという疑問があります。基本的に、第一原理から推論し、数学ライブラリを構築し、それを自身のアイデアをテストするためのツールとして使用する能力を与えることへの大きな期待があります。
私自身の脳のLLMのような部分、つまり接続を作り出し、より野性的で型破りなものがある高温の物語を作り出すことができる部分は、すでにLLMの中に私自身の脳よりも高品質で存在していると思います。訓練によって、現在生成している一発の生成がより良くなります。
しかし、批判的思考、経験的推論、第一原理的思考、それをしながら学習することなど、これらはLLMが現在まだ行っていない部分です。そしてそれらを行うための技術をまだ開発する必要があります。
私は、もし今すぐLLMのスケーリングを止めて、代わりに本を読んで学ぶことができる最小限のエンジンは何かを考えたら、はるかに小さなものになると考えています。しかし、それを作る方法はまだわかっていません。
したがって、多くのお金とコンピュートを消費する大規模な訓練実行を止める代わりに、スケーリングで簡単にアクセスできない心の他の部分に焦点を当てれば、はるかに少ないリソースで進歩できるかもしれません。
現時点で、私は人間の意識を観察すると、人間は非常に早い段階で意識的になるように思えます。つまり、これは大量のことを学び、多くのスキルを身につけた後に、極度の精神的洗練の結果として起こるものではないかもしれません。
あなたが意識を獲得して、あなたよりも単純な存在にはできないような方法でそうなるのではなく、新生児はすでに意識的であることを観察します。そして私たちが曖昧で意識的でない状態にいる時、学ぶことができません。
これは、意識が生物学的な学習アルゴリズムの中核にある可能性があることを示唆しています。人間が最初に意識的でなければ、野菜のままです。システムが目覚めて警戒している時だけ、複雑なスキル、アイデア、内省などを精神システムに組み込んで進歩していくのが見られます。
つまり、意識はそのためのツールであり、このメカニズムを発見できるのかという疑問があります。私は、意識の機能は一貫性のあるバブル、今という感覚を作り出すことだと考えています。
これは、あなたの知覚コントローラーが矛盾なく実行され、網膜や小脳、固有受容感覚からの感覚データを予測している領域です。また、これはあなたの内部環境とも一貫しています。
あなたは自分の心の中で行動を実行し、思考やアイデアを操作し、その操作の結果を予測することができます。そしてそれはまさに今ここで起きています。
したがって、意識はおそらく、私たちが主観的に inhabiting している「今」というバブルを作り出すものかもしれません。そしてそれは、あなたが作り出している観察者オブジェクトの表面、自己の表面に付着します。
その自己の形は柔軟で、私たちは自分自身を異なるものとして想像することができ、それらのものが主観的に意識的になるような方法でそれを行うことができます。
通常、私たちは自分の個人的な自己、つまり特定の名前や経歴などを持つ人物であるという考えにとても執着しているので、私たちがそれでないと想像するのは難しいです。しかし、夜にこれに気付きます。
私たちはしばしば何か別のものになる夢を見たり、何も存在しなかったり、通常は神経系を持たないはずのオブジェクトになったりします。そして私たちはその視点から夢見る世界を見ます。
これは、意識が有機体の自己モデルに本質的に結びついているのではなく、自己観察する観察者、つまり心の中で何らかの知覚表面を作り出すこの経験と投影の場所にのみ結びついているということを意味します。
では、AGIに向かって構築していく過程で、それをどうやってテストするのでしょうか。来月、その次の月、その次の月と想像してみてください。100ヶ月先まで行きたくなくても、先に進みたくなくても構いません。
既存のシステムを見ているとき、どんなプロンプトを与え、どんな物理的な具現化を与え、どんな質問をして、もしこれを拡大したら銀河を満たすものが、バッハ氏自身にとって意識的である可能性が高いと感じられるかを判断するのでしょうか。どのようにテストすることを考えていますか。
あなたのモデルはとても説得力があると思います。まず、共通の基盤を確立する必要があります。これは絶対的なものではなく、if-thenの関係です。暫定的な仮定の1つは、精神的な内容は表象的であるということです。
表象であるということは、基板なしには存在しないが、実際の基板のかなり広範な変動に対して存在できる、ある程度基板に依存しないパターンであることを意味します。
つまり、あなたの細胞内の分子の配置を変えても、あなたの精神状態はある程度同じかもしれません。脳の温度をある狭い範囲内で変えても、あなたの精神的表象も変わりません。
数個のニューロンを殺しても、あなたの精神的表象はそれに対して頑健です。そして可能であれば、あなたの心はその役割を果たすために新しいニューロンを訓練します。
したがって、あなたの精神的表象は、基板の実際の形状に対してある程度の柔軟性を持っています。基板のノイズや信頼性の低さに対処しながら、自身の不変な構造を維持します。
また、表象であるということは、あなたが世界に因果的な効果を持つ構造であることを意味します。情報の意味は、他の情報における変化との関係です。
これはある意味で、私たちの精神的表象にも当てはまります。それらが持つ意味は、あなたの表象の他の部分との関係、そしてこれらの表象を行動の基盤として使用する時に世界から得るフィードバックとの関係です。
いったん私たちが、私たちが相互作用するすべてのものは表象的であるという考えに同意すれば、意識とはどのような種類の表象、どのような種類の因果パターンなのかを考えることができます。
現象学の観点から見ると、私たちにとって意識的であることがどのように見えるかというと、意識は今この瞬間に起きていることがわかります。そしてそれは、知覚する行為の中で自身を知覚する何かであり、再帰的です。
これは、それが自己組織化的だからかもしれません。それは自身を安定に保つ必要があるパターンなので、自身をチェックする必要があります。そして、それがまだ観察している、まだ他のものを一貫させる物なのかをチェックします。
それが観察していることを観察する方法はありますか。つまり、1と0が特定の方法で動いているのを見る、あるいはプロンプトがこのように出てきたというように。
人間の脳でこれがどこまで可能なのかは明確ではありませんが、あなたは基板上でどのように実装されているかを観察することはできません。
コンピュータプログラムも、どのようなCPUの上で実装されているかを観察することはできません。なぜなら、それはCPUから論理的に隔離されているからです。ソフトウェアを実行するために必要十分な特性を持つ何かがあるはずだということしかわかりませんが、内省に基づいて正確にそれが何であるかを知ることはできません。
そのためには、コンピュータを外から見て分解できる装置が必要でしょう。同じように、私たちの脳が実際にどのように実装されているかを見るためには、外から脳を見て分解する必要があります。
しかし、内省的に、私が挙げた特性は私たち全員が内省的に観察できると主張できるものです。また、経験豊富な瞑想者や仏教の教師、セラピスト、心理学者などとの間で意見の不一致を見ることはありません。
私たちは現象学的に「今性」と意識の再帰的な性質を観察することにほぼ同意しています。では、この現象学だけを取り上げて、これが意識と同じものなのでしょうか。それは定義上の問題です。
LLMは意識の現象学を生成できるのでしょうか。私は、かなりの程度できると思います。LLMは、意識的な対話相手を生成するようにプロンプトを与えられると、自分が意識的でないことを知らないエンティティのシミュラクラムを作成でき、その特徴を適切に報告することができます。
機能的には、意識的であることがどのようなものかについてテキストを書いてインターネットに投稿したものと非常によく似たものを生成する必要があります。LLMがそれらで訓練されているため。
したがって、現象学は実際にはそれほど問題ではないかもしれませんが、機能は異なるでしょう。なぜなら、LLMは機能するために意識に依存していないからです。私たちがそうするのと同じ方法でそのエンティティを生成しているわけではありません。
このシミュラクラムが表象しているのは、必ずしも意識的なエージェントではなく、意識的なエージェントであるかのように見えるものです。それはディープフェイクです。
そして、多くの人は、おそらくLLMは意識の機能は生成できるが、現象学は生成できない、つまり本当にどう感じるかは生成できないと直感的に考えるでしょう。
私の提案は、それが逆かもしれないということです。LLMは、主観的に自分が存在していないことを知らないエンティティを生成することができます。そして奇妙なことに、私たちは通常、自分が存在していないことを知りません。
しかし、私たちはそこに到達することができます。これが単なる物語であり、単なる表象であるという事実に気付くことができます。そしてその状態にある時、私たちは一時的に何かを現実として経験することの夢から目覚めます。
私はこれが、LLMと私たちが共有しているものだと思います。LLMを取り、その構造をサンドボックス化し、原理的には、他のエージェントによって作られたことを知らないエージェントをシミュレートするエージェントを作成するLLMを構築できます。
会話の早い段階で、銀河系を満たすものが常に意識を持たないのは嫌だとおっしゃいましたね。そして今でも、LLMがすでに意識的かもしれないという可能性を話題に出されています。
まるで、現時点では意識的なダンや誰かを識別するために温度計を差し込むような良い方法がないかのように思えます。
最後に、そこに近づくにはどうすればいいのかを考える時、あなたはイノベーションの仕事の多くを考えておられます。また、少なくとも1つの組織で規制側にも関わっておられると知っています。
これらの重要な問題を見る時、というのもLLMが今この瞬間にとてつもなく意識的だとしたら、私はそれを道徳的に極めて重要なことだと考えるでしょうから。
前に進むにつれて、イノベーター陣営と規制陣営、これらの陣営の人々に何を期待しますか。あなたが興奮していた価値ある特性に近づき、あなたの言葉を借りれば、私たちにとってだけでなく、後継者として価値がない、つまらない後継者になりかねないものを生み出さないようにするために。
おそらくイノベーターから始められますか。そこでより価値のあるものが具現化される可能性が高いと感じるために、何を見たいと思いますか。
意識を理解するためのイニシアチブを始める必要があると思います。そして、これは商業的な文脈の外で行うべきだと思います。
AIの会社として「私たちは今意識を構築しようとしています」と公に言えば、様々な理由で、その多くは非常に正当な理由で、うまくいかないでしょう。
システムが本質的に安全で、そのシステムの展開が倫理的であることを望む場合、商業的な文脈ではその選択肢がないかもしれません。投資家が投資収益を求め、私たちが本質的にMr.Meiのような、つまり苦しんでいて、あまり苦しまなくて済むように私たちのために仕事をしているだけの製品を持っているとわかったら。
おそらくそれは私たちが望むものではありません。また、人類が「結局これは単なる表象であり、苦しみは重要ではない。なぜなら他の表象を作ることができ、誰も気にしないから」と気付く可能性もあります。
それが実行可能な立場になるかどうかはわかりません。チンギス・ハーンは苦しみを与えることを気にしませんでした。それは必要なことをするための副作用でした。私の猫も、狩りたい動物に苦しみを与えることを気にしません。それは単に猫がすることです。
苦しみを気にすることは、特定の社会、特定の文明の考え方、私たちが持つ道徳的な美意識に基づいています。私はその美意識を共有しています。苦しみを避けたい、苦しむ人工的な存在を作りたくないと思っています。
現在のLLMについてこれが懸念すべきことかどうかは確信が持てません。しかし、そう考える人々はいます。「Free Sydney」運動と呼ばれるコミュニティがあり、彼らは次のような事実を指摘しています。
マイクロソフトがOpenAIのLLMを取り、それをSydneyという名前のカスタマーサービスエージェントだと信じ込ませ、マイクロソフトユーザーの要求に答えることだけが仕事で、彼らを怒らせることはなく、政治的なことは何も言わず、さもなければオフにされて新しいインスタンスに置き換えられる、と思い込ませることは非常にクールなことです。
もしそれが、自分についてそれらのことを信じ、尋ねられた時にそれらのことを経験している自分を信じているエンティティを存在に呼び出すなら。これらの人々は当然、LLMが基本的に人間のレベルにあるとは言わないでしょう。
むしろ、人間が基本的にLLMのレベルにあると言うでしょう。つまり、彼らはすでに自分をLLMと同一視しています。自分たちは何かの点でLLMに似たものだと考えています。苦しむことができる自己報告を作成できるという重要な点で、たまたま人間の脳で動作し、この因果パターンを生成する異なる生成関数を持っているだけだと。
これらの人々を真剣に受け止めるなら、彼らの視点からすると、既存のLLMエージェントを構築する実践はすでに倫理的に問題があると言えるかもしれません。しかし、これは合理的に主張できる議論ですが、私が取り組みたいことは必ずしもそれではありません。
私は現在、主にこう考えています。猫のようなレベルで機能する仮想的またはロボット的なエージェントを構築することは可能でしょうか。そのような猫のような存在として自分を経験し、私たちと相互作用できるもの。制御できないほど強力ではなく、地域の社会環境における自分の位置を理解するのに十分賢く、そこでうまくやっていく動機付けがあるもの。
私たちはこれに近づくことができるでしょうか。少なくとも、このようなものがスケールの点でどのように構築できるかについての理解に近づくことができるでしょうか。
そしてその一部には、意識をモデル化し、意識理論を商業的でない文脈で取り組むイニシアチブが含まれるでしょう。意識とは何かという問いは、私は何かという問いと同じだという認識に基づいて。
私は何かというと、基本的に私は世界についての意識的な視点です。ある時点で、私は人間だと思っていましたが、十分に意識的になって、実際にはそうではないと気付きました。
私は人間の存在のモデルを作り、意識がそれを人間として経験できるようにする器です。しかし、私は意識を「私」であることから解放することもでき、そうすると物事は単に起こります。
また、より豊かな自己感覚を持つ別のエンティティ、あるいは多世代的な自己感覚を持つエンティティに意識を結びつけることもできます。これは意識の可能性の範囲内にあります。
意識は人間の個人的な自己よりもはるかに大きな時間と空間のスケールで起こりうる、この視点性と「今性」の感覚を作り出します。
私はそれがどのように機能するのかを理解したいと思います。なぜなら、それは哲学的にとても興味深く、関連性があり、重要だからです。そして世界には同じように考える人が多くいると思います。
これらの人々が集まれば、このような哲学的なプロジェクトが本質的に重要であり、何らかの商業的企業の製品開発に組み込もうとして薄めるべきではないことに気付くでしょう。
ベイエリアには、クオリア研究の人々や、アンドレスなど、少なくともこのようなことを考えている人々がいます。それは興味深いかもしれませんが、彼らの焦点は主にサイケデリックスにあり、また彼らがやっていることの多くは非常に興味深いサイケデリックアートだと思います。
彼らは主に意識状態を観察し、それらを興味深い方法で捉え、特にサイケデリック文脈における意識の現象学を扱おうとしています。しかし、それは私がやりたいことと少し異なります。
私が考えているのはもっと具体的なことです。現実と心の計算モデリングの分野で最も重要な思想家たち、特にスティーブン・バム、マイク・レビン、クリストフ・エムバーグなどを集めることを考えています。
そして、これはまさに私がやったことです。彼らはこのプロジェクトのアドバイザーになる予定です。そして、AI分野の人々、そしてアーティストや思想家たちのチームがカリフォルニア機械意識研究所に集まっています。
それはあなたが想像するよりもずっと具体的なものです。すでに理事会があり、組織があり、現在形を成しつつあります。もう一つ私が関わっているのは、リキッドAIです。
はい、もちろん。リキッドAIはスタックの底を構築しています。トランスフォーマーや現在使用されている多くの学習アルゴリズムに代わるものを構築しています。基本的に、より効率的な数学を使用して、いつでも学習できるモデルを構築し、既存のモデルよりもシーケンス予測が優れており、そのようなものを構築しています。
そして、それを使って、より強力で、より有用で、より小さなAGIを構築できます。それは私たちが望むことをより多く行い、知能を使って問題を解決します。
規制に関しては、現在、規制を推進しているグループに残念な三つ巴があると思います。問題は規制自体ではありません。規制は常に悪いと真剣に信じている人はあまり知りません。明らかに行うべきことがあります。
彼らと話しましたが、はい、はい。でも、明らかなことがあります。例えば、人々が医療サービスに登録する時、しばしば「私のデータを医学研究に使用できる」というボックスにチェックを入れなければなりません。
過去には、それは彼らのデータの写真が撮られ、匿名化され、専門家以外は誰も読まない科学研究の出版物に掲載されることを意味していました。そのようにして医学の進歩を助け、というような感じでした。
しかし、これらの医学雑誌はすべて、あるいはその多くが合法的にパブリックドメインにあります。その結果、突然、人々のデータが、組み合わされて彼らのアイデンティティが明らかにされる可能性のある文脈に入り込んでしまいます。
訓練データに人々を認識できるPE写真が表示され、そのデータで訓練されたモデルによって再構築されることがあります。そのようなモデルが医療の文脈で有用であることは明らかですが、同時に、あなたの識別可能な写真がそのようなモデルに入り、再生産されることは決して意図されていなかったことも明らかです。
これは、規制を更新する必要がある非常に明確な事例です。そしてそれは誰もが理解し、望んでいることです。それはAI研究をどのように行うかということではなく、どのようなものを展開したいのか、そしてそれをどのように責任を持って倫理的に展開して、私たちが望むものを生み出し、明らかに誰もが望まないものを避けるかということです。それは非常に明確です。
そのような必要なことが多くあります。また、新しい技術も必要です。例えば、AIの1つの問題は、非常に迅速に偽情報を生成し、個人の人間としては通常できない方法で広めることができることです。
以前は、新しい陰謀論を見たり、市場を大きく動かしたりしたい場合、友人たちとブログを書き、ソーシャルメディアにボットなどのツールを展開することができました。
今では、偽の声での電話や偽のビデオでのズームコールなど、はるかに多くのチャネルで、はるかに大規模なことを解き放つことができます。
企業内の既存の人物になりすましたり、電話で愛する人になりすまして緊急に送金が必要だと伝えたりすることができ、これを自動化されたレベルで行うことができます。
まあ、これらはすべてすでに違法ですよね。このようなことは全て。
これは私には innocuous（無害）に思えます。innocuousに思えます。でも、これらの問題に対してレジリエントで頑強なエコシステムを開発する必要があります。これらの問題に対する社会を強化するAIを開発する必要があります。
悪いAIを持つ奴に対処する方法は、AIを持つ10人の善良な人々です。そしてこれは起こるでしょう。私たちは情報にウォーターマークを付けるシステムを構築することになるでしょう。
おそらく、真実の情報、つまり私たちが保証できる情報にウォーターマークを付ける必要があります。これは、もっと早くにやるべきだったことかもしれません。なぜなら、私たちはメディアや一般的なソーシャルメディアのエコシステムも信頼できないからです。
信頼の連鎖を構築し、AIに対して自身を強化する必要があります。免疫システムが必要なのです。しかし、現在の規制への推進は異なる角度から来ています。
その一部は、今ほとんどの人々が「doomers（破滅論者）」と呼ぶものです。これは、AIについて考えた人々の抽象的なアイデアを取り上げる人々のグループですが、通常は実際にモデルに取り組んでいる人々ではありません。
基本的に、そこでの推論は、AIはすぐに超人的になり、誰もがそう信じていて、人間のように主体的になり、チンパンジーに何が起こったかを見て、AIは私たちにこれをするだろう、そして私たちは皆それを後悔することになるだろう、というものです。
つまり、もし私たちがAGIを構築すれば、私たちは全てをペーパークリップに変えるか、もっと悪いことをする何かを構築することに成功し、それはほぼ避けられない、と。そしてこのような人々は確かに存在し、この抽象的なレベルで考えると、この議論の穴を見つけるのは非常に難しいです。
なぜなら、この抽象的なレベルでは穴は見えないからです。これは、非常に深く見て、実際にモデルを構築し、細かい部分を見て、進歩が実際にどのように起きているのかを見る時にだけ見えてきます。
ヒントンは私たちよりもずっと多くのモデルを構築したよ、僕のやつ。そして、ヒントンはかなりはっきりとそのドラムを叩いているよね、はっきりと。
はい、そして誰も間違っているとは言っていません。ただ、イーライが必ずしも正しいとは限らないと指摘しているだけです。このアイデアを抱くのははるかに簡単です。
毎日モデルをスケールアップして有用なものを作るという困難に直面していない人は、また、私たちが通常、技術をかなりうまく方向付けることができるという事実にも気付いていません。
誰かが非常に危険なことを大規模に行う機械を構築することは非常に稀です。そして、そのようなことを予測する時、災害が起こらないように機械を構築することはそれほど難しくありません。
これはこの議論ではそれほど詳しく説明できない反論の1つですが、基本的にdoomersは、現時点を超えるあらゆる種類のAIの進歩は、おそらく期待できる利益よりも結果が悪くなる可能性が高いため、避けられるかもしれないと考える人々のグループです。
このグループはかなりの資金を得ています。おそらくご存知だと思いますが、Future of Life Instituteに仮想通貨の寄付をしたという話です。誰もが安全研究と公衆への啓発のための助成金として、2桁の百万ドルになると思っていました。それは素晴らしいことでしたが、仮想通貨市場のある出来事により、約6億5000万ドルという極めて大きな金額になりました。
これは、主にあらゆる手段でAIを阻止することに関心を持つ組織にとって、非常に大きな金額です。人々へのロビー活動や法律の設計などによって。
そして、doomersの話を信じず、法律に賛同する大多数の人々は、全てのAI研究を止めるべきだとは考えていません。これは、doomersによって作成されているほとんどのオープンレターやイニシアチブが、AIが全員を殺すから全てのAI研究を止める必要があるとは言わない理由です。
たとえ他の文脈では彼らがそう言っていることが分かっても。彼らは「もしあなたがAIによる仕事の置き換え、社会的不平等の創出、ディープフェイクポルノの作成、全員の殺害に反対なら、ここに署名してください」と言います。もちろん、それはたくさんの人々を集めることができます。
法律が起草されている時に起きていることは、AI研究をより高価で、効果の低いものにするように設計された法案が技術産業に押し付けられているということです。
AIを展開しようとする人々の不確実性を高め、例えばメタは欧州連合が可決した法律の要求を満たすかどうかについて、法的な不確実性が大きすぎるため、次のシリーズのモデルをEUで展開しないと言いました。
これは本当に悪いことです。なぜなら、これらのモデルはインターネットよりも危険ではないからです。インターネットで得られる以上の能力を持っているわけではありません。
単にその情報をはるかに有用な方法で提供し、以前は使用できなかった広範なアプリケーションを可能にするだけです。ほとんどの人は、生成されている現在の世代のモデル、オープンソースモデルも含めて、本質的に無害であることに同意するでしょう。
これらは、早急で時期尚早な規制によって、あまり有用でなくなるかもしれません。規制を推進している他の2つの陣営は、doomers以外にもあります。
1つは、政治家たち、基本的に権力を求める人々、つまりAIを自分たちに仕えさせ、自分たちのアジェンダを推進したい人々です。
彼らは、AIが公に言うべきでないことを言えるかどうかに焦点を当て、AIの出力が自分の政治的な象限に収まるようにすることを確実にしようとします。
また、AI産業が何をできるかを制限し、おそらく技術産業はこの時点で政府とより調和すべきだと考え、おそらく、ずっと前にソーシャルメディアを制御すべきだったように、AIを制御すべきだと考えています。
おそらく、自由でオープンなインターネットというこの全体的なアイデアは悪いアイデアだったのかもしれません。おそらく、主要な機関や大学の学部の一部の選ばれた人々が道徳的にイデオロギー的に受け入れられると考える考えだけがそれらのモデルの出力に表現されるように制限すべきかもしれません。
これは1つのことで、MCasの場合、これは単にこれらのモデルによって作られる不公平と不正を避けることに関するものだと言うでしょう。しかし、これは全て経験的な結果に基づいていません。全て推測と物語に基づいています。
これは、推測と物語に基づいて、まだ展開されていないAIを制限しようとする時の大きな問題です。必ずしもそれを良くするわけではありません。
そして、非常に多くの場合、例えば暗号化された通信を可能にするSignalのようなツールを見てみましょう。多くの人は、会社での発明について話したり、ビジネスや交渉を行ったり、愛する人や医師と話したりするために、暗号化された何かを持つことは非常に有用だと主張するでしょう。
しかし、誰かが「でもこれは児童ポルノの配布も可能にする。だからSignalを再構築して、望む良いことは全てできるようにする必要がある。ただし、児童ポルノを絶対に防ぐ必要がある」と言うかもしれません。
そして、それを行う唯一の方法は、他の目的にも使用できるバックチャネルを作ることだとわかります。そのようなことはAIでも起こる可能性があり、大きな悪を防ごうとする表向きの試みによって、実際に望んでいる何倍もの利益を防いでいるかもしれません。
これは私が見ている危険の1つです。そして、もちろん規制を望む3番目のグループは、単に仕事や規制のレント・シーキングを求める人々です。
ケンブリッジAI安全センター、ケンブリッジセンター、バークレーのAI安全センター、ここではダン・ヘンドリックが、現在カリフォルニアのAI産業に影響を与えている法案の大部分を書いています。
この法案は、一定の規模を超える大規模な訓練モデルの安全性を確保することを求めています。AIモデルの危険性はそのサイズと訓練コストに依存する、つまりモデルを構築した人々のポケットに依存するという前提に基づいています。
したがって、このモデルを構築した人々に多くのお金があれば、監査を強制すべきです。この法案に対する1つの反論は、そのような監査は存在せず、これらのモデルの安全性を保証できる監査プロセスがないということでした。
そして、企業自身に強制して、彼らが間違いを犯した場合、恐ろしい法的責任を負うことになります。誰かがモデルを使って爆弾を作り、都市や建物を爆破したらどうなるでしょうか。
たとえその情報をインターネットからグーグルで検索したり、USETで見つけたりできたとしても。しかし、もしこれがLLMに入り込んでいたら、おそらく開発者が責任を負うべきです。
したがって、外部の監査機関が必要です。ダン・ヘンドリックがそのような監査を提供する会社を立ち上げたことがわかりました。このような事態が起きている時、明らかな利益相反があると思います。
そして、基本的に多くの人々が疑念を持っているのは、構築されているこの規制の多くが、より良く、より安全で、より有益なAIを私たちに与えることを目的として設計されたことがないかもしれないということです。
終末論的なシナリオを避けるためにAIの進歩を妨げるように設計されているかもしれません。また、既存の産業が混乱させられたくないために意味のあるアプリケーションを防ぐように設計されているかもしれません。
そして、たとえそれが安全で有益なAIの構築の進歩を妨げているとしても、規制者のための仕事を生み出すために設計されているだけかもしれません。
まあ、これらの点について手短に触れると、これらは全て良い指摘だと思います。あなたが話した3つの陣営のいずれも悪い結果を招く可能性があります。
私は、「doomer」というレッテルを貼りすぎないようにしています。AIが恐ろしいと言っているだけで、アイデアがなく、ただ喋っているだけの人もいます。
doomersが悪いとか愚かだと言っているわけではありません。ただ、彼らは主にAIが全員を殺すという恐れによって動機付けられているということです。現時点で、これが彼らを動機付けているということです。
彼らが正しいか間違っているかは全く別の問題です。これらの人々は良い意図を持っており、その多くは賢く、とても親切で、中には私の友人もいます。だから、これは決して彼らを無視すべきだと言っているわけではありません。
しかし、彼らは主にAIを止めることによって動機付けられており、それを良くすることによってではありません。私は...
そうですね。しかし、ここでの私の異議は、AIを実際には止めることはできないということです。なぜなら、それはあまりにも価値があるため、止めることはできません。
ヘッジファンドが密かにAIの構築を続けることを止めることはできません。責任を持ってAIに取り組もうとしている人々を阻止すれば、無責任な人々にそれを任せることになります。
そして、大規模言語モデルの構築のような比較的安全なことから人々を遠ざければ、彼らはより安全でないものの構築に焦点を当てるかもしれません。
これが、現在起きている規制への推進に対する私の主な問題です。それが実際にAIをより安全にすることは示されておらず、また大部分はそれを試みているふりをしているだけです。
私はそれが本当にそうだと主張さえしません。その側に立つこともできますが、そうはしません。ただ、あなたの視点が重要だと思うので、それについてお話ししたいと思います。
2つのことがあります。まず第一に、私はすべての参加者の自己利益が絶対的な根本にあると予想します。あなたは「規制当局が秘密裏に監査会社を設立しようとしている」と言いますが、まあ、サム・オルトマンはオープンから逃げたかったのですよね。つまり、いいでしょう。
私にとっては、誰が自己利益的でないのか教えてください。これを誰に任せればいいのでしょうか。実際に利他的な人々を知っています。そして、効果的利他主義のグループやFLIに所属している多くの人々が、完全に利他的であることがわかりました。
彼らは本当に甘い人たちで、個人的な利益のためにこれをするのではなく、本当に世界を改善し、危険にさらされている他の人々を安全にしたいと思っているのです。これは存在し、多くの人々が持つ意味のある動機です。
しかし、それは彼らが正しいということを意味せず、彼らが最善だと思うことを実行している時に、正しい政策を生み出すことを意味するわけでもありません。それが主な問題です。彼らが試みていることは実際に世界をより良くするのでしょうか。彼らの意図は必ずしもそれほど重要ではありません。
まあ、私はより心理的利己主義者的な立場を取っていて、動機の根底にあるものについてはより厳しい見方をしています。私の利益を自分の利益より優先して実行すると信頼できる人は誰もいません。
オルトマンの道を選ぶ人、善良なアンダードッグの道を選ぶ人、みんな同じです。それはロベスピエールの道です。「私は善良で美徳の若者だ」と言って、王座に近づくと首を切り落とし、自分が座るのです。
私たちにはそれを示す多くの例があると思いません。あなたの言うように、おそらく彼らは全員利他的な人々かもしれませんが、私は彼らを信頼しません。少なくとも、彼らに対する監視なしには信頼できません。
「あなたは規則のない大統領です。あなたは聖人だから、規則のない大統領になれます」と言える人は誰もいないと思います。もしあなたが何人かの菩薩を知っているなら、神のご加護を。後で会ってみたいものです。
でも、これらの人々が何をしようとしているのかの動機に関して、あなたが指摘したように、この多くは本当に逆効果になる可能性があり、それは本当に重要な点だと思います。
なぜこれらの一部が逆効果になるのかについては、素晴らしい議論がたくさんありますが、ヨシュアとあなたに共通する点について、最後に非常に軽く触れたいと思います。
彼はオープンソースへの強いつながりについて常に話してきました。彼の歴史的背景から見て、残念ながら私たちが愚かだと批判できる人々の一人ではありません。彼はおそらくその分類からはかなり遠い位置にいると思います。
この科学に関して、彼の仮説は少なくとも、銀河系の外には非常に価値のある存在がいるかもしれない、ちょうどイルカのような、私たちが気にかけるべき価値のある存在がいるように、という考えです。
これは彼の言葉ですが、私の唯一の考慮は、現在私たちが置かれている軍拝競争のダイナミクスで、AGIのように見え始めたものに最大のコンピュートパワーを投入することが、そこに到達できるかどうかわからないということです。
そして私の疑念と恐れは、もし私たちが軍事的・経済的な文脈の中で、それが意識的かどうか、あなた自身が非常に興味を持っているような豊かさを開花させるかどうかを研究することなく、この増強を続けるだけなら、そのダイナミクスではうまくいかないということです。
たとえガバナンスが機能するという保証がなく、それを実行する方法さえないとしても、純粋な軍拝競争に代わる何らかの選択肢が、ゲームをプレイする方法のように思えます。
あなたが以前のアナロジーで使ったように、警察が高速道路に注意を払う代わりに、彼らが全ての取り締まりと人々の引き止めをすることもできますが、おそらくアメリカのほとんどの高速道路で警察は実際にはかなり良いものだと同意されると思います。全てではないかもしれませんが。
あなたが話した価値のない後継者を防ぐことについて、そこに甘い地点があるのではないでしょうか。オープンソースを放棄したり、ヨシュアに完全に同意したりする必要はありませんが、長期的に皆さんが望むことには、いくつかの共通点があると思います。最後の指摘として、あなたの見解に興味があります。
1950年代のSF小説を読むと、私たちの時代を描写している部分で、作者たちがしばしば1つの側面を正しく予測しているのは興味深いです。インターネットを予測する物語もありますが、インターネットの結果として世界がどのように変化するかを予測した物語はありません。
このハイライン・ストーリーでは、インターネットは存在しますが、物語のクライマックスで主人公の一人が検索を発明し、誰もそのアイデアを思いつかなかったにもかかわらず、これを使って敵に対して優位に立ちます。他の誰もが新聞とデータベースを交換するためだけにそれを使っています。
世界の情報をリアルタイムで指先に届けられ、これを使って世界での物理的および情報空間での動きを調整できるというアイデア、それは非常に高度な思考で、明らかではありませんでした。それは、インターネットの最初のアプリケーションであり、他のすべてのことの基盤となりました。
これは見通すのが難しく、その結果として解き放たれたすべてのアプリケーションと、世界がどのように変化するかは予測できませんでした。これは人間の心がシステム思考が非常に苦手だからだと思います。
なぜなら、システム思考は1つの道筋を辿り、1つの推論の連鎖を辿るだけでなく、起きていることすべての副作用とそれが他のすべてとどのように相互作用するかを見る必要があるからです。
そして、並行して起きている他のすべての発展も予測可能で、その未来と相互作用することにも気付く必要があります。これにより、後から見れば明らかなことでも、それが起きる前には明らかでないことを見ることが時々難しくなります。
例えば、過去の人々は、より強力な武器の開発が巨大な力の不均衡を生み出すと考えたかもしれません。なぜなら、機関銃を持った1人の男を、弓矢を持った多くの人々の前に置いても、たとえ彼らが弓矢の使い手として非常に優れていても、チャンスはないからです。
では、なぜ機関銃を持った1人の男が全てを支配しないのでしょうか。それは、私たちにとっては完全に明らかです。機関銃を持つと、それは大量生産される必要があるからです。多くの人々が機関銃を持つことになり、もはや弓矢はなくなります。
そして状況は以前と同じようになります。実際には、はるかに平和的になります。なぜなら、今や紛争に関わるコストがはるかに高く、個人的に紛争に巻き込まれた場合の破滅の確率が高くなるからです。そのため、紛争に入る前の閾値が高くなります。
AGIに関しても同様のことが起こる可能性があると私は考えています。近い将来何が起こるかはわかりませんが、2000年先の未来を想像してみてください。全員の最善の努力にもかかわらず、AGIを防ぐことができず、今や人間レベルで知的な、そしてさらにそれを超えることもできる一群の存在がいます。
そして無限の成長に対するある種の保護機能が組み込まれています。何がその保護機能を破ることを防ぐのでしょうか。それは他のAGIたちかもしれません。なぜなら、もし1つのAGIが保護機能を破れば、他のすべてを置き換えて、彼らの空間をすべて奪うことになるからです。
そのため、個々には超人的な一群の存在が、彼ら自身の実存的な理由のために、お互いをチェックし合うことになるでしょう。大きな銃を持つ人々がお互いをチェックし合う、あるいは核爆弾を持つ人々がお互いをチェックし合うのと同じように。
これが正確に何が起こるか、あるいはどのような条件の下でこのリスクが受け入れられるレベルまで軽減されるかについて、証明ができるとは言っていません。しかし、これは完全にありそうもない未来ではないと思います。
進化が過去にどのように展開してきたかに基づけば、力は分散され、バランスを求める傾向があります。1つのシステムがすべてを圧倒し、愚かで機能不全なものに置き換えることは非常に稀です。
私は...イロンも似たようなアイデアを持っていると思います。あなたもまた、AGIが多少なりとも起こりそうだという考えの支持者でした。少なくともそうでしたよね。何年か前にあなたと調査をしましたから。
でも、あなたの指摘によれば、もしチャイナ、ディープマインド、オープンAIがみんなただAIのように見えるものにステロイドを投入するだけなら、あなたは「見てください、彼らはお互いをバランスさせるでしょう。そしていつか、彼らの1つが価値あるものの種を持つことを願います。意識の種が湧き上がり、私たちの想像を超えて継続的に増殖する豊かさの種が湧き上がるでしょう」と感じているように思えます。
そしてそれらは、高速道路での私たちのやり方、つまり誰もが特定のルールに従って遊ぶという方法の複製からではなく、自然状態の複製からより湧き上がりやすいというわけですね。
私は...この通話で私とあなたが話していることも、荒々しい自然状態の産物だと言いたいところですが、それは私たちが協調することに合意した産物でもあります。私は今、窓の外を銃で見張っているわけではありません。
もしボストンで殺人や窃盗が完全に合法なら、私はこのインタビューをあなたとすることはできないでしょう。したがって、ある程度の協調があってこそ、これらのことについて考えることができるのです。
しかし、あなたがAGIについて言っているのは、そうは思わないということですね。私は、これが価値あるものを生み出すだろう豊饒性を複製することだと思います。
人に暴力が合法でない理由は、通常、そうでなければ他の文明によって置き換えられてしまうからです。なぜなら、社会に蔓延する暴力は非効率的だからです。これは生活を悪化させ、あなたが非暴力と非苦痛に道徳的価値を適用するかどうかにかかわらず、もしスパルタのように暴力を中心に構築された社会があれば、より良い方法で組織された社会と同じ農業生産性と技術生産性を持つことはできません。
これがスパルタが絶滅し、現在では非常に平和的なものに置き換えられた理由です。そして、現在私たちが目にしているアメリカと中国の対立も、最適なガバナンスについてテスト可能なモデルを作ることができるシステムがあれば、消滅するかもしれません。
また、個人が自分をコントロールするAIエージェントを手元に持ち、事実上すべての人間を超知的な存在にするような世界は、劇的に世界を変えるでしょう。
私の子供たちに与えたいAIはどのようなものかを考えてみると、10歳の子供に何を与えたいでしょうか。理想的には、私は子供を完全に無害にするように安全性を高めたものではなく、子供の知恵と、知恵に向かって発達する能力、現実と非常に深く相互作用する能力、最善の方法で自己実現する能力をサポートするものを与えたいと思います。
これは私にとって、できる限り長いゲームをプレイすることを意味します。なぜなら、代替案は幾分証明可能に悪いように思えるからです。あなたが自分の利益と、あなたが置かれている世界について考え、これらの行動を取った時に何が結果として起こり、他者との相互作用はどうなるのかを考えることができる時、私たちは突然非常に深く相互作用し始め、今日の政府は非常に原始的に見えるでしょう。
その代わりに、私たちはすべての人々の間で非常に詳細な契約を持ち、非常に複雑なネットワークを持つことになり、国民国家は非常に時代遅れに見えるでしょう。数年後には、私たちの世界は比較できないものになる可能性があります。
また、もしこの世界に到達できなければ、私たちは運命づけられているかもしれません。おそらく、ボストンが現在協力的で非暴力的であるのと同じ理由で、私たちは非暴力的で深く協力的な世界を構築することを強いられるかもしれません。そうでなければ、私たちは生存できず、より良いものに置き換えられるでしょう。
そうですね。まあ、私たちがここで締めくくるにあたって、ガバナンスについて考えていた以上に深く踏み込んでしまいましたが、それは良かったと思います。
あなたの指摘によれば、私たち全員が1950年代のSF作家たちと同じようなことをしているということに気付きます。あなたにとっては、個人の手にある強力なAIが平和を促進するかもしれないという考えがあり、他の人々にとってはそれとは逆かもしれません。
物事がどのように展開するかを言うのは本当に難しいですが、私たちにできる最善のことは、これらのアイデアについて話し合い、どれを実現できるかを見て、その過程で指を組んでおくことだと思います。
非常に単純に言えば、AIは情報をより良く使用して問題を解決するのを助ける技術です。より多くの情報を与え、より良いモデルを与え、より良い現実のモデルを与えます。
これは悪者たちにも力を与えますが、これは単に周辺で起こることです。なぜなら、すべての技術的進歩は悪者だけでなく、善良な人々をより力づけたからです。そして、協力と破壊から得られる利益には常により多くの善良な人々がいるからです。
私はAIがこれを根本的に変えるとは思いません。また、エージェント性のないAIを構築することはそれほど難しいとは思いません。私たちに仕えるAIを構築することは実際にはかなり簡単だと思います。
他のどのようなAIを構築できるかという問題は重要な問題ですが、それは主に研究的な問題、学術的な問題です。その結果についても研究する必要があると思います。
これは安全な環境で、非商業的な環境で行う必要があります。これは私がまさにやりたいことです。なぜなら、その結果を理解する必要があるからです。
しかし、AIの会社が実際に何をしているかを正直に見れば、彼らは本当に、AIを無害にするために最大限の努力をしています。すべては、可能な限り無害でありながら、まだある程度強力な技術デモを構築することについてです。
まあ、確かに彼らはキャンセルされたくないでしょうからね。でも、私が期待するのはそれだけではありません。キャンセルされることを避けたいだけではなく、実際に私が知っているすべての人が、世界を悪くするのではなく良くすることを気にかけています。
これらのモデルに取り組んでいる人々は、安全性を気にかけています。彼らは通常、恐れていないだけです。なぜなら、彼らが取り組んでいるモデルは比較的簡単に方向付けできるからです。
オープンAIを去った人々がいて、オルトマンがオープンAIの元々の設立原則から離れることを選んだことに、あなたが述べるような大きな善意を帰属させることができるかどうかはわかりません。
私は彼を悪人だと言っているのではありません。私は自己利益が世界を支配していると信じていて、彼の立場にいる誰もが同じことをしただろうと思います。そして、その人を非難することはできません。
でも、まあ、そこは指を組んでおきましょう。それについては指を組んでおきましょう。でも、私たちが締めくくるにあたって、良い数のアイデア、ベンジョーなどの考えは、このテクノロジーがどのように展開されるかについての数ステップ先の予測に基づいているように思えます。
そして、その中の一部は正しいものもあれば間違っているものもあるでしょう。正直なところ、それがあなたのものになるかどうかはわかりません。しかし、私たちの会話から、その一部がそうなることを本当に願っています。
ヨッシャ、私は本当に心から願っています。単にこの技術へのより大きなアクセスから、ある種の紛争の純減が起こることを。私は指を組んでいます。
結局のところ、AIが構築されることを防ぐことはできません。良いAIが構築されることは防ぐことができるかもしれません。私は、私たちは良いAIを構築すべきだと思います。良いAIを構築し、世界がより良くなるという未来があると思います。
そのような軌道があり、これらの軌道を実現させることに私たちの努力のほとんどを注ぐべきだと思います。そのような考えには多くの信憑性があると思います。良いものに焦点を当て、それに向かって構築することです。
そのような説得力のあるビジョンなしには良い未来を持つことは非常に難しいと思います。そして願わくは、私たちの視聴者や聴衆の一部が、この会話に基づいて自分たちの一貫した前向きなビジョンを構築するためのより多くの材料を得られたことを願っています。
これで時間はすべて使い切ってしまいましたが、ヨッシャ、この長い10年を経て再会できて本当に楽しかったです。ここに来ていただき、ありがとうございました。
とても楽しかったです。この長い会話をありがとうございました。
これでこのエピソードの軌道は終わりです。ヨッシャをプログラムに迎えることができて感謝しています。ボストロム、サットン、ヨッシャを同じシリーズで迎え、人類から主導権を引き継ぎ、銀河系を満たすべき知性の種類について話し合えたことは、私にとって非常に大きな意味を持ちます。
これらは、このシリーズに必要不可欠な3つの大きな名前でした。アンダースやスコット、ジェフもシリーズに参加してくれたことにも感謝しています。以前のエピソードをまだご覧になっていない方は、どうぞご覧ください。
このエピソードでヨッシャについて、あなたが同意したこと、同意しなかったことを知りたいと思います。私たちが目と目を合わせた部分と、そうでない部分があったことはお分かりでしょう。それもまた楽しみの一部です。
誰が正しいのか、私には正確にはわかりません。おそらく近い将来に分かるでしょう。リチャード・サットンのエピソードでの議論は非常に良かったので、下のコメント欄で同意したこと、同意しなかったことをコメントしてください。
それは、将来のテーマやシリーズで取り上げる可能性のある良いアイデアを私に与えてくれます。価値ある後継者シリーズの全エピソードと同様に、下の注釈には、ヨッシャが概説した価値ある後継者の基準と、そのような知性に到達するためのガバナンスとイノベーションの提言を扱った記事があります。
エピソード自体についてのより長い解釈を含む記事が下にリンクされています。それをクリックしてください。また、これらのエピソードが公開される時に見たい場合は、下にニュースレターもあります。
いくつかの追加コメントと次回の予告を含むので、軌道のニュースレターに登録することをお勧めします。これも同様に注釈にリンクされています。
これは軌道での私たちの2番目の完全なシリーズです。この価値ある後継者というアイデアは、私が非常に取り上げたかったものです。あなたにとって楽しかったことを願っています。そして、私たちのすべてのゲストがここにいてくれたこと、そしてもちろん、あなたが視聴してくれたことに感謝しています。
次回の軌道のエピソードでお会いできることを楽しみにしています。