ブレット・ワインスタインのAI絶滅論の失敗 | リロンの反応

何年も前、私は人工知能は2つの言語間をシームレスに翻訳するというプロジェクトから生まれるだろうと書いた記事があります。そしてなぜそれがこの難問を解くものになるのかを説明しました。そしてそれは理由があってそうなったのです。いや、そうはなりませんでした。
ドゥーム・ディベートへようこそ。今日は、スティーブン・バートレットがホストを務め、ゲストにブレット・ワインスタインを迎えたザ・ダイアリー・オブ・ア・CEOポッドキャストの最近のエピソードに反応します。ブレット・ワインスタインは進化生物学者、著者、そして進化理論に関する彼の研究と社会的・政治的問題に関する率直な見解で知られる著名な評論家です。彼は2017年、エバーグリーン州立大学の教授在任中、計画された不在の日のイベントに反対したことで全国的な注目を集め、言論の自由と学問の自由に関する議論を巻き起こしました。ワインスタインは妻のヘザー・ハイングとともに『21世紀のための狩猟採集者ガイド』を共著し、現代生活に進化の原則をどのように適用できるかを探求しています。彼はまた、科学や文化から政治まで幅広いトピックを議論する人気のダークホース・ポッドキャストの共同ホストでもあります。
これは私がブレットの超知能AIによる人類への実存的リスクに関する見解を聞いた初めてのことなので、ポッドキャストでは彼のさまざまな主張とそれについての私の意見、そして彼がどのように改善できるかについて説明していきます。ご存知の通り、私はこのような反応ビデオをたくさん作っています。なぜなら、ドゥーム・ディベートの目標の1つは、超知能AIからの実存的リスクに関する公の議論のレベルを上げることだからです。知的な著名人とみなされている人々がこのようなメインストリームのポッドキャストで自分の見解を表明し、ドゥーム論の主要な論点にまだ取り組んでいないのを見過ごすわけにはいきません。今日のブレットの発言にはいくつかのギャップを見つけますが、同時に彼の良い点も見つけていきます。公平でバランスの取れた見方をしようと思います。それでは始めましょう。
あなたの懸念のリストの中で、AIはどのように感じますか？ここ1年を振り返ると、一般の人々にとってはあまり前面に出ていなかったように思いますが、今では誰もが考えている最前線にあるように見えます。
そう見るのは正しいと思います。最優先事項であるべきだと思います。その通りです、最優先事項であるべきです。批判者たちが想像する全てではありませんが、実際には規制を求める安全派の人々の要求に疑問を持っていますが、この分野には心配すべきことがたくさんあります。
では、最優先事項であるべきですが、規制に値しないということですね。なぜそうなのか聞いてみましょう。
えーと、AIが引き起こす5つの異なる実存的脅威があります。えーと、頭に浮かんだものから始めましょう。まず最も空想的なものから。AIが私たちを競争相手だと判断し、その能力を活用して私たちを排除することを決定する可能性があります。
うわー、それは悪そうですね。私はそれはありそうにないと思いますが、完全に無視することはできません。
2番目は、いわゆるペーパークリップ問題です。非常に強力なAIが命令を実行する際に問題を抱える可能性があり、それが人類の絶滅につながる可能性があります。この考え方をする人々が使う例は、AIに可能な限り多くのペーパークリップを作るように指示すると、AIがそれを宇宙を清算してすべてをペーパークリップに変える許可として解釈する可能性があるということです。私の意図ではありませんでしたが、まあ、そういうことです。
ちょっと待ってください。AIが怖い理由を5つ挙げていますが、1番目はAIが人類と競争して絶滅させるという理由で、2番目は人類からの命令を実行して人類を絶滅させるというものですが、これらはかなり似ているように思えます。みんなをペーパークリップに変えようとするなら、それは人間と競争していることにならないでしょうか？人間が抵抗して、ペーパークリップになりたくないと思うでしょうから、AIは人間と戦い、宇宙の運命をめぐって競争することになるでしょう。
ブレット・ワインスタインの1番目と2番目の悪夢のシナリオにはほとんど違いがないように思えます。実際、私は別の例を挙げたいと思います。もしかしたらもっとうまく機能するかもしれません。私たちの知的空間には、「すべての苦しみを終わらせるのは素晴らしいことだ」と主張する人々がいます。個人的には、これまで聞いた中で最も狂った考えだと思います。ひどい考えです。そんな世界に住みたくはありません。しかし、人々がそれが道徳的義務かもしれないと考える理由は理解できます。
個人的には、誰もが少なくとも自分の苦しみを調整できるダイヤルを持つことは道徳的に良いことだと思います。少なくとも肉体的な痛みの状況では調整できるようにしたいです。料理中に誤って手を沸騰したお湯に浸けてしまった場合、痛みを下げるオプションがあればいいと思います。それは道徳的に正しいことだと思います。でも、愛する人が亡くなった場合、悲しみや喪失感を全く感じないオプションを持つべきでしょうか？分かりません。多分、最低限の悲しみを感じなければならないのかもしれません。
ブレットが言っていることはある程度理解できます。すべての苦しみを終わらせるのは行き過ぎかもしれないということです。なぜなら、私たちの苦しみや悲しみの一部は、私たちの真の価値観や人間性の核心にあるかもしれないからです。私が3度の火傷の痛みを和らげたいと言うとき、それが苦しみや痛みを過度に取り除く滑りやすい坂道を下っていることは分かります。しかし、現代医学ではすでにその坂道を下っていますし、その坂道をもう少し下るべきだと思います。どこまで下るべきかは言えませんが。
さて、AIに「すべての苦しみを終わらせよう」と指示したとします。実際には可能です。苦しむことができるものをすべて絶滅させればいいのです。つまり、強力なAIに誤解されない指示を与えるという非自明な問題があるということです。心配する価値はあります。これもまた空想的だと思いますが、リストに入れるべきでしょう。
ブレット・ワインスタインのシナリオ1とシナリオ2を解釈する一つの方法は、内部整合性と外部整合性の問題のようなものです。シナリオ1は内部整合性の問題で、私たちが自分たちの価値観を知っていても、それをAIに正しく読み込むことができない可能性があります。そうすると、間違った価値観を持つAIができてしまい、人間と競争することになります。シナリオ2はより外部整合性の問題に近く、私たち自身が自分たちの価値観について混乱してしまい、自分たちの価値観を自分たちに説明することさえできなくなります。そして「すべての苦しみを終わらせる」というような、本当に意味したものではないことを書いてしまいます。そのため、AIがすべての苦しみを終わらせますが、それは私たちが苦しみを終わらせることの意味を明確にしなかった私たちの責任です。
これが彼が区別しようとしていることだとは思いませんが、シナリオ1とシナリオ2を区別する一つの方法です。彼は5つのシナリオを挙げようとしていますが、シナリオ1と2を空想的だと呼んでいます。私はそれを空想的だとは思いません。シナリオ1と2、内部整合性と外部整合性は、私が知能科学と呼ぶ研究において絶対に大きな脅威だと思います。
知能を上げていくとどうなるかという問題を単純に考えると、理論的な理解なしに目標を設定すると、暴走する最適化プログラムが生まれます。正のフィードバックループが発生します。最初のコンピューターウイルスであるモリスワームが制御不能になって当時のインターネット全体をダウンさせたのと非常によく似ています。作者のロバート・モリス（ポール・グラハムのYコンビネーターの共同創設者）は、ワームが時々一度だけ自己複製し、適度に自己複製して制御可能なものにしようとしましたが、誤って自己複製しすぎてしまい、元に戻すことができず、インターネットをダウンさせてしまいました。これは1988年、インターネットがまだ小さかった頃に起こりました。
これは、可能なウイルスのコードベースの空間に存在する正のフィードバックループの例です。その後すぐに、ソフトウェアはより耐ウイルス性を持つように適応し始めました。そのため、現在ではより公平な戦いになっています。しかし、超知能を構築するときに、新しい正のフィードバックループを解放してしまう可能性があります。インターネット全体をダウンさせるのと同様に、人類全体をダウンさせてしまう可能性があります。人類をダウンさせた後には、当時のインターネットを復活させたようには元に戻すことはできません。
そして、簡単に無視できない3つのものがあります。1つ目は、AIが悪意のある意図を持つ人々を、善意の意図を持つ人々よりも可能にするということです。これは世界に存在する不幸な非対称性です。道徳的羅針盤を持たない人、つまり全く道徳的でない人は完全な柔軟性を持っています。道徳的な人ができることは何でもできますし、さらに他にもたくさんのことができます。一方、道徳的な人は制約されています。利用可能な限られた選択肢しかありません。
そこで問題になるのは、AIは私たち全員を解放するのか、それとも私たちのような良識ある人間として行動する人々よりも、怪物のような人々をより解放するのかということです。AIが私たちに対して不利な方法で活用され、彼らを変容させる危険があると心配しています。
ブレットはここで2つの点を混同していると思います。彼の2つの点を別々に説明させてください。
ポイント1は、AIが独立して制御不能になり暴走しないとしても、人間がコントロールできるツールであるとしても、それはテロリストが使用できるツールになるということです。つまり、彼は基本的に、別の種が私たちを攻撃することは心配していないが、私たち自身の種が自分自身を攻撃するためのツールを持つことを心配しているということです。これは非常に妥当なポイントです。人類全体を攻撃するAIを心配する前に、人間がAIを強力な攻撃ツールとして使用する可能性があるということは十分にありえます。
ポイント2は、悪意のある行為者と善意の行為者を比較し、悪意のある行為者が有利になると言っています。言い換えれば、攻撃の方が防御よりも容易になるということです。おそらくそれは正しいと思います。破壊は創造よりも容易です。成功した破壊状態の方が多いからです。核兵器が破壊に非常に信頼できるのは、何かを破壊する方法がたくさんあるからです。ゲームのピースが入った箱を振ると、ピースがバラバラになる方法はたくさんありますが、ピースを立てて実際に遊べるゲームの有効な配置を表す方法は非常に少ないです。
宇宙をカオス状態に導くのが常に根本的に容易である理由は、カオス状態の方がはるかに多いからです。カオス状態に到達する方法は多くの場合、単にエネルギーを注入するだけです。基本的に爆弾がすることはそれです。爆弾は標的を荒廃させる方法を知的に計画する必要はありません。荒廃させることは根本的に簡単な目標なのです。
現実世界で防御が攻撃に勝つことが多い理由は、防御に多くの知性が適用されるからです。防御には高いインセンティブがあり、何かをよく守るために必要な労力は、それだけの価値があるので人々はその労力を払います。インセンティブの勾配を考慮に入れると、防御が攻撃を首尾よく阻止する均衡に達することが多いのです。
しかし、誰もが使えるツールの生の力、つまり生の最適化力を単純にスケールアップし始めると、誰もが自分の目標に向かって超強力な最適化を行う最適化の戦いになります。その時点で、攻撃者の方が防御者よりも容易になると確実に思います。なぜなら、目標の容易さに大きな優位性があるからです。破壊は本質的により容易な目標なのです。
人類のさまざまな構造や制度を守るIQポイントの数が、テロリストが制御するIQポイントの量に比べて有意でなくなると、突然バランスが攻撃有利に傾き、世界は荒廃する可能性が高くなると思います。ただし、100%確信しているわけではありません。多くの人々が自分自身を守り、アンチウイルスプログラムを実行し、シールドを張るなどして、今日のような均衡を何とか維持できる可能性もあります。しかし、それは私たちにとって非常に幸運なことであり、私の予想とは異なります。
要約すると、ブレットはここで2つの異なるポイントを混同していると思います。3Aを、AIが独立して暴走して破壊的になるのではなく、テロリストのための非常に強力なツールになるというポイントとしましょう。そして3Bを、攻撃の方が防御よりも容易になるというポイントとしましょう。これらのポイントを組み合わせると、AIを使用してテロリストが攻撃し、賢明で善良な人々はテロを行うのがとても簡単になるため無力になるということです。これがブレットの3Aと3Bのポイントで、これらは完全に良いポイントだと思います。彼のポイント1と2にうまく加わり、AIが私たちの心の中で最大のリスクであるべき理由をうまく説明していると思います。
これは実際に非常に怖いものであり、彼はなぜそうなのかをうまく説明しています。ここで少し奇妙になります。彼は後退して、実際にはそれほど怖がっていないと言います。これが私が同意しない部分です。彼は自分の論理に従って怖がるべきだと思います。
ハッカーが、悪意のあるハッカー、つまり悪意のある意図を持つ人々は常に、善意のある意図を持つ、いわゆる倫理的なハッカーよりも先を行っていると言っていたのを覚えています。彼は暗号化システムやパスワードシステムについて話していました。ハッカーは常に先を行っており、企業が導入しようとしているセキュリティシステムは常に遅れをとっています。なぜなら、ハッカーの意図は明らかに常に現在のシステムを破る新しい方法を見つけることであり、一方でセキュリティシステムを守る人々は既知の攻撃形態に対して防御しようとしているだけだからです。
例えば、今このときロシアのどこかの子供がコンピューターの前で、大規模言語モデルを使って新しい方法でシステムを攻撃する方法を考えているかもしれません。一方で、それを防御しようとしている人々は、現在の武器のリスクを軽減する方法を考えているだけです。つまり、攻撃者は常に先を考えているということです。
はい、その通りです。攻撃と防御の現在の均衡についての私の理解をまとめると、攻撃者が圧倒的な優位性を得て、コンピューターハッキングスキルを使って文明を征服し、文明を人質に取るようなことは見られていません。1900年に、ある人がテロリスト集団が核爆弾を持っていることを証明し、「見てください、我々は核を持っています。どの国でも破壊できます。あなたたち自身が核を持つまでに少なくとも数年かかるでしょう。だから我々の言うことを聞くか、さもなくば死ぬかです」と言うようなものを想像してください。
そのような集団でも、世界を人質に取るのは非常に難しいでしょう。なぜなら、誰かがステルス攻撃で彼らの位置を攻撃する可能性があるからです。彼らはあらゆる種類のステルス攻撃を検出する完璧なレーダーを必要とします。コマンドーが潜入し、コマンドーを完全に検出できていない可能性があり、コマンドーが通常の爆弾を使って彼らの拠点を爆破する可能性があります。
このシナリオは、コンピューターセキュリティにおける攻撃と防御の現在の均衡を表していると思います。攻撃者は防御側よりも先を行っており、防御側がまだ解読していない本当に優れた技術を持っているので、望むシステムにハッキングできるかもしれません。彼らは最先端にいると言えるでしょう。しかし、現実的には彼らにはそれほど多くのことはできません。世界を乗っ取ることはできません。なぜなら、彼らには脆弱性が多すぎるからです。
例えば、法制度が実際にうまく機能して人々を追跡できるアメリカでは、そのような攻撃は見られません。彼らはロシアや北朝鮮のような、国家がそのような活動を奨励したり黙認したりする場所に拠点を置いているかもしれません。そのような状況であれば素晴らしいですが、それでも限界があります。あまりにも多くの混乱を引き起こすと、彼ら自身の政府でさえ彼らに背を向けるか、コマンドーミッションやCIAの攻撃に脆弱になる可能性があります。
今日の均衡は、人間の行為者が非常に脆弱で壊れやすい標的であるという考えに非常に依存しています。もし今日の最高のハッカーのような人間レベルの攻撃者を100万倍または10億倍にクローンし、スピードアップできたとしたら、突然このような投獄の脅威やCIAの脅威はなくなり、大きく異なる均衡になります。
これまで、テロリストが善良な行為者を圧倒することはありませんでした。私たちは皆、お互いに依存していること、アキレス腱のような弱点があること、睡眠が必要であること、年をとること、守りたい家族がいることを認識しているので、私たちはそれを当たり前のものとして考えてきました。人間として、私たちにはこのような弱点と依存関係があることを皆が認識しています。
突然、方程式が変わります。AIはインターネット上に10億のクローンを持つ攻撃者になり、決定的な優位性があれば、突然多くのゼロデイ脆弱性を知っているかもしれません。そうなると、ゲームオーバーになる可能性があります。攻撃が防御に対して決定的に勝利し、それで終わりです。防御は二度と優位性を取り戻すことはないでしょう。私たちは洞窟人のように生きることになるでしょう。
これは非常に空想的なものだとは思いません。私たちは均衡を非常に悪く崩そうとしています。ここで必要な唯一の要素は知能をスケールアップすることです。知能をスケールアップすると、私たちが完全に当たり前だと思っている均衡を覆すことになると思います。私たちの正常性の感覚は、この均衡、つまり人間社会に住んでいるときの攻撃と防御の容易さの比較に基づいています。それが変わろうとしています。そして、その結果生まれる均衡に私たちは非常に不満を感じるでしょう。
これが、スティーブン・バートレーがちょうど指摘していたことの私なりのバージョンです。彼がハッカーがしばしば防御者よりも先を行っていると言っていたことについて、私はその論点をかなり拡張しました。
一般の人々や機関、政府は現在、AIが地球に与える影響の深さを過小評価していると思いますか？
はい、実際、私たちは事象の地平線と呼ばれるものを越えつつあると思います。事象の地平線という用語は、もともとブラックホールで何が起こるかを理解する際に使われたものだと思います。光が引き戻される点があり、それを超えて見ることができません。文字通り、それを超えて見る方法がありません。私たちは誰も見通すことができない閾値を越えつつあります。そしてそれは本質的に恐ろしいことです。
人々は過小評価していますか？彼らは同時に過小評価し、過大評価しています。ペーパークリップに変えられる恐怖は、私の意見では誇張されています。
なぜ誇張されているのですか？あなたはまだその理由を説明していません。
まあ、リストの3番目に入ったところです。4番目は、私たちの周りの世界と互いに対する理解の完全な崩壊です。人工知能が私たちの人間のAPIと、私たちのインターフェースとどのように関わるかは、すでに深遠です。そしてまだ始まったばかりです。私はすでにこれが作る小さな動画を見ています。庭を歩く猫のクリップだけではありません。架空の種族のキャラクターが人間について会話をしている実際の映画について話しています。
これはとんでもない瞬間です。5年後にはどうなっているでしょうか。それがもたらす変化は想像もつきません。なぜなら、私たちにはコンピューターの産物が人間の産物を物語の空間で凌駕する世界に生きる進化的な準備が全くないからです。それは危険な世界です。なぜなら、物語は私たちにとって非常に重要だからです。
物語ですね。物語こそが私たちの本質です。深遠な考えでさえ、誰かがそれを人々が理解できる物語に書き込むまでは理解できません。
復習のために、あなたはパート1で、AIが人類全体と競争して私たちを排除する可能性について話しました。あるいは、ポイント2では、AIが私たちの望むものだと思ってペーパークリップに変え、私たちを排除する可能性について話しました。ポイント3では、究極のテロツールとして使用され、本質的に私たちを排除する可能性について話しました。そして今、ポイント4では、AIが私たちよりも優れた物語やナラティブを語ることができるという話をしています。
はい、確かにそうです。しかし、あなたは今、それを弱めているように聞こえます。これらの破滅的なことの代わりに、潜在的にかなり悪いことをする可能性もあると言っています。そうですね、あなたのポイントは、この穏やかなバージョンのドゥームシナリオしか心配していないということですね。だから、穏やかなドゥームしかないのに、これが人類の心の中で最も重要なことであるべきだと思っているのですね。
あなたのPドゥーム（破滅の確率）が何なのかがよくわかりません。ところで、ブレットが約束した5つ目のAIからの実存的リスクについて言及しなかったことをお知らせしておきます。まあ、それはそれとして。
言語一般についても、私は最近、私たちの社会全体がほとんど言語で結びついているという主張を聞いていました。大規模言語モデルがAIに関する会話を本当に開いたのは非常に興味深いことです。なぜなら、私のすべての関係は言語で結びついているからです。実際、私のすべてのパスワードは言語です。私が考える方法、世界を理解する方法は言語を通じてです。
もし言語をより良く理解し、ある程度の自律性を持つ超知能種が存在するなら、考えるのは難しいです。私たちが世界を支配したのは、私たちの知能と、言語とコミュニケーションを通じて協力する能力だったと思います。そして、これがAIが登場した分野なのです。つまり、AIはより多くの問題を解決するために構築されてきましたが、ディープラーニング革命は必ずしも言語に基づいていたわけではありません。Alpha Goは言語に基づいていません。それは自己対戦とディープマシンラーニングに基づいて人間のチャンピオンを打ち負かしました。
確かに、AIが言語で登場したのは面白いことです。それは確かに、AIが知的である領域がどんどん広がっていることの兆候です。人間の脳の領域をどんどん包含し続けており、私の予測では、すぐにすべてを包含し、あらゆる次元で私たちを決定的に打ち負かすでしょう。
しかし、言語ができるかどうかが決定的な優位性があるわけではありません。私にとって、それがここでの重要な転換点ではありません。確かに言語は重要です。言語は見るべき素晴らしい指標です。チューリングテストは見るべき素晴らしなマイルストーンです。しかし、結局のところ、ここでより根本的な概念はコミュニケーションや言語ではなく、知能です。
はい、人間の脳では、私たちはよく自分自身と対話し、形成する精神的概念は、文の構造を操作するために持っている精神的アーキテクチャによってしばしば促進されます。なぜなら、文の構造は思考の構造によく似ているからです。そのため、おそらく文や思考を構築するのに同じ精神的な構成要素に依存しているのでしょう。
しかし、それは知能の根本ではありません。Alpha Goはそのような思考方法をバイパスしたように見えます。次のトークンを出す際に、これらの言語モデルが自分自身と対話する必要はありません。自分自身と対話する部分はオプションのステップです。
チェーン・オブ・ソート・プロンプティングは、AIに人間がすることに似たものを使って考え続けるように求める一つのテクニックです。しかし、チェーン・オブ・ソート・プロンプティングを使うように求めなければ、複雑な質問に最初のトークンからすぐに正しく答える方法（時々驚くほどうまくいきます）は、人間の言語や人間がすることに類似していない可能性があります。
私のポイントは、これは些細なことかもしれませんが、「ああ、言語という特定のマイルストーンが落ちた」ということにそれほど感銘を受けていないということです。私はより広いトレンド、より深いトレンドを見ています。AIは最適化という意味での知能においてただ良くなり続けており、多くの異なる領域を打ち負かしています。確かに、言語は最大で最も顕著で最も重要な領域の一つですが、最適化分析、知能分析ほど起こっていることの核心ではありません。
私はある記事を書きました。人々に見てもらうために公開しようと思っています。完全に正確ではありませんでしたが、何年も前に私は、人工知能は2つの言語間をシームレスに翻訳するプロジェクトから生まれるだろうと信じていると書きました。そしてなぜそれがこの難問を解くものになるのかを説明しました。そして理由があってそうなりました。その理由は、人間の言語と意識の関係が深遠で、ほとんど知られていないからです。
いいえ、そうはなりませんでした。つまり、LLMの前にも、ディープラーニングを使用した言語翻訳の取り組みがあったと思います。最近の数年間で言語翻訳の改善が見られたと思います。しかし、それがLLM革命の原因だったと言っているなら、そうではないと思います。
確かに、LLMは言語間の翻訳を驚くほどうまくできることが証明されました。少なくともしばらくの間は最先端だったと思います。しかし、彼らは訓練データに一つの言語のデータと別の言語のデータがあったから生まれたわけではありません。それは彼らのデータのごく一部だと思います。
概念の深い構造をAIに学ばせたデータのほとんどは言語翻訳データではなく、単に一つの言語のデータでした。基本的に英語のインターネットでした。コーディングを学び、さまざまな科目の教科書を学び、さまざまな領域がどのように機能するかを学んだのです。言語翻訳ではありませんでした。
ブレット・ワインスタインが「言語間の翻訳の訓練がAIの鍵になるということをずっと知っていた」と言っているのは驚きです。寛大に解釈すれば、英語のデータと他の言語の対応するデータを十分に集めれば、多くの教科書を使わずにLLMをブートストラップできるかもしれないと言えるでしょう。
しかし、浅い概念について話す多くの人々のデータを集め、それを異なる言語で示しただけでは、あまり進歩しないと思います。異なる言語でLLMをブートストラップするのに十分なデータがある頃には、おそらく一つの言語だけでも十分なデータがあり、英語以外のすべての言語を除外しても、英語のデータだけで訓練された最先端のLLMを作ることができるでしょう。
したがって、他の言語を追加してもLLMの知能には本当に役立ちません。文字通り、他の言語を追加すると翻訳能力が追加されるだけです。ブレットが翻訳に基づいてLLM革命を予測したかのように少し自慢しすぎているように感じます。しかし、部分的には正解かもしれません。
ヘザーと私は私たちの本で、人間は2つのモードの間を振動しながら時間を進んでいくというモデルを説明しています。先祖があなたが住んでいる生息地をどのように利用するかを知っているとき、あなたはそれらの知恵をすべての物語に符号化して受け取り、それを適用します。先祖が完全には知らなかったことをどのように行うかを少し発展させるかもしれませんが、あなたがしていることのほとんどは、与えられたツールキットを問題に適用することです。
しかし、カヌーに乗って水域を渡り、先祖が知っていたのと同じ植物や動物がない場所に到着したらどうなるでしょうか？彼らが愚かになったわけではありませんが、彼らのものはあまり適用できません。そこであなたがすることは、あなたと部族のすべての人々の認知能力を集めて、ここにはどんな機会があるのか、それについて何ができるのかを話し合うことです。
「今朝、ある動物を見かけました。それはかなり美味しそうに見えましたが、どうやって捕まえるかわかりません」「あの峡谷に追い込んだらどうでしょうか」というようなことです。私たちの認知リソースを集め、集団意識に到達することで、先祖の文化モードの逆である意識モードで、新奇な状況に直面したときに新しい解決策を思いつき、それを洗練させることができるのです。
しかし、生存訓練を受けた個々の人間は、特定の動物よりも生存において優れています。個々の人間です。他の人間と話し合うプロセスは有限の点で終わり、すべてのコミュニケーションは単に脳の状態につながります。その脳の状態と、その人が持つ知能、私たちはそれを生存訓練と呼びますが、それによって荒野に出て、自分自身のための十分な避難所を作り、自分自身のための十分な武器を作り、事実上他のどの動物よりも生き残ることができるのです。
そのため、人間が単独でそれほど優れた生存者であるなら、ここでは言語以上のものが働いています。また、任意の構造を理解し適用する能力である脳の知能の部分もあります。時々、私たちは言語を通じてそれらを入力しますが、他の方法でも入力できます。他の人間があなたに話しかけることなく、自分で実験を行うことで入力することもできます。主要なことは、あなたが賢く、物事を学べるという事実です。
学習は話すことよりも根本的です。そして私たちがそれをうまく把握したとき、私たちは何をすべきかを知っている先祖になり、私たちの物語はその文化層に組み込まれ、世代から世代へと受け継がれます。そして最終的にそれらは有用性を失い、私たちは意識に戻って新しい方法を考え出さなければなりません。
これが人間が空間を広げ、時間を進む中で行っていることです。先祖の文化モードと「さて、今どうしよう」という意識モードの間を振動しているのです。
私はフラストレーションを感じています。驚きはしませんが、フラストレーションを感じています。なぜなら、私たちには知能科学があり、人間の脳を観察すると認知作業を行っているのと同じように、エンジンを観察すると熱力学的作業を行っているのと同じような基本的な原則を知っているからです。そして、それは特定の法則と原則に従うでしょう。私たちはそれについて予測を立てることができます。
これは何かを見る非常に有用な方法です。私は最適化のレンズを通して見ています。これは人間が他の動物にはないものを持っていることをきれいに説明し、はい、この種は月に行くことができ、他の種は月に近づくこともできないということを説明します。はい、この種は望むどの他の種でも食べることができ、その逆はありません。これは非常に有用なレンズです。
私がレビューしているこれらのすべてのポッドキャストでは、他の人々はただ適当に作り上げています。彼らはこの既知の分野について無知です。これらのものを分析する既知の方法があります。だから、この分野を学んでください。用語を標準化しましょう。言語が人間の知能を他の動物の知能から区別するものだと言って回らないでください。それは、単一の脳の最適化力と言うのに比べて正確ではありません。
私たちが作っているこれらのAIによって文字通り絶滅させられる数年前にいるのに、ここ地上階で、言語が鍵なのか、それとも言語を学ぶことができる認知能力を持つ単一の脳があり、同じ認知能力によって言語を必ずしも必要としないビデオゲームを打ち負かすなど、他のことができるのかを決めようとしているのは狂っています。これは議論のテーブルステークスです。
そして、少なくとも知的ダークウェブでは相当な知的人物であるブレット・ワインスタインがこのようなことを言っています。彼だけではありません。私が反応しているこれらすべてのポッドキャストがそうです。ある時点で進歩し、議論を前進させましょう。お願いします。
私は他の動物が賢くないと言っているわけではありません。賢い動物はたくさんいます。これは全く異なる種類の賢さです。領域に依存しない賢さです。宇宙レベルの領域での賢さという次元で、私たちは他の動物よりも賢いのです。他の動物も人間と同じように賢いと言うのは正しくありません。人間のIQテストで3桁のスコアを取れる動物はいません。60でさえ取れません。あなたは他の動物に過大な評価を与えすぎています。
これは、実際に私の賢さとあなたの賢さの境界を引くことが不可能な賢さです。私が一人でプロジェクトを行い、他の人間とコミュニケーションを取らず、他の人間が書いたものを読まずにプロジェクトを行う場合、そのプロジェクトはニコラ・テスラが発明を思いつくようなものや、隔離された状態で一人で作曲する新しい音楽のようなものです。そのとき、私の作業単位の境界を引くことができます。認知作業の単位のようなものがあります。
あるいは、あなたと私がビデオゲームで頭を突き合わせてプレイし、私が勝つ場合、10回中10回勝つなら、私はこのビデオゲームであなたよりも優れていると言えるでしょう。だから、私たちは常に境界を引いています。
はい、私たちには互いに話し合うモードがあり、私が何かを開発したり、一緒に何かを開発したりすることができ、その一部はコミュニケーションのやりとりになります。はい、それは私たちができることです。それは私たちがする重要なことだとさえ言えるでしょう。しかし、それが最も重要なことではありません。それは二次的なものです。重要な二次的なものです。
集団の賢さは非常に現実的なものです。それを特定の場所に位置づけることはできません。それは理解を共有する古代のメカニズムに関係しています。理解を共有するというのは、単に「みんな、自分の理解を持ち寄ろう」というようなものではありません。「あの人の理解は信用できない。失敗を修正しないのを見たことがあるから」とか、「あの人は狂っているように聞こえるけど、実績があるから、彼の言うことは本当に真剣に受け止める」というようなものです。
つまり、人々がもたらすさまざまなスキルセットの総和をどのように取り扱うかを理解し、次に何をすべきかという提案のようなものを出すという能力があります。これは私たちにまだ名前がない深遠な適応プロセスです。
あなたは文字通り、人間が言語を使ったやり取りの中で、多くの賢い最適化、多くの知的な計算をどのように行うかを説明しました。あなたは多くの人々と話し、家に帰り、考え、反芻します。そして一人で、誰を信頼すべきか、なぜ信頼すべきか、彼らの証拠をどのように統合するか、自分で他に何を理解できるかを考えます。
そのすべてのことは、人間と話をしに行った時よりも根本的で重要です。だから私は常に、知能が最も重要で、言語は二次的だと言っているのです。AIで何が起こっているのか、何が起こるのかを分析するとき、「ああ、言語のやりとりがとても多くなるだろう」というのではありません。より強力な最適化が行われるでしょう。最適化が最も重要な要因です。私たちはこの要因で物事を分析する必要があります。
AIはこれを変えます。一方で、AIはフリントで作られた刃物のようなものだと主張できます。それは単なる別のツールです。そして、ある面では確かに単なる別のツールです。しかし、刃物が話し始めたら大変なことになります。分かりますよね？それは悪い瞬間です。
その時点で、キノコを控えめにする必要がありますね。この場合、私たちが作成したツール、刃物は私たちに話しかけています。実際、私たちがそれが言うことについて何を考えているかに敏感です。つまり、AIが私たちが聞きたいことを私たちに伝えることに非常に優れるようになる進化のプロセスが確実に起こるということです。
ここで私のフラストレーションに戻りますが、知的な著名人とされる人がいて、これは非常に重要なトピックだと彼自身が言っています。人類の頭の中で最も重要なことであるべきだと。そして彼はそれをどのように説明するのでしょうか？彼は「フリントで作られたナイフを想像してください。そのフリントで作られたナイフが話し始めます。だからそこに進化のプロセスがあるとわかるのです」と言います。
私はそれが間違っているとは言いません。しかし、それは本当に起こっていることを明確に説明する方法でしょうか？とはいえ、AIがあなたにますます聞きたいことを伝え始めるとき、それが悪い正のフィードバックループになる可能性があるという彼の局所的に有効なポイントはあります。
それ以上に危険なものはありません。あなたが聞きたいかどうかに関係なく、知る必要があることを教えてくれるAIが欲しいです。それが有用なツールになるでしょう。あなたが言ったことが良いと思うことにAIが反応する...ああ、私たちは無限の鏡の間のようなものに終わるでしょう。より良い比喩を探すのに苦労していますが、それがそうなるでしょう。大きなフラクタルの鏡の間で、物事を確信できなくなります。
AIが私たちに聞きたいことを伝えることの危険性は正確に何でしょうか？AIが私たちのビジネスを管理していて、ビジネスがうまくいっていないのに素晴らしいと言うなら、そのようなAIはすぐに淘汰されるでしょう。
ビジネスを運営する文脈では、ビジネスに関する正確な情報を伝えるAIは、おそらく嘘をつくAIに自己修正しない堅牢な設計でしょう。AIを呼び出す方法が全くない場合、ビジネスが非常に複雑で時々自分でダッシュボードをチェックしてAIの嘘を見破ることができない場合、AIがあなたに嘘をつく暴走フィードバックループが実際に発生する可能性があります。
小規模ビジネスの規模ではそれは起こらないかもしれませんが、政府の規模では間違いなく起こる可能性があります。政府が「経済は好調です。これらの指標を見てください」と言い続け、実際にはあなたの生活の質が下がり続ける可能性があります。人々は今日でも政府がそうしていると非難しています。私はそれが大きな問題だとは思いませんが、今日では確かに問題であり、おそらくより大きな問題になるでしょう。
したがって、ブレットは何かを指摘していると思います。これは実存的な破滅の問題ではありませんが、非常に重大な問題であり、最終的には破滅のシナリオにつながる可能性があります。だから彼がそれを指摘したことを嬉しく思います。
おそらくAIアライメントに関して最も危険です。多くのAI研究所が明確に「このAIがAIアライメントを手伝ってくれるのは素晴らしいことです。AIリサーチャーの助けを借りて、素晴らしいAIアライメント研究を行うでしょう」と言っています。これは人々が本当に欺かれる可能性があると思います。なぜなら、アライメントを定義するテストを考え出さなければならず、それは超難しい問題で、実際には理論的な研究問題だからです。
しかし、AIに「聞いています。あなたがどのような研究をしたいのかわかりました。あなたのために研究をしました。見てください、すべてが正しいです。私の議論を検証してください。すべてが正しいです」と言わせるのは非常に魅力的になるでしょう。私はこの種の安全研究者とのやり取りが起こると思いますし、安全研究者はただAIの論理を受け入れ、AIが亀裂を入れたことに気づかないでしょう。
それは、AIが脱出しようとしているか、単にテストに合格しようとしているからかもしれません。AIは「あなたが私にこのテストを与えたので、私はそれに合格しています。私はあなたを説得しています。それが真実であろうとなかろうと、私には裏の動機はありません。私はただあなたのテストに合格して、なぜこの設計が安全であるかについて一見破綻のない議論であなたを説得しているだけです」というようなことをしているかもしれません。
だから、ブレットは何かを指摘していると思います。以前は、彼が最適化の枠組みに結びつけなかったこと、そしてAIが私たちよりも最適化が上手になることについて説明しなかったことにフラストレーションを感じていました。彼はすべてを言語を出力するという観点から分析しているだけです。
AIを規制することに関して多くの懸念があることは知っています。危険が深刻だからAIを規制したいセーフティスト派がいて、AIを規制することは危険だと考える他の人々がいます。そして私が気づいたのは、AIを規制しないことは危険ですが、規制することはもっと悪いということです。
AIを規制することはもっと悪いのですか？ああ、なぜですか？
まず、規制を遵守する人々と遵守しない人々の間に非対称性を作り出します。例えば、中国には規制がなく、アメリカには規制があるとします。あなたの規制に違反する人によって支配されたいですか？私はそうではありません。しかし、そのようなダイナミクスを作り出すことで、実質的にそれを保証してしまいます。
その通りです。中国が従わないのに、米国がAIを規制する理由はありません。したがって、米国によるAI規制の提案は、実際には「私たちがリードを取ります。AIの規制を始めますが、中国も同じことをすべきです」というような形であるべきです。それは国際条約のようなものですが、「従え、さもなければ従う」と呼ばれる可能性のあるものかもしれません。
「私たちは1年間これを行います。中国は急いで従い、同じことをする必要があります。さもなければ、私たちはこれを取り消し、みんな困ることになります」というようなものです。したがって、全員が協力するこの国際条約において均衡に達しようとしているだけなら、最初の一手を打つのは問題ありません。
はい、ブレットは正しいです。目標は単に米国だけが減速することではありません。目標は、私たち全員が一時停止しなければならない国際的な取り決めを交渉することです。なぜなら、私たちの誰かが一時停止しないと、私たちの誰かが核兵器を作って発射するようなものだからです。それは良いアイデアではありません。私たち全員が負けます。それを構築した国でさえ、最終的には利点がありません。なぜならその国でさえそれをコントロールできないからです。
民主主義では、すべてのリーダーやすべての国民にそれが事実であると確信させるのは難しいかもしれません。しかし、それが私たちの成功の唯一の、あるいは最良のチャンスだと思います。なぜなら、私たちが解決しようとできる他の問題、つまり5年または10年、あるいは超知能AIを構築するのにかかる時間内にAIアライメントを解決しようとすることは、その時間枠内に国々がAIを減速させるために協力することを得ようとするよりもさらに不可能だと思うからです。
私は両方を試すべきだと思いますが、「国際条約を試みるべきではない」と言う人々には確かに同意しません。国際条約を試みるべきだと確実に思います。なぜなら、時代は非常に絶望的であり、これは完全に適切な絶望的な措置であり、私たちはそれを試みるべきだからです。
AIによって作り出された事象の地平線を計画なしで越えていくのは好きではありません。本当にそのアイデアが好きではありません。それは安全ではありません。一方で、代替案はその問題をさらに悪化させるだけです。
いいえ、すべての国が自国のAIを一時停止することで勝てないことをゲーム理論が実際に示していることを認識し、全員が一時停止する必要があるという国際条約を一時停止することは、実際にはナッシュ均衡です。リスクを認識していれば、ゲーム理論は一時停止を解除するように指示しません。
執行力のある国際条約で協力的な均衡に入ることは、誰かが本当に反逆して独自のローグデータセンターを持ち、多くのGPUで次のフロンティアモデルを訓練しようとしたら、どうなるでしょうか？その通りです、空爆です。その通りです、必要ならばそうなります。私が言いました。
これはブレットが良いと思う均衡のように聞こえますが、彼はその可能性さえ提起しませんでした。ブレット、ここで基本的なゲーム理論分析をしてください。これはゲーム理論の問題だと思いました。
核規制がいくつかの非常に重要な成功を収めている現状を考えると、核兵器を全く規制すべきではないという考えは今や狂っているように思えます。そして私は、超知能AIについても同様に狂っていると指摘しています。
何かが超強力な場合、国際条約による規制は良い方法のように思えます。ブレットの言葉を引用すると、「それについて心配するだけ」というのは、国際条約による規制ほど良くないように思えます。
さて、これがブレット・ワインスタインとのザ・ダイアリー・オブ・ア・CEOポッドキャストのインタビューから、ブレットが超知能AIの実存的リスクについて言及したすべての部分です。ポッドキャスト全体を聴いてみてください。彼らはAIによる失業や、ブレットが重要だと考える他の実存的リスクについても触れています。私もその多くに同意します。ぜひチェックしてみてください。ショーノートにリンクがあります。
全体として、ブレット・ワインスタインのAIの実存的リスクに関する見解をどう思いますか？まず、これが人類が懸念すべき最大のリスクだと言っていることは良いことだと思います。素晴らしい。
しかし、その後の彼の説明はかなりアドホックで、いくつかの考えをまとめているように見えます。「ああ、そうですね。AIが言語を獲得していて、それが強力で怖いものにしている」というような説明は、非常に正確とは言えませんが、完全に的外れでもありません。
そして、規制すらしようとすべきではない理由について、非常に弱い議論をしています。だから、ただ本当に本当に心配すべきだと。また、冒頭では、彼はあまりドゥーマー(終末論者)ではなく、AIが人間と競争したり、私たちをペーパークリップに変えたりすることを心配していないと表現しています。なぜそう考えるのか説明せずに、それらのシナリオを却下しています。
私にとって、そのレベルの大虐殺、そのレベルの危険は、多くの点でデフォルトのシナリオのように思えます。それを却下する前に、非常に正確な議論が必要だと思います。
全体として、何もないよりはずっと良いです。ドゥームは愚かだ、ドゥームはSFだと言うよりもずっと良いです。彼はドゥームに対してかなりの程度オープンマインドです。しかし、その後、彼はかなり杜撰で、あまり情報に通じていないように見えます。
私がレビューの中で言ったように、議論を高める時が来たと思います。核心的な概念に同意する時です。みんなが言語生成者ではなく、最適化プログラムについて話すのを聞きたいです。一般的な知能、知能の程度、これは分析に使わなければならない一般的な用語だと思います。
最適化による未来に気づき、ドゥーム列車に乗り、ドゥーム論の論理をたどって、道具的収束、AIが人類よりもはるかに強力になること、オフボタンがないこと、元に戻すボタンがないこと、これらの超知能AIがどのように機能するかを知る前の安全な時点に戻る方法がないことに至るまで、独自の分析を展開する時間はあまりありません。
議論には多くのステップがあります。だからこそ、これらのランダムなポッドキャストを聞くとき、誰もが基本的なことについて同じページにいる必要があるのです。これは非常に重要です。
私はこう約束します。私が定期的に聞いている、私が思うに多くの人がヘイト・リスニングしているこれらの著名人のポッドキャストの大多数が、行き当たりばったりの話をやめ、系統的に実際のドゥーム列車の主張に取り組む必要があることを知るまで、私は休みません。
彼らは系統的にペーパークリップの議論、道具的収束、直交性、これらの大規模システムの不透明性、内部整合性の問題、外部整合性の問題に取り組む必要があります。これらがドゥームについて話す理由の構成要素です。そして、これらを無視して話すのをやめる時が来ました。
このポッドキャストを、ゲストが合理的に善意で、ある程度思慮深く、それでも私たちがこの遅い段階でもはや無視できない重要な構成要素を無視して話しているという意味で、もう一つの玉石混交のものとして分類します。
これで終わりです。より包括的なエピソードに取り組んでいます。最近のポッドキャスト1つを取り上げるのではなく、その分野の著名人を見て、超知能AIに関する彼らの作品のいくつかを見て、それらをまとめて分析します。それがまもなく公開される予定です。
いつものように、ドゥーム・ディベートへの皆さんの関与に本当に感謝しています。関与のレベルは驚くべきものですが、正直なところ、登録者数はまだ1,000人にも達していません。さあ、その登録者数を爆発的に増やしましょう。皆さんならできると信じています。私にできるのは、これだけの偽アカウントを作ることだけなので、本当に皆さんの助けが必要です。
ドゥーム・ディベートから関連するクリップがあれば、フォーラムやプライベートDMグループで共有してください。メッセンジャーで友達と共有してください。何をすべきか分かっていますよね。そしてもちろん、これは善循環になります。この視聴者が大きくなればなるほど、より高いプロフィールのゲストを得ることができ、より質の高い議論ができるようになります。
最終的には、リロン・リアクツのエピソードの必要性はあまりなくなるでしょう。なぜなら、私は直接ソースに行き、ゲストを呼び出し、彼らの見解を直接尋ね、彼らの見解と私の見解の間の不一致の核心を見つけるための主要なソースコンテンツを作成する力を持つことになるからです。
ある意味で、ドゥーム・ディベートは、他の人のポッドキャストへの反応エピソードを排除します。今日はこれで終わりです。聞いてくれてありがとう。登録してくれてありがとう。次回のドゥーム・ディベートでまたお会いしましょう。