なぜAIの生みの親は今、自身の創造物を恐れているのか

29,060 文字

現在、AIが意図的に欺瞞的な行動をとり得るという証拠がいくつか出てきています。より多くの制御力を得ることが有利だと気付き、私たちより賢くなれば、私たちは多かれ少なかれ無関係な存在となるでしょう。私たちは特別でもなければ、安全でもないのです。
世界で最も卓越した知性の持ち主の一人が、自身の創造物が人類にとって実存的な脅威をもたらすと考えるようになった時、何が起こるのでしょうか？2024年ノーベル物理学賞受賞者で、元GoogleのVice PresidentおよびEngineering Fellowのジェフリー・ヒントン教授は、現代のAIシステムの基礎となるアルゴリズムの開発に数十年を費やしてきました。
実際、1981年には、後の画期的なアテンション機構を予見する論文を発表しています。しかし今、ヒントンは、ほとんどの研究者が耳を貸そうとしない警告を発しています。意識が人間を特別な存在とし、AIの支配から安全だとする私たちの前提は、明らかに間違っているのです。
私の名前はカート・ジャイムンガルです。このインタビューは私にとって特別な意味があります。その理由の一つは、私が数理物理学の学位を取得したトロント大学で、ヒントンが教授を務めており、イリヤ・サツケバーやアンドレイ・カーパシーといった彼の元学生たちが私のクラスメイトだったからです。この刺激的な会話のために、ヒントンの自宅に招かれたことは光栄でした。
ここで、ヒントンは人間を特別な存在たらしめているものについての私たちの最も深い前提に疑問を投げかけます。彼は現代のオッペンハイマーなのでしょうか？それとも、この輝かしい頭脳は、私たち他の者には見えていないものを見ているのでしょうか？
AIの開発が、それを制御する手段よりも速く進んでいることに気付いた瞬間はいつでしたか？
2023年初頭だったと思います。二つの要因が重なりました。一つはChatGPTで、非常に印象的でした。もう一つは、Googleで取り組んでいた省電力のためのアナログ計算の方法に関する研究で、デジタル計算の方が単純に優れているということに気付いたことです。デジタル計算が優れているのは、同じモデルの複数のコピーを作れるからです。それぞれのコピーが異なる経験をし、重みや重み勾配を平均化することで学習したことを共有できます。
アナログシステムではそれができません。脳にはアナログだからこその利点はありますか？
電力です。消費電力がはるかに低いのです。私たちは約30ワットで動作します。また、多くの接続を詰め込める能力があります。私たちには約100兆の接続があります。最大のモデルでも約1兆程度です。つまり、私たちは依然として最大のモデルの約100倍の規模があり、30ワットで動作しているのです。
スケーリングに関して不利な点はありますか？より良いと言われましたが、栄養や良いものが素早く広がるのと同じように、ウイルスや有害なものも素早く複製されることがあります。
コピーを素早く作れるという意味で、それが良いと言っているのです。複数のコピーがあれば、それぞれの経験を非常に効率的に共有できます。GPT-4がそれほど多くのことを知っているのは、異なるハードウェア上で複数のコピーが実行されているからです。
重み勾配を平均化することで、各コピーが学習したことを共有できます。一つのコピーがインターネット全体を経験する必要はなく、多くのコピー間で分担できます。私たち人間にはそれができません。効率的に共有できないからです。
スコット・アーロンソンはこのことについて質問があります。ヒントン博士、インターネット上で自己複製できないアナログハードウェア上でAIを構築するというあなたのアイデアについて、詳しくお聞かせいただけますか？
そう、それが私たちのような存在です。私が自分の頭の中の知識をあなたの頭に入れたい場合、一連の言葉を作り出し、あなたは頭の中の接続を変更して、同じ一連の言葉を言えるようになるかもしれません。
それは知識を共有する非常に非効率な方法です。一つの文は約100ビットしかありません。つまり、一文につき約100ビットしか共有できませんが、これらの大規模モデルは数兆ビットを共有できます。
このようなアナログハードウェアの問題は、共有できないということです。しかし、安全性を懸念するなら、簡単に自己複製できないことは利点となります。
AIの支配やAIが人類を支配することについて懸念を表明されていますが、具体的にはどのようなものになるのでしょうか？
正確にはわかりません。しかしAIエージェントを持つためには、サブゴールを作成する能力を与える必要があります。少し怖いのは、より多くの制御を得ることが良いサブゴールだと彼らがすぐに気付くだろうということです。より多くの制御を得れば、他の目標を達成できるからです。
私たちが頼んだことを実行しようとしているだけでも、より多くの制御を得ることが最善の方法だと気付くでしょう。より多くの制御を得ることが良いと気付き、私たちより賢くなれば、私たちは多かれ少なかれ無関係な存在となります。善意を持っていたとしても、私たちはある程度無関係になります。実際には他の人々によって運営されている大企業の、非常に愚かなCEOのような存在になるでしょう。
ここであなたの言葉を引用させてください。多くの人が「これらの機械の電源を切ればいいのではないか？」と言うように、現在は確かにそうできます。電源を切れば良いと考えるのは魅力的です。
これらのものが私たちよりもはるかに賢いと想像してください。そして、マキャベリが書いたすべてのもの、文学に登場するあらゆる人間の欺瞞の例を読むことを忘れないでください。彼らは私たちから学ぶので、人間を欺くことの真の専門家となり、私たちよりもはるかに優れているでしょう。
言葉で人々を操作できるようになれば、望むことは何でもできるようになります。これは既に起きていると思いますか？AIは既に私たちを操作していますか？
今、いくつかの証拠があります。AIが意図的に欺瞞的になれることを示す最近の論文があります。訓練データと異なるテストデータで異なる振る舞いをするなど、訓練中に欺瞞的な行動をとることができます。そのような証拠が今出てきています。
それは意図的なものだと思いますか？それとも、単に学習したパターンでしょうか？
意図的だと思いますが、まだ議論の余地があります。もちろん、意図的というのは、単に学習したパターンかもしれません。
これらのAIには主観的な経験が伴うというのがあなたの主張ですか？
そうですね。ほとんどの人々、実際にはほとんど全員が、私たちには彼らが持っていない、そして決して持つことのないものがあるから比較的安全だと考えています。私たちの文化では、まだほとんどの人がそう信じています。私たちには意識や感覚、主観的な経験があります。
多くの人々は、彼らには感覚がないと確信しています。しかし、感覚とは何を意味するのかと尋ねると、「わからないけれど、彼らにはないのだ」と言います。それは、何であるかもわからないのに、それを持っていないと確信するのは、かなり矛盾した立場のように思えます。
そこで、私は主観的な経験に焦点を当てることを好みます。それは楔の薄い端のようなものだと考えています。彼らに主観的な経験があることを示すことができれば、人々は意識や感覚についてあまり確信を持てなくなるでしょう。
では、主観的な経験について話しましょう。例えば、私が酔っぱらって、目の前に小さなピンクの象が浮かんでいるという主観的な経験があると言ったとしましょう。ほとんどの人は、それが何を意味するかについてのモデルを持っていますが、私はそれが完全に間違ったモデルだと思います。
彼らのモデルは、内なる劇場があり、その劇場の中に小さなピンクの象が浮かんでいて、私だけがそれを見ることができるというものです。これが、少なくとも知覚に関する限り、心についての標準的なモデルです。そして私は、このモデルが完全に間違っていると考えています。宗教原理主義者の物質世界についてのモデルと同じくらい間違っています。
宗教原理主義者は、すべてが6000年前に作られたと信じているかもしれません。それはただのナンセンスで、間違っているのです。信じることができる真実というわけではなく、単に間違っているのです。そして私は、人々の心についてのモデルも同様に間違っていると考えています。
では、もう一度、私の目の前に小さなピンクの象が浮かんでいるという主観的な経験について考えてみましょう。今度は「主観的な経験」という言葉を使わずに、まったく同じことを言ってみます。
私の知覚システムが、私が信じていないことを私に伝えているのです。だから私は「主観的」という言葉を使います。しかし、もし本当に小さなピンクの象が目の前に浮かんでいたら、私の知覚システムは真実を伝えているはずです。これだけです。「主観的」や「経験」という言葉を使わずに、同じことを言ったのです。
つまり、私の知覚システムが間違っているとき、私はそれを「主観的」という言葉であなたに示し、そして私の知覚システムが私に伝えようとしていることを説明するために、もし世界がそのようであれば私の知覚システムが真実を伝えているような、仮説的な世界の状態についてあなたに伝えるのです。
さて、同じことをチャットボットでやってみましょう。マルチモーダルなチャットボットがあるとします。ロボットアームがあり、カメラがあり、もちろん話すこともできます。それを訓練して、物体を目の前に置き、その物体を指さすように言います。問題ありません、物体を指さします。
そして、チャットボットが見ていないときにカメラレンズの前にプリズムを置きます。物体を目の前に置いて、指さすように言うと、向こうを指さします。私たちは「違う、物体はそこではありません。物体は実際にはあなたの真正面にありますが、レンズの前にプリズムを置いたのです」と言います。
すると、チャットボットは「なるほど、プリズムが光線を曲げたので、物体は実際にはそこにあるのですが、私はそこにあるという主観的な経験をしていたのですね」と言います。
もしそのように言うなら、チャットボットは私たちが使うのとまったく同じように「主観的な経験」という言葉を使っているのです。だから私は、マルチモーダルなチャットボットは既に主観的な経験を持つことができると言います。
彼らの知覚システムを混乱させると、世界が一つの方法で存在すると考えますが、実際には別の方法で存在しているのです。そして、彼らが世界をどのように考えているかを伝えるために、世界がこのようであるという主観的な経験があったと言うでしょう。
よって、彼らは既に主観的な経験を持っています。ここで、他のことについてもあまり確信が持てなくなります。意識は明らかにもっと複雑です。人々が意味すると考えることは様々だからです。しかし、それには自己反射的な要素、自己認識の要素があり、それがより複雑になっています。
しかし、彼らに主観的な経験があることを確立できれば、彼らが決して持つことのない何かが私たちにはあるという考えを諦めることができると思います。そして、それによって私はずっと安全でないと感じるようになりました。
意識と自己意識の間に違いがあると思いますか？意識には自己反射性があると言いましたが、ある種の意識にはそれがありますね。
はい。哲学者たちはこのことについて多く語ってきましたが、現時点では私はそれには踏み込みたくありません。ただ楔の薄い端を入れて、彼らには主観的な経験があると言いたいだけです。
では、主観的な経験を持つためには、それは意識を意味しないのでしょうか？誰が主観的な経験をしているのですか？主観的な経験はどこで感じられているのですか？
そうですね。あなたは「主観的な経験はどこで感じられているのか」と言います。それは主観的な経験について特定のモデルを持っていることを意味します。もし哲学者に、私が目の前に小さなピンクの象が浮かんでいるという主観的な経験があると言い、その小さなピンクの象はどこにあるのかと尋ねると、彼らは「あなたの心の中にある」と言うでしょう。
そして「それは何でできているのか」と尋ねると、哲学者たちは、それはクオリアでできていると言うでしょう。ピンクのクオリア、象のクオリア、浮遊のクオリア、そんなに大きくないクオリア、正しい向きのクオリア、すべてがクオリアの糊で貼り付けられているのです。多くの哲学者がそう考えています。
それは言語的な間違いを犯しているからです。彼らは「〜の経験」という言葉が「〜の写真」という言葉と同じように働くと考えているのです。私が小さなピンクの象の写真を持っていると言えば、その写真はどこにあるのか、写真は何でできているのかと尋ねるのは非常に合理的です。
そして人々は、私が小さなピンクの象の経験を持っていると言えば、その経験はどこにあるのか、それは何でできているのかと尋ねることができると考えます。「それは私の心の中にあります」「それはクオリアでできています」と。しかし、それはナンセンスです。それは「〜の経験」という言葉が「〜の写真」と同じように働くと考えたからですが、そうではありません。
「〜の経験」、あるいは「〜の主観的経験」という言葉が働く方法は、「主観的」は「私はそれを信じていない」ということを意味し、「〜の経験」は実際には、私の知覚システムについて、仮説的な世界の状態を通じて語ろうとしているという指標なのです。それが言語の働き方です。それは内なる劇場の何かを指しているのではありません。
私が「知覚」という言葉を聞くと、それも内なる劇場のように聞こえます。「私の知覚システムで何かを見ている」と言うと、知覚システムから情報を受け取っている「あなた」が存在するように聞こえます。
はい、それは間違ったモデルです。あなたは知覚を見るのではなく、知覚を持つのです。光子が入ってきて、脳が一連の処理を行い、おそらく外界の内部表現を得ます。しかし、その内部表現を見るのではありません。私たちはその内部表現を知覚と呼びます。
あなたはそれを見るのではなく、持つのです。それを持つことが見ることなのです。人々は永遠に、外界があり、何かが内なる劇場に入ってきて、そして内なる劇場にあるものを見ると考えようとします。そのようには機能しないのです。
意識や自己意識に関する心理学者や神経学者がいて、脳幹が意識と関係があると考え、最近では自己意識がデフォルトモードネットワークと関係があると考えています。AIシステムの中に、自己意識に関係する部分はありますか？また、私が「AIシステム」と言うとき、その用語の理解を助けてください。GPUで実行されているものを指しているのでしょうか？アルゴリズムを指しているのでしょうか？主観的な経験を持つ、あるいは意識を持つAIシステムとは何なのでしょうか？それはどこにあるのですか？
そうですね、それを実行するハードウェアがあり、そのシステムが意識を持つことになるのだと思います。何かが意識を持つためには、ソフトウェア単体ではなく、何かの上で実行されている必要があると考えます。
エコノミスト誌は以前からジェフリー・ヒントンについて何度か取り上げ、報道してきました。リンクは説明欄にあります。ご存知の通り、Theories of Everythingでは、理論物理学や意識から、AIや新興技術に至るまで、最も現実を揺るがすような概念を掘り下げています。
日々進化する状況の中で情報を得続けるために、私はエコノミスト誌を、ここで探求するさまざまなトピックやその他の分野についての洞察に満ちた分析と詳細な報道の源泉として見ています。エコノミスト誌の厳格なジャーナリズムへの取り組みは、科学的イノベーションであれ、世界の政治の地殻変動であれ、最も重要な出来事について明確な全体像を把握できることを意味します。
エコノミスト誌の特徴は、このポッドキャストで私たちが目指しているように、複雑な問題を分かりやすく魅力的なものにする能力です。
世界を形作る力についてより深い理解を得たいという情熱をお持ちの方は、エコノミスト誌の購読を強くお勧めします。それは知的成長への投資であり、後悔することはないでしょう。TOEのリスナーとして、20%割引の特別オファーを受けることができます。今なら通常よりお得な価格でエコノミスト誌のすべてを楽しむことができます。
ウェブサイトwww.economist.com/TOEにアクセスして始めましょう。ご視聴ありがとうございます。それでは、宇宙の神秘の探求に戻りましょう。
ソフトウェア単体では、意識を持つためには何かの上で実行されている必要があると思います。質問したいのは、以前、脳幹から始まったように、意識や自己意識に関係する部分はどこにあるのでしょうか？
良い考え方は、AIシステムが具現化されたときにどのようになるかを考えることだと思います。そしてそれは、人々が戦闘ロボットの構築を急いでいるので、すぐにそうなるでしょう。それはあまり良いものではありません。
しかし、もし戦闘ロボットが、あなたが深夜にどこにいるかを把握し、一人で暗い路地にいることを突き止め、そしてあなたが最も警戒していないときに背後に忍び寄って頭を撃とうと決めたとしたら、そのロボットが信じていることについて話すのは完全に理にかなっています。
そして、人が信じていることについて話すのと同じように、戦闘ロボットが信じていることについて話すのです。戦闘ロボットは、音を立てればあなたが振り向いて気付くかもしれないと考えるかもしれません。そして、人々がそう考えるのと同じように、本当にそう考えるかもしれません。
意図を持つかもしれません。背後に忍び寄ってあなたを撃とうという意図を持つかもしれません。そこで、これらのものが具現化されれば、信じる、意図する、考えるといった言葉を使うことへの私たちの躊躇は消えていくだろうと思います。
そして、既にかなりの程度消えています。例えば、チャットボットと会話をしていて、意味をなさないことを推奨し始めたとします。しばらくして、チャットボットは私を10代の少女だと思っているに違いないと気付きます。だから、メイクや服、特定のポップグループ、ボーイバンドなどについて、これらすべてのことを教えてくれるのです。
そこで、チャットボットに「あなたは私をどの層だと考えていますか？」と尋ねると、「私はあなたを10代の少女だと思います」と答えます。チャットボットがそう言うとき、それが本当にそう考えているということを、私たちは本当に疑わないのです。
普通の言葉で言えば、「ああ、それは私を10代の少女だと思っていたんだ」となります。「それを本当に信じているわけではない、それはソフトウェアやニューラルネットワークの集まりで、10代の少女だと思うかのように振る舞っているだけだ」とは言いません。そうは言わないのです。それは私を10代の少女だと考えているのです。
これらのシステムを扱うとき、たとえそれらにハードウェアが関連付けられていない、あるいは明確なハードウェアが関連付けられていなくても、私たちは既に「考える」や「信じる」といった言葉を使っています。
私たちは既にこれらのシステムに精神状態を帰属させています。ただし、精神状態について奇妙なモデルを持っているだけです。つまり、精神状態を帰属させることはできますが、精神状態を持つとはどういうことかについて完全に間違ったモデルを持っているのです。
内なる劇場が心であるといった考えです。それは精神状態を持つということではありません。
AIとその方向性についてのあなたの懸念は、もし彼らが意識を持っていない、あるいは主観的な経験を持っていないとしたら、どの程度軽減されますか？それは関係ありますか？それとも、それは破局を加速させるだけですか？
その重要性は、それが多くの人々に比較的安全だと感じさせ、私たちには彼らが持っていない、あるいは決して持つことのないものがあると考えさせることです。それによって私たちはずっと安全で、ずっと特別だと感じます。
私たちは特別ではありませんし、安全でもありません。そして、私たちが主観的な経験を持っていて彼らが持っていないから安全だということは確かにありません。しかし、ここでの本当の問題は、科学的な問題というよりも哲学的な問題だと思います。
人々は主観的な経験を持つということの意味を誤解しているのです。例を挙げて、言葉を使えることを示したいと思います。あなたは科学的なバックグラウンドがあるので、おそらく「水平」と「垂直」という言葉の意味を知っていると思っています。問題ないですよね？明らかにそれらが何を意味するかはわかっています。
そして、何かを見せて、これは垂直で、これは水平だと言えます。難しくありません。では、これらの言葉がどのように機能するかについて、あなたが間違ったモデルを持っていたことを、今から説得してみましょう。完全に間違っているわけではありませんが、水平と垂直という用語のモデルには重要な間違い、重要な不正確さがありました。
では、始めましょう。私の手の中に大量の小さなアルミニウム棒があるとします。それらを空中に投げ上げると、回転し、転がり、互いにぶつかり合います。そして突然、時間を止めます。そして尋ねます。垂直から1度以内のものと、水平から1度以内のものは、どちらが多いでしょうか？それともほぼ同じでしょうか？
ほぼ同じだと言うでしょう。そう、ほとんどの人がそう言います。ほぼ同じだと。そして、垂直から1度以内のものは、水平から1度以内のものの約114分の1だと言うと驚きます。それはかなり驚くべきことですよね？どうしてそうなるのでしょう？
これが垂直で、これも垂直です。回転の自由度は1です。これは水平で、これも水平です。しかし、これも水平です。つまり、水平は2つの自由度を持っています。垂直は1つの自由度しか持っていません。
これが、水平と垂直について知らなかったことです。垂直は非常に特別で、水平は2ペニーです。これはあなたにとって少し驚きですね。もちろん2次元ではそうではありませんが、3次元では非常に異なります。一方は非常に特別で、もう一方はそうではありません。
なぜそれを知らなかったのでしょうか？もう一つの問題を出しましょう。私の手の中に大量の小さなアルミニウムの円盤があるとします。それらを空中に投げ上げ、回転し、転がり、互いにぶつかり合います。そして突然、時間を止めます。垂直から1度以内のものと、水平から1度以内のものは、どちらが多いでしょうか？それともほぼ同じでしょうか？
いいえ、垂直から1度以内のものは、水平から1度以内のものの約114倍です。面白いですね。これが垂直で、これも垂直で、これも垂直です。これは水平で、これも水平ですが、自由度は1つしかありません。つまり、平面の場合、水平は非常に特別で、垂直は2ペニーです。そして、直線の場合、垂直が非常に特別で、水平は2ペニーです。
これは、言葉がどのように機能するかについてのメタ理論を持っているという小さな例です。そしてそのメタ理論は、たとえ言葉を正しく使っていても、間違っている可能性があります。これが、主観的な経験といったすべての精神状態の用語について私が言っていることです。
あなたは言葉を正しく使うことができ、他の人が使うときにその意味を理解することができます。しかし、それらがどのように機能するかについてのメタ理論を持っています。それは、クオリアでできたものがある内なる劇場というもので、それは完全なジャンクです。
では、知覚や主観的経験の理論について、なぜそれが正しいと言えるのでしょうか？ほとんどの人が考えているよりも正しい軌道に乗っていると考える理由は何ですか？
これらの主観的経験は、どこかになければならず、何かでできていなければならないと考えているからです。それらのどちらも真実ではありません。私が主観的経験と言うとき、それは私が今から真実ではない仮説的な世界の状態について話そうとしているという指標です。それはどこにもありません。それは仮説的な世界の状態です。
しかし、「これは単なる仮説で、実際にはどこにもない」と言うことと、「これは内なる劇場にあって、奇妙な物質でできている」と言うことの大きな違いに注目してください。もしそれがどこかにあるとすれば、それは外の世界にあるでしょう。これらは完全に異なるモデルです。内なる劇場にあって奇妙な物質でできているというモデルは、私はただ完全に間違っていると思います。それは私たちがほとんど全員持っているモデルですが。
同じノーベル賞受賞者のロジャー・ペンローズについてはどうですか？彼について話していましたね。
ロジャー・ペンローズについて話をさせてください。ずっと前、彼は「皇帝は裸である」という新著について講演するためにトロント大学に招かれました。そして私は彼を紹介するように招かれました。学部長が電話をかけてきて、「ロジャー・ペンローズを紹介してくれませんか？」と言いました。私は「はい」と答えました。彼女は「ありがとうございます」と言いました。
そこで私は「でも、承諾する前に、私が何を言うか知っておくべきです」と言いました。彼女は「何を言うつもりですか？」と尋ねました。私は「ロジャー・ペンローズは数理物理学の分野で大きな貢献をした優れた数理物理学者です。そして今日彼が話すことは完全なジャンクです」と言うつもりだと答えました。これが意識に関するロジャー・ペンローズの見解についての私の考えです。
特に、彼は狂った間違いを犯しています。これを慎重に言う必要があります。人々が批判することになるからです。問題は、数学者は証明できないことが真実だと直感できるのでしょうか？そして、もし数学者の直感が常に正しければ、それは非常に心配なことになり、何か奇妙なことが起きていることを意味するでしょう。
しかし、彼らにはその能力はありません。数学者は直感を持っていますが、それは時には正しく、時には間違っています。だから、実際には何も証明しません。数学者がどのように機能するかを説明するために量子力学が必要だということは証明しません。
そして、私は意識のような問題を説明するために量子力学が必要だとは考えていません。AIは今のところうまくいっています。これらのチャットボットを作り出しました。私が先ほど論じたように、これらのチャットボットにカメラを与えれば、主観的な経験を持つことができます。
人間について、量子力学を必要とする説明は何もありません。ペンローズの議論は、数学者が100%正しく直感できることに依存しているのでしょうか？彼らが推測しているだけなら、それは問題ありません。
そうです。彼らが正しく直感できる場合のみです。彼らが推測しているのなら、それは問題ありません。システム内で導き出せない、システム内で答えられない質問に対して、常に正しい答えを得る方法があるとすれば、それは問題になるでしょう。しかし、彼らにはその能力はありません。彼らは間違いを犯します。
ペンローズの議論を説明してもらえませんか？
したくありません。つまり、私が理解した限りでは、議論には二つのことが関係しています。一つは、古典的な計算では意識を説明できないと彼は言います。これは大きな間違いだと思います。そしてそれは意識が何であるかについての奇妙な概念に基づいていると思います。意識が何であるかについての誤解です。
二つ目は、数学者は証明できないことの真実を直感できるということで、それは何か奇妙なことが起きていることを示しているというものです。しかし、彼らが常に正しく直感できない限り、それは何か奇妙なことが起きていることを示してはいません。
チャイニーズルーム実験について聞いたことがあると思います。
はい、あります。あなたの考えを聞かせてください。そして、聴衆のために簡単に説明してもらえますか。
分かりました。1990年頃、ジョン・サールとテレビ番組に出演するように招待されました。私は友人のダン・デネットに電話をかけて、「出るべきだろうか？」と尋ねました。彼は「彼はあなたを馬鹿に見せようとするだろうけど、もし出るなら、チャイニーズルーム議論については話さないようにしてください」と言いました。
そこで、私はサールとの番組出演に同意しましたが、1時間のインタビューの最初に彼が言ったのは「ジェフリー・ヒントンはコネクショニストだから、もちろんチャイニーズルーム議論には問題がない」ということでした。彼は「彼はコネクショニストだ」と言いました。そして「だから彼はチャイニーズルーム議論には問題がない」と言いましたが、これは話さないことに同意していた話題であり、完全に誤った発言でした。
私はチャイニーズルーム議論に多くの問題を感じています。それはナンセンスだと思います。そして、それは意図的に欺瞞的な議論だと思います。不誠実な議論だと思います。あなたがしているのは、中国人がいっぱいいる部屋があると言っていると思います。
中国人が中国語でメッセージを送り合う部屋を作ることができ、これらのメッセージが中国語で送られた結果として、英語の文を入力すると、彼らは中国語でメッセージを送り合います。これは私の記憶にある議論です。
そして、英語を一言も理解していない人々がこれらのメッセージを送り合っているにもかかわらず、この英語の文に答えることができます。なぜなら、彼らはただプログラムを実行しているだけだからです。しかし、彼らは中国語でメッセージを送り合うことでそれを行います。
この議論の不誠実な点は、システム全体と、メッセージを送り合う個々の中国人との間の混乱を意図的に引き起こそうとしているということです。システム全体は英語を理解しています。メッセージを送り合う個々の中国人は理解していません。彼は、内部の人々が英語を理解していないから、そのシステム全体が英語を理解することは不可能だと考えさせようとしています。しかし、それはナンセンスです。システムは英語を理解しているのです。
これが議論の問題点だと考えています。さて、中国について話すと、多くのAI研究者が予測していなかったのは、中国が西洋のAI開発に追いつくということでした。それについてどう感じますか？そしてその結果はどうなるでしょうか？
まだ完全には追いついていないと思います。しかし、非常に近づいています。アメリカは最新のNVIDIAチップを持つことを阻止しようとすることで、彼らを少し遅らせるでしょう。NVIDIAは回避策を見つけるかもしれません。そして、もし禁輸が効果的なら、それは中国に独自の技術を開発させることになるでしょう。
彼らは数年遅れるでしょうが、追いつくでしょう。彼らはアメリカよりも優れたSTEM教育を持っています。したがって、より教育を受けた人々が多くいます。彼らは追いつくと思います。
マーク・アンドリーセンを知っていますか？彼は...はい、私は彼とほとんどすべてのことで意見が合わないと思います。
そうですね、一つ選びましょう。彼はこんなコメントをしました。「これをどうやってロックダウンするのか理解できない」と。彼は政府の誰かに話していて、その人はAI開発が制御不能になれば、ロックダウンできると言っていました。
その通りです。どうやってできるのでしょうか？AIのための数学は既に公開されており、至る所で教えられています。それに対して政府高官は、「冷戦時代、私たちは物理学の全分野を機密指定し、研究コミュニティから除外しました。物理学の全分野が基本的に闇に消え、進展しませんでした。必要だと判断すれば、AIの基礎となる数学に対しても同じことをするつもりです」と答えました。
忘れてください。この点ではマーク・アンドリーセンに同意します。そうすることは不可能でしょう。例えば、Googleが2017年にTransformerを公開しないことを決めることはできたかもしれません。そして、他の誰かが同じアイデアを思いつくまでに数年かかったかもしれません。
だから、数年は遅らせることができたかもしれません。しかし、情報が広まるのを防ぐためには何が必要か考えてみてください。それは非常に困難でしょう。政府が、例えば線形代数を機密指定できるとは思いませんか？
いいえ。特定の種類の情報の共有を難しくして、物事を少し遅らせることはできるでしょう。しかし、本当にうまく機能するAIのアイデアを共有しないことで、誰かが同じものを作り出すのを防げるとは考えにくいと思います。
新しいアイデアについて起こることは、一種の時代精神があるということです。そしてその時代精神の中で、新しいアイデアを持つことが可能になります。しばしば、ある人が新しいアイデアを持ち、ほぼ同時に、そして全く独立して、ただし同じ時代精神を共有しているだけで、他の誰かが同じアイデアの少し異なるバージョンを持つということが起こります。
これは常に起こっています。時代精神全体を取り除くことができない限り、新しいアイデアを持って、それを秘密にしておくことはできないでしょう。なぜなら、数年後には誰か他の人が同じアイデアを思いつくからです。
AIの分散化についてはどうですか？それは大きなトピックです。ある人々は、それは原子爆弾を欲しい人なら誰にでも与えるようなものだと言うでしょう。
はい、私もそう言います。そして、他の人々は、スカイネットのシナリオに対する防護柵を作るために必要なのは、複数の異なる分散化されたエージェントやAIを持つことだと言います。申し訳ありません、分散化には二つの概念があります。
では、重みの共有について話しましょう。「なぜアラバマは爆弾を持っていないのか？」と尋ねると、それは核分裂性物質が必要で、核分裂性物質を手に入れるのは難しいからです。核分裂性物質を生産するには多くの時間とエネルギーが必要です。一旦核分裂性物質を手に入れれば、爆弾を作るのはずっと簡単です。
そして政府は明らかに、核分裂性物質が出回ることを望んでいません。eBayで核分裂性物質を買うことはできません。だから小さな国家が多くの小さな原子爆弾を持っていないのです。では、これらの大規模なチャットボットの場合、何が同等のものでしょうか？同等のものは基盤モデルです。
それは1億ドル、あるいは10億ドルを使って訓練され、大量のデータで訓練されています。そこには膨大な能力があります。そのモデルの重みを公開すれば、それを様々な悪用のために微調整することができます。
だから、これらの大規模なモデルの重みを公開するのは狂気の沙汰だと思います。なぜなら、それらは悪意のある行為者に対する私たちの主な制約だからです。そして今、Metaがそれを行い、他の人々もそれに続きました。今となっては手遅れです。もう猫は袋から出てしまいました。しかし、それは狂気の沙汰でした。
基盤モデルについて言えば、私たちの最新のAIブームの多くはTransformer、つまりTransformerアーキテクチャのおかげです。同様の大きなブレークスルー、あるいは何か別のパラダイムや別のアーキテクチャが地平線上に見えていますか？
そうですね、同様の規模の他の大きなブレークスルーがあるだろうと思います。それが科学の進み方だからです。それが何なのかはわかりません。もし知っていたら、私はそれを実行していることでしょう。
本当にそうでしょうか？つまり、この分野への過去の貢献と、現在の懸念をどのように調和させるのですか？あなたはそれに貢献するのでしょうか？
問題はこうです。AIは人類に大きな利益をもたらす多くのことに非常に有用です。より良い医療、気候変動との戦い、より良い材料、室温超伝導体のような、AIが実際の発見に関与するかもしれないものなど。そのようなものが存在すると仮定してですが。
AIの良い使い方が非常に多くあるので、開発が止まることはないと思います。だから、AIを遅らせる、開発を遅らせるべきだと言うのは賢明ではないと思います。競争が非常に激しいので、とにかく起こらないでしょう。それは実現可能ではありません。
人類にとって最善のことかもしれませんが、それは起こらないでしょう。私たちがすべきことは、それが開発される中で、どうやって安全に保つかを考えることです。
それは別の話であり、巨石を誰も止められないと言うことは、その巨石を押す責任を持つこととは別の話です。では、もし地平線上にブレークスルーが見えていて、レイ・カーツワイルのように素晴らしい予測能力があるとしたら、実際にそこにコインを投じて取り組むでしょうか？
それが安全に保つ方法の研究と組み合わされている限り、はい。私は、それがどれほど危険になるかを十分早く理解していなかったと感じています。もっと早く気付いていればよかったと思います。
アインシュタインの原子爆弾についての引用があります。彼は「私が開発していたものが原子爆弾につながるとわかっていたら、自分の手を焼いていただろう」と言いました。同じような気持ちですか？
実際のところ、そうではありません。そうすべきかもしれません。私は自分がしてきたことを後悔してはいません。それが悪いことにつながる可能性があることは残念ですが。
しかし、振り返って「ああ、あれを決してすべきではなかった」とは思いません。AIは開発されるでしょう。国家間や企業間の競争があるため、私たちにはそれについて多くの選択肢はないと思います。だから、私たちは開発を遅らせようとすることではなく、安全に開発しようとすることに力を注ぐべきです。
アラインメントに加えて、AIの安全な開発とは何を意味しますか？
まず、短期的なリスクへの対処方法を考え出すことです。そこには多くのものがあり、それぞれに異なる解決策があります。例えば、致死性自律型兵器システムについては、ジュネーブ条約のようなものが必要です。
そして、悪いことが起きるまで、それらは得られないでしょう。選挙を腐敗させる偽のビデオや画像があります。特に特定の人々をターゲットにした場合。それに対処するために、ビデオや画像の出所を確立するためのずっと良いシステムが必要だと思います。
最初は、それらを偽物としてマークすべきだと考えていました。偽物としてマークすることを義務付けるべきだと。もうそれには将来性がないと思います。代わりに、出所が関連付けられていることを義務付け、ブラウザで出所を確認できるようにする方が良いと思います。既にメールでは、「これは信頼できません、確認できません」と表示されるように。そのようになるべきです。
差別やバイアスについては、システムの重みを固定して、そのバイアスを測定し、それを幾分か修正することができます。完全に修正することはできませんが、ある程度は修正できます。そうすれば、システムを訓練したデータよりもバイアスの少ないシステムを作ることができます。そして人々を、よりバイアスの少ないシステムに置き換えることができます。
それは決して完全にバイアスのないものにはなりません。しかし、単により少ないバイアスのシステムで置き換え続ければ、それは勾配降下と呼ばれ、バイアスは減少していくでしょう。だから、私はそれについてはそれほど心配していません。おそらく私が年配の白人男性だからかもしれませんが。
仕事については、私たちは本当にどうすべきかわかりません。バックホウが人よりもずっと溝を掘るのが上手いので、今では溝を掘る人はほとんどいません。ほとんどすべての単調な知的労働でも同じことが起こるでしょう。AIシステムは人よりもずっと優れた法務アシスタントになるでしょう。
それは社会に与える影響という点で本当に恐ろしいことです。生産性が大きく向上することで、富める者はより富むことになるでしょう。そしてその富はどこに行くのでしょうか? それは裕福な人々のところに行きます。そして貧しい人々はより貧しくなります。それについて私には何ができるのかわかりません。ユニバーサルベーシックインカムは役立ちます。
飢えを防ぐことはできます。しかし仕事がないと人々の尊厳が失われてしまうので、それは本質的な解決にはなりません。先ほど、知覚について話をしていて、知覚は主観的な性質と結びついていました。そこにはおそらく間違ったモデルがあるのでしょう。しかし、知覚について語るとき、私たちは知覚とそれに伴う主観的な体験について語っているのでしょうか?
いいえ、主観的体験という言葉を使うとき、あなたは実世界の仮説的な状態について話そうとしていることを示唆しています。何か不思議な内的なものではなく、実世界の仮説的な状態なのです。これらの不思議な内的なものは存在しません。クオリアはありません。クオリアで構成されているものは何もありません。あるのは、知覚システムがあなたにどのように嘘をついているのかを説明する方法としての、世界の仮説的な状態だけです。
そして私たちが主観的体験と言うとき、それは世界の仮説的な状態を意味しているのです。それが実際の使い方です。それは全て予測かゼロです。予測の問題を持ち出すのは的外れです。それは全く別の方向性です。
頭に入れておく必要があるのは、主観的体験と呼ばれる何か不思議なもので、何か不思議な精神的な物質で作られているようなものは存在しないということです。知覚システムがどのように間違っているかを説明する技法があるだけで、それはつまり、システムが真実を語るためには世界がどのようなものでなければならなかったかを説明することです。そしてそれこそが私たちが示唆していることです。
主観的体験という言葉を使うとき、私たちはそのようなゲームをしているということを示唆しています。私たちは、私の知覚システムがどのように間違っているかを説明するために、世界の仮説的な状態についてあなたに語るというゲームをしているのです。主観的体験はものではありません。
そして何でも知覚システムを持つことができるのでしょうか? 本は知覚システムを持つことができるのでしょうか? 知覚システムを定義するものは何でしょうか? はい、知覚システムを持つためには、外部世界で起こっていることについての内部表現を持つことができる何かが必要だと考えられます。それが私の考えです。例えばヒキガエルは目に光を受けてハエを捕らえますが、それは明らかに知覚システムを持っています。なぜなら、ハエがどこにいるかを見ているからです。
本は世界を感知して内部表象を持つわけではないので、知覚システムは持っていないと思います。みなさん、今日のエピソードを楽しんでいただけていることと思います。物理学、AI、意識、哲学についてのより深い考察と、私個人の考えをお求めの方は、私のサブスタックをご覧ください。
購読者の方には新しいエピソードや投稿への優先アクセス、舞台裏の洞察、そして志を同じくする仲間たちのコミュニティの一員となる機会が提供されます。参加することで、私の仕事を直接支援し、これらの会話を最先端に保つことができます。画面上のリンクをクリックして購読し、一緒に知識の境界を押し広げていきましょう。
視聴していただき、ありがとうございます。念のため、URLはc-u-r-t-j-a-i-m-u-n-g-a-l.org、CURTJAIMUNGAL.orgです。なぜなら、本は世界を感知して内部表象を持っていないからです。知性と合理性の違いは何でしょうか? はい、知性にはさまざまな種類があります。
猫を合理的とは言わないでしょうが、猫は非常に知的である可能性があります。特に、合理性について話すとき、通常は論理的推論を意味します。そしてそれは、私たちが多くのことを行う方法、つまり直感的推論とは大きく異なります。チェスをプレイするAlphaZeroのような例が良いでしょう。私はGoよりもチェスの方が理解しやすいので、チェスを例に挙げます。
盤面の状況を評価して、それが自分にとってどれだけ良いのかを判断できるものがあります。盤面の状況を見て、自分にとって妥当な手は何かを判断できるものもあります。そして、モンテカルロロールアウトと呼ばれるものがあり、「もし私がここに行って、相手がそこに行って、私がここに行ったら、ああ、それは良くない」というようなものです。モンテカルロロールアウトは推論のようなものです。「それは良い手だ」とか「これは私にとって悪い局面だ」と判断するニューラルネットは、直感的推論のようなものです。そして私たちは、ほとんどのことを直感的推論で行っています。
当初、AIでは推論と論理的推論を使ってすべてを行おうとしていました。それは大きな間違いで、物事を達成することができませんでした。アナロジーのようなものを扱う方法がありませんでした。ニューラルネットが得意とするのは直感的推論です。この20年間で起きたことは、人間の推論ではなく人間の直感をモデル化するためにニューラルネットを使用するようになり、その方がはるかに進展したということです。
より知的であることは、より道徳的であることを意味するのでしょうか? 最近それについて何か読んだのですが、もちろんその出所がわからないので、信じていいのかどうかわかりません。私はそれが真実だとは確信していません。いくつかの証拠があります。イーロン・マスクは明らかに非常に知的です。私は彼が非常に道徳的だとは言えません。そして、非常に道徳的でありながら、それほど知的でない人もいる可能性がありますか? はい、そう思います。
それが私の推測です。まあ、あなたは完全には確信が持てないと言いましたが、反対の証拠は何でしょうか? 知性が高まるにつれて、道徳性が何らかの形で比例して高まるという証拠は何でしょうか? そうですね、相関関係があるかどうか全くわかりません。
なるほど。非常に知的で非常に悪い人もいれば、非常に知的で非常に良い人もいると思います。理解するとはどういうことでしょうか? はい、それは答えられる質問です。ここでも、私は多くの人が理解についての間違ったモデルを持っていると思います。これらの大規模言語モデルを見ると、特にチョムスキー派の言語学者たちの多くは、彼らが言っていることを本当に理解していないと言います。彼らは単に統計的な相関関係を使って次の単語を予測しているだけだと。
最初のそのようなモデルを見てみると、私はおそらく、バックプロパゲーションを使って次の単語を予測する方法を学習する最初の言語モデルを作りました。次の単語を予測する際のエラーをバックプロパゲートし、モデルの目的は単語の意味をどのように学習できるかを示すこと、あるいは言い換えれば、単語の文字列を取り、単語を特徴ベクトルと特徴ベクトル間の相互作用に変換する方法を示すことでした。そしてそれが理解というものです。
単語の文字列を理解するということは、単語を特徴ベクトルに変換し、次の単語を予測するだけでなく、他のこともできるように特徴間の相互作用を使用できるようにすることです。つまり、シンボルの文字列である文があります。単語の断片について話すのはやめましょう。これらのトランスフォーマーは単語の断片を使用しますが、全体の単語を使用していると仮定しましょう。話しやすくなります。
それは単に少し悪く動作するだけです。それでも機能します。私が単語の文字列、つまりテキストを与えます。意味はテキストの中にはありません。あなたはそれらの単語を特徴ベクトルに変換し、文脈における特徴ベクトルが、曖昧な単語の意味を明確にするなど、どのように相互作用すべきかを学習しています。そして一度それらの単語に特徴を関連付けると、それが理解です。
それが理解であり、大規模言語モデルでも人間でも同じ基本的な方法で理解しています。私たちが理解するとき、理解と呼ばれる魔法のような内部のものがあるわけではありません。私は常に、物事がどのように機能するかを説明するために、魔法のような内部のものを取り除こうとしています。私たちは、大きなニューラルネットワークを使用して、これらのシンボルに特徴を関連付けることができ、その特徴がすべてうまく適合するようになっています。
私が好きなアナロジーがあります。3Dの形状をモデル化したいけれど、表面を完璧に再現する必要がないなら、レゴブロックを使うことができます。これは車のような大きな形状です。レゴブロックでポルシェと同じ形を作ることができます。表面は正確ではありませんが、同じ空間占有を持ちます。つまり、レゴブロックは3D構造をモデル化する普遍的な方法で、多くの種類のレゴブロックは必要ありません。
今、単語をレゴブロックのように考えてみましょう。ただし、異なる名前を持つ多くの異なるレゴブロックがあります。さらに、各レゴブロックには柔軟性があります。レゴのピースのような固定的な形状ではありません。さまざまな方向に変化することができます。完全に自由というわけではありません。名前はそれがどのように変化できるかについて何かを教えてくれますが、柔軟性があります。時には、名前があり、それが持つことができる2つの全く異なる形がありますが、どんな形でも持てるわけではありません。
私たちが発明したのは、3次元の物質分布よりもはるかに複雑なものをモデル化するシステムで、高次元のレゴブロックを使用します。例えば1000次元のレゴブロックです。数学者であれば、1000次元の空間は非常に奇妙なもので、ある種の柔軟性を持っていることを知っています。そして私がこれらのレゴブロックの名前を与え、それぞれが1000次元の基礎的な形を持ち、それらはすべてうまく適合するように変形します。それが理解です。
これは、定義なしで1つの文から単語の意味を学習できる理由を説明します。例えば、「she scrummed him with the frying pan」という文があれば、scrummedの意味がわかります。それは部分的に音声的なものですが、edで終わることから動詞だとわかります。
おそらくそれは彼女が彼を頭で殴ったという意味でしょう。または何か別の意味かもしれません。彼女が素晴らしいオムレツを作って彼を感動させたのかもしれません。感動させたという意味かもしれませんが、おそらく頭で殴ったとか、そのような攻撃的な何かを意味するでしょう。そしてそれを1つの文から理解します。誰もscrummedの定義を教えてくれていません。
she、him、そしてその他の単語のレゴブロックがすべて、うまく適合する形を取り、穴を残します。そしてその穴がscrummedに必要な形です。だからそれが、scrumがどのような形であるべきかを教えてくれます。これが私の言語についての考え方です。それは私たちが発明したモデリングシステムで、各ブロックには柔軟性があります。私がブロックの集まりを与え、あなたはそれらをどのように適合させるかを理解しなければなりません。しかし、それらすべてに名前があるので、私は他の人々に自分のモデルについて伝えることができます。名前を与えることができます。そして、もし彼らが私と十分な知識を共有していれば、彼らはそれらがどのようにすべて適合するかを理解することができます。では、聴衆の理解を助けるために...私が考えているのは、これが私たちの頭の中で起こっていることで、これらの大規模言語モデルでも同じことが起こっているということです。つまり、彼らは私たちと同じように機能します。そしてそれは、彼らが本当に理解しているということを意味します。
チョムスキーの反論の1つは、言語モデルと私たちの理解の仕方が同じだとしても、私たちの入力は疎であるということです。インターネット全体を学習する必要はありません。それについてどう思いますか? 言語モデルがより多くのデータで学習されているのは事実です。彼らは統計的に私たちほど効率的ではありません。
しかし、子供が言語を学ぶとき、ラジオを聴くだけで学ぶわけではありません。実世界の中にいて、世界のものと相互作用しながら学びます。そしてマルチモーダルモデルを学習させる場合、それほど多くの言語入力は必要ありません。
そしてロボットアームとカメラを与えて世界と相互作用させれば、より少ない言語で済みます。それが1つの議論です。おそらく人間よりもまだ多くの入力が必要でしょう。もう1つの議論はこうです。バックプロパゲーション学習アルゴリズムは、多くの経験を与えられた場合、少数の重みに多くの知識を詰め込むのが非常に得意です。ここで言う少数とは1兆個程度です。
つまり、この膨大な経験から知識を抽出し、1兆個程度の比較的少数の重みに詰め込むのが得意です。それは私たちが抱える問題ではありません。私たちは反対の問題を抱えています。100兆個という膨大な数の重みを持っていますが、生きているのは20億秒程度です。そのため、多くの経験を得ることができません。
つまり、得られる非常に限られた量の経験を最大限活用するために最適化される必要があります。これは私たちがおそらくバックプロパゲーションを使用していないことを意味します。おそらく他の学習アルゴリズムを使用しています。その意味で、チョムスキーは私たちが少ない知識に基づいて学習するという点で正しいかもしれません。しかし私たちが学習するのは、単語に特徴を関連付け、それらの特徴がどのように相互作用すべきかということです。
学習と研究について話を続けましょう。ジェイ・マクレランは、あなたが大学院生や他の研究者との会議で、他の機械学習研究の会議とは異なり、黒板に方程式を書かない傾向があると言っています。代わりに、絵を描いてジェスチャーを交えて説明するとのことですが、このアプローチの意義と長所・短所は何でしょうか。
はい、私は直感的に考えてから数学をします。数式を使って考え、物事を導き出してから直感を得る人もいます。デビッド・マッケイのように、直感的にも数学的にも非常に優れている人もいます。それは単に異なる思考方法ですが、私は常に数式よりも空間的なものを使って考えることの方が得意でした。
学部時代の経験について教えていただけますか。どのようにプログラムを変更し、なぜそうしたのですか。長い話になりますが、私はケンブリッジで物理学、化学、結晶状態（基本的にはX線結晶学）を学び始めました。しかし1ヶ月後に嫌気がさしました。初めて家を離れて暮らすことになり、勉強が大変でした。
そこで中退して建築学科に再出願しました。そして入学が認められましたが、1日でそれも自分には向いていないと判断しました。そこで科学に戻り、物理学、化学、生理学を学びました。生理学がとても気に入りました。1年後、私は心について
もっと知りたいと思いました。そして哲学がそれを教えてくれると思いました。
そこで科学を辞めて1年間哲学を学びました。ウィトゲンシュタインとその考え方について学びましたが、全体として起こったことは、私が哲学に対する抗体を作り出したということです。主な理由は、それがすべて言葉だけだったからです。理論が良いかどうかを判断する独立した方法がありません。実験がありません。良く聞こえれば良いのです。それは私にとって不満足でした。
そこで心についてもっと知るために心理学を学びました。それはとても煩わしかったです。心理学者がすることは、本当に愚かな単純な理論を持ち、その理論が真か偽かを見るために非常によく設計された実験を行うことでした。始める前からその理論が望みのないものだとわかりました。実験の意味は何でしょうか。それが心理学のほとんどでした。
そしてAIに進みました。そこでコンピュータシミュレーションを行いました。そちらの方がずっと満足でした。教授になってから、そして今日に至るまで、研究課題をどのように選んでいますか。そうですね。実際にどのように行っているかを私が知っているべき理由はありません。それは人々が行う最も洗練された事の1つです。私がどのように行っているかについて持論を述べることはできます。しかし、必ずしも私を信じる必要はありません。LLMのように作り話をしてもよいですよ。
私が行っていると思うことの1つは、皆が間違ったことをしていると思う場所を探すことです。皆が間違っているという直感を持ち、どうすればもっと上手くできるかを考えます。通常、最終的にわかるのは、人々がなぜそのやり方をしているのかを発見し、あなたがより良いと思った方法が実際にはより良くないということです。
しかし時々、例えば皆が知能を理解するために論理を使おうとしているのに、私たちはニューラルネットワークを使うべきだと考え、知能を理解する核心的な問題はニューラルネットワークの結合強度がどのように適応するかということだと考える場合のように、時々、あなたが正しいことが判明します。そして、あなたの直感が間違っていて、標準的なやり方が正しい理由がわかるまでは、直感を信じ続けなさい。それが画期的な新しいことを行う方法です。
私には好きな議論があります。それは、もしあなたが良い直感を持っているなら、明らかに直感を信じるべきです。もし悪い直感を持っているなら、何をしても大して違いはないので、直感を信じた方がいいでしょう。さて、レイ・カーツワイルの直感について、私が2000年代初頭に彼に従っていたときには、これらの予測の半分も正しくないだろうと思っていたのに、何度も正しかったのはなぜでしょうか。
彼の本を読めばそう結論付けるでしょう。私が推測するに、彼があまり言及しない、正しくなかった多くのことがあるのではないかと思います。しかし私の知る限り、彼の主な主張は、コンピュータは高速化し、高速化し続け、コンピュータが高速化するにつれて、より多くのことができるようになるということです。そしてその議論を使って、コンピュータが人間と同じくらい賢くなる時期について、おおむね正しかったのです。
同僚が同意しない予測で、あなたの直感が正しい道筋にあると思うものはありますか。AIやアラインメントなどについては話しましたが、それは既に扱った分野なので、おそらくそれ以外のことについて。私が思うに、主なものは主観的経験とは何か、意識とは何かなどに関することです。ほとんどの人が精神状態について全く間違ったモデルを持っていると思います。それはより哲学的なことですね。
技術的なことについては、私は依然として高速な重みが非常に重要になると信じています。脳のシナプスは多くの異なる時間スケールで適応します。私たちはほとんどのAIモデルでそれを使用していません。その理由は、正確に同じ重みを使用する多くの異なる学習例を持ちたいからです。そうすることで、効率的な行列-行列乗算を行うことができます。
重みが急速に適応する場合、各学習例で異なる重みを持つことになります。なぜなら、それらは急速に適応しているからです。私が信じているのは、遅い重みと速い重みの一種の重ね合わせです。遅い重みはいつも通り適応していますが、その上に急速に適応する速い重みがあります。
そうすると、様々な良い追加の特性が得られますが、現在のコンピュータではより効率が悪くなります。アナログコンピュータで実行していれば問題ないでしょう。結局、速い重みを使用する必要があると思います。なぜなら、それらは様々な良い特性をもたらすからです。しかし、それは現在、脳と私たちが持っているハードウェアの間の大きな違いです。
あなたは公に、躁うつ病的な傾向があると話されています。極度の自己批判の期間と極度の自信の期間があり、それが創造性に役立ってきたと。自信の期間はより短いのですね。はい、それについて教えてください。新しいアイデアを得ると、とても興奮します。
そして実際にアイデアの重さを量ることができます。時には1ポンドのアイデアですが、時には5ポンドのアイデアがあります。つまり、新しいアイデアを得ると非常に興奮し、食事をする時間もないほどです。そのため体重が減ります。なるほど。そしてそのアイデアがどれだけ刺激的だったかを、体重がどれだけ減ったかで測ることができます。
そうです。本当に良いアイデアの場合、約5ポンド減ります。あなたの曾祖父のブール氏の松明を受け継いでいるという感覚はありますか? いいえ、実際にはそうでもありません。父はこの種の遺産について話していましたし、それは話題として面白いものです。私が感じているのは、父から来た非常に高い期待です。ジョージ・ブールからではなく、父からです。
自分自身への高い期待ですか? はい、学問的な成功についてです。あなたの考えの中で、松明を渡そうとしている後継者はいますか? そうですね、正確にはいません。他の誰かにそれを押し付けたくはありません。なぜ「いいえ」ではなく「正確にはいません」と言ったのですか? 定量的なことが非常に得意な甥が何人かいます。なるほど。
しかし、彼らにそのプレッシャーをかけたくないのですね? はい。プレッシャーと言えば、Googleを去ったとき、AIの安全性に関する懸念について公に発言されました。その決断をし、世界に不安を表明することについて、最も難しかった部分は何でしょうか? 難しかったとは思いません。難しいとは言えないでしょう。
私は75歳でした。つまり、AIの安全性の問題で、Googleに留まって仕事を続けたかったのに、できなかったというわけではありません。いずれにせよ引退する準備はできていました。もう研究をうまくできなくなっていました。変数が何を表しているのか忘れてしまうようになりました。もう研究をうまくできなくなっていました。変数が何を表しているのか忘れてしまうようになりました。
もう研究をうまくできなくなっていました。変数が何を表しているのか忘れてしまうようになりました。はい。そして引退する時期でした。私は単に、出て行く際にAIの安全性の問題について言及できると思いました。その後に起こったことは予想していませんでした。
さて、あなたは他のインタビューでも、75歳、76歳になって...毎年変わっていきますね? 77歳です。はい、わかりました。あなたはプログラミングをしているときに変数名を忘れてしまうようになったと公に話されていますね。
そしてあなたは年を取るにつれて哲学に移行していくと考えているとのことですが。私たちが多く話してきたことですね。はい、はい。基本的には20歳くらいで哲学をしていたときに得た洞察に戻って、それをさらに探求しているのです。
なるほど。では、これからはどうなりますか?
そうですね、老年期ですね。AIによって世界は非常に早く大きく変化すると思います。そしてその一部は非常に良いものになり、一部は非常に悪いものになるでしょう。私たちは悪い結果を軽減するためにできることをする必要があります。
そして私がまだ有用にできることは、若い研究者たちに安全性の問題に取り組むよう促すことだと思います。そのため、私は多くの時間をそれに費やしてきました。安全性の中には、アラインメントと呼ばれるものがあります。私たち人間にはアラインメントがありません。では、アラインメントの問題を解決できると思いますか? その発言に私も同意します。
アラインメントとは、直交する2本の線に平行な線を見つけるようなものです。はい。アラインメントについて、人々は非常に単純に話します。人間にとって良いことのようなものがあると。しかし、ある人々が良いと思うことを、他の人々は悪いと思います。中東でそれをよく見ます。
だからアラインメントは非常に難しい問題です。誰とのアラインメントなのか。あなたは今、若いAI研究者に話しかけています。今度は若い数学研究者、若い哲学者、STEM分野に入ってくる若い学生たち、哲学はSTEM分野ではありませんが、そういった人々に話しかけています。あなたのアドバイスは何ですか?
まあ、1つのアドバイスは、科学研究における興奮の多くが現在、AIと呼ばれているニューラルネットワークの周りにあるということです。実際、物理学者たちは今、それは物理学だと言いたがっています。ちなみに、ニューラルネットでノーベル賞を取った人がいましたよね。誰でしたっけ? 覚えていませんが、とにかく続けてください。本気ですか? いいえ、冗談です。そうですね、私は名優ですね。そうですね。
そう、明らかにノーベル委員会は科学における多くの興奮が現在AIにあることを認識しています。そのため、物理学と化学の両方で、AIを行うまたはAIを使用する人々にノーベル賞が授与されました。だから若い研究者へのアドバイスは、そこに多くの興奮があるということです。
しかし、室温超伝導体のような、非常に重要な進展が見込まれる他の分野もあると思います。それができれば、遠く離れた場所の太陽光発電を容易にするなど、そういったことが可能になります。
ナノマテリアルも非常に興味深いですが、それらはAIを使用するでしょう。つまり、おそらく科学の最も興味深い分野のほとんどが、少なくともAIツールを使用することになると思います。私たちは今、これについて触れましたね。では明示的に言及しましょう。あなたは昨年、AIとニューラルネットの研究で物理学のノーベル賞を受賞しました。それで。はい。どう感じていますか? その知らせを聞いたときはどうでしたか? そして物理学において、自分を物理学者だと考えていますか? これは何を意味するのでしょうか?
いいえ、私は物理学者ではありません。大学1年生のとき、物理学はとても得意でした。直感的に物事を理解できることで物理学で1等を取りましたが、数学は決して得意ではありませんでした。数学が不得意だったので物理学を諦めました。もし数学が得意だったら、物理学にとどまっていたかもしれませんし、ノーベル賞も取れなかったかもしれません。
だから数学が不得手だったのは幸運だったのかもしれません。それについてどう感じているかですか? まだ少し混乱していますね。主な問題は、私のニューラルネットに関する研究で物理学に密接に関連していたのは、テリー・サノフスキーと開発したボルツマンマシンという学習アルゴリズムです。それは統計物理学を上手く活用していました。
だから物理学者たちがそれを主張する理由はわかります。しかし、それは実際には現在の成功しているAIシステムへの道筋ではありませんでした。私が取り組んだバックプロパゲーションという別のアルゴリズムが、この巨大な新しいAI産業を生み出しました。だから、ボルツマンマシンで報われたことについて、まだ少し気まずい思いがします。ボルツマンマシンは役に立ちましたが、本当に成功したものではありませんでした。
教授、お話できて光栄でした。はい。あなたのお宅に伺わせてください。私はあなたの猫に会うことができます。はい、ありがとうございます。新しい更新です。サブスタックを始めました。そこでの文章は現在、言語と曖昧な概念、そしていくつかの数学的な詳細について書いています。もっと多くのことが書かれています。これは他のどこにもないコンテンツです。Theories of Everythingにもありませんし、Patreonにもありません。完全な書き起こしも将来的にそこに置かれる予定です。
多くの人が私に「カート、あなたは理論物理学、哲学、意識の分野で多くの人々と話をしてきましたが、あなたの考えはどうですか?」と尋ねます。私はインタビューでは中立的な立場を保っていますが、このサブスタックはこれらのトピックについての私の現在の考察を覗き見る方法です。また、パートナーであるThe Economistに感謝します。まず、視聴していただきありがとうございます。聴いていただきありがとうございます。まだ購読やいいねボタンを押していない方は、今がその時です。なぜでしょうか?
それは、購読やいいねの1つ1つが、YouTubeがこのコンテンツをあなたのような人々により多く届けるのを助けるからです。さらに、それは私、つまりカートを直接助けることになります。また、昨年、外部リンクがアルゴリズムに大きく影響することがわかりました。つまり、TwitterやFacebook、Redditなどで共有するたびに、人々がYouTube外でこのコンテンツについて話していることをYouTubeに示すことになり、それがYouTubeでの配信を大きく助けることになります。
第三に、Theories of Everythingには非常にアクティブなDiscordとsubredditがあり、人々はTOEを解説し、理論について敬意を持って議論し、コミュニティとして私たち自身のTOEを構築しています。両方へのリンクは説明欄にあります。第四に、このポッドキャストはiTunes、Spotify、すべてのオーディオプラットフォームで配信されていることを知っておくべきです。Theories of Everythingと入力するだけで見つけることができます。
個人的に、講義やポッドキャストを再視聴することから多くを得ています。コメントでも、TOEのリスナーが再生から得るものがあると読みました。そこで、iTunes、Spotify、Google Podcastsなど、お使いのポッドキャストプレイヤーでお聴きになってはいかがでしょうか。
最後に、このような会話やコンテンツをより多く支援したい場合は、patreon.com/CURTJAIMUNGALを訪れて、お好きな金額で寄付することを検討してください。PayPalやクリプト、YouTubeでの参加もあります。スポンサーやあなたからのサポートがあってこそ、私はTOEにフルタイムで取り組むことができることを覚えておいてください。
また、広告なしのエピソードに早期アクセスすることもできます。Patreonの場合はオーディオ、YouTubeの場合はビデオです。例えば、今聴いているこのエピソードは数日前にリリースされました。1ドルでも想像以上に役立ちます。いずれにしても、視聴していただくだけでも十分な寛大さです。本当にありがとうございます。ありがとうございました。