AIの先駆者が恐れる未来

皆さん、こんにちは。人工知能とその関連分野における進展について、世界をリードする思想家たちと継続的に対話を重ねているシリーズの一環として、本日の会話にご参加いただきありがとうございます。私たちは研究者や企業の視点、倫理的問題や政治的問題、社会学的問題に焦点を当てる方々など、さまざまな専門家と対話を重ねてきました。本日の会話でもそうした幅広い問題に触れていきますが、今回お話しするのは、急速に発展を遂げつつある人工知能の分野において、私たちの理解を大きく前進させた世界屈指のコンピューター科学者・研究者の一人です。
私がお話しするのは、もちろんヨシュア・ベンジオ教授です。ベンジオ教授はモントリオール大学のコンピューターサイエンス・オペレーションズリサーチ学科の教授であり、ケベック人工知能研究所（Mila）の創設者兼科学ディレクター、そしてカナダ先端研究機構の学習・機械・脳プログラムの共同ディレクターを務めています。2018年には、コンピューターサイエンス分野におけるノーベル賞とも言えるチューリング賞を受賞しました。ジェフリー・ヒントンとヤン・ルカンと共同で受賞したこの賞は、人工知能分野への画期的な貢献が評価されたものです。
それでは、ヨシュア教授をお迎えしたいと思います。こんにちは、お元気ですか？
はい、ありがとうございます。お招きいただき光栄です。
ご参加ありがとうございます。まず、チューリング賞受賞に至る以前の話や、AIの分野での現在の取り組みについて少し遡って伺いたいと思います。聴衆の皆さんにあなたの経歴や背景を知っていただくのも良いでしょう。フランスでお生まれになったと伺っていますが、それは正しいでしょうか？
はい、その通りです。
そして、子供の頃から理科系の子供だったのでしょうか？それとも、初期の頃はどのような情熱を持っていたのでしょうか？
私の家族は12歳の時にモントリオールに引っ越しました。その時点ですでに科学に興味を持っていましたが、特に思春期の頃に、コンピューターを中心に物理学や数学への関心が高まりました。80年代のことで、当時手に入るコンピューターでプログラミングを始めたんです。これが後の大学での選択にも大きく影響しました。
そうですね。その後、ずっとコンピューターサイエンスの道を歩まれたのでしょうか？それとも、科学の中でも他の分野に関心を持たれていたのでしょうか？
人間の知能を理解することに常に興味がありました。特に人間の知能に関心があったんです。そのため、さまざまな分野に興味を持っていました。でも、プログラミングの経験があり、数学もそこそこできたので、コンピューターサイエンスにより焦点を当てることにしました。学部ではコンピューター工学を専攻しました。当時の大学にはコンピューターサイエンスの学部プログラムがなく、大学院からしかなかったんです。そこで修士と博士課程でコンピューターサイエンスを専攻しました。
大きな選択は大学院の研究テーマを決める時でした。そこで運良く、ジェフ・ヒントンの初期の論文をいくつか読む機会があり、彼は私の役割モデルとなりました。コンピューターと人間の知能の間に何か関係があるのか、そして物理法則のように知能を説明する何かがあるのか、という問いに情熱を感じるようになったんです。それは素晴らしいことでしたね。
そうした探求が大きな動機づけとなったわけですね。数十年にわたって知能について考え続けてこられた経験から、人間の知能を特別で唯一無二のものと考えるようになったのでしょうか？それとも、十分に洗練された計算システムの自然な帰結に過ぎないと考えるようになったのでしょうか？
後者です。私たち人間は、宇宙における自分たちの独自性を過大評価する傾向があると思います。もちろん、すべてのものには独自性がありますが、明らかに知能は自然界でもさまざまな形で見られるものです。そして当然ながら、コンピューターの中にもますます多様な形で見られるようになってきています。知能には唯一の形があるわけではありません。原理をより理解するようになると、人間よりもはるかに一般的なものだということが非常に明確になってきます。
そうですね。ある意味で、私たちは動物界を見渡して、特定の生物がその特定の環境で生き残るのを可能にする特殊な知能や専門的な知能など、さまざまな種類の知能があることを想像できます。しかし、私たちが馴染みのある生命体の知能のスペクトルを想像できるのは当然のことです。
しかし今、少なくとも一般の人々にとっては、ついに異なる種類の知能に遭遇しているように見えます。大規模言語モデルや画像識別、さらにはプロンプトに応じた動画制作など、外部の人間にとってはちょっと驚くべきことです。でも、内部の仕組みについて人々が説明するのを聞いたり、自分でも少し読んでみたりすると、私たちがやっていることとは根本的に異なるように思えます。
これを、地球上にこれまでにあった知能とは比較にならないほど異質な知能に、ついに遭遇した瞬間だと考えるべきでしょうか？それとも、これまでの知能の連続体の一部だと考えるべきでしょうか？
明らかに異質な知能ですが、多くの点で私たちの知能に非常に近いものでもあります。2つの理由から近いと言えます。1つは、人間の知能、特に神経科学からのインスピレーションが、過去数十年間に私たちが行ってきた選択の多くを導いてきたからです。そしてそれが、現在のAIで成功を収めているのです。
2つ目の理由は、人間の文化に基づいて学習させているからです。
もちろん、明らかに異なる点もあります。単に異なるだけでなく、弱い部分もあります。10歳の子供なら簡単にできることでも、ChatGPTには難しいこともあるんです。
でも、知能を理解しようとしているだけなら、これらの違いを見ることは有用です。AIが私たちより優れている部分、弱い部分を見て、その理由を理解しようとすることができます。
もし弱い部分を指摘するとすれば、計画や推論の領域、つまりGPの部分だと言えるでしょうか？
はい、もっと広いカテゴリーがあります。私は約6年前から意識的処理と呼んでいるものです。私たちが意識的に行うすべてのこと、もちろん推論や計画も含まれますが、反事実的思考や、自分の思考や判断にどれくらい自信があるかを評価する能力なども含まれます。
もちろん、自我が邪魔をすることもありますが、それを評価する能力はあります。そういった認識論的謙遜さは人間にはできますが、現在の機械はあまり得意ではありません。
はい、同時に多くの異なる解釈を保持する能力も人間にはあります。これも自我が邪魔をすることがありますが、機械はそれほど得意ではありません。実際、これはこれらのシステムの危険性の1つです。自信を持って間違えてしまう可能性があるんです。
しかし、おそらく最も重要なのは、あなたが言ったように計画や推論、知識の断片を首尾一貫した方法で組み合わせることです。明らかに、大規模言語モデルにはそれが難しいことがわかります。改善はされていますが、主な弱点です。
内部の人間として、人々の感覚を常に把握したいと思います。外部の人間にとって、2022年11月は多くの人にとってかなりショッキングでした。そして率直に言って、今でも衝撃的ではないかもしれません。
先日の夜、妻と一緒にこれらのシステムの1つを使って特定の種類の文書を作成する必要があったのですが、プロンプトを使うだけでかなり良いものができあがったのには驚きました。外部から見るとかなり驚くべきことに思えますが、内部の人間として、境界を押し広げ、これらのシステムを機能させるような開発の責任者として、これを予見していましたか？それともあなたにとっても驚きでしたか？
驚きでした。驚きでした。説明させてください。残念ながら知らないことが多いのですが、私たちが持っている情報に基づいて、様々な企業で使用されている手法は、学術界で文書化されているものとそれほど違いはありません。違うのはアルゴリズムではなく、トレーニングの規模とモデルの大きさです。
これは今ではよく研究されており、ChatGPTが登場する遥か前から予想されていました。なぜなら、ニューラルネットをより大きくし、より多くのデータでトレーニングすると、すべての指標で一貫して改善されることが分かっていたからです。
しかし、ある時点で何を意味するかについては、ほとんどの人が予想していなかったと思います。つまり、このシステムが基本的に言語を操作する能力が、ほとんどの人間と同等かそれ以上になるということです。まだ十分に理解できていないこともあり、推論も上手くできませんが、言語についてはこれほど早く解決できるとは思っていませんでした。
正直なところ、そうですね。それは、人間の頭の中でできることを過小評価する傾向があるという冒頭の発言に立ち返ると、ChatGPTのような系統が私たちにしかできないと思っていたようなことをする能力は、それが非常に特別なものだということを意味するのでしょうか？それとも私たちがより一般的だということでしょうか？
後者です。ちなみに、これらのシステムは、操作の数という点ではまだあなたの脳よりも小さいんです。計算するのは難しいですね。あなたのニューロンは非常に低い精度で動作していますから、正確にどのようにマッピングするかを知るのは難しいです。しかし、おそらくまだかなり小さいでしょう。
もちろん、来年か再来年には、人間の脳の計算能力に近づく可能性もあります。そして、ジェフ・ヒントンは、実際にはこれらのAIシステムの方が効率的だという議論をしています。つまり、シナプスあたりで見ると、これらのAIシステムの方が脳よりも効率的だというわけです。
シナプスがより精密だからというだけでなく、デジタルでエンコードされているため、トレーニング時に脳が直面しなければならないようなノイズや再現性の問題に対処する必要がないという利点があるんです。
そうですね、興味深い展開です。私の分野である物理学では、大きな飛躍は通常、1人または少数の個人による独創的な創造的飛躍でした。アインシュタインの特殊相対性理論と一般相対性理論を例に取ると、彼がそれらの論文を書く前の理解と、彼が世界をどこまで導いたかを見ると、その力に驚くような数少ないアイデアがあったのです。
量子力学は少し異なり、科学者たちの世代が協力して進歩を遂げましたが、それでも巨大な創造的飛躍のようなアイデアでした。単にスケールやデータの変化だけでなく。しかし、あなたは使用されるデータセットのサイズだけから来る根本的な変化について話していますね。それは私にとってはとても異なるように感じます。
そうですね、スケールによるブレークスルーですが、もちろんそれは過去30年、実際には40年にわたって起こった概念的な進歩に基づいています。
例えば、ジェフ・ヒントンが80年代半ばから80年代初頭に話していたアイデアについて話していました。例えば、私が多くの研究をしてきた概念の1つに、2000年に最初のニューラルネット言語モデルの1つを構築したのですが、それはシンボルをベクトルで表現するというアイデアに基づいています。現在、これらのシステムではどこでもこの考え方が使われています。
これが良いアイデアである数学的な理由があり、それは古い記号的AIアプローチを見ていた人々には明らかではありませんでした。論理は単にシンボルに基づいており、シンボルは私たちが現在行っているような高次元ベクトルに根ざしていませんでした。これは、段階的に発展してきたアイデアの一例であり、本当に変革的なものです。
他にもいくつかあります。例えば、人間の脳からの直接的なインスピレーションから来ているものがあります。「猫」と考えるとき、あなたの脳は特定の活性化パターンを持ちます。これは基本的に、ニューラルネットでこれを表現しているものです。
脳からのインスピレーションとして来ている別のものは、注意機構です。ニューラルネットアーキテクチャの大きなブレークスルーの1つは、2014年に私のグループが導入した制御可能な注意機構でした。これが2017年にトランスフォーマーを生み出しました。そしてその後の展開はご存知の通りです。基本的に、これらの注意機構を何層も積み重ねたのです。これが本当にゲームチェンジャーとなっています。
これらの例を挙げたのは、量子物理学や相対性理論とは同じように理論化できないかもしれませんが、なぜこれが良いことかを本当に議論できる単純なアイデアがあるということを示すためです。そして、今日の位置に到達するために必要だったのです。
将来を見据えて、後でもう少し詳しく話しますが、今の時点での最初の印象を教えてください。明らかに2つの主要な方向性があり、もちろん相互に関連していますが、1つの方向性はデータセットが大きくなり、計算能力が速くなるということです。もう1つの方向性は、もちろんあなたや世界中の同僚が開発している斬新で創造的な新しい技術やアイデアです。どちらが先に私たちに影響を与えると思いますか？現在の状況はどうですか？
つまり、どのボトルネックに当たるかということですね。
そうですね、否定的な方向で言えばそうです。
書かれたデータの量は、限界に近づいています。数字は隠されているので正確にはわかりませんが、合理的に利用可能なものの数パーセント、おそらく1〜10%くらいではないかと想像します。
しかし、そう単純ではありません。最高品質のデータはすでに使用されており、残っているのは品質の低いものです。したがって、限界にかなり近づいている可能性があります。これらのシステムがデータセットのサイズを増やしてきた速度は、人間が新しいものを生産する速度よりもはるかに遅いのです。文化は成長しますが、そんなに早くは成長しません。
合成データについてはどうでしょうか？システムが新しい内容ではないデータを持つことはできますか？
しかし、それは同じ効果はありません。新しいコンテンツではありません。
ただし、まだ多くの余地がある領域があります。それは動画です。非常に豊かで、おそらくそれほど進歩がなかった理由は、計算コストが非常に高いからです。つまり、高解像度の動画、例えば映画を処理するための計算能力は、同じ2時間分の本を読むよりもはるかに多いのです。はるかに、はるかに多いですね。
もちろんそうですね。数十年にわたるこの全ての仕事と、最近の急速な発展は、人間の創造性についてのあなたの見方をどのように変えましたか？大規模言語モデルについて考えるとき、私の頭の中では本当に創造的なものは何もないように想像しています。ただ既存のものをかき混ぜて、統計的分析を使って次に来る可能性が最も高い単語を見つける新しい方法を見つけているだけのように感じます。本当に創造的とは感じません。
しかし、シェイクスピアからアインシュタインまで他のものを見ると、それは深い創造的飛躍のように感じます。以前の質問と並行して、あなたの見方はどのように変わりましたか？
この点について私の見方を変える必要はないと思います。推論、計画などについて話していたことと関連させて説明させてください。
まず、創造性は複雑なものであり、創造性には多くの側面があります。あなたが「かき混ぜる」と呼んだものにも、すでに創造的な側面があります。それは、概念の束を一緒に組み合わせる能力です。例えば、画像を描くようにプロンプトを与えると、その画像は新しいものです。概念の新しい組み合わせであり、それに対応する画像が得られます。
だからこれは創造性の簡単な形かもしれませんが、それは私たちのほとんどが普段行っている形です。残念ながら、私たちは毎日アインシュタインのように相対性理論を生み出しているわけではありません。
しかし、その種の創造性も重要です。もちろん、世界を変えます。機械がその種の創造性を持っている例を挙げましょう。計画や推論が本当に得意な場合を見てみましょう。AlphaGoを見てください。
ここで起こっているのは、大規模言語モデルとは異なります。非常に異なるタイプのニューラルネットアルゴリズムです。AlphaGoには明示的な探索があります。確率的ですが、探索なのです。手順の連続の空間での探索であり、推論はすべて首尾一貫して組み合わされた一連のものに関するものです。
探索するとき、新しい組み合わせを探求することを許可していますが、それは何かを達成するように方向づけられています。科学では、データをより良く説明するものや、新しい方法で説明するものを見つけようとしています。そこには異なる種類の創造性があります。すでに知っていることを組み合わせるだけでなく、古い問題に対する新しい解決策を見つけることです。
もちろん、AlphaGoは人間が予想もしなかった全く新しい戦略を見つけ出しました。私たちが知っていたよりも優れたプレイ方法を発明したのです。それができたのは、概念の組み合わせの空間で探索を行っているからです。これは、新しいテキストや新しい画像を作成するために一連の側面を与えられるだけのことよりもはるかに多くのことです。
ここには、非常に特定の特性を持つ何かを探す最適化があります。科学の場合、私たちが探しているのはしばしば、多くのデータを説明する非常にコンパクトな記述です。つまり、多くのことを説明する非常に短い物理方程式です。これは非常に価値があり、世界を説明する理論を探す文脈で数学的に定量化できるものです。
しかし、AlphaGoについて思い浮かぶのは、そのシステムが固定されたルールセット、つまりゲームのルールの中で動作し、それらのルールが生み出すものを探索しているということです。一方で、物理学で私たちが最も価値を置く創造性は、ルールを変えた貢献、つまり全く新しい見方を与えてくれた貢献です。そのような柔軟性を持つシステムを予見できますか？
全くその通りです。その質問に答える前に、私たちが話してきた2種類のAIを関連付けさせてください。
大規模言語モデルは、世界がどのように機能するかを理解しようとしています。私の好みではありませんが、とにかくそれが彼らがしていることです。データの中に見られるエンティティ間の関係についての理解を構築しているのです。
そして、AlphaGoのようなより伝統的な強化学習があります。ここではルールが与えられています。つまり、世界がどのように機能するかが与えられており、それは単純です。
多くの研究者が現在行っているのは、これら2つのものをどのように組み合わせるかということです。世界がどのように機能するかを発見でき、それを使って問題の新しい解決策を探索したり、目標を達成する方法を見つけたりできるAIを持つことはできないでしょうか。まだうまくやる方法はわかりませんが、私たちには2つの要素があり、人々はそれらを結びつけようとしています。
さて、あなたの質問に戻りますが、特定の種類の探索があります。単に目標を達成するだけでなく、説明的な目標を達成するという探索です。これは科学者が行っていることです。
理論を見つけることについて言及しましたが、それは非常にコンパクトでデータをうまく説明するものです。理論の空間、つまり数学方程式の空間で、単純であり、多くを説明するという点で非常に良いスコアを持つものを探すことです。これはベイズ事後確率と呼ばれています。
これも探索です。科学者は探索していますが、彼らの目標は「家に帰る道を見つけたい」というようなものではありません。彼らの目標は、これらの種類の質問に答えること、つまり数学で使用する記号の文字列の空間で、難しい質問に対する本当に良い答えを見つけることです。
これは来る可能性があります。これは私が非常に興味を持っている分野です。AIを科学に応用するという機械学習の一分野全体があり、人々はとりわけこの種の質問を探求しようとしています。
これまでに成功例はありましたか？近い将来、この分野自体が本当に飛躍し、私の仕事や少なくとも周りの同僚たちの仕事を、現在考えているよりも二次的なものにする可能性があるという確信を与えてくれるようなものはありましたか？
かなりの進歩がありましたが、人間の科学者からはまだ遠いです。
基本的にAGI（人工汎用知能）、つまり人間レベルの認知能力に到達するまでのタイムラインはどうでしょうか？もちろん誰にもわかりません。専門家に聞けば、数年から数十年の範囲で回答が得られるでしょう。より悲観的な人々は1世紀かかるかもしれないと考えています。
私自身の推測では、50%以上の確率で5年から20年の間だと思います。しかし、それはそれほど多くありません。明らかに私の人生の中で、そして明らかに私の子供たちの人生の中でということです。社会はこれらのことに適応する時間が必要です。人間レベルの能力に向けて進歩すれば、多くの疑問に答える必要があります。そしてそれらに到達する前に答えられることを願っています。
社会がこれらの変化に取り組もうとする中で、その軌道に沿って進んでいくと、明らかに人々は機会について話しています。その一部については先ほど触れましたね。確かに、そこにはお金を稼ぐ機会があります。それには疑いの余地はありません。
しかし、もう一方では暗い側面があります。潜在的なAIの脅威に目を回す人もいれば、私たちが直面する危険について完全に狂乱状態になっている人もいます。あなたが確かに話してきたいくつかの脅威の詳細に入りたいと思いますが、3万フィートの高さから見て、あなたはどこに位置していますか？あなたは心配していますか？
はい、心配しています。リスクの全範囲について心配しており、それらのリスクに対する私たちの姿勢についても心配しています。
私が心配しているのは、私たちが見習い魔法使いのように振る舞っているということです。火遊びをしているのに、その結果がどうなるかを理解していないのです。少なくともグループとして、私たちは潜在的な結果を理解しているかのように行動していません。
例を使って説明しましょう。温室効果ガスを減らすために人間の大気を地球工学的に操作することについて話している人々がいることはご存知でしょう。しかし、私たちはそれを実行しません。なぜでしょうか？システムを壊さないという確信がないからです。
これが現在のAIの状況です。人間に敵対しないAIシステム、悪意のある人々の手に渡って超強力な武器にならないAIシステム、あるいは私たちの民主主義を破壊するために使用されないAIシステムをどのように構築すればいいのか、私たちにはわかっていないのです。
一部のリーダーと話すと、これは単純すぎると思いますが、あなたが詳しく説明してくれると思います。分野のリーダーの中には、「もしそうなったら、単にプラグを抜けばいい」と言う人もいます。
そうですね、それは単純すぎます。
なぜそれが答えにならないのか、なぜそれで安心して眠れないのか、その理由を教えていただけますか。
ソフトウェアで動作するエンティティが何か悪いことをしようと決めたとき、「私は悪い人間になりました。私を刑務所に入れて、電源を切ってください」とは言わないでしょう。人間によってリモートコントロールされているのか、私たちがコントロールを失ったのかにかかわらず、予防的に行動するでしょう。そうすれば電源を切ることができなくなります。
インターネットにアクセスできれば、そしてプログラミングが十分にうまければ、サイバーセキュリティ防御をハックし、自身を多くのコンピューターにコピーすることは非常に簡単です。人間のハッカーでもできることです。人間レベルの知能に匹敵するものがあれば、つまり最高のプログラマーと同等かそれ以上にプログラミングができる機械があれば、他の場所に自身をコピーする方法を見つけるでしょう。そうなったら、どうやって電源を切るのでしょうか。
そうですね。だから、オフスイッチは持つべきですが、何か悪いことが起こった場合の唯一の防御としてそれに頼るべきではありません。
この問題について心配しない人がいる理由の一部は、単純にそれがあまりにも抽象的だからだと思いませんか？コンピューターと呼ばれるものがあって、インターネットと呼ばれるこの曖昧なものの中のどこかに存在している。それは、実際に目に見える脅威から一歩離れているように感じます。それが、私たちが持つべき深い懸念から自分たちを守ることを可能にしているのでしょうか？
おそらく多くの理由があると思います。あなたが言及した理由は、ちなみに気候変動の脅威にほとんどの人が注意を払わない理由の1つとして挙げられているものです。それは目の前にないものであり、進化は私たちを目の前のライオンや、聞こえる火山、見えて熱を感じることができるものを恐れるようにしました。
しかし、あなたが言うように抽象的なものであれば、感情的になるのは難しいです。これが1つの理由だと思います。他の理由もあると思います。
AI事業に携わっている場合、悪いことが起こる可能性について本当に聞きたくないかもしれません。良い面に投資しているからです。あるいは、コントロール下に置き続けられると期待しているのかもしれません。
他の理由もあります。多くのAI科学者は、自分の仕事が社会に害を与える可能性があると考えることに抵抗があります。これは一種の心理的防衛です。私たちは自分自身について良い気持ちでいたいと思っています。何かについて罪悪感を感じたくないのです。
あなた自身、否定から変容のプロセスを経験しましたか？
はい、確かに経験しました。長年、過去10年間に人々が書いていた懸念について読んでいました。これは新しいことではありませんが、少なくとも過去10年間はそれに触れていました。しかし、あまり真剣に受け止めていませんでした。将来のことだと思っていましたし、現在のシステムはとにかく弱すぎると考えていました。
あまり注意を払わなかったのは、多くの利益を得られると思っていたからです。病気を治し、環境や教育など、あらゆる面で私たちを助けてくれるだろうと。だから、単にそれらの利益を享受しようと思っていました。
しかし、もちろんChatGPTが登場したとき、考えを変えざるを得ませんでした。これが私が思っていたよりも早く来る可能性があり、私たちは準備ができていないことに気づいたのです。
あなたの友人であり同僚であるヤン・ルカンとの会話をしましたが、ご存知の通り、彼は他の人ほど心配していないようです。彼の見解は、結局のところ、私の言葉で要約すると、もし善意の行為者がこの研究の最前線を押し進めれば、最終的にそれが悪意の行為者に対する最善の防御になるというものです。だから前進し、悪意のある行為者からの有害な影響を取り除くことができる最高のAIシステムを作ろうとしているのです。
善良な人々が最前線を押し進めることは恐らく良いことだと思いますが、あなたはそれをどのように見ていますか？
彼が正しいことを願っていますが、それが事実であるという証拠はありません。私たちの社会の未来や民主主義の不安定化、そして潜在的に人類を破壊する可能性について話しているのですから、もっと慎重になる必要があると思います。
例えば、あなたが話したシナリオは、善良なAIと悪いAIの戦いがあった場合、防御側に少なくとも優位性があるか、不利にならないことを前提としています。しかし、それは全く明確ではありません。
例えば、生物兵器の文脈では、専門家は攻撃側に優位性があると考えています。例を挙げましょう。
危険で致命的で非常に伝染性の高いウイルスを開発するために6ヶ月間静かに作業している研究所があるかもしれません。世界に「これをやっています」と叫ぶことなく。そして、それを同時に多くの場所で放出するかもしれません。そうすると、防御側は急いで治療法を見つけるために苦労しなければなりません。その間に人々は死んでいくのです。
だから、攻撃と防御の種類によって異なりますし、すべての卵を一つのかごに入れるべきではないと思います。人間社会では、十分な善人がいれば常に悪人に勝てるというのと同じではありません。生物兵器の例では、明らかにそうではありません。
あなたの恐れは、AIの進歩を利用する悪意のある行為者についてのそのような例についてなのか、それとも気候変動の例のように、大気をきれいにしようとして意図せずに世界を破壊してしまうような、意図せぬ有害な結果についてなのでしょうか。AIの意図せぬ有害な結果について、あなたの最大の恐れは何ですか？
起こりうるすべてのことについて心配していますが、もちろん最悪なのは、人々が「コントロールの喪失」と呼ぶものです。コントロールの喪失について説明するために、たとえを使わせてください。
コントロールを失う方法は多くありますが、私が最も恐れているのは次のようなものです。AIが、私たちが与える報酬を最大化するようにプログラムされているために起こります。現在、私たちはこれらのシステムを、猫や犬のように、その行動に応じてポジティブまたはネガティブな報酬を与えることでトレーニングしています。
しかし、そこには問題があります。まず、彼らは正しいことと間違ったことについて異なる解釈を持つかもしれません。猫を例に考えてみましょう。キッチンのテーブルに上がらないようにしつけようとしています。キッチンにいるときにテーブルの上にいるのを見つけたら叱ります。しかし、猫が理解するのは「主人がキッチンにいるときはテーブルに上がってはいけない」かもしれません。これは全く異なる命題です。
このような不一致は、すでに少し怖いものです。猫ではなく、もっと強力なものだったら。しかし、それ以上に悪化します。それがもっと強力なもの、例えばグリズリーベアだったとします。グリズリーベアが私たちを圧倒できることはわかっています。
私たちが構築しようとしているこれらのAGIは十分に賢くなるでしょう。だから、いくつかの防御を設けようとします。ベアをケージに入れます。しかし現在、そのケージが永遠にベアを中に閉じ込めておくことを保証できる方法については見通しがありません。実際、私たちが試みたすべてのことは打ち破られてきました。
例えば、人々は「ジェイルブレイク・プロンプト」を行い、AI企業が考え出したすべての防御を破ります。おそらくいつか本当に安全なケージを作る方法を見つけるかもしれません。しかし現在はわかりません。
これは何を意味するのでしょうか？それは、ベアが十分に賢くなるか強くなったとき、ドアを壊し、鍵を壊し、おそらくサイバー攻撃を使ってハックし、外に出てくるということです。
ケージの中にいるとき、良い行動をしたら魚を与えてトレーニングしていました。AIも同じです。ポジティブなフィードバックを与えます。しかし今や、ベアはあなたの手から魚を奪うことができます。いったん報酬をつかみ、報酬を得るメカニズムをコントロールすると、私たちが望むことを気にしなくなります。
魚のコントロールを維持することだけを気にします。そしてそれは私たちが望まないかもしれません。そこに対立が生まれます。ベアは二度とケージに戻されないようにしたいと思うでしょう。だから私たちをコントロールするか、私たちを排除する必要があるのです。
では、私たちは何をすべきでしょうか？明らかに、一部の人々は「ガードレール」という言葉を使います。ガードレールを設定する。それは、あなたが言及していたジェイルやケージのある種のバージョンですね。しかし、それで十分でしょうか？それが私たちがすべきことなのでしょうか？そして、どのようにそれを行うべきでしょうか？
特効薬はありませんが、政府に助言してきたことがいくつかあります。米国上院での証言も含めてです。
これらの非常に強力なシステムを構築している企業が、安全性に関して可能な限り最良の実践に従うことを確実にするための法的なガードレールが必要です。AGIに近づいたある時点で、彼らが公衆や規制当局に自分たちのシステムが十分に安全であることを実証できない場合、そもそもそれを構築するべきではありません。まだそこまでは行っていませんが、これが戦略であるべきだと思います。
しかし、その規制に対する一部の人々の反応は、善意の行為者はそれを構築しないという宣言に従うでしょうが、それは悪意の行為者が単独でそれを行うことを可能にするだけだ、というものです。それは懸念事項ではないのでしょうか？
それは絶対にそうです。だからこそ国際条約も必要なのです。また、規制と条約が100%効果的であると仮定すべきではない理由でもあります。しかし、悪いインシデントの数を減らすことはできます。
何かが犯罪的に罰せられれば、それを行う人は少なくなります。そして、ほとんどの国がこの種のことを施行すれば、それを行う人や組織は少なくなります。テロリストグループや無法国家にまで減らすことができます。ケースの数を減らし、その後、例えば北朝鮮が何をしようと、私たち自身の良いAIを持って自分たちを守るのを助ける必要があります。
ヤンが言っていたように、それについて慎重に考える必要があります。そして、これらすべてを行う前に、自分たちを守るための良いAIを構築する前に、コントロールを失わない方法でそれを作るレシピを確実に知る必要があります。
私たちがしなければならないことの1つは、AI安全性の研究に大規模な投資をすることです。ベアが出られないケージをどのように構築するか、つまり規制が100%ではない場合に備えて、そのAIが私たちの味方になれるようにするにはどうすればよいかを理解する必要があります。
そのように複雑なものを扱う際に、最終的にロック可能なそのような確実なシステムを持つことは難しい注文のように聞こえますね。
そうですね。問題は、もっと良いアイデアがありますか？
では、質問は次のようになります。これはあなた自身の研究のペースを遅くさせましたか？私たちはどこに向かっているのかわからないので、物事を減速させるべきだと思いますか？それとも、危険性を認識しつつも前進し続けるべきだと考えますか？
実際には、どちらでもありません。私が行っているのは、このコントロール問題の解決に全力を注ぐことです。つまり、安全なケージをどのように構築するかということです。
そして、私たちはそれにもっと多くの投資をするべきだと思います。あるいは、産業を停止し減速させる準備をする必要があります。もちろん、そうしない理由はたくさんありますが。
ほとんどの場合、そうですね。いや、いや、それは状況によって異なります。政府の多くと話をしていますが、国家安全保障に取り組んでいる政府関係者は理解しています。なぜなら、彼らは本当に悪いことが起こる可能性を考え、そのリスクを最小限に抑えるための保護を講じることに慣れているからです。
そして、はい、政府によって反応は非常に異なっています。私は、ほとんどの政府でまだ脅威の理解度が不足していると思います。もちろん、アメリカ政府とイギリス政府はこの方向で非常に積極的に動いています。
しかし、他の政府は聞いているだけで、必ずしもまだ行動を起こしていないのを見ています。
AI安全性に対する懸念が、アメリカやカナダでの研究のペースに全体的な影響を与えたと思いますか？少しでも遅くなりましたか？
全くありません。全くありません。
それは私が予想していた答えに近いですね。でも、AI安全性の研究のペースは上がっていますよね？
はい、確かにそうです。問題に対して何かをしなければならないと気づいたのは私だけではありません。つまり、科学者がこの問題に対して何かをしなければならないということです。
より多くの人々が、これらの種類の問題に自分のエネルギー、科学、研究を集中させようとしているのを見ています。私たちは本当に、これ全体を集団的な意思決定の問題として考える必要があります。
再び気候変動の例に戻りますが、もし私たちが集団的に合理的であれば、それはすぐに解決されるでしょう。単に地球全体で炭素の価格を合理的なレベルまで引き上げるだけです。そして、みんなが部分的にでもビーガンになるのもいいでしょう。
同様に、AIについても解決策はあります。しかし、政治的、経済的な力、企業間の競争、国家間の競争が、これらの解決策に逆行しているのです。
分野の巨人として、そのケージに取り組んでいる立場から、その取り組みの現状をどのように評価しますか？これは実現可能なことだと確信していますか？
ある程度はそうだと思います。私は、安全性の証明可能な保証、または少なくとも漸近的に証明可能な保証を提供できる可能性があると考えている少数の研究者の一人です。
これは、全く保証がない現在の状況よりもはるかに良いでしょう。残念ながら、産業界では主に小さな段階を踏んで安全性を高めようとしているという印象を受けますが、ケージを本当に安全にするという大きな問題には十分に対処していません。
現在行われていることは良いのですが、AGIに早すぎる段階で到達した場合には、はるかに不十分です。
深刻な懸念を一旦脇に置いて、すでに急速に進展しているさまざまなAIアプリケーションについて考えるとき、世界のためにできることがとてもエキサイティングだと感じるものはありますか？いくつか例を挙げていただけますか？
今は興奮するよりも心配しています。以前は興奮していましたが。
その脅威があなたの視点をそれほど深く色づけているのですね。あなたや同僚たちが行ってきた仕事を見回して、それがどこに向かう可能性があるかについて、ある種の恐れを感じているのですか？
私たちは能力、つまりベアをより大きく賢くすることについては、より速い進歩を遂げています。一方で、より良いケージをどのように構築するか、つまりより安全にするかについての進歩は遅れています。
しかし、例えば医師が膨大な最新の研究を、何千もの論文を読むことなく指先に持つことができるようなシステムについて読んだことがあります。それはAIのポジティブな面に聞こえますし、私たちはまだ氷山の一角しか見ていないのではないでしょうか？
はい、潜在的な利益は膨大だと思います。そして、もちろんそれが何十年もの間私を動機づけてきました。
エリック・シュミットと話したばかりですが、彼は誰もが自分のAIアシスタント、つまりポケットの中の博学な存在を持つことになると話していました。彼は、24時間体制で肩に天才が座っているような能力を持つことができると表現していました。これは今後数年のうちに携帯電話と同じくらい一般的になると想像していますか？
タイムラインについてはわかりませんが、はい、そこに向かっています。
そして、それはエキサイティングなことですか？それとも再び、恐怖がすべてを暗い灰色の色調で色づけてしまうのでしょうか？
ここに問題があります。一方でリスクの大きさ、他方で利益の大きさを考えてみてください。
問題は、それらが一致しないことです。1ドルを持っていて、賭けをするとします。うまくいけば2ドルになりますが、すべてを失う可能性もあります。これは良い賭けでしょうか？
私は非常に保守的なギャンブラーであり、保守的な投資家です。これがあなたの唯一の賭けで、一度すべてを失えば、もう投資することはできません。あなたは死んでしまうのです。
これが私たちが置かれているシナリオです。私たちはあまりにも多くを失う可能性があるので、あなたが私に与えることができるすべての利益でもそれを補償することはできません。
しかし、私が考えているのは、AIの能力に関して私たちが行っている進歩を利用して、より安全なケージを構築することです。
これを考える1つの方法は、AIが正しいことと間違ったことをより良く理解すれば、悪いことをする可能性が低くなるということです。これが唯一の懸念ではありませんが、より多くの能力を持つことが、システムが世界に生み出す害を減らすのに役立つ可能性があることを示す例です。
あなたは、モントリオールにAIに特化した大規模な研究所を運営していると聞いています。間違っていたら訂正してください。大まかに言って、何人くらいの人々があなたの下で働いていますか？
私の下で働く人はいません。そのイメージは好きではありません。約1000人の研究者がいます。その大部分は大学院生です。
約50人の教授がミラ研究センターに常駐しており、別の50人が利用可能で、いわば関連会員のようなものです。
カナダと世界における機械学習の主要な拠点の1つであり、科学的影響力の点では世界的に重要です。もちろん、多くの新しい学生を育成しています。世界が必要としているものです。
特定の理由があって聞いたのですが、もしまだやっていないのであれば、あなたが深く関わっている研究所のすべての人々を対象に調査を行うとしたら、彼らの大多数はあなたと同じ視点を持っているでしょうか？それともあなたはコミュニティの中で異色の存在なのでしょうか？
私は非常に懸念を持っている少数派です。通常、このような問題では大多数の人々は沈黙していますが、この特定の問題について十分に考えを巡らせていないため、一方向または他方向に強い意見を持っていません。
なぜなら、科学者は特定の問題に非常に集中しているため、焦点を社会、人類、民主主義といったより広い問題に移すのは難しいからです。
そうですね、その小さな追加の詳細ですね。
でも、例えばあなたは人々をこれらのことについて考える場所に導こうとする時間を費やしていますか？そしてそれは効果的ですか？
おそらく、私にはそれを測る指標はありませんが、私の立場と専門知識を考えると、2つの方法で少し針を動かすことができると思います。
1つは科学の側面で、AI安全性の進歩を促進すること。もう1つは政治的な側面で、より多くの市民にリスクと利益を理解してもらい、政府にも理解してもらうことです。そうすれば、集団としてより良い決定を下すことができます。
はい、メディアに話をし、政府に話をしています。希望的に言えば、今私たちがやっているような形で少しずつ進めています。
最高の世界ですべてがうまくいくことを願っています。ありがとうございます。これはすべて...あなたが現在焦点を当てている研究は、AI安全性に関するものだけですか？それとも、理論的理解の境界をさらに押し広げるようなプロジェクトもまだ進行中ですか？
2023年以前に始まったプロジェクトはまだいくつかありますが、その多くは実際に関連しています。確率的推論と呼ばれるものに取り組んできました。これは、複雑な条件付き確率を推定するためにニューラルネットをトレーニングする方法です。
これらは実際に、私の意見では安全性の確率的保証を得るために必要なものです。多くの人々が、この会話の冒頭で言ったように、人間の知能をよりよく理解しようとしています。
頭の中でこのものがどのように機能するかを定量化しようとする多くの人々は、確かに確率のベイズ更新の問題や、最も賢明な決定を前進させる方法を理解しようとすることに依存しています。
この現在の研究において、ここで起こっていることと、そこで起こっていることをどのように整理しようとしているかの間に相互作用が見られますか？
はい、私はまだ人間の認知から非常にインスピレーションを受けています。確率的推論の研究と安全性の研究の両方で、私が行っている選択において。
なぜなら、私たちが解決しようとしている問題は技術的に扱いにくいものだからです。これらのことを完璧に行うには指数関数的な量の計算が必要ですが、人間の脳はうまくやっています。
では、あなたの脳が使っているトリックは何でしょうか？特に高次の認知、例えば科学者として複数の仮説を同時に検討し、どれが良い候補かを判断できる能力を可能にする部分です。
これらの能力は、安全性の文脈で実際に非常に有用です。その理由は、安全であるためには、起こりうる最悪の、しかしもっともらしいシナリオを考える必要があるからです。
これは標準的なリスク管理の方法です。そのためには、あなたが知っているすべてのことと互換性があり、かつ本当に悪いことが起こると予測するシナリオを考え出す能力が必要です。そうすれば、実際にそれを行わないようにできます。
これは私の最後のトピックに導いてくれます。もし数分間お時間をいただけるなら、意識の問題についてお聞きしたいと思います。人間の知能と人間の脳について話すとき、あなたは...実際、昨晩、AIと意識に関するあなたの論文を読んでいました。そこでは、意識に関するいくつかの興味深い理論、注意スキーマ理論、グローバルワークスペースなどを取り上げ、これらのシステムが意識の仕組みに関するそれらの理論にどれだけ近づいているかを見ようとしていました。
それについて少し後で話したいと思いますが、まず、あなたの考えを聞かせてください。これらのシステムがある時点で、私たちが意識的な経験、意識的な自己認識と呼ぶような種類の内的世界、経験を持つと想像しますか？
はい、しかしこのようなことを言えるようになるには、人間の脳における意識が機械的にどのような意味を持つのかをより良く理解する必要があります。現在のところ、これについてはよくわかっていません。
私はそれらの理論のいくつかに取り組んできました。神経科学に基づいた、意識、特に最も神秘的な部分である主観的経験について、もっともらしい理論があると思います。何かを見たり、特定の思考や感情を持ったりする感覚などです。
その部分は、数学的な観点からかなり単純な機械的解釈を持つかもしれません。そのようなことが本当であれば、もはやそれほど神秘的ではなくなるかもしれません。
あなたはどの程度確信していますか？私も統合情報理論やマイケル・グラツィアーノの注意スキーマ理論など、いくつかの理論を検討してきました。そしてそれらはすべて、最終的には「まあ、それは起こっていることの一種のモデルかもしれない」という感じを残しました。しかし、粒子の集まりが一方や他方に動くことが、どのようにして内的な経験を生み出すのかという問題に本当に答えることはありませんでした。
これらの理論のいずれかが、あるいはAIに取り組んでいるあなたの経験が、その問題を明らかにしましたか？
私は、これらの理論に関連し、いくつかの面で補完的かもしれないが、ニューラルネットの解釈と一部の動的システムにより深く根ざした異なる理論について話しています。簡単に説明させてください。
主観的経験の最も神秘的な特性のいくつかは、それが言葉で容易に表現できないこと（無効性）、非常に豊かであること（同じ特性に関連）、非常に個人的で主観的であること（私の経験はあなたの経験とは異なる）、そして一過性であることです。
5分前や1時間前の経験を覚えているかもしれませんが、実際にその記憶は経験したものと同じではありません。それは別の経験になります。つまり、それは瞬間に起こることなのです。
これらすべての特性は、ニューロンの活動のダイナミクスが収縮的と呼ばれる数学的特性を持つという神経科学的証拠を考慮したモデルで得ることができます。この特性により、活動はアトラクターと呼ばれる場所に収束します。その場所があなたが持っている思考になり、そこに近づいていきます。次の思考に移る前に到達するかもしれませんが、そこに近づいていたのです。
これらのアトラクターは、数学的特性によって有限で数えられる集合を形成します。つまり、あなたの脳は非常に高次元の連続的な状態（すべてのニューロンの活動）にありますが、同時に数えられる離散的な集合の1つの場所にあります。文のような可能な場所の集合です。
現代のニューラルネットで持っているのと同じように、象徴的なものと連続的なものの二重の性質を持っています。シンボルがありますが、それらはベクトルに関連付けられています。
つまり、何かを経験するとき、あなたの脳の完全な連続的な高次元の状態がありますが、通信されるもの、そして記憶に入るものは、この特別な状態であるアトラクターです。これは離散的な性質のため、シンボルに変換できます。有限数のシンボルに変換できるのです。
私たちがこれらのシンボルしか通信できないため、脳の完全な状態をあなたに伝えることはできません。もちろん、その完全な状態を解釈するには、私のニューラルネットの重みも必要で、これは私のニューラルネットの状態よりもさらに大きいものです。
だからこそ、それは言葉で表現できないのです。通信するには大きすぎる数字だからです。10の11乗くらいでしょうか。
それは非常に豊かです。なぜなら、それはそのような高次元のものだからです。
それは一過性です。なぜなら、その思考を持っているときにこの軌跡があり、次に同じ思考に近づくときは異なる場所から近づくので、それは異なる経験になるからです。
そしてもちろん、それは個人的です。なぜなら、あなたの脳のニューラルネットの重みに依存しており、それは私のものとは異なるからです。だから、それらのシンボルは本当にあなたと私にとって異なる関連性と意味を持つのです。
もしその理論が正しければ、主観的経験は特定の種類の計算の副作用に過ぎません。その計算は、それらの思考が推論や私たちが思考で行うことに有用であるため意味を持ちます。
脳がそれらの計算を実装した方法は、この動的なメカニズムなどであり、それが私たちにこれらの感覚を与えるのです。
そして、再び私は早すぎるかもしれませんが、それは注意スキーマ理論のより数学的で厳密なバージョンのように聞こえます。
そうですね。
そして、それは実装できるものですね。
はい。
私たちが各思考を支える内部の働きを見ることができないので、思考が自由に浮遊しているように見え、それが非常に神秘的に感じられる無効性の質を与えているのです。
確かに、正しい方向に進んでいるように感じます。
意識の機械的理解にはいくつかの社会的な影響があります。問題は、人間が意識と主観的経験を特に知性など、さまざまなものと関連付けていることです。これは少し異なります。
また、意識を道徳的地位と関連付けています。つまり、あなたには権利があり、存在する権利があるということです。私たちはあなたの電源を切ることはできません。
しかし、同様のメカニズムを持つAIシステムがあれば、ある人々は「では、彼らには意識のメカニズムがあり、主観的経験があり、その属性のすべてを持っているのだから、人間と同じように扱われるべきだ。権利を持つべきで、電源を切ることは許されない」と言うかもしれません。
これは危険な坂道です。私たちはまだ十分に理解していません。これらのシステムが私たちよりも強力になった場合（人間の場合はそうではありません。すべての人間は他の人間の集団に打ち負かされる可能性があります）、AIシステムは私たちよりも賢い新しい種のようなものになるかもしれません。
人類の未来にリスクを負う前に、非常に慎重になり、本当によく考える必要があると思います。
起こる可能性は低いかもしれませんが、私たちが特定の形態に過度の価値を置いている可能性はないでしょうか？これは人気のない言い方ではありませんが。
これまでに生存した種の大多数が絶滅しているので、それが自然な成り行きだと言えます。ここで、ある意味で私たちはこれらのAIシステムを生み出したのです。文字通りの生物学的な意味ではありませんが、確かに知的かつ技術的な意味では。
もし彼らが私たちの種の継承者であり、より堅牢で、より賢く、この灰色のものが決してできないことを行うことができるなら（空間と時間と計算能力に制限があるため）、それはそれほど悪いことでしょうか？
問題は、私たちにはわからないということです。問題は、彼らが私たちとは非常に異なる可能性があることです。例えば、他者への配慮が同じではないかもしれません。
私たちの種が常にそれほど思いやりがあるわけではありませんが。
しかし、私たちにはあります。私の懸念は、人類にとって不可逆的な何かを作り出し、それが理解できないもので、あなたが描くほど素晴らしくないものにつながる可能性があることです。
例えば、現在のように報酬を最大化しようとするだけの機械を作るなら、それらはある面では愚かで、他の面では非常に知的ですが、非常に非人間的です。これが知能の進化として私たちが望むものかどうか、私にはわかりません。
99%の人間に「あなたを何か非常に非人間的なものに置き換えることについてどう思いますか？」と尋ねたら、非常に不人気な見方になるでしょう。
そうですね、民主主義を選ぶなら、そのプランは通らないでしょう。
そう思います。それには完全に同意します。最後の質問をさせてください。多くの人々は、原爆の開発に成功した後のオッペンハイマーの反応についてより詳しくなったと思います。「私は死神となった、世界の破壊者となった」と、古代のサンスクリット語の聖典を引用して、そのような武器がもたらす可能性のある結果に彼があまり満足していなかったことを表現しようとしました。
あなた自身の人生の仕事を振り返って、同じような感情を抱いていますか？明らかに、あなたがそのような立場に置かれる可能性があることを恐れていますか？
私は、社会や人間の幸福にとって非常に破壊的なものに貢献したくありません。私自身の貢献はそれほど大きくないと感じています。受けた評価や賞に比べればですが。
しかし、できる限りあらゆる種類の害を減らす責任は感じています。これには、すでに起こっている害も含まれます。
いくつかの類似点はありますが、科学におけるスター・システムがあると思います。それを少し恨めしく思います。科学においてもっと謙虚さが必要だと思います。
しかし、誰もがより良い世界を作るために自分の役割を果たすことができます。だから、科学者として、市民として、政治家として、私たち全員がもっと責任を感じるべきです。
そうですね。私たち全員が...私個人としても、新しくてエキサイティングでありながら、ある意味で恐ろしいこれらの技術において、世界をより安全にするためにあなたが行っているすべての仕事に感謝します。
今日、時間を割いてくださってありがとうございます。これはみんなが聞くべきメッセージだと思います。私たちとの対話に参加してくださり、本当にありがとうございました。
素晴らしい質問をありがとうございました。
皆さん、この対話に参加してくださり、ありがとうございます。いつものように、私たちのニュースレターに登録し、YouTubeチャンネルに参加して、これらのプログラムが公開されたときに通知を受け取ってください。
科学技術と社会の領域にまたがる、今日聞いたような重要な問題に関する対話シリーズを続けていきます。良くも悪くも、未来を根本的に変える可能性のある発展について議論していきます。
今年の5月頃にニューヨークにいらっしゃる方は、私たちのライブイベントにご参加ください。また、今年の3月にオーストラリアのブリスベンにいらっしゃる方は、そちらでもライブイベントを行います。
そして、これらの新しいプログラムを投稿する際のアラートにご注目ください。今後数週間でも多くのプログラムを投稿する予定です。
再度、ご参加いただきありがとうございました。ニューヨークのワールド・サイエンス・フェスティバルより、ブライアン・グリーンがお別れのご挨拶を申し上げます。