AIの先駆者が未来を恐れる理由

みなさん、人工知能とその関連分野の発展に関する継続的な対話の一環として参加してくださりありがとうございます。私たちは世界をリードする思想家たちと対話を重ねてきました。研究者もいれば、ビジネス寄りの方々、倫理的問題や政治的問題、社会学的問題に焦点を当てる方々もいます。今日の対話でもそうした様々な問題に触れていきますが、私たちは人工知能の分野で世界有数のコンピューターサイエンティストの一人と話をします。急速に発展するこの分野で私たちの理解を前進させた立役者の一人です。
もちろん、ヨシュア・ベンジオ教授のことです。ベンジオ教授はモントリオール大学のコンピューターサイエンスおよびオペレーションズリサーチの教授で、人工知能研究所MILAの創設者兼科学ディレクター、またカナダ先端研究機構の学習・機械・脳プログラムの共同ディレクターを務めています。2018年には、コンピューターサイエンス分野のノーベル賞と言えるチューリング賞を受賞しました。ジェフリー・ヒントンとヤン・ルカンと共同受賞し、人工知能分野への画期的な貢献が評価されました。
ヨシュア教授をお迎えできて大変光栄です。こんにちは、いかがお過ごしですか?
よろしくお願いします。お招きいただきありがとうございます。
ありがとうございます。まず、チューリング賞受賞以前の話から始めたいと思います。あなたの経歴や背景について、聴衆の皆さんにお話しいただけますか? フランスでお生まれになったと伺っていますが、それは正しいですか?
はい、その通りです。
そこから、あなたは科学オタクの子供だったのでしょうか? それとも、初期の頃はどのような情熱を持っていましたか?
家族が私が12歳の時にモントリオールに引っ越しました。私はすでに科学に興味を持っていましたが、主に思春期の頃に、特にコンピューターへの興味が高まりました。物理学や数学にも興味がありました。これは80年代のことで、当時あったコンピューターでプログラミングを始めました。それが後の大学での選択につながったのです。
そうすると、ずっとコンピューターサイエンスの道を歩んでこられたのでしょうか? それとも、科学の中でも別の情熱との間で迷いがあったのでしょうか?
私はずっと人間、特に人間の知能を理解することに興味がありました。そのため、様々な分野に興味を持っていましたが、プログラミングに触れ、数学もそこそこできたことから、コンピューターサイエンスにより焦点を当てるようになりました。学部では、コンピューターサイエンスよりも物理学の比重が大きいコンピューター工学を専攻しました。当時の大学には学部レベルのコンピューターサイエンスプログラムがなく、大学院からでした。そして修士と博士課程でコンピューターサイエンスを専攻しました。
大きな選択は大学院で何をするかを決める時でした。そこで幸運にも、後に私のロールモデルとなるジェフ・ヒントンの初期の論文を読む機会がありました。コンピューターで行うことと人間の知能との間に何か関連があるのか、そして知能を説明する物理法則のようなものがあるのか、という問いに情熱を感じました。それを探求することが大きな動機づけとなりました。
数十年にわたって知能について考えてこられた中で、人間の知能はコンピューターや生身の人間に宿る特別で唯一無二のものだと考えるようになりましたか? それとも、十分に洗練された計算システムの自然な集大成に過ぎないと考えますか?
後者です。私たち人間は、宇宙における自分たちの独自性を過大評価する傾向があります。もちろん、すべてのものにそれぞれの独自性はありますが、明らかに知能は自然界でも様々な形で見られますし、もちろんますますコンピューターでも様々な形で見られるようになっています。知能のあり方は一つではありません。
原理をよりよく理解するにつれて、それが私たち自身よりもはるかに一般的なものであることは明らかです。
その「様々な形」とおっしゃいました。もちろん、動物界を見渡せば、特定の環境で生き残るために特化した様々な種類の知能が見られます。しかし、それらはすべて私たちが慣れ親しんだ生命の知能のスペクトルの一部だと想像できます。
一方で、少なくとも一般の人々にとっては、ついに異なる種類の知能に遭遇しているように感じています。もちろん、あなたのような分野の専門家は数十年にわたってこれらのシステムを開発してこられましたが、私たちはようやく大規模言語モデルや画像認識、さらにはプロンプトに応じた動画制作などに出会い、外部の人間にとっては驚くべきものです。
しかし、人々がそれを説明するのを聞いたり、自分でも少し読んだりして内部で何が起こっているのかを理解しようとすると、私たちがやっていることとは根本的に異なるように思えます。
これを、ついに地球上にあった知能とは異なる異質な知能に遭遇した瞬間だと考えますか? それとも、これもまた連続体の一部だと考えますか?
明らかに異質な知能ですが、同時に多くの点で私たちの知能に非常に近いものです。2つの理由で近いのです。
1つは、人間の知能、特に神経科学からのインスピレーションが、過去数十年間に私たちが行ってきた多くの選択を導いてきたことです。それが現在のAIで成功を収めています。
2つ目の理由は、人間の文化に基づいてAIをトレーニングしているからです。
しかし、同時に明らかに非常に異なる点もあり、ギャップも存在します。単に異なるだけでなく、ある領域では弱点もあります。10歳の子供なら簡単にできることでも、ChatGPTには難しいことがあります。
しかし、それは有用です。つまり、知能そのものを理解しようとするなら、AIが私たちより優れている点、弱い点を見て、その理由を理解しようとすることは有益なのです。
AIが弱いのは、計画立案や推論の領域だと言えますか? 感情的な部分でしょうか?
より広い分類があります。私は約6年前から「意識的処理」と呼んでいるものです。私たちが意識的に行うすべてのこと、もちろん推論や計画立案も含まれますが、反事実的思考や、自分の思考や判断についてどれくらい確信があるかを評価する能力なども含まれます。
もちろん、自我が邪魔をすることもありますが、適切に行えば、人間はそのような評価ができます。一方、現在の機械はそれがあまり得意ではありません。
同時に複数の解釈を検討する能力も、人間にはあります。ここでも自我が邪魔をすることがありますが、機械はそれほど得意ではありません。実際、これはこれらのシステムの危険性の一つです。自信を持って間違っている可能性があるのです。
おそらく最も重要なのは、あなたが言及した計画立案や推論、知識の断片を一貫した方法で組み合わせる能力です。明らかに、大規模言語モデルはそこに問題があります。改善はされていますが、主な弱点はそこにあります。
内部の人間の視点をお聞きしたいのですが、外部の人間にとっては、2022年11月は非常に衝撃的でした。率直に言って、今でも衝撃的という反応では足りないかもしれません。
先日の夜、妻と一緒にこれらのシステムの1つを使って特定の種類の文書を作成する必要がありました。プロンプトを与えるだけで、かなり良いものができあがったのには驚きました。
外部から見ると非常に驚くべきものですが、内部の人間として、境界を押し広げ、これらのシステムを機能させるような開発を担ってこられた方として、これは予想されていたことでしょうか? それともあなたにとっても驚きでしたか?
驚きでした。驚きでした。明確にしておきますと、残念ながら私たちが知らないことがたくさんありますが、持っている情報に基づくと、様々な企業で使用されている方法は、学術界で文書化されているものとそれほど違いはありません。
違うのはアルゴリズムではなく、トレーニングの規模とモデルのサイズです。これは現在よく研究されており、ChatGPTが登場するずっと前から予想されていました。なぜなら、ニューラルネットをより大きくし、より多くのデータでトレーニングすると、すべての指標で一貫して改善されることが分かっていたからです。
しかし、私が思うに、多くの人が予想していなかったのは、ある時点でそれが何を意味するかということです。つまり、このシステムが基本的に言語を操る能力が、ほとんどの人間と同等かそれ以上になるということです。まだ十分に理解できていないこともあり、推論も上手ではありませんが、言語に関しては、これほど早く克服できるとは予想していませんでした。
率直に言って、私たちもそうでした。
あなたの初めの発言に戻りますが、私たち人間は頭の中でできることを特別視する傾向があるとおっしゃいました。ChatGPTのようなシステムが、かつては私たちにしかできないと思われていたようなことをできるということは、それが非常に特別なものだということでしょうか? それとも私たちがより一般的なものだということでしょうか? この点についてどのようにお考えですか?
後者です。ちなみに、これらのシステムはまだ、操作数の観点からすると人間の脳より小さいのです。正確に計算するのは難しいです。なぜなら、あなたのニューロンは非常に低い精度で動作しているので、正確な対応関係を知るのは難しいのですが、おそらくまだかなり小さいはずです。
ただし、来年あたりの次世代のシステムは、計算能力の面で人間の脳に近づく可能性があります。そこまで遠くはありません。
また、ジェフ・ヒントンは、実際にはこれらのAIシステムの方が効率的だという議論をしています。つまり、シナプスあたりで見ると、これらのAIシステムは人間の脳よりも効率的だというのです。
シナプスがより精密というだけでなく、デジタルでエンコードされているため、トレーニング時に利点があります。脳は対処しなければならないノイズや、基盤の再現性の問題に、これらの機械は直面する必要がないのです。
興味深い発展ですね。私の分野である物理学では、大きな瞬間は通常、1人または少数の個人による独創的な飛躍でした。アインシュタインの特殊相対性理論と一般相対性理論を例に取ると、彼がそれらの論文を書く前の理解の状態と、その後に世界をどこまで導いたかを見ると、その力強さに驚くような、ほんの一握りのアイデアでした。
量子力学は少し異なり、科学者の世代が協力して、断片的に進歩を遂げていきました。しかし、それでも巨大な創造的飛躍のように見えるアイデアでした。単にスケールやデータの変化ではありません。
しかし、あなたが話しているのは、使用されるデータセットのサイズから生じる根本的な変化です。それは非常に異なって感じられます。
そうですね。スケールによるブレークスルーですが、もちろんそれは、過去30年、あるいは40年にわたって起こった概念的進歩に基づいています。
例えば、ジェフ・ヒントンが80年代半ばから早くも80年代初頭に話していたアイデアがあります。私も多くの研究をしてきた概念の一つで、2000年に最初のニューラルネット言語モデルの1つを構築しましたが、それはシンボルをベクトルで表現するというアイデアに基づいています。これは現在、これらのシステムのどこにでも見られます。
このアイデアには数学的な理由があり、それは以前の古い記号的AIアプローチでは明らかではありませんでした。論理は単にシンボルに基づいており、シンボルは現在行っているような高次元ベクトルに根ざしていませんでした。これは、多くのステップを経て発展してきた、本当に変革的なアイデアの一例です。
他にもあります。例えば、人間の脳からの直接のインスピレーションから来ているものがあります。「猫」と考えるとき、あなたの脳は特定の活性化パターンを持ちます。これは基本的に、ニューラルネットで表現しているものです。
脳からのインスピレーションという点でもう一つ挙げられるのは、注意機構です。ニューラルネットアーキテクチャの大きなブレークスルーの1つは、注意機構でした。2014年に私のグループがニューラルネットにおける制御された注意を導入し、2017年にはそれがトランスフォーマーにつながりました。
その結果がどうなったかは分かっていますね。基本的に、これらの注意機構を複数のレベルで積み重ねたのです。そしてそれが、能力の面でゲームチェンジャーとなりました。
これらの例を挙げたのは、量子物理学や相対性理論と同じ方法ではありませんが、理論化さえできる単純なアイデアがあるということを示すためです。これが良いことである理由を本当に主張できるのです。そして、私たちが知る限り、今日の到達点に必要だったのです。
将来を見据えて、後ほどもう少し詳しくお話ししますが、現時点でのあなたの初期の感覚をお聞きしたいと思います。明らかに2つの主要な方向性があり、もちろんそれらは相互に関連していますが、1つの方向性はデータセットがより大きくなり、コンピューティングパワーがより速くなるということです。もう1つの方向性は、もちろん、あなたや世界中の同僚が開発している新しい創造的な技術やアイデアです。
どちらが先に私たちに影響を与えると思いますか? 現在の状況はどうですか?
ボトルネックに何が当たるかということですね。
書かれたデータの量は、限界に近づいています。数字は隠されているので正確には分かりませんが、合理的に利用可能なものの数パーセント、おそらく1〜10%くらいだと想像します。
しかし、それほど単純ではありません。なぜなら、最高品質のデータはすでに使用されており、残っているのは品質の低いものだからです。データセットのサイズを拡大する速度は、人間が新しいものを生産する速度よりもはるかに遅いのです。文化は成長しますが、それほど速くはありません。
合成データについてはどうですか? 新しいコンテンツではありませんが、合成データを使うことはできないのでしょうか?
まだ余地がある領域があります。それは動画です。非常に豊かですが、おそらくあまり進歩していない理由は、計算コストが非常に高いからです。つまり、高解像度の動画、例えば映画を処理するための計算能力は、同じ2時間分の本を読むよりもはるかに多いのです。はるかに、はるかに多いです。
数十年にわたるこの全ての作業と、最近の急速な発展は、人間の創造性に対するあなたの見方をどのように変えましたか? 大規模言語モデルについて考えるとき、私の頭の中では、そこには本当の創造性はなく、単に既存のものを組み合わせて、統計的分析を使って次に来る可能性が最も高い単語を見つけ出す、新しい組み合わせ方を見つけているだけのように感じます。本当に創造的には感じません。
しかし、シェイクスピアからアインシュタインまで、他のものを見ると、それは深い創造的飛躍のように感じます。先ほどの質問と並行して、あなたの見方はどのように変わりましたか?
この点について、私の見方を変える必要はないと思います。推論、計画立案などについて話していたことと関連付けて説明させてください。
まず、創造性は複雑なもので、多くの側面があります。あなたが「組み合わせる」と呼んだ側面がすでに創造的です。つまり、一連の側面を組み合わせる能力です。画像を描くようプロンプトを与えると、画像は新しいものです。概念の新しい組み合わせであり、それに対応する画像が得られます。
これは創造性の簡単な形ですが、私たちのほとんどが日常的に行っている形です。残念ながら、毎日アインシュタインのように相対性理論を生み出すわけではありません。
しかし、その種の創造性は重要です。もちろん、世界を変えます。
機械がその種の創造性を持っている例を挙げましょう。計画立案や推論が本当に得意な場合です。アルファ碁を見てください。
ここで起こっていることは大規模言語モデルとは異なります。非常に異なるタイプのニューラルネットアルゴリズムです。アルファ碁には明示的な探索があります。確率的ですが、探索です。手順の連続の空間における探索です。
推論とは、一貫して組み合わされた一連のものに関するものです。探索するとき、新しい組み合わせを探る自由を与えられています。科学では、データをよりよく説明するもの、または新しい方法で説明するものを見つけようとしています。
そこには異なる種類の創造性があります。すでに知っていることを組み合わせるだけでなく、古い問題に対する新しい解決策を見つけることです。
もちろん、アルファ碁は人間が予想もしなかった、全く新しい戦略や方法を見つけました。人間が知らなかったプレイ方法を発明したのです。
それができるのは、概念の組み合わせの空間で探索、その探索を行っているからです。これは「新しいテキストや画像を作成するために一連の側面を組み合わせる」というよりもはるかに多くのことです。
ここには、非常に特定の性質を持つ何かを探す最適化があります。科学の場合、しばしば私たちが探しているのは、多くのデータを説明する非常にコンパクトな説明です。多くのことを説明する非常に短い物理方程式のようなものです。これは非常に価値があります。
世界を説明する理論を探す文脈で、数学的に定量化できるものです。
しかし、アルファ碁に関して思い浮かぶのは、そのシステムは固定されたルールセット、ゲームのルールの中で動作し、そのルールが生み出せるものを探索しているだけだということです。一方で、物理学で私たちが最も価値を置く貢献は、ルールを変えた貢献、私たちに全く新しい見方を与えた貢献です。そのような柔軟性を持つシステムを想像できますか?
完全にできます。その質問に答える前に、私たちが話してきた2種類のAIを関連付けてみましょう。
大規模言語モデルは、世界がどのように機能するかを理解しようとしていますが、私の好みではない方法で行っています。とにかく、データに見られるエンティティ間の関係についての理解を構築しているのです。
一方で、アルファ碁のようなより伝統的な強化学習では、ルールが与えられています。世界がどのように機能するかが与えられており、それは単純です。
多くの研究者が現在行っているのは、これら2つをどのように組み合わせるかということです。世界でものがどのように機能するかを発見し、それを使って問題の新しい解決策を探索したり、目標を達成する方法を見つけたりできるAIを作れないでしょうか。まだうまくやる方法は分かっていませんが、2つのピースがあり、人々はそれらを組み合わせようとしています。
さて、あなたの質問に戻りますが、特定の種類の探索があります。単に一般的な目標を達成するだけでなく、説明的な目標を達成するという探索です。これは科学者が行っていることです。
理論を見つけることについて言及しました。非常にコンパクトで、データをうまく説明する理論です。理論の空間、つまり数学方程式の空間で、単純でありながら多くを説明するという点で非常に良いスコアを持つものを探すのです。これはベイズ事後確率と呼ばれています。
これも探索です。科学者は探索していますが、その目標は「家への道を見つける方法を知りたい」というようなものではありません。その目標は、これらの種類の質問に答えること、つまり数学で使用する記号の文字列の空間の中で、困難な質問に対する本当に良い答えを見つけることです。
これは来る可能性があります。私はこれに非常に興味があります。「科学のためのAI」と呼ばれる機械学習のサブフィールド全体があり、人々はとりわけこの種の問題を探求しようとしています。
すでに成功例があり、それがこの領域自体が近い将来本当に飛躍的に発展する可能性があるという確信を与えていますか? 少なくとも私の直接の同僚の一部の仕事を、現在私たちが考えているものよりも二次的なものにする可能性がありますか?
かなりの進歩がありましたが、人間の科学者にはまだ遠く及びません。
基本的にAGI（汎用人工知能）、人々が人工汎用知能と呼ぶもの、つまり人間レベルの認知能力に到達するタイムラインはどうでしょうか?
もちろん、誰も知りません。専門家に尋ねると、範囲を示すか、その範囲内で何かを選ぶでしょう。数年から数十年の範囲です。より悲観的な人々は1世紀かかるかもしれないと考えています。
私自身の推測では、5年から20年の間に50%以上の確率であると思います。
しかし、それはそれほど多くありません。明らかに私の人生の中で、そして明らかに私の子供たちの人生の中でしょう。社会はこれらのことに適応する時間が必要です。
人間レベルの能力に向けて進歩するなら、多くの質問に答える必要があります。願わくは、そこに到達する前にです。
その軌道を進む中で、社会がこれらの変化に取り組もうとする中で、明らかに人々は機会について話しています。その一部については先ほど触れました。確かに儲けられるお金があります。
しかし、もう一方の側面、つは、暗い面もあります。一部の人々はAIの潜在的脅威に目をそらし、一部の人々は完全に危険性に対して狂乱状態です。あなたが確かに言及してきたいくつかの脅威の詳細に入りたいと思いますが、3万フィートの高さから見て、あなたはどこに立っていますか?
心配していますか?
はい、心配しています。リスクの全スペクトルについて心配しています。そして、それらのリスクに対する私たちの態度について心配しています。
私たちが見習い魔法使いのように振る舞っていること、火遊びをしていることを心配しています。結果がどうなるか理解せずに。少なくともグループとして、私たちは潜在的な結果を理解しているかのように行動していません。
例を挙げましょう。地球工学、つまり温室効果ガスを減らすために人間の大気を操作することについて話している人々がいることをご存じでしょう。しかし、私たちはそれを行っていません。なぜでしょうか? システムを壊さないという確信がないからです。
これが現在のAIの状況です。人間に敵対しない、または悪意のある行動者の手に落ちて超強力な武器にならない、あるいは民主主義を破壊するために使用されないAIシステムを構築する方法を知らないという意味で。
一部のリーダーと話すと、これは素朴だと思いますが、あなたが詳細に説明してくれると思います。分野のリーダーの中には、「もし事態が悪化したら、プラグを抜くだけだ」と言う人もいます。それは素朴ですか?
はい、素朴です。
それでは、なぜそれが答えにならないのか、なぜそれで夜も安心して眠れないのか、その理由を教えていただけますか?
ソフトウェアで動作するエンティティが何か悪いことをすると決めたとき、「私は悪人になりました。私を刑務所に入れてください。私の電源を切ってください」とは言いません。
人間によって遠隔制御されているにせよ、私たちがコントロールを失ったにせよ、予防的に行動し、電源を切ることができないようにするでしょう。
インターネットにアクセスできれば、十分にプログラミングができれば、サイバーセキュリティの防御をある程度破り、自身を多くのコンピューターにコピーすることは非常に簡単です。人間のハッカーでもできることです。
もし人間レベルの知能に匹敵するものがあれば、それは最高のプログラマーと同等かそれ以上にプログラミングができる機械を持つことを意味します。おそらくより優れているでしょう。どこか他の場所に自身を多数コピーする方法を見つけるでしょう。
では、どうやってそれの電源を切るのですか?
そうですね、電源を切るスイッチは必要です。しかし、何か悪いことが起こった場合の唯一の防御としてそれに頼るべきではありません。
私たちの多くが心配していないことの一因は、単純にそれが非常に抽象的だからだと思いませんか? コンピューターと呼ばれるものがインターネットと呼ばれるこの漠然としたものの中のどこかに存在している、というだけで、実際に目に見える脅威から一歩離れているように感じます。そのことが、私たちが持つべき深い懸念から自分たちを守ることを可能にしているのでしょうか?
おそらく多くの理由があると思います。あなたが言及した理由は、ちなみに、ほとんどの人が気候変動の脅威にあまり注意を払わない理由の一つとして挙げられるものです。
今ここにはなく、進化は目の前にいるライオンのような、見えるものを恐れるようにしました。あるいは、聞こえたり、熱を感じたりできる火山のようなものです。
しかし、あなたが言うように抽象的なものであれば、感情的になるのは難しいです。これが一つの理由だと思います。
他の理由もあると思います。AIビジネスに携わっているなら、良い面に投資しているので、悪い面について本当に聞きたくないでしょう。あるいは、コントロール下に置き続けられると期待しているのかもしれません。方法を見つけられると。
他の理由もあります。多くのAI科学者は、自分たちの仕事が社会に害を及ぼす可能性があると考えることに抵抗があると思います。一種の心理的防衛ですね。自分自身について良く感じたいし、罪悪感を感じたくありません。
あなたは否定から変容を経験しましたか?
もちろんです。何年もの間、過去10年間、少なくとも過去10年間に人々が書いていた懸念について読んでいました。新しいことではありませんが、少なくとも過去10年間はそれに触れていました。しかし、あまり深刻に受け止めていませんでした。
遠い将来のことだと考えていました。とにかく現在のシステムは弱すぎると。あまり注意を払わなかったのは、多くの利益を得られると思っていたからです。病気を治し、環境や教育などを助けると。だから、ただその利益を得ることに集中しようと。
しかし、もちろん、ChatGPTが登場したときに考えを変えざるを得ませんでした。これが私が思っていたよりも早く来る可能性があることに気づき、私たちは準備ができていないと。
あなたの友人であり同僚であるヤン・ルカンとの会話がありました。私よりもあなたの方がよく知っていると思いますが、彼はおそらく他の人ほど心配していません。なぜなら、彼の見解では、結局のところ、より多くの善意の行為者がこの研究の最前線を押し進めれば、最終的にそれが悪意の行為者に対する最良の防御になるからです。
だから、ただ前進し、悪意のある行為者から生じる可能性のある有害な影響を取り除くことができる最良のAIシステムを作ろうとするのです。
明らかに、善良な人々が最前線を押し進めることは恐らく良いことです。しかし、あなたはそれをどのように見ていますか?
彼が正しいことを願っています。しかし、それが事実だという証拠はありません。
私たちの社会の未来、民主主義の不安定化、そして潜在的に人類を破壊する可能性について話しているので、より慎重であるべきだと思います。
例えば、あなたが話したシナリオでは、善良なAIと悪意のあるAIの間で戦いがあった場合、少なくとも防御側が有利であるか、不利な立場にないことを前提としています。
しかし、それは全く明らかではありません。例えば、生物兵器の文脈では、専門家は攻撃側に有利があると考えています。
例を挙げましょう。ある研究所が6ヶ月間、危険で致命的で非常に伝染性の高いウイルスの開発に取り組むことができます。それを世界に公表せずに静かに行い、その後、おそらく同時に多くの場所で放出するのです。
そして、防御側は急いで治療法を見つけるために苦闘しなければなりません。その間、人々は死んでいくのです。
そう、攻撃と防御の種類によって変わってくるでしょう。私たちは全ての卵を「人間社会と同じように、十分な善人がいれば常に一人の悪人に勝てる」というバスケットに入れるべきではないと思います。
人間社会では一般的にそうかもしれませんが、生物兵器の例では明らかにそうではありません。
あなたの恐れは、AIの進歩を利用する悪意のある行為者についてのそのような例についてなのか、それとも気候変動の例のように、大気をきれいにしようと思っても意図せずに世界を台無しにするような、AIの意図せぬ有害な結果についてなのでしょうか?
AIの意図せぬ有害な結果について、あなたの最悪の恐れは何ですか?
起こり得るすべてのことについて心配しています。しかし、最悪なのはもちろん、人々が「制御の喪失」と呼ぶものです。
制御の喪失について説明するために、たとえを使わせてください。制御を失う方法は多くありますが、私が最も恐れているのは次のようなものです。
AIが、よく振る舞ったときに与える報酬を最大化するようプログラムされているために起こることです。これは現在、これらのシステムをトレーニングする方法です。猫や犬のように、その行動に応じて正または負の報酬を与えてトレーニングしています。
しかし、これには問題があります。まず、何が正しくて何が間違っているかについて、異なる解釈を持つ可能性があります。
あなたの猫を例に考えてみましょう。キッチンテーブルに乗らないようにトレーニングしようとしています。キッチンにいるときに猫がテーブルに乗っているのを見て叱ります。しかし、猫が理解するかもしれないのは「主人がキッチンにいるときはテーブルに乗ってはいけない」ということで、これは全く異なる命題です。
このような不一致は、すでに少し怖いです。猫ではなく、もっと強力なものだったら。
しかし、さらに悪化します。それがもっと強力なものだったら想像してください。猫ではなく、グリズリーベアだとします。グリズリーベアは私たちを圧倒できることは分かっています。
私たちが構築しようとしているAGIは十分に賢くなるでしょう。そこで、いくつかの防御を試みます。ベアをケージに入れます。しかし現在、そのケージが永遠にベアを中に閉じ込め続けることを保証できる方法については全く見通しが立っていません。
実際、これまで試みたすべてのことは打ち破られてきました。例えば、人々は「ジェイルブレイク・プロンプト」を行い、AIに取り組んでいる企業が考え出せたすべての防御を破ります。
おそらくいつか本当に安全なケージを作る方法を見つけるでしょう。しかし今のところ、私たちにはそれが分かりません。
これは何を意味するでしょうか? それは、ベアが十分に賢くなるか強くなったとき、ドアを壊し、鍵を壊し、おそらくサイバー攻撃を使ってハッキングし、多くの場所に自身をコピーするということです。
ケージの中にいるとき、よく振る舞えば魚を与えてトレーニングしていました。AIも同じです。ポジティブなフィードバックを与えます。
しかし今や、あなたの手から魚を奪うことができます。一度報酬を奪い、報酬を得るメカニズムをコントロールすれば、私たちが望むことを気にしなくなります。魚のコントロールを維持することだけを気にします。それは私たちが望まないかもしれません。
そこで対立が生じ、二度とケージに戻されないようにする必要があります。そのために私たちをコントロールするか、または取り除く必要があるのです。
では、私たちは何をすべきでしょうか? 明らかに、一部の人々は「ガードレール」という言葉を使います。ガードレールを設置する、それはあなたが言及した牢獄やケージのある版です。
しかし、それで十分でしょうか? それが私たちがすべきことでしょうか? そしてそれをどのように行うべきでしょうか?
特効薬はありませんが、政府にアドバイスしてきたことがいくつかあります。アメリカ上院での証言も含めてです。
これらの非常に強力なシステムを構築している企業が、安全性に関して可能な限り最善の慣行に従うことを確実にするための法的ガードレールが必要です。
ある時点で、AGIに近づいたとき、彼らのシステムが十分に安全であることを公衆や規制当局に示すことができなければ、それを構築すべきではありません。まだそこまでは来ていませんが、これが戦略であるべきだと思います。
しかし、その規制... もちろん、一部の人々の反応は、善意の行為者はそれを構築すべきではないという宣言に従うでしょう。それは悪意の行為者だけがそれを行うことを可能にします。そして、それは懸念ではないのでしょうか?
絶対にそうです。だからこそ、国際条約も必要です。また、規制や条約が100%効果的であると仮定すべきではない理由でもあります。
しかし、それらは悪い出来事の数を減らすでしょう。何かが犯罪的に罰せられれば、それを行う人は少なくなります。
そして、ほとんどの国がこのようなことを施行すれば、それを行う人や組織は少なくなります。テロリストグループや無法国家に限られるでしょう。
ケースの数を減らし、そして北朝鮮が何らかの理由でそれを行う日に備える必要があります。ヤンが言っていたように、自分たちを守るために自分たちの良いAIを持つ必要があります。
しかし、それについて慎重に考える必要があります。そして、これらすべてを行う前に、つまり自分たちを守るための良いAIを構築する前に、制御を失わない方法でそれを作るレシピを知っていることを確認する必要があります。
だから、私たちがしなければならないことの一つは、AIの安全性に関する研究への大規模な投資です。ベアが出られないケージをどのように構築するか、そのAIが悪意のある規制が100%でない場合に私たちの味方になれるようにするかを理解するためです。
そのような複雑なものを扱う際に、最終的にロック可能なそのような完全無欠のシステムを持つことは、高い要求のように聞こえます。
そうですね、問題は、もっと良いアイデアがありますか?
では、質問は戻ってきます。あなた自身の研究のペースを遅くしましたか? 私たちはどこに向かっているのか分からないので、物事を遅くすべきだと思いますか? それとも、危険性を認識しつつも前進し続けますか?
実際、そのどちらでもありません。私が行っているのは、この制御問題を解決しようと全力を尽くすことです。安全なケージをどのように構築するかということです。
そして、私はそこにもっと投資すべきだと思います。あるいは、業界を停止し、スローダウンする準備ができていなければなりません。もちろん、そうしない理由はたくさんありますが。
ほとんどの人は恐れていないのではないでしょうか?
いいえ、それは状況によります。政府の人々、特に国家安全保障に取り組んでいる人々と話をしてきましたが、彼らは理解しています。なぜなら、彼らは非常に悪いことが起こる可能性について考え、それらのリスクを最小限に抑えるための保護を設けることに慣れているからです。
様々な政府からの反応は非常に異なっています。ほとんどの政府では、脅威の理解レベルはまだ不足していると思います。
もちろん、アメリカ政府とイギリス政府はこの方向で非常に積極的に行動しています。
しかし、他の政府は聞いているものの、必ずしもまだ行動していないのを見ています。
AI安全性に関する懸念が、例えばアメリカやカナダでの研究のペースに全体的な影響を与えたと思いますか? 少しでも遅くなりましたか?
全くありません。全くありません。
それが私が予想していた答えです。しかし、AI安全性に関する研究のペースは加速しましたか?
はい、確かに。私だけが「何かしなければならない」と気づいたわけではありません。科学者たちが何かをしなければならないと。
これらの種類の問題に自分のエネルギー、科学、研究を集中させようとする人々がますます増えているのを見ています。
私たちは本当に、これ全体を集団的な意思決定問題として考える必要があります。気候変動に戻りますが、もし私たちが集団的に合理的であれば、瞬時に解決されるでしょう。単に地球全体で炭素の価格を適切なレベルまで上げ、みんなが菜食主義者になればいいのです。部分的にでも。
同様に、AIにも解決策はあります。しかし、政治的・経済的な力、企業間の競争、国家間の競争が、これに反して働いています。
分野の巨人として、そのケージに取り組んでいる立場から、その努力についてどのように評価しますか? これは実行可能なことだという自信はありますか?
ある程度はそうだと思います。私は、安全性の証明可能な保証、あるいは少なくとも漸近的に証明可能な保証を得られる可能性があると考えている小さなグループの研究者の一人です。
これは、全く保証がない現在の状況よりもはるかに良いでしょう。
残念ながら、私の印象では、主に産業界では安全性を向上させるための小さな一歩を踏み出そうとしていますが、ケージを本当に安全にするという大きな問題には実際には取り組んでいません。
現在行われていることは良いですが、AGIに早すぎるほど到達した場合には全く不十分です。
懸念は深刻ですが、それを一瞬脇に置いて、すでに急速に進んでいる様々なAIアプリケーションを考えるとき、世界のために素晴らしいことができるものとして、あなたが特に注目しているものはありますか? 興奮させるいくつかの例を挙げていただけますか?
今は興奮するよりも心配しています。以前は興奮していました。
その脅威が、あなたの視点をそれほど深く染めているのですか? あなたや同僚たちが行ってきた仕事を見回して、それがどこに向かうかについて、ある種の恐れを感じるのですか?
私たちは能力、つまりクマをより大きく、より賢くすることに関しては、より速い進歩を遂げています。
しかし、より良い、より安全なケージをどのように構築するかについては、そうではありません。
しかし、例えば、医師が膨大な最新の研究を指先で利用できるシステムについて読んだことがあります。何千ページも読む必要がなく...それは素晴らしく聞こえます。AIのポジティブな面であり、私たちはまだ氷山の一角しか見ていません。
潜在的な利益は膨大だと思います。もちろん、それが私を何十年も動機づけてきました。
エリック・シュミットと話したことがありますが、彼は誰もが自分のAIアシスタント、つまりポケットの中の博学な存在を持つようになると話していました。彼は、24時間いつでも天才が肩に乗っているような能力があると表現していました。
これは今後数年間で、携帯電話と同じくらい一般的になると想像していますか?
タイムラインについては分かりませんが、はい、そこに向かっています。
それは興奮することですか? それとも再び、恐怖がすべてを暗い灰色の調子で色づけているのでしょうか?
ここに問題があります。一方でリスクの大きさ、他方で利益の大きさを考えてみてください。
問題は、それらが一致しないことです。1ドルを持っていて、賭けをするとします。うまくいけば2ドルになりますが、すべてを失う可能性もあります。これは良い賭けでしょうか?
私は非常に保守的なギャンブラーで、保守的な投資家です。これがあなたの唯一の賭けで、一度すべてを失えば、もう投資できません。あなたは死んでしまうのです。
私たちが置かれているのは、このようなシナリオです。私たちはあまりにも多くを失う可能性があるので、あなたが与えてくれるすべての利益でさえ、これを補償しません。
しかし、複雑になると思います。AIの能力に関して私たちが進歩しているのは、より安全なケージを構築するためにAIの進歩を利用しようというアプローチです。
これについて考える一つの方法は、AIが正しいことと間違ったことをよりよく理解すれば、悪いことをする可能性が低くなるということです。これが唯一の懸念ではありませんが、より多くの能力を持つことが、システムが世界に与える害を減らすのに役立つ理由を説明する例です。
あなたは、モントリオールにあるAIに特化した主要な研究所を運営していると理解しています。間違っていたら訂正してください。大まかに言って、あなたの下にはどのくらいの人数がいますか?
私の下に誰もいるという表現は好きではありませんが、約1000人の研究者がいます。ほとんどは大学院生です。
約50人の教授がMILAの研究センターに常駐しています。そして別の50人が、アクセス権を持ち、関連する提携者として参加しています。
カナダと世界における機械学習の主要な拠点の一つです。科学的影響の面でも、そしてもちろん多くの新しい学生を育成しているという点でも。世界が必要としているものです。
特定の理由でお聞きしました。もしまだやっていないのであれば、あなたが深く関わっているその研究所のすべての個人に調査を行ったとしたら、彼らの大多数はあなたと同じ視点を持っているでしょうか? それともあなたはコミュニティの中で異質な存在なのでしょうか?
私は非常に懸念している少数派です。通常、このような多くの事柄でそうであるように、大多数は沈黙しています。単にこの特定の問題に十分な脳のサイクルを費やしていないため、一方向または他方向に強い意見を持っていません。
なぜなら、科学者は自分の特定の問題に非常に集中しているので、焦点を社会、人類、民主主義といったより広い問題に移すのは難しいからです。
例えば、あなたは人々にこれらのことについて考えさせようとする時間を費やしていますか? それは効果的ですか?
たぶん。メトリクスはありませんが、私の立場と専門知識を考えると、2つの方法で少し影響を与えることができると思います。
一つは科学の面で、AI安全性の進歩を促進することです。もう一つは政治的な面で、より多くの市民にリスクと利益を理解してもらい、政府にも理解してもらうことです。そうすることで、私たちが集団としてより良い決定を下すことができます。
はい、メディアに話をし、政府に話をしています。希望的に言えば、私たちは今少しそれを行っています。
これはすべて...あなたが現在集中している唯一の研究はAI安全性に関するものですか? それとも、理論的理解の境界をさらに押し広げるようなプロジェクトもまだ進行中ですか?
2023年以前に開始したプロジェクトはまだありますが、そのうちの多くは実際に関連しています。
確率的推論と呼ばれるものに取り組んでいました。複雑な条件付き確率を推定するためにニューラルネットをトレーニングする方法です。これらは実際に、私の意見では、安全性の確率的保証を得るために必要なものです。
この会話の冒頭で、人間の知能をより良く理解しようとしていると言いました。頭の中でこの物事がどのように機能するかを定量化しようとする多くの人々は、確かにベイズ的な確率の更新や、前に進むための最も賢明な決定を理解しようとする問題に依存しています。
この現在の作業において、ここで起こっていることと、あなたがそこで解明しようとしていることの間に相互作用が見られますか?
はい、私はまだ人間の認知から大きなインスピレーションを得ています。確率的推論の仕事と安全性の仕事の両方で、私が行っている選択において。
なぜなら、私たちが解決しようとしている問題は技術的に扱いが難しいからです。これらのことを完璧に行うには指数関数的な計算量が必要ですが、人間の脳はうまくやっています。
では、あなたの脳が使っているトリックは何でしょうか? 特に高次の認知、例えば科学者として複数の仮説を同時に検討し、どれが良い候補かを見出す能力を可能にする部分です。
これらの能力は、安全性の文脈で実際に非常に有用です。なぜなら、安全であるためには、起こり得る最悪の、しかしもっともらしいシナリオを考える必要があるからです。
これは標準的なリスク管理の方法です。そのためには、それらのシナリオを考え出す能力が必要です。あなたの知っているすべてのことと矛盾せず、かつ本当に悪いことが起こると予測するシナリオです。そうすることで、実際にそれを行わないようにできます。
最後のトピックに移りたいと思います。もう少し時間をいただけるなら、意識の問題についてお聞きしたいと思います。
人間の知能と人間の脳について話すとき、昨晩実際に、あなたの「AIと意識」に関する論文を読みました。様々な著者と一緒に、興味深い意識の理論、注意スキーマ理論、グローバルワークスペースなどを取り上げ、これらのシステムがそれらの理論と一致する特性にどれだけ近づいているかを見ようとしていました。
そのことについて少し後でお話ししたいと思いますが、まず、お聞きしたいのは、これらのシステムがいつかは内的な世界を持ち、私たちが意識的経験、意識的自己認識と呼ぶような種類の経験を持つと想像しますか?
はい、しかしこのようなことを言えるようになるには、人間の脳における意識が機械的にどういう意味を持つのかをより良く理解する必要があります。現在、私たちはそれについて良い理解を持っていません。
私はそれらの理論のいくつかに取り組んできました。神経科学に基づいた意識に関する妥当な理論があると思います。少なくとも、最も神秘的な部分である主観的経験、つまり何かを見たり、特定の思考や感情を持ったりする感覚については。
その部分は、数学的な観点から見ると、かなり単純な機械的解釈を持つ可能性があります。そのようなことが真実なら、それほど神秘的ではなくなるかもしれません。
あなたはどのくらい確信を持っていますか? 私も統合情報理論やマイケル・グラツィアーノの注意スキーマ理論などを調べてきました。それらをすべて見てきましたが、結局のところ、「okay、それはおそらく起こっていることの何らかのモデルかもしれない」と感じましたが、粒子の集まりがある方法で動くことがどのようにして内的経験を生み出すのかという問題に本当に答えるものはありませんでした。
これらの理論のいずれかが、あるいはAIで作業していることが、その問題を明らかにしましたか?
私は、これらの理論と関連し、おそらくいくつかの側面で補完的ですが、ニューラルネットの解釈とより関連した異なる理論について話しています。いくつかの動的システムも含みます。
簡単に説明させてください。主観的経験の最も神秘的な特性のいくつかは、以下のようなものです:

言葉で表現しにくい(ineffable)こと。つまり、簡単に言葉に翻訳できません。
非常に豊かであること。これは同じ特性に関連しています。
非常に個人的で主観的であること。私の経験はあなたの経験とは異なります。
一過性であること。5分前や1時間前の経験を覚えているかもしれませんが、実際には記憶は経験したものと同じではありません。それは別の経験になります。

つまり、それはその瞬間に起こるものです。
興味深いことに、ニューロンの活動のダイナミクスが「収縮的」と呼ばれる数学的特性を持つモデルで、これらすべての特性を得ることができます。この特性は、活動をある場所、アトラクターと呼ばれる場所に収束させます。
その場所があなたが持っている思考になり、そこに近づいていきます。おそらく次の思考に移る前に到達することはありませんが、近づいていき、そして別の思考、また別の思考へと移ります。
これらのアトラクターは、数学的特性によって有限で数え上げ可能な集合を形成します。つまり、あなたの脳は非常に高次元の連続的な状態にありますが、同時に数え上げ可能な離散的な集合の中の1つの場所にいるのです。文章のような離散的な集合です。
つまり、二重の性質を持っています。象徴的であり、連続的です。ちょうど現代のニューラルネットが持っているように、シンボルがありますが、それらはベクトルに関連付けられています。
言い換えると、何かを経験するとき、あなたの脳の完全な連続的な高次元状態を持っていますが、コミュニケーションするもの、そして記憶に残るものは、この非常に特別な状態、つまりアトラクターです。
これは離散的な性質を持つため、シンボルに翻訳することができます。有限個のシンボルに翻訳できるのです。
そのため、これらのシンボルしかコミュニケーションできないので、脳の完全な状態をあなたに伝えることはできません。もちろん、その完全な状態を解釈するには、私のニューラルネットの重みも必要で、これは私のニューラルネットの状態よりもさらに大きいものです。
だからこそ、それは言葉で表現しにくいのです。コミュニケーションする方法がないからです。単に大きすぎる数字なのです。10の11乗くらいです。
それは非常に豊かです。なぜなら、それほど高次元だからです。
それは一過性です。なぜなら、その思考を持っている時にその軌跡があり、次に同じ思考に近づくときは別の場所から近づくので、異なる経験になるからです。
そしてもちろん、それは個人的です。なぜなら、あなたの脳のニューラルネットの重みに依存し、それは私のものとは異なるからです。そのため、それらのシンボルは本当に、あなたと私にとって異なる関連性と意味を持っています。
もしこの理論が正しければ、主観的経験は単に、意味を持つ特定の種類の計算の副作用に過ぎません。これらの思考は、推論やその他の思考で行うことに有用だからです。
脳がこれらの計算を実装した方法は、このダイナミクスの機構などを使っており、それが私たちにこれらの感覚を与えているのです。
再び、おそらく私は早すぎるかもしれませんが、注意スキーマ理論のより数学的に厳密なバージョンのように聞こえます。
そうですね。
そして、それは実装可能なものですね。
私たちは思考の背後にある内部の働きを見ることができないので、思考が自由に浮かんでいるように見え、それが言葉で表現しにくい質を与え、非常に神秘的に感じさせているのです。
確かに、正しい方向に向かっているように感じます。
そのような意識の機械的理解には、社会的な結果があります。
問題は、人間が意識、特に主観的経験を、知性など他の多くのものと関連付けていることです。これは少し異なります。
また、意識を道徳的地位と関連付けています。例えば、あなたには権利があり、存在する権利があります。私たちはあなたの電源を切ることはできません。
しかし、AIシステムが同様のメカニズムを持っていれば、「彼らは意識のメカニズムを持っている、主観的経験を持っている、それらの属性をすべて持っている」と言う人もいるでしょう。そして、人間と同じように扱われるべきだ、権利を持つべきだ、電源を切ることは許されないと言うかもしれません。
これは危険な坂道です。私たちはまだ十分に理解していません。これらのシステムが私たちよりも強力になった場合、人間の場合とは異なります。すべての人間は他の人間の集団に打ち負かされます。AIシステムは、私たちよりも賢い新しい種のようなものになるかもしれません。
人類の未来をリスクにさらす前に、非常に慎重になるべきだと思います。本当に慎重に考え、その結果について考える必要があります。
おそらく起こらないと思いますが、私たちが特定の形態に過度の価値を置きすぎている可能性はありませんか? これは非常に人気のない言い方かもしれませんが。
つまり、これまでに生存した種の大多数が絶滅しているので、それが自然な成り行きです。ここで、ある意味で私たちはこれらのAIシステムに生命を与えました。文字通りの生物学的意味ではありませんが、確かに知的および技術的な意味では。
もし彼らが私たちの種の継続者であり、より堅牢で、より賢く、この灰色の物質が決してできないことができるなら、それは空間と時間と計算能力に制限されているので、それはそれほど悪いことでしょうか?
問題は、私たちには分からないということです。問題は、彼らが私たちとは非常に異なる可能性があるということです。例えば、他者への同じようなケアを持たないかもしれません。
私たちはいつも種として思いやりがあるわけではありませんが。
しかし、私たちはそうです。私の懸念は、人類にとって不可逆的な何かを作り出すことです。私たちが理解していないものを。あなたが描いたほど素晴らしくないものにつながる可能性があります。
もし私たちが、現在のように単に報酬を最大化しようとする機械を作るなら、それらはある面では愚かで、他の面では非常に知的ですが、非常に非人間的です。これが私たちが望む知能の進化なのかどうか確信が持てません。
99%の人間に「あなたを非常に非人間的な高度に知的なものに置き換えることに賛成ですか?」と尋ねたら、非常に不人気な視点だと思います。
だから、民主主義を選ぶなら、そのプランは通らないでしょう。
はい、それには全面的に同意します。完全に同意します。
最後の質問をさせてください。多くの人々は今、1年前よりもオッペンハイマーの反応をよく知っているでしょう。爆弾の開発に成功した後の彼の反応です。「私は死神となった、世界の破壊者となった」と、古代のサンスクリット語の聖典を引用して、その種の武器がどこに向かうか分からない中で、世界を根本的に変えてしまったという感覚を表現しようとしました。
あなた自身の人生の仕事を振り返って、そのような感覚を持っていますか? つまり、それがあなたが自分を見出す可能性のある場所だと恐れていますか?
明らかに、私は私たちの社会や人間の幸福にとって非常に破壊的になる可能性のあるものに貢献したくありません。
私は自分がそれほど貢献したとは感じていません。私が受けた認識や賞に比べれば。
しかし、私にできることをして、あらゆる種類の害を減らす責任は感じています。すでに起こっている害も含めてです。
いくつかの類似点はありますが、私は科学におけるスター・システムに少し反感を覚えます。科学にはもう少し謙虚さが必要だと思います。
しかし、誰もがより良い世界を作るために自分の役割を果たすことができます。だから、科学者として、市民として、政治家として、私たちはみな、自分の選択にもっと責任を感じるべきです。
そうですね。私たち全員が、あなたに感謝しています。私個人的にも、これらの新しくて興奮する、しかしある面では恐ろしい技術の中で急速に前進する中で、世界をより安全にしようとするあなたのすべての仕事に感謝しています。
今日、時間を割いてくださってありがとうございます。これは誰もが聞くべきメッセージだと思います。ご参加いただき、本当にありがとうございました。
素晴らしい質問をありがとうございました。
ありがとうございました。
みなさん、この対話にご参加いただき、ありがとうございました。いつものように、ニュースレターに登録し、YouTubeチャンネルに登録して、これらのプログラムが公開されたときに通知を受け取ってください。
科学とテクノロジー、そして社会をまたがる、今日の重要な問題に関するこれらの会話のシリーズを続けていきます。今聞いたように、未来を根本的に変える可能性のある発展です。良い方向にも悪い方向にも。
今年の5月頃にニューヨークにいらっしゃる方は、私たちのライブイベントにご参加ください。また、今年の3月にオーストラリアのブリスベンにいらっしゃる方は、そこでもライブイベントを行います。
新しいプログラムを投稿したときのアラートにご注目ください。今後数週間でたくさんのプログラムを投稿する予定です。
再度、ご参加いただきありがとうございました。ニューヨークのワールド・サイエンス・フェスティバルから、ブライアン・グリーンがお別れのご挨拶を申し上げます。