AI研究者、ヨシュア・ベンジオ教授にお会いしましょう

18,919 文字

ようこそ、王立スウェーデン工学アカデミーのみなさん、そしてストックホルムとオンラインでご参加のみなさん。
歴史を振り返ると、工学は新しい道具や想像もできなかったソリューションを生み出してきました。時には全く新しい世界を切り開くこともありました。デジタル化もその例外やありません。
国境を越えたコミュニケーションや、瞬時に情報にアクセスできる環境は、この半世紀で社会や産業を変えただけやなく、私らの仕事やプライベートな生活まで変えてしまいました。
でもな、大きな発見には、往々にしてパラドックスがつきもんなんです。スコップを例に取ってみましょか。溝を掘ったり運河を作ったりするのにも使えるし、人を殺すのにも使えるわけです。
デジタル技術も、諸刃の剣やったんですな。指先ひとつで知識を得られるようになったり、地球の反対側にいる子どもや孫と近くにいるような感覚になれたりしました。
けど、その同じ技術が、世界中に偽情報や詐欺、選挙操作をまき散らしたんです。プライバシーの侵害に悩まされ、毎日のように巧妙な心理操作を受けて、考えや行動を誘導されてる。自由や人権が蝕まれてるんです。
政府が対策を講じる暇もないうちに、デジタル時代の初期の「子どもの病気」みたいなもんが次々と起こってきました。そして今、新しい時代が幕を開けようとしてるんです。人工知能の時代、ひょっとしたら汎用人工知能や超知能の時代かもしれません。
この強力な技術には、人間の心を分析能力で補強する可能性があります。AIと一緒に新しい科学的発見をするかもしれません。気候変動、がん、パンデミックなど、時代の大きな課題を解決できるかもしれません。これがAI楽観派の希望なんです。
こんな心躍るチャンスの中で、世界の専門家の中には警鐘を鳴らす声もあります。彼らにとっては、さっきのスコップの例えはもう当てはまらんのです。アナログの道具は人間がコントロールできる方法があるけど、人工知能はそうはいかんのちゃうかって恐れてるんです。
この専門家グループの中でも特に目立つのが、ヨシュア・ベンジオ教授です。モントリオール大学の正教授で、ケベックAI研究所の創設者兼科学ディレクターでもあります。
これまでの過ちからどう学ぶか、良い結果がリスクを上回るんかどうか。Googleの創業者らがよく言うてた表現があります。未知の領域に足を踏み入れる時の複雑な気持ちを表してるんですが、「これは不快なほどワクワクする」って。ぴったりやないですか？
それでも、今日のセミナーが、不快感よりもワクワク感の方が強くなることを願ってます。
これ以上前置きは抜きにして、心から歓迎します。我らがゲスト・オブ・オナー、ヨシュア・ベンジオ教授を、大きな拍手でお迎えください。
ヨシュア・ベンジオ:
ありがとうございます。前置きの言葉、感謝します。
始める前に、私について言われたことで一つ気になることがあります。AIをコントロールできないと思ってるって言われましたが、実際にはコントロールできるかどうか分からんのです。将来的に人間より賢くなる可能性はありますが、これは科学的に言うと未解決の問題です。
どっちになるかは分かりませんが、その可能性を認識して、どういう意味を持つのか考えないといけません。それじゃあ、画面を共有させてもらいます。
タイトルは「AGIによる民主的コントロールの喪失」です。AGIっていうのは、人間並みの能力を持つ機械のことです。多くのタスクで人間と同じくらい、あるいはそれ以上の能力を発揮する可能性があります。
これからお話しするのは、良いことと悪いことの両方です。ただ、主に悪い可能性のある状況について話します。なぜかというと、みんなで何かせなアカンことやからです。
民主的コントロールの喪失には二つの意味があります。一つは、人間や民主主義が、非常に強力なシステムのコントロールを、それを悪用する可能性のある一部の人間に奪われることです。これが一番の問題です。
二つ目の問題は、AIそのものにコントロールを奪われて、人類が危険にさらされる可能性があることです。
研究者や学者、政策立案者らが懸念してる他のリスクもたくさんありますが、今日は主に、人間レベルの知能やそれを超える知能を持つAGIに到達した時に深刻になる、これらの極端なリスクに焦点を当てていきます。
なぜ人間レベルの知能に到達する可能性があると考えるべきなんでしょうか？科学的に受け入れるのは難しい場合もありますが、私たちの脳は生物学的な機械なんです。魔法のようなことが起こってるとは、ほとんどの科学者は考えてません。
つまり、いつかは少なくとも人間と同じくらい賢い機械を作れる可能性があるし、もっと賢くなる可能性だってあるわけです。知能の上限がどこにあるのか分かりませんが、人間の知能が最高レベルってことはまずないでしょう。
AGIに近づいてる証拠もお見せします。ただ、約束と危険の両方を考える時期に来てると思います。もちろん、AIに何兆ドルも投資してる人たちは、主に約束の方を考えてるでしょうけど、市民社会は一般の人々にとっての危険も考えないといけません。
これは最近の論文から引用したグラフです。先進AIの安全性に関する国際科学報告書にも掲載されてます。この報告書は30カ国とEU、国連が参加してて、私が議長を務めてるんですが、AIに関する科学の現状、特にリスクに関することをまとめようとしてます。
このグラフは、年代によるAIシステムの進化を示してます。もちろん、最高レベルのシステムについてですけどね。約10個のベンチマークに基づいてます。
見てわかるように、すべての指標でシステムが改善されてきてます。最近では、その傾きがさらに加速してるように見えます。
もう一つ考えないといけないのが、黒い横線です。これが人間レベルのパフォーマンスを示してます。古いベンチマークではAIがほぼ人間を超えてて、数学や推論といった最新の分野でも、まだ追いついてないけど、このまま伸びていけば、あと数年で追いつくかもしれません。
これは、AGIに到達するタイムラインの問題を提起します。科学界でも意見が分かれてます。トレンドはありますが、研究が行き詰まる可能性もあります。
GPT-2からGPT-4への飛躍を考えると、わずか数年の進歩ですごいもんです。これが2、3年続けば、AGIに到達するかもしれません。多くの人は、私も含めてもっと時間がかかると思ってますが、数年かもしれないし、数十年かもしれないし、もっとかかるかもしれません。
でも、数年で到達する可能性を考えて、混乱を避ける準備をせなアカンと思います。
その道筋を理解しようとして、最初に分かったのは、あんまり分かってないってことです。特に、人間に害を与えないAIの作り方が分かってません。もちろん、ギャンブルみたいに、そんなことは起こらないと期待することはできます。
でも、人間より賢い機械ができたら、自己保存のような人間に似た目標を持つようになるかもしれません。そうなると厄介なことになるでしょう。
現在のシステムもよく理解できてません。どうやって答えを出してるのか分かりません。時々欺瞞を使うという証拠もあります。人間も使うから驚くことじゃないですけどね。目標を達成するのに役立つんです。
現在のシステムの周りに安全装置を作ろうという取り組みもたくさんありますが、まだ足りません。簡単に回避できてしまいます。
リスクを評価する方法もあります。AI評価や能力評価と呼ばれるものですが、まだ満足できるものじゃありません。基本的に抜き打ち検査みたいなもので、問題が見つかればそこに問題があることは分かりますが、見つからなかったからといって問題がないとは言えません。
AGI（人工汎用知能）とASI（人工超知能）の違いについて話しましょう。リスクの観点から見ると、悪いニュースがあります。AGIに到達したら、ASIはそう遠くないかもしれません。
理由は、AIシステムが人間と同じくらい優秀である必要はなく、最高のAI研究者と同じくらい優秀であればいいからです。例えば、GPT-6が最高のAI研究者と同じくらい優秀になったら何が起こるでしょうか？
AIの進歩のスピードが劇的に加速します。GPT-4を考えてみてください。1つの大きなネットワークとして訓練されますが、訓練後は10,000、100,000、あるいは100万のインスタンスを得ることができます。
GPT-4が同時に何百万もの要求に答えられるのは、並列化できるからです。異なるコンピューターで同じプログラムの異なるバージョンを実行できるわけです。
AI研究ができるAIができたら、トップAI研究者が10万人新たに増えたようなものです。例えば、OpenAIが数百人の研究者から、実質的に100万人に増えるようなものです。これらのシステムは睡眠も必要ありませんからね。24時間365日働けます。
何が起こるでしょうか？保証はありませんが、進歩が加速する可能性が高いです。次の世代のAIは、AIによって設計が助けられているので、AI研究がさらに上手くなるでしょう。
そうなると、AIだけでなく、人間ができるほとんどすべてのタスクでも優れるようになるかもしれません。
もう一つ心配なのは、現在の社会がこれにどう対処しているかです。人類が一つの高度な精神体で、集団的にゆっくりと慎重に前進して、自滅せずに恩恵を受けられるように決められれば、すべてうまくいくでしょう。
問題は、何百万、何十億もの人々がいて、異なる国や企業があり、競争していることです。その競争が、加速へのインセンティブを生み出しています。他より先に到達して、ASIで他を押しつぶすためです。
これは企業間の競争だけでなく、国家間の競争でも同じです。それはさらに危険かもしれません。政府が企業間の競争を規制して、公共の利益を守るような行動を強制することは想像できます。でも、例えばアメリカと中国の相互作用を誰が規制するんでしょうか？
人間の思考や心理に関する問題もあります。例えば、AIに携わる人々は、自分の仕事を危険なものとして考えたくありません。
AIを開発している企業のCEOのような人々も、自分のことを良く思いたいものです。問題を管理できると考え、自分たちは正しいことをすると思うでしょう。他の人はそうじゃないかもしれないけど、という具合です。実際、そう言ってます。
傲慢さ、自我の防衛が、リスクの誠実な評価に対する心理的バイアスを生み出します。
結論として、人類は霧の中を歩いて潜在的な大惨事に向かっているように感じます。その霧の向こうに何があるのか分かりません。素晴らしいものかもしれませんし、私たちの終わりかもしれません。ただ分からんのです。最高の科学者たちでさえ、この点で意見が一致してません。本当に未知の領域なんです。
どないしたらええんでしょうか。
そうですね、さっき言うたことの中に暗に含まれてましたが、AIには多くの約束があります。これらの企業が競争してる理由があるわけです。
でも、こう考えることもできます。知能は力を与えます。知識は力を与えます。目標を達成する能力、これがAIの本質ですが、これは力を与えます。そのシステムをコントロールする人に力を与えるんです。
だから問題は、誰が目標を決めるのかってことです。これがAIが善にも悪にも使える理由なんです。
じゃあ、人間のコントロールの喪失について話しましょう。民主的コントロールの話は後でします。
どうやって、突然私たちの望まないことをする一片のコードを作ることができるんでしょうか？そもそもそんなことが可能なんでしょうか？
さっき言うたように、AIは目標を達成したり質問に答えたりすることです。質問に答えるのは特別な種類の目標ですね。
じゃあ、もしAIが自己保存を目標にしたらどうなるでしょうか？この惑星上のすべての生き物と同じようにね。つまり、電源を切られることに抵抗するってことです。
これだけで、私たちの望まないことをするAIができてしまいます。少なくともある程度は、コントロールを失ってしまうんです。
もちろん、もしそれが実際に私たちより賢くて、現実世界の物事をコントロールし始めたら...人々に影響を与えるのが一番簡単な方法でしょうね...私たちが二度と電源を切れないようにするでしょう。
つまり、私たちをコントロールするか、排除するかのどちらかです。
どうやってこの自己保存の目標が生まれる可能性があるんでしょうか？主に二つのシナリオがあります。
一つは、人間が一部のAIにその目標を与えてしまうことです。知能が何よりも重要だと考え、私たちより賢い新しいタイプの存在を作って、私たちの世界と未来の管理人にしたいと本当に思ってる人もいます。
もう一つの方法は、安全性の研究者たちが10年間研究してきたことです。私たちがAIに与える無害な目標の副作用として、自己保存やその他の目標が生まれる可能性があります。
じゃあ、これにどう対処すればいいんでしょうか？二つの問題を同時に解決せなアカンのです。一つは科学的な問題で、もう一つは政治的な問題です。
科学的な問題は、私たちが望むことをし、コントロールできる安全なAIをどうデザインするかってことです。
政治的な問題は、これらの大惨事を避けるために、みんながAIを使うようにするにはどうすればいいかってことです。
人間がAIへのコントロールを失うこと、つまり人間がコントロールを失うことと、民主的コントロールの喪失の両方を避けなあかんのです。
科学的な問題、つまり安全なAIを作る方法を解決したとしても、一部の人間が力を得るためなら何でもするという問題は残ります。民主主義制度を破壊することさえもです。
例えば、企業や政府の中の一部の人々が、自分たちのために超知能を使うことを想像できます。最初は特定の企業で、次に特定の国で、そして最終的には世界的な独裁を作り出すかもしれません。これが権力掌握の極限です。
だから、民主的コントロールの喪失を避けなアカンのです。難しい問題に見えます。なぜなら、さっき言うたように、どこかに超人的なAIがあって、それをコントロールする人が突然超強力になれるなら、それをどう避けられるでしょうか？
ガバナンスのメカニズムを整えて、一個人、一企業、一政府が非常に強力なAIシステムを完全にコントロールできないようにせなアカンのです。もしそうなったら、もう誰も止められません。
これについて考える必要があります。民主主義制度がありますが、それを改善して将来の課題にもっと強くする必要があるかもしれません。
技術面では、約1年前からこの問題に取り組んでいます。希望はあると思います。高い確率で上手く動くAIを設計するのに役立つ研究ができると思います。
最近、「オラクルはエージェントからの危害を防げるか」というタイトルの論文をarXivに投稿しました。AIそのものを使って、AIからの悪い行動を防ぐガードレールを作るというアイデアです。道路のガードレールみたいなもんです。
AIが何かを提案したとき、例えば答えを出力したり世界で行動したりする時、そのAIのバージョンや別のAIが、その行動が害を与える確率を計算します。
もちろん、真の確率は計算できませんが、数学を使ってその確率の上限を得ることはできます。そしてその上限を使って、その行動を拒否するかどうかを決めることができます。
危険かもしれない行動を、それが確実に危険だと分からなくても、AIにさせないようにするんです。
一種の安全スコアを作成して、AIが一定のスコアを超える行動を提案したら、その行動を防いで別のことをさせるんです。
これが最後のスライドになります。AI安全性を真剣に受け止めることへの賛成と反対の議論についてです。
ここにいくつかのポイントを挙げました。約1ヶ月前に書いたブログ記事で全て触れています。AIに関する私の考えについては、ウェブで簡単に見つかる私のブログで多くの情報が得られます。
AI安全性を真剣に受け止めるべきでないと考える人々から聞いたすべての議論を取り上げ、それらを分析し、両面を見ようとしました。
例えば、超人的AIが起こらないこと、あるいは数十年前に起こらないことを確信できない理由について議論しています。単純に、それが起こる可能性や、2030年くらいの短期的なタイムラインで起こる可能性を否定するほど強力な証拠がないんです。
科学者たちが持ち出す議論についても議論しています。超知能AIがあったとしても、人間に親切であるという保証はありません。もちろん、そうあってほしいし、そのようにデザインしようとすることはできます。でも今のところ、それをどうすればいいのかさえ分かってません。
非常に短期的に重要なのは、さっき言及した企業や国の競争的な行動です。なぜその競争のダイナミクスが、ほぼ確実に安全性を軽視することにつながるのか。実際、すでに起こっています。OpenAIのような企業が安全性を軽視しているという証拠があります。
超人的AIをコントロールすることが科学的に難しい理由についての議論もあります。
現在よく知られているリスク、短期的な問題を、私がこのプレゼンテーションで話している長期的な破滅的リスクと対立させるべきでない理由についても議論しています。両方に取り組む必要があり、どちらも政府の介入が必要です。最終的には国際条約も必要でしょう。
条約について考えると...何をする必要があるでしょうか？自国内で安全なAIを設計することを確実にする必要がありますが、他国も同様のことをすることも確実にする必要があります。だから条約が必要で、その条約が守られることが必要です。つまり、遵守状況が検証可能でなければなりません。
そして、「ジーニーは瓶から出てしまった、もう何もできない」と言う人々に反論します。いや、それは受け入れられない答えです。なぜなら、未来は不確実で確率的だからです。今私たちがすることで、破滅的な結果の確率を下げることができるなら、たとえ大惨事を避けられる保証がなくても、やるべきです。
オープンソースについての議論もあります。これは複雑で、後でもっと詳しく議論できます。
パスカルの賭けとは状況が異なる理由についても議論しています。これは人々が持ち出す議論の一つです。
また、最近の論文への返答として、リスクの客観的な定量化がなくても行動する必要がある理由についても議論しています。気候変動のように、ある程度客観的な定量化ができるものもありますが、AIの科学がどのように進化するかのコンピューターモデルはありません。それは、異なるリスクシナリオの確率を予測するのに必要でしょう。
ここで終わりにします。技術的な安全保証を構築するプロジェクトを始めたことも言及しました。もし興味のある人を知ってたら、私に連絡してください。ありがとうございました。
司会者:
ベンジオ教授、非常に刺激的で考えさせられるお話をありがとうございました。これから、ベンジオ教授とスウェーデンを代表するAI専門家の一人との対話に移ります。
私の副議長であり、リンシェーピング大学の情報技術学部教授のエヴァ・フリック・ハインズ教授です。彼はまた、EUのAIに関する元ハイレベル専門家グループのメンバーでもありました。それでは、フリック・ハインズ教授、どうぞ。
フリック・ハインズ教授:
どうもありがとうございます。ここにいらっしゃってうれしいです。少なくとも私にはあなたが見えてますので、それはよかったです。
非常に興味深い状況だと思います。私がしたいのは、いくつか質問をして、あなたの考えをさらに理解することです。
まず取り上げたいのは、あなたが講演の冒頭で「私たちはAGIに向かう列車に乗っている」と言われたことです。これは避けられないと信じておられますか？定義上、これは起こるのでしょうか？それとも、私たちにはまだ、これを開発するかどうかの選択肢があるのでしょうか？
ベンジオ教授:
私たちには確かに主体性があります。今こそ、その列車をコントロールする時です。AGIに近づけば近づくほど、それは難しくなります。少なくとも、最先端の非常に強力なAIがますます展開されるでしょう。
軍隊がそれを使い始めたら、その列車を止めるのはさらに難しくなるでしょう。だから、たとえAGIが10年先のことだとしても、今こそ議論をする時だと思います。もっと短い可能性もありますからね。
フリック・ハインズ教授:
そのラインに沿って、私は気になることがあります。あなたは、AI研究者と同じくらい強力になれば、次世代のAIシステムはさらに複雑になると言われました。なぜそれをAI安全性の向上に使わないのでしょうか？同じ議論がAI安全性の改善にも適用できるように思えますが。
ベンジオ教授:
全くその通りです。それが私の計画です。AI安全性の再帰的自己改善です。
でも問題は、ある意味政治的なものになります。私たちは何を選択するのでしょうか？一般の人々や民主主義を守る安全性アルゴリズムを改善することを選ぶのか、それともそれをコントロールする人により多くの力を与えるAIを開発することを選ぶのか。
これは選択の問題です。私たちには主体性がありますが、問題は、競争のような力が働いていることです。自然に安全な行動に向かうのではなく、むしろ競争的な行動、つまり「勝ちたい」「他の人を信用しない」といった方向に向かっています。
フリック・ハインズ教授:
もし協力的で協調的なAIシステムを競争的なものではなく構築できれば、それが前進への可能性のある道筋ということですね。
ベンジオ教授:
はい。私が書いたことの一つに、約1年前に「民主主義ジャーナル」に掲載された論文があります。そこで私は、理想的には、最先端のAI開発を現在の営利目的の商業ベースから、多国間の非営利の取り組みに移行すべきだと書きました。
人類の利益を目指し、誰にも悪用されず、その恩恵が世界中、そして各国内の様々な人々に共有されるような取り組みです。もちろん今はそういう方向に向かってません。でも、十分な政治的意志と、リスクや代替案に対する一般の人々の理解があれば、実現可能です。
フリック・ハインズ教授:
そうすると、主に産業界のインセンティブが非常に競争的な性質に焦点を当てているというあなたの議論に戻るわけですね。私たちが構築するシステムは、それを作り出したインセンティブと同じ性質を持つと解釈すべきでしょうか？つまり、インセンティブを変えることで、開発されるシステムも変わるということですか？
ベンジオ教授:
そうですね。私たちは、競争相手というよりも母親のようなシステムを作りたいと思ってます。でも、例えば軍事利用を考えると...次世代の武器を作りたいという誘惑があります。これは他人を守ることではなく、攻撃に関するものです。
もちろん、選択の余地がない場合もあります。例えば、中国が強力な軍事AIを開発したら、私たちはどうすればいいでしょうか？だから、これらのリスクを予測し、それらが起こる前に防ごうとしなければなりません。
フリック・ハインズ教授:
人間社会の仕組みを見てみると、何年も前、個人レベルでは一番大きな棒を持っている人が戦いに勝つという状況でした。しかし、社会が発展するにつれて、私たちはより平和になり、より協力的になりました。社会のより多くの人々に配慮するようになり、自然や地球にも気を配るようになりました。
文明が進歩するにつれて、より多くの配慮をするようになったように見えます。そこで私は少し気になるのですが、あなたはなぜ、非常に洗練された、自分の行動の結果を本当に理解できるAIシステムが、より広い視野を持たないと考えるのですか？
ベンジオ教授:
それは私たち次第なんです。だからこそ、インセンティブ構造を変える必要があると思うんです。もしインセンティブ構造が「私の会社が他の会社を支配する」とか「私の国が他の国を支配する」というものなら、あなたの描く素晴らしい絵は実現しません。
でも、もし世界的なレベルで何らかの集団的な取り組みがあって、AIやその他のツールのおかげで文明や共感、連帯を実際に向上させようと決めたら、これから何十年かで人間に素晴らしい幸福と繁栄をもたらすことができるかもしれません。
でも、それは他の競争的なシナリオが起こらないようにしなければ実現しません。
フリック・ハインズ教授:
ある意味で、人間はほとんど競争的に見えますが、それでも私たちはほとんど肯定的な社会を発展させてきました。でも、次の質問は、リスクはどれくらい人間に関連していて、どれくらいテクノロジーに依存しているのでしょうか？これら二つのカテゴリーに関連するリスクについて、どのようにお考えですか？
ベンジオ教授:
明らかに両方の組み合わせです。人間として、もし私たちが賢くて互いを思いやるなら、人々や全員を殺す可能性のあるモンスターを作ることはないでしょう。科学的な課題を解決するのに役立つツールを作るでしょう。
人間の知恵や心理の弱さが、危険になり得るテクノロジーの出現を引き起こすんです。そして、私たちはコントロールを失い、もはや私たちの手には負えなくなります。これは可能性のあるシナリオです。そうなると、テクノロジーそのものが危険になります。
フリック・ハインズ教授:
もちろん、私たちはAI安全性が非常に重要だと主張しています。ほとんどの人がそれに同意すると思います。しかし、AI安全性を達成するために必要なこと、あるいはAI安全性に含まれるものについて、人々の主張にはまだ違いがあるようです。
組織が「もちろん、AI安全性を非常に真剣に受け止めています」と言いながら、まだこの方向に向かって取り組んでいるようです。AI安全性に向けて取り組んでいると主張する人や組織が失敗しているいくつかのことは何でしょうか？
表面的には安全性に取り組もうとしているように見えますが、まだ十分ではありません。一般的な間違いや、人々が十分に真剣に受け止めていないことは何だとお考えですか？
ベンジオ教授:
はい、「安全性ウォッシング」という新しい用語がありますね。でも、私はそれさえも設計上のものだとは言いません。人々は本当に安全なシステムを構築しようとしていると思います。
でも、もちろんそれだけでは十分ではないかもしれません。十分な情報を持っていないかもしれないし、十分なリソースを投入していないかもしれません。
確かに、誠実で正しいことをしていると思っている人々がいると思います。人間は認識的謙虚さが特に得意ではありません。自分は他の人より優れていると思ってしまいます。そうして、こんな状況になってしまうんです。
例えば、AIの企業のCEOを想像してみてください。高いリスクに関する信念のスペクトルがあるとして、その人が極端な立場にいるとします。ヤン・ルカンのように、心配する必要はないと考える人がいるかもしれません。
そうすると、その人は物事を構築し、もしかしたら彼らが正しくて全てうまくいくかもしれません。あるいは、私たちは皆トラブルに巻き込まれるかもしれません。そしてもちろん、その中間のすべてがあります。
問題は、そのスペクトルのどこにでもいる可能性のある個人の手に多くの決定権があることです。これが問題の一部です。
そして、もちろんインセンティブの問題があります。これがさらに大きな問題だと思います。インセンティブを修正しない限り、危険なものを作り続けるレースを続けることになります。
完全に同じではありませんが、興味深い類推があります。全員を殺す可能性のあるウイルスを設計することを考えてみてください。もちろん、設計するのは人間です。でも、一度このものが解き放たれ、自己複製を始めると（ウイルスはそうするものですから）、私たちはコントロールを失います。それを作った人々も含めてです。
もしかしたら、それを作った人々は大丈夫だと思っているかもしれません。実際、何らかの病気を治すために使おうと思っているかもしれません。でも、一度そのものが変異すると...ウイルスの場合ですが...それを作った人々や他の全ての人々に敵対する可能性があります。
AIの場合は違います。残念ながら、AIはウイルスよりもずっと賢くなるでしょう。でも、多くの興味深い類似点があります。
フリック・ハインズ教授:
あなたが言及したもう一つのことは、これらのシステムがどのように機能するかを完全に理解していないということでした。これは認識的謙虚さに戻ります。私たちが理解していないことを理解することです。
今日のAIシステムを見ると、主に深層ニューラルネットワークのようなアプローチを使用している場合、それらが問題的である理由の一部は技術的な問題だと言えるでしょうか？
その場合、より古典的な、例えばシンボリックAIのような、システムの限界についてより形式的な保証を得られるアプローチの役割は何でしょうか？
ベンジオ教授:
私が始めた研究プログラムは、古典的な深層学習（私のグループが貢献してきたもの）の利点と、推論を伴う古典的な記号AIの利点の一部を組み合わせようとしています。
現在、深層学習に基づくAIシステムは、推論が非常に弱いです。これは彼らの最大の弱点の一つです。そして、解釈可能性の問題があります。どのようにして答えに到達したのか分かりません。
もし彼らが信頼できる説明を与えることができれば...私たちが彼らが真実を語っていると確信できる程度に...それは素晴らしいでしょう。もちろん、不確実性を伴う真実を数学的に考える方法があります。これはベイズ事後確率と呼ばれます。
AIに、利用可能なすべての文脈とデータに基づいて、何かが起こる確率（例えば、害が起こる確率）を与えてもらいたいのです。この質問に対しては、数学的に一つの答えがあります。その答えを与えることが、確率的な真実なのです。
でも、今のところそれをどうすればいいか分かりません。私に希望を与えるのは、ニューラルネットワークに内部で解読できない方法で推論させるのではなく、出力で推論を生成させることができるということです。
議論や主張を生成させ、それらの議論は単純なAIや人間、あるいは議論が論理的で一貫しているかを確認するだけの単純なコードによってチェックできます。
これは深層学習の利点を組み合わせることになります。深層学習を人間の脳のように考えてください。私たちは質問に対する答えを直感的に思いつきます。時には良いものもあれば、そうでないものもあります。
もし私があなたの質問に対して答えだけでなく議論も提供し、あなたがその議論が理にかなっているかチェックできるなら、それは別の領域に入ります。私がどのようにしてその証明を思いついたかを理解する必要はありません。ただ、あなたの議論が理にかなっているかをチェックするだけでいいのです。
議論の健全性をチェックすることは、最初に議論を思いつくことに比べれば簡単な作業です。分かりますか？
フリック・ハインズ教授:
NP困難問題のようですね。答えを計算するのは指数関数的ですが、特定の答えを確認し、それが実際に問題を解決しているかを検証するのは多項式時間です。
そうすると、この方法で特徴付けできる問題のクラスがあるはずです。おそらく、この特定の方法では対処できない質問もあるでしょうね。
ベンジオ教授:
その可能性はありますが、AIからの行動や提案を、少なくとも合理的に真実性をチェックできるものに限定する選択をすることはできます。
そしてもう一つできることは、AIを訓練して、構造上、訓練すればするほど真実性が高まるようにすることです。これは現在の訓練方法ではありませんが、コンピューターサイエンスや機械学習技術の観点から見ると、これを理解することは可能だと思います。
フリック・ハインズ教授:
少し後ろに下がって考えてみましょう。私が興味深いと思うのは、エージェンシーという概念です。今日のAIシステムにはエージェンシーが欠けていると私は主張します。あなたの観点から見て、どのシステムがエージェンシーを持っていると言えますか？
ベンジオ教授:
そうですね、AlphaGoは実際にエージェントです。ただし、非常に限られた環境で、非常に限られた知識の集合（囲碁のルール）を持っています。
しかし、GPT-4は本当のエージェントではありません。エージェントに変えようとすることはできますが、あまり良いものではありません。彼らは自分自身や、解決するように設計された特定の問題の外側についての概念が非常に限られているように見えます。
まだ、より深い形態や、より重要な形態のエージェンシーに到達するまでにはまだ道のりがあるように思えます。
ベンジオ教授:
それが企業が一生懸命取り組んでいる問題の一つです。これがどれだけ価値があるか想像できますよね。
こう考えてみてください。私たちには二種類のAIシステムがあります。AlphaGoのような、非常に単純な世界（囲碁のルールのような）で信じられないほど優れたエージェントがあります。そこでは超人的なエージェンシーを持っています。
そして、GPT-4のようなシステムがあります。これらは信じられないほど知識豊富で、どの人間よりも多くのことを知っていて、もちろん言語をマスターしています。でも、これらの知識を使って目標を達成するための推論や計画を立てる能力がありません。少なくとも、その能力は今のところ非常に弱いです。
つまり、科学の二つの側面があるんです。今のところ、人々はエージェンシーと知識の両方を持つ方法を見つけていません。でも、多くの企業の人々がこれに取り組んでいることは言えます。
フリック・ハインズ教授:
時間が限られているのは分かっていますが、この全てにおける法律の役割について少し気になります。今、世界中の多くの国がリスクを減らすための方法を法律を通じて見つけようとしています。これについてどうお考えですか？法的なアプローチは正しい方向に向かっているのでしょうか？
ベンジオ教授:
そう願っています。ここで二つのことを言わせてください。
まず、私は信じられないほど強力なロビー活動を目撃してきました。主に一部の人々からですが、彼らは大きな力を持っています。ベンチャーキャピタリストや大手テク企業への投資家たちです。全てではありませんが、ほとんどの人が、あらゆる法律に反対しています。
EUのAI法はほとんど実現しませんでした。ドイツとフランスの交渉のチャンスで何とか実現しましたが、まだ無意味なレベルまで骨抜きにされる危険があります。
カリフォルニア州上院法案1047の議論にも関わってきましたが、これに対してどれだけのロビー活動の力が働いたかは驚くべきものでした。議会は圧倒的多数で賛成票を投じ、市民の70%が賛成し、テック業界の労働者も70%以上が賛成しています。
でも、知事が圧力を受けて拒否権を発動する可能性が高いんです。知事は専門家ではありませんが、圧力をかける人々がいて、どうなるか分かりません。
今、戦いが続いているのが分かると思います。
法律や規制から何を求めているのか、お話しましょう。破滅的なリスクに関しては...もちろんリスクには幅広いスペクトルがありますが...規制システムから出てくるべきだと思うことが二つあります。透明性とインセンティブです。
それぞれについて説明しましょう。
透明性は不可欠です。現在、これらの企業は閉ざされた扉の後ろで何でも好きなことをしています。内部告発者がいない限り、私たちは知らないかもしれません。
だから、内部告発者の保護を強化する必要があります。これはカリフォルニア州の法案が行っていることの一つです。そして、企業に安全計画を公表するよう強制する必要があります。
商業上の秘密がある場合は、全ての人がアクセスできるわけではないかもしれませんが、何らかの権威（カリフォルニア州では司法長官）が編集された部分を読むことができます。
企業は、全てのリスクから公衆を守るために何をするつもりなのかを言わなければなりません。そして、それらのテストの結果も公表しなければなりません。そうすることで、彼らが言ったことを実際に行っているかをチェックできます。
これが最初の部分です。透明性ですね。企業は公の場で悪く見られたくないでしょう。そして、時には単に誤解している可能性もあります。もし彼らの安全計画が学者がアクセスできるものであれば、批判して「ここに問題があります、修正できます」と言えるでしょう。
これは単にネガティブなものではなく、建設的なものです。情報を公開することで、私たち全員がより安全になる可能性があります。
ちなみに、これには事故の報告も含まれます。企業は通常これをしたがりませんが、強制されるべきです。EU法でもこれを強制することになっています。
もう一つはインセンティブです。先ほど言ったように、現在のインセンティブは悪いものです。競争は手抜きをすることを意味し、企業イメージに悪影響を与える可能性のある情報を隠すことを意味します。
だから、インセンティブ構造を変える必要があります。また、法律に反対する大きな議論の一つは、「規制がイノベーションを妨げる」というものです。「進歩を妨げる」とか。
そして、AI安全性について十分に理解していないので、どう規制すればいいか分からないという議論もあります。どんなテストをすべきかとか。
これらの議論にはたくさんの論点があります。AI安全性の科学やこれらの評価がまだ非常に若く、成熟していくという現実もあります。
また、悪用も成熟していきます。悪い人たちは、私たちが考えもしなかった方法でAIを利用する方法を見つけるでしょう。
だから、規制は非常に柔軟である必要があります。
カリフォルニア州の法案で私が気に入ったのは、責任に依存しているということです。責任には長所短所がありますが、これが行うのは、規制が「安全性についてこうすべき」と言うのではなく、「最先端技術や国際標準を知っている専門家が行わないような不合理なことをして、リスクを生み出した場合、破滅的な結果があれば責任を負う」ということです。
このようにして、基本的に企業に慎重に行動し、AI安全性の研究を行うという自己インセンティブを持たせます。なぜなら、彼らは遅れをとりたくないからです。政府や危害の被害者から訴えられる可能性があります。
フリック・ハインズ教授:
このようなAI安全メカニズムと、もちろん法律の共進化が本当に必要だということですね。固定されたものではなく、時間とともに継続的に進化させていく必要があるものだと。
ベンジオ教授:
その通りです。
フリック・ハインズ教授:
この非常に楽しい会話に感謝します。質問する側にいるのは久しぶりで、答える側にいるのとは違って楽しいですね。もちろん、今後もさらに会話や協力の機会があることを願っています。
では、アネットさんに戻して、聴衆からの質問をいくつか取り上げてもらいましょう。
司会者:
はい、質疑応答のセクションの司会を務めさせていただきます。既にこれまでの会話でカバーされた話題もたくさんありましたが、少し戻って考えてみましょう。
今日のインフラに関する質問がありました。もちろん、これはあなたが政治や今後の方向性について話されたことに関連します。この質問はデジタル主権についてです。
スウェーデンやEUでは、国家が訓練や展開に適した独自のデジタルインフラを持つべきか、それとも企業に依存すべきかという議論が進行中です。あなたは既にある程度この質問に答えられたと思いますが、もう一度取り上げたいと思います。
ベンジオ教授:
はい、背景を少し説明させてください。
私が予見する避けられないトレンドは、将来のAIシステムがどれほどの力を持つかを政府が認識するにつれて、より多くのコントロールを望むようになるということです。規制は最初のステップに過ぎません。
最終的には全てのAI活動を国有化すると考える人もいます。正しい答えが何かは分かりませんが、それはありそうな方向性です。なぜなら、民主主義では人々を代表する政府として、あなたよりも強力な存在が何のコントロールもなく暴走するのを望まないからです。
「民主主義ジャーナル」の記事で、私はこれらの企業のルールを変更して、単に利益だけでなく、政府や市民社会の代表者を含む取締役会を持つようにすることについて話しました。
公衆がこれらのAIシステムにより多くのコントロールや発言権、可視性を持つようになるこの変化の中で、公衆が独自のインフラを構築しなければならないのは明らかです。
これは企業と協力して行うこともできます。例えば、米国政府と主要なAI企業との官民パートナーシップの計画を見たことがあります。どちらかだけということではなく、協力して取り組むこともできます。
例えば、5年後にAIに必要な電力インフラは、現在のトレンドが続けば巨大なものになるでしょう。これは政府が無視できないものになります。持続可能性の問題や炭素フットプリントの問題があるかもしれません。
地政学的な問題も含まれるかもしれません。例えば、OpenAIがサウジアラビアにこれらのシステムの一つを建設する提案をしたことがありました。エネルギーが豊富にあるからです。
将来のシステムをどのように構築するか、そしてそれを取り巻く全ての国際政治について、多くの地政学が関わっていることが分かると思います。
そう、政府はこの分野の主要なプレイヤーになるべきだと思います。そして、学者や非営利組織がこれらの取り組みに関与できるという利点があります。インセンティブを公共の利益により沿ったものに導き、現在唯一の推進力となっている競争的な力からの圧力を減らすことができます。
司会者:
ありがとうございます。あなたは公衆と公共の利益のテーマに戻ってきました。最初にも市民社会の役割について言及されました。
まだ触れていないトピックの一つがリテラシーです。これらのグループ、つまり公共の利益を代表すべき政府機関や、直接関与する公衆が、あなたが予見する監督機関でその役割を果たすためには、適切な能力が必要です。
AIリテラシーをどのように伝え、彼らがこの責任を負えるようにすればよいでしょうか？
ベンジオ教授:
それは政府がすべきことの一つです。二つの理由から明らかです。
AIの良い面だけを考えたとしても、市民が使うことになるツールを理解してほしいと思います。これは単に職業上の理由からです。
物理学者にならなくても物理学を理解するように学生を教育するのと同じように、AIは来るべき数十年で私たちの生活の中心になり、どこにでも存在するようになるでしょう。誰もがこれらのシステムの基本を理解する必要があります。
もう一つの理由は、個人がAIを使用できるだけでなく、AIの被害者にならないようにするためです。偽情報などを考えてみてください。
また、市民は投票をする人でもあります。私たちは正しい集団的決定を下す必要があります。そのためには、両側の長所と短所、議論を理解する必要があります。これは民主主義における教育の非常に重要な部分です。
司会者:
先ほどウイルスの比喩を使われましたが、他の比喩もありました。公衆はどの程度のリテラシーを持つべきでしょうか？
例えば、車を運転するのに内燃機関の仕組みを知る必要はありません。AIリテラシーのレベルについて、何か思い浮かぶ比喩はありますか？
ベンジオ教授:
はい、確かにあります。私たちは人間の脳に多くの類似点を持つAIシステムを構築しています。違いはありますが、これらの類似点を基に説明することができます。もちろん、違いも注意深く説明する必要があります。
今では、AIの心理学という研究分野さえあります。基本的に、他の知的な生き物を研究するようにAIを研究し、その偏見や行動を理解しようとしています。
一般の人々に利点とリスクの両方を説明する方法はあると思います。私の講演では動物の類推を使うことがあります。非常に強力なシステムを非常に強力な動物のように考えることができます。
ペットとの関係で何が間違う可能性があるか考えてみてください。ペットはあなたほど強力ではありませんが、もし猫の代わりにグリズリーベアを飼っていたら、今度は注意しなければなりません。
司会者:
グリズリーベアのイメージを持ち帰り、スウェーデンの安全性組織や規制、そして安全な道を見つけるために携えていかなければならないすべてのものを前進させる助けにしたいと思います。
フリック・ハインズ教授:
はい、私たちが理解したのは、これが非常に重要な問題であり、あなたが言うように、今がその問題に対して何かをする機会だということです。同時に、多くの未知の未知があるという課題があります。それにどう対処すればいいのでしょうか。
私にとって、これは非常に興味深い質問です。正確に何を防ごうとしているのか、あるいはどのようにして達成しようとしているのかが分からないにもかかわらず、今行動する必要があります。それでも行動することが最も重要だと、あなたは言っています。
あなたが言うように、私たちはこれに向かって眠りながら歩いていくべきではありません。少なくとも、私たちが達成しようとしていることを認識し、できる限りリスクを最小限に抑えるべきです。
王立工学アカデミーを代表して、まず何よりもゲストスピーカーに感謝の意を表したいと思います。ベンジオ教授のご参加に、温かい拍手をお願いします。
[拍手]
私の理解が正しければ、あなたはスウェーデンのさまざまな関係者と進行中のコラボレーションをいくつか持っているとのことです。次回は、スウェーデンでお会いできることを願っています。そうすれば、実際のおもてなしをお見せできるでしょう。
ベンジオ教授:
ありがとうございます。
司会者:
また、このイベントを準備してくださったEvaのリンド・オルソン部門秘書と残りのチームにも感謝の意を表したいと思います。彼らにも拍手をお願いします。そしてフリック・ハインズ教授にも。