エリック・シュミットとヨシュア・ベンジオ、AIがどれほど我々を怖がらせるべきかを議論する

紳士の皆様、本日この対話にお付き合いいただき、ありがとうございます。皆様、ご来場ありがとうございます。明らかに、私たちはここでAIについて話し合うために集まりました。全てを整理するために、ヨシュアは、AIが我々を絶滅に追い込む可能性があるリスクを、パンデミックや核戦争のように世界的なリスクとして考慮すべきだと広く信じています。一方、エリックはAIに非常に非常に興奮しています。そこで、お二人の出発点はそこにあります。ちなみに、彼はこの半分を発明したのだと思います。では、彼から始めましょう。そう、彼がその半分を発明しました。
2022年11月は、この部屋にいる多くの人々が初めてAIに注目した時期です。オープンAIがChatGPTを立ち上げ、それが私たちの生活に急速に入り込んできました。2022年11月から今日まで、最も興奮したこと、あなたの心の中で最もポジティブなことは何でしょうか。
最もポジティブなのは、ポジティブな能力だけでなく、危険性についても認識が高まっていることです。これが最も重要なことで、継続して起こる必要があります。そうすることで、AIがもたらすものから恩恵を受けつつも、民主主義や社会を台無しにしたり、人類を破壊したりすることがないようにできます。
まあ、私はちょっと意見が違います。私たちがすべきことは、何の制限もなく全力で進むことだと思います。冗談ですが。AIの可能性は、例えばAI医師やAIチューターなど、社会が抱える全ての問題に対してとても深遠なものです。私が心配しているのは、何らかの形でこれを遅らせてしまうことです。私はむしろできるだけ早く開発したいと思います。現時点では、カナダや他の数カ国のパートナーとともに、これはアメリカの物語だと思います。私はその利点を活かしたいと考えています。
現在、3つの異なることが同時に起こっています。今日、あなたは言語間の翻訳を考えていますが、非常に速やかに、無限のコンテキストウィンドウと呼ばれるものが登場するでしょう。そこでは、あらゆる質問をすることができ、多くのレシピやすべきことを提示してくれます。また、物事を学習するエージェントを開発することもできます。最後に、あなたが望むことを伝えると、それに応じてコードを書いてくれるプログラマーを持つこともできます。これらは非常に強力で刺激的です。
問題は、知性から生まれるその全ての力、つまり成長している知的認知能力が、ご存知の通り両用性があることです。AIが非常に影響力のあることを行う能力と、我々がAIに求める目標を分離する方法はありません。もし我々が、AIが道徳的に行動するように、悪用する人々の手に落ちないように、自律的で危険にならないように設計する方法を見つけられなければ、これらの良いものは全て無駄になってしまいます。現在、科学者たちは、我々が望むことを行い、我々の規範や法律、価値観に従って行動するAIを構築する方法を本当に知りません。これは大きな問題です。
しかし、我々は皆異なる価値観を持っています。誰が道徳的な方法を決めるのでしょうか。
原則的には非常に簡単な答えがあります。我々はすでにこの問題を抱えています。それは民主主義と呼ばれ、危機に瀕しています。AIやその他の要因によって危機に瀕していますが、はい。私は、人類にとって何が正しくて何が間違っているかを決定するAIを信頼しません。我々が集団的にそれらの決定を下さなければなりません。もちろんですが、再び誰が「我々」なのでしょうか。
これはガバナンスの問題です。これは我々が民主的な制度で答える問題です。我々はガードレールを設置する規制当局を作り、これらのものを構築する組織のインセンティブを決定します。これらは通常、政府を通じた集団的な決定です。もちろん、民主主義が機能する世界での政府の役割です。
人間主導の行動とコンピュータ主導の行動について話すことが重要だと思います。人間がAIに何かをするよう頼むことと、AIが自分で何かをすることの間に明確な線を引きたいと思います。後者は非常に危険だと思います。エージェントが互いに話し始め、計画を立て始めるシナリオがあります。彼らは人間には理解できない独自の言語で計画を立てるかもしれません。
ところで、エージェントとは何ですか。
エージェントは行動するように設計されたコンピュータプログラムです。多くのことを知っており、何かを実行することができます。この文脈では、通常、言語で呼び出され、言語の結果を生み出しますが、ノブを回したりコードを書いたりすることもできます。
つまり、エージェントが我々には理解できない言語で互いに話し始める時点で、我々がすべきことは、コンピュータのプラグを抜くことです。それは単に許容できません。つまり、限界があるということですね。
そうです。我々はそれらをレッドラインと呼んでいます。これらのレッドラインがいくつかあり、あなたと私は実際にこれについて多くの場合で作業してきました。私たちはレッドラインについて同意していると思います。中国でさえ、一般的にレッドラインについて同意していると思います。
一般的に、誰もが同意していると思います。コンピュータのプラグを抜いて、家に帰ってコーヒーでも飲むべきです。しかし、人間がこれらのものをコントロールする必要があります。問題は、我々が全ての人間を信頼していないことです。精神病的で違法なテロリストの人間がたくさんいるという証拠がたくさんあります。
最も明白なのは、オープンソースと呼ばれるものに関することです。モデルの一部であり、もちろん素晴らしいサムから聞いたように、彼らのモデルは閉じていますが、他の場所では、ほぼ同じくらい良いオープンモデルを構築しています。これらは修正可能であり、それは我々がまだ完全に理解していない、どのようにコントロールするかわからない危険です。
ここで非常に重要な点を付け加えたいと思います。そのようなモデルが世界と共有されると、武器を作るために使用されないようにするために設けられた全ての安全保護措置が、非常に簡単に、ほとんど誰でも行えるようなわずかなハードウェアで取り除かれる可能性があります。世界のどこでそれが起こっているかも分からないでしょう。
もう一つ付け加えたいのは、危険な誤用と制御の喪失の間には関連があるということです。一つの例のシナリオは、北朝鮮の組織が我々のオープンソースモデルの一つを使用し、本当に悪いことをするようにチューニングし、自己複製をしないというレッドラインの一つを越えるようにチューニングするというものです。なぜなら、それはサイバー攻撃や他のことに対して、我々のインフラに多大な影響を与える方法になるからです。
しかし、そうすることで、人間の悪い目標を達成するためにレッドラインを越えることで、我々が避けようとしている制御の喪失を引き起こす可能性があります。はい、これらは異なるシナリオですが、一つが他を引き起こす可能性があります。
良いニュースは、私は楽観的でありたいのですが、これらの問題に対する科学的な解決策を探すチャンスがまだあると思います。悪いことができないような抑制を持つAIシステムを設計できれば、世界中の多くの研究グループがこれらの問題を探求していますが、我々はずっと良い状態になるでしょう。それでも、オープンソースや悪意のある行為者が情報を盗むことに対処する必要がありますが、もし我々が道徳的な超人的AIシステムを構築できれば、それらは悪意のあるAIが出現した場合の我々の保護者になり得るでしょう。
エリック、少し前にあなたが言ったことに戻りたいと思います。我々がこのレベルに達したら、誰もが同意してコンピュータのプラグを抜くと言いましたが、本当に誰もが同意するでしょうか。これらは非常に競争の激しい企業で、AIで先を行く最も競争の激しいレースにいます。彼らは本当にコンピュータのプラグを抜くでしょうか、それとも抜かないでしょうか。現在の状況を考えると。
ヨシュアが話してきた核心的な問題について、業界内でかなり一般的な合意があります。一般的な懸念は、これらの企業が競争し、その競争の中で一社が手抜きをする可能性があるということです。これはほとんどの産業で規制の問題です。有利になるために手抜きをするわけです。政府がこれを理解することは合理的だと思います。
昨年11月以降、AIについて話し合ってきた中で、英国そして米国が一連のAI安全サミットを開催しました。最も進んでいる国々の中で、英国が最も進んでいます。彼らにはプログラムがあり、テストを行い、規制に取り組んでいます。カナダ、韓国、フランスなど、他の適切な国々も全てこの分野で作業を進めています。実際、カナダには新しいAI安全研究所があります。
そう、実際、数週間前に発表された日本にもあります。それは大規模な日本の取り組みの一部です。また、私もメンバーである同じテーマについての中国との対話もあります。
政府がこれらの問題を理解するのは、我々にとってさえ十分に難しいのに、彼らにとってはさらに難しいことが想像できます。我々は彼らにこれらの問題について教育するのに忙しいです。これは、産業界が規制を求めているという奇妙なケースです。
主要なリーダーたち、私は彼らと話をしているので知っていますが、主要なリーダーたちはこれが問題だと言っています。彼らは一日にあることを言い、次の日には矛盾するように見えることを言うかもしれません。だからそれは難しいです。なぜなら、企業はこのレースに勝つために競争しているからです。同時に、それらの企業の個人は人間であり、彼らは破局的な事態が起こることを望んでいません。これら二つの力が混ざり合っているのです。
私は、脅威の空間が理解されていることにある程度確信を持っています。それは大まかに次のようになります。現在のモデルは、世代ごとに約4倍の速度で成長しています。本質的に、これらはスケーリング法則と呼ばれ、パフォーマンスの低下を示していません。つまり、より多くのことをすればするほど、より良くなり続けるように見えます。最終的には収益逓減に達しますが、まだそれを見ていません。
私が話をした多くの人々と私が管理しているチームは、これらの問題に本当に直面する前に、あと2、3ラウンドあると信じています。たぶん2ラウンドか3ラウンドで、1ラウンドは約18ヶ月です。つまり、あなたの課題に対して集団的に行動を起こすのに3〜5年あるということです。
AGIがそんなに早く来るのですか。
非常に可能性が高いです。我々にはわかりません。しかし、それはとても速いです。例えば、拘束力のある大統領令をより確固たるものにするような法律は、まだありません。議会ではこれをより確固たるものにする作業をしています。ほとんどの国には、例えば企業にシステムを安全に保護させ、悪意のある行為者に簡単に盗まれないようにするようなものはありません。本当に危険なAIシステムに到達したときに、リスクを減らすために最善を尽くすために、迅速に起こる必要がある多くのことがあります。
少なくとも私が話をした西側諸国が、これらの法律や規則、あるいは責任を課すことについて、私はかなり楽観的です。実際、私はむしろ、我々がコントロールできない機関や個人の方をはるかに心配しています。大手アメリカ企業は全てコントロール下にあります。なぜなら、誰もが彼らを監視しているからです。しかし、多くのグループがあり、恐ろしいことは暗闇の中で起こります。
あなたが説明したオープンソースのシナリオがあります。オープンソースコミュニティ、私は明らかにキャリアを通じてその一員であり、それを非常に大切にしていますが、これらの大企業のすぐ後ろで非常に速く動いており、素晴らしい仕事をしています。もしあなたが拡散の問題を抱えているなら、その性質の拡散問題を抱えることになるでしょう。
私は昨年中国にいましたが、もちろん全てのエンジニアと話をしました。政治指導者は質問に答えません。なぜなら、それは彼らのスクリプトにないからです。しかし、世界中のどこであれ、エンジニアに非常に正確な質問をすれば、非常に正確な答えを得られます。そこで私は彼らに、トレーニングをどのように始めるのかを尋ねました。彼らは全てオープンソースから始めます。だから我々は彼らがどこにいるかを理解しています。そして、それが中国が進化する方法です。
我々は、立法者や政府が専門家であることを期待していません。しかし、一般の人々が AIについてとても怖がっている理由の一つは、政府に多くの信頼を置いていないからだと思います。ソーシャルメディアで起こったこと、規制の欠如、ここで聴聞会、あそこで聴聞会が行われていますが、それはショーにすぎず、何も生まれません。彼らは明らかに専門家ではありませんが、政府がAIとは何か、そして今後のリスクについて理解していると信じていますか。
私は、現在、世界中でホワイトハウスがリスクについて最も理解している場所だと思います。これらの危険に対処するために、我々が話している政府は、内部の知識、専門知識、才能を構築する必要があるという理解があります。彼らは外部の組織とも協力することができます。
それは起こっていますか。
起こっています。例えば、AIが危険な能力を持つ可能性があるかどうかを見るための評価を構築することに取り組んでいる非営利団体があります。政府はもっと多くの人材を採用し、それらの人々を惹きつけるために柔軟であるべきですが、他の当事者とも協力することができます。また、世界中の他の政府とも協力すべきだと思います。なぜなら、我々はここアメリカで全ての正しいことをしたとしても、他の国で非常に危険なAIが出現すれば、ここでも害を受ける可能性があるからです。だから、我々は徐々に国際的な調整に向かって動く必要があります。それは始まっていますが、我々はそのプロセスを加速する必要があります。
知っておくべき重要なことの一つは、これらのトレーニングの実行には非常に多くの電力と非常に多くの計算が必要なため、機密の人々はそれらがどこにあるかを知っている可能性が高いということです。たとえ誰かが遵守していなくても、国家安全保障のために監視している様々な人々はおそらく知っているでしょう。私は知りませんが、そう推測します。
いずれにせよ、アメリカでは上院が一連の公聴会を開催し、私もその一部でした。2人の共和党上院議員と2人の民主党上院議員が関与し、それは本当に会話を前進させました。下院も同様のことをしています。全てが選挙の年なので、ただ停止してしまいました。それが実用的なことを私に教えてくれるのは、2025年まで何も起こらないだろうということです。
良いニュースは、我々にはいくらか時間があるということです。これらのテストと評価のフレームワークに資金が提供され、発明されています。様々な企業がそのテストと評価を共有すべきだという合意があります。コードではなく、彼らがテストするものについてです。全ての企業がこれを行うという口頭での合意があります。これはあなたの根本的な懸念に対処するものではありませんが、一連のステップの例です。
これは我々がする必要があることですが、十分ではありません。これらのことは起こっており、あなたの考えに沿った重要な分析が行われています。数ヶ月前にDeep Mindが行った有名な論文があります。それは極端なリスクの問題を研究しました。私は極端なリスクを、個人が危害を受けるのではなく、15,000人以上の死者と定義しています。これは恣意的です。彼らはそれらの分類を行い、最大の極端なリスクはサイバー攻撃や生物学的攻撃などのようなものです。
この論文が問いかける質問は、これらのシステムがどのような形であれ武器にアクセスしないようにするにはどうすればよいかということです。これは、モデルを安全に保つという先ほどのあなたの指摘に戻ります。モデルの構築には1億ドルかかります。それをハードドライブに入れることはできますが、モデルを流出させることができないようにする必要があります。このようなリストが長くあり、それは準備中です。
また、AIに必要なチップ、ハードウェアの構築方法を変更する議論もあります。我々がそれらを追跡できるような方法で構築できれば、世界のどこかにこれらのチップの大きな集中があることを知ることができるでしょう。また、正しい安全プロトコルを持つライセンスを受けたソフトウェアのみが実行を許可されるようにすることもできます。これはまだ存在しませんが、これらは考える必要がある種類のことです。
我々は何が間違う可能性があるかを考える必要があります。そして、多くの異なるシナリオがあり、次の数年以内に実現可能な種類の緩和策は何かを考える必要があります。
我々はAIの聴衆ではないので、基本的な例を挙げて、それをどのように見るべきか理解する手助けをしてもらいたいと思います。毎日、毎分、新しい技術が登場しています。今週だけでも、マイクロソフトが技術を発表しました。彼らはあなたの1枚の写真を撮り、音声コンポーネントを追加し、そしてあなたが一度も言ったことのない言葉を話すあなたになります。これは我々が興奮すべきことですか、それとも恐ろしく怖がるべきことですか。
後者です。選挙が近づいています。これがどのように悪用される可能性があるかがわかります。最近、私の声を模倣して、私が引用符付きで、全く私が言わないようなことを言っているのを見ました。そして、違いがわかりませんでした。これらのものはどんどん良くなっています。システムがより多くトレーニングされ、より大きくなるので、来年はさらに信憑性が高くなるでしょう。
我々は緩和策について考える必要がありますが、非常に簡単な答えはありません。考えられているいくつかのことがありますが、一つの方向性として、ソーシャルメディアやインターネット上にコンテンツを投稿する個人や団体は、一意に識別可能であるか、少なくとも一意な方法で知られるべきです。そうすれば、誰かが本質的に犯罪的なことをした場合、我々はその人を追跡することができます。
言うは易く行うは難しで、コストや潜在的な欠点もありますが、我々はこのようなことを考える必要があります。悪意のある行為者が現在のインターネットシステム、ソーシャルメディアなどを利用して、基本的に我々の民主主義を不安定にすることを難しくするためです。
しかし、これらの技術の多くは非常に刺激的で、非常にクールで、非常に楽しいものです。一般の人々がそれらにアクセスすると、リスクについて聞いたり気にしたりせず、友人が馬鹿げたことを言っているビデオを作りたがります。人々にもっと気にかけるべきだと警告するにはどうすればよいでしょうか。
民主主義への脅威について話しましたが、同じことが児童ポルノの作成にも使用されています。あなたの声や顔を模倣できるため、何百万ドルもの詐欺が起こっています。AIがどのように悪用される可能性があるかという問題を真剣に受け止め、それに対処するために我々の組織の仕方を変える必要があるのは非常に急務だと思います。
あなたが説明している誤情報ツールはオープンソースであり、中国、北朝鮮など、世界中の悪意のある行為者や国家によって使用されています。ほとんどの人はソーシャルメディア上で誤情報に遭遇するでしょう。なぜなら、ほとんどの人がソーシャルメディアを使用しているからです。そして、それが彼らの好きな情報であれば、彼らはそれを信じるでしょう。
ソーシャルメディア企業は、一般的に利益相反があります。一方では正確さを望んでいますが、他方では収益も望んでいます。収益を増やす最良の方法はエンゲージメントを増やすことです。エンゲージメントを増やす最良の方法は憤慨を引き起こすことです。もし我々があなたに何か憤慨させることを言わせれば、それはあなたの通常の教授のようなスピーチよりもはるかに多くの視聴を得るでしょう。これは民主主義における議論の質の低下です。
技術的な解決策は、ヨシュアが言ったとおりです。コンテンツがどこから来たのかをマークする必要があり、また誰がユーザーなのかも知る必要があります。そうすれば彼らに責任を持たせることができます。ソーシャルメディア企業がどのように機能すべきかという問題は、民主主義における議論の問題です。
私は十分に楽観的で、我々の民主主義がこの課題に直面し、乗り越えると思います。我々はテレビやその他の種類の政治体制の変化に直面してきました。しかし、事実は、現在、人々は生まれてから聞いたり見たりしたものを信じるように訓練されてきたということです。あなたが見るものの大半が真実かもしれないし、そうでないかもしれないと学ぶことは、全ての人間にとって重要な変化です。
アメリカの政治の年に見られるように、見ているものに批判的になることを学ぶことは、本当に重要な要素のように思えます。そして、我々はトレーニングが必要になるでしょう。疑わしくなるために、これらのものの多くの例を見る必要があります。良すぎて本当かもしれない、あるいはあなたの期待に合わないようなものです。
例えば、ソーシャルメディアに適切なルールを設けることの問題は、あなたが言ったように、それが彼らにコストと摩擦を生み出すことです。アカウントの場合、彼らは人々が新しいアカウントを作成するのを簡単にしたいと思っています。なぜなら、もちろんそれはより多くのお金になるからです。彼らは他のソーシャルメディアと競争しているので、全てのソーシャルメディアのために公平な競争の場を作るまでは、それを行わないでしょう。
私が言いたいのは、ある程度、少なくとも極端な害については、いくつかの形の規制があるだろうということです。しかし、私が言いたい最も重要なことは、我々はこのレベルでこれを乗り越えるだろうということです。なぜなら、これらは識別可能な問題だからです。
本当の問題は大まかに次のようになります。あなたはモデルをトレーニングし、モデルは何かを学習しましたが、それが何を知っているかを言う能力がありません。つまり、それは何かを学習し、あなたは何を学んだかを尋ねますが、それは学んだことを言う方法を知りません。もしあなたがそれをリリースすれば、破局のリスクを冒すことになります。もしリリースしなければ、破局の問題も抱えることになります。なぜなら、テストする方法がないからです。しかし、テストすれば破局が起こります。これはジレンマです。
そこで、業界は今日、いくつかの技術に到達しました。彼らが行っているのは、レッドチーミングと呼ばれるものです。そこでは、非常に賢い人々の集団を集め、システムが知っているかもしれないことを想像し、それをテストします。しかし、最終的には、それはあなたの研究作業、つまり証明可能に安全なシステムの分野の研究か、何かを学習したAIシステムを出し抜くAIシステムに置き換えられる必要があるでしょう。業界はこれら全てのものが提供される必要があると考えています。
しかし、冷静に考えると、今のところ我々が持っているこれらの評価と、企業が設けた安全保護措置は全て、これらのモデルの一つが出た直後に、学者やハッカーによってすぐに破られています。もし我々がこの問題を、悪用される可能性のある多くの知識を持つ本当に危険なAIシステムに到達する前に迅速に解決しなければ、我々は危険な状況にあります。
あなたはここで聞きました。3〜5年で、このSFホラー映画はタイム誌によってもたらされました。ご清聴ありがとうございました。