スチュアート・ラッセル - AI：成功したらどうなるか？

13,882 文字

去年の12月、今の研究・高等教育大臣のオッド・ムーンが法務・公安大臣と一緒にサンフランシスコにAIについて調べに行きはったんです。その旅のハイライトは、カリフォルニア大学バークレー校のCAVセンター・フォー・エシックス・サイエンス・アンド・ザ・パブリックで半日過ごしたことでした。そこで、このCセンターの共同議長を務めるスチュアート・ラッセル教授と会われたんです。
ラッセル教授は世界有数のAI研究者の一人で、今日の基調講演者として紹介できるのを誇りに思います。教授はまた、UC バークレーの電気工学・コンピューター科学の教授で、以前は学科長も務められました。さらに、UC サンフランシスコの計算精密医療の教授でもあります。
ラッセル教授、AIの発展と研究者の公衆との関わりの重要性についてのお考えを伺えることを楽しみにしています。それでは、よろしくお願いします。
（拍手）
ご紹介ありがとうございます。ここに来られて光栄です。今日の対話を楽しみにしています。
まず最初に、人工知能とは何かについて考えてみましょう。明らかに、知能のある機械を作ることですね。これは少なくとも2500年前から人類の夢やったんです。
それがどういう意味を持つのかについて、私たちが学んできたのは、経済学や哲学から借りてきた「合理性」という概念です。つまり、行動が目的を達成すると期待できる程度に応じて知的であるという考え方です。これは人間の合理性を測る方法でもあり、機械にも適用できる概念なんです。
例を挙げましょう。囲碁をするAlphaGoは、ゲームに勝つという目的を持っています。そのために訓練され、ベストを尽くすわけです。車を運転するときにナビソフトを使うと、目的地に到達することが目的で、AIの部分は最小コストで目的地までの最短ルートを見つけます。
最近では、完全に自動化された企業を作る動きもあります。単に株主への財務リターンを生み出すという目的を与えるだけです。
これは非常に合理的に聞こえますね。私たちが完全にコントロールし、目的を指定して、それで終わりです。でも、AIにはもっと野心的な目標があるんです。あらゆる関連する次元で人間の知能を超える汎用システムを作ることです。どんな環境に置かれても、どんな目的が与えられても、すぐに学習して、その目的を達成するのに超人的な仕事をこなせるシステムを作るんです。
ここで一つ質問があります。5年前なら誰も聞かなかったでしょうが、最近、私の共著者のピーター・ノービグが論文を発表して、「我々は成功した」と言うてるんです。実際、GPT-4やGeminiのような現在のシステムは、ライト兄弟の飛行機が本物の飛行機やったのと同じ意味で、本物の汎用知能やと。飛行機は大きくなり、快適になり、アルコールも良くなったけど、基本的な考え方は同じやと。
彼の主張は、我々にはもう必要なアイデアがあって、あとは単にスケールアップして、もっと大きく、もっと快適にするだけやということです。
私はそれに同意しません。なぜかというと、私は実際にはまだ大きなブレークスルーが必要やと思うてるからです。GPT-4やGeminiのようなGPTモデルは、このパズルの一部やと思います。でも問題は、それらがどう機能しているのか理解できていないことです。それらが示す知的な振る舞いを生成する内部原理がわからないんです。
なので、我々は非常に奇妙な状況にあります。科学的進歩を遂げたけど、それが何なのかわからへんのです。だから、それを基に発展させるのが難しいんです。これらのシステムの能力が正確にどんなもんで、他の部分と組み合わせて本当の汎用AIシステムを作るにはどうしたらええのか、わからへんのです。
ちょっとアルコールの話に戻りますけど、6000年か7000年前に誰かが果物の入った器を日向に置いて、戻ってきて飲んだら完全に酔っぱらってしまった、みたいな状況です。「わあ、これはすごい」と思うけど、何が起こっているのか、どう機能しているのか全くわからへん。今、私たちはそんな状況にあるんです。
では少し戻って、AIをどう作るのかについて考えてみましょう。AIシステムは非常に単純に言うと、環境からの入力を受け取って行動を生成する箱です。問題は、その箱の中に何を入れれば、行動が実際に知的になるかということです。
AIの歴史の中で、いくつかの答えがありました。1950年代の一つの答えは、その箱をFORTRANプログラムで埋めることでした。FORTRANプログラムを知ってる人、何人おられます？ほんの少しですね、勇敢な人たちです。
彼らがしたのは、箱をFORTRANプログラムで埋めて、それらのプログラムで進化をさせることでした。プログラムに突然変異を起こしたり、プログラムのペアを混ぜ合わせて新しいプログラムを作ったりしたんです。これは完全に失敗して、知的な振る舞いを生み出すことはできませんでした。
一方で、彼らが使った計算能力は、今日我々が使っているものの1億分の1億分の1ぐらいでした。今の時代にこれをもう一度試したらどうなるか、実際のところわかりません。
この分野の歴史のほとんどの期間、我々はかなりエンジニアリング的なアプローチを採用しました。知的な振る舞いを生み出す原理を理解しようとして、それらの原理を推論や計画、意思決定、学習などのアーティファクトに変換しようとしたんです。
このAIの時期の重要な部分は、AIシステムが物事を知るべきだという考え方でした。知識は数理論理学やより一般的な確率論で表現できると。この技術は実際にいくつかの素晴らしいアーティファクトを生み出しました。
でも2010年頃に、それが全部変わったんです。1950年代から温められてきた技術が突然爆発的に広がりました。その技術を我々はディープラーニングと呼んでいます。
ここでは、単に箱を回路で埋めるんです。各ノードは他のノードに小さな接続で繋がっていて、その接続の強さは調整可能です。その接続の強さを調整することで、回路の出力端から出てくる振る舞いを変えるんです。非常に単純な原理ですが、スケールの感覚を掴んでもらうために言うと、GPT-4を私がここで示している画面のスケールで表すと、チェーンリンクフェンスみたいなもんですが、それが100km×100kmぐらいの大きさになります。ノルウェーの南部全体をカバーするぐらいの大きさですね。
でも、原理はFORTRANプログラムでやったものよりもさらに単純です。FORTRANの場合は小さなランダムな突然変異と、プログラムのペアのクロスオーバーをしました。ここでは、その接続の強さに対して約1億の小さなランダムな摂動を加えるだけで、提供する訓練データに振る舞いを合わせるんです。
訓練データは、画像の中身を認識したり、音声の内容を認識したり、大規模言語モデルの場合は単語の列の次の単語を予測したりするものかもしれません。
ディープラーニングはいくつかの驚くべき進歩をもたらしました。その中でも、科学の観点から最も重要なのは、タンパク質折りたたみ問題をほぼ完璧に解決したことです。
問題は、どんなタンパク質についても、そのタンパク質を構成するアミノ酸の配列は分かっているけど、その構造を予測する方法がわからなかったことです。最近まで、それを行う方法はX線結晶解析でした。これは非常に難しく、費用がかかり、時間がかかる方法で、通常1つのタンパク質につき1人の博士号取得者が必要でした。
しかも、結晶化できないタンパク質や、結晶化プロセスによって構造が大きく変わってしまうタンパク質には使えませんでした。（会場を見回して）化学者の方々がおられると思いますが、私の説明が正確でないところがあれば指摘してください。
DeepMindによるAlphaFoldシリーズのシステムの取り組みは、データと機械学習に基づく予測を生み出しました。その精度は十分に高く、何百万ものタンパク質について、X線結晶解析実験をせずに構造を予測できるようになりました。生物学者の話によると、これは新しいキャンディーストアができたようなもので、そこで遊べるようになったんだそうです。
関連しているけど全く異なる進歩は、物理系のシミュレーションにディープラーニングを使うことです。ここでは実際に、物理系がどのように時間とともに進化するか、あるいは機械系のストレスやひずみなどの他の特性を予測しています。
これは、新型コロナウイルスがエアロゾル水滴と相互作用するシミュレーションの一部を示しています。私の理解では、これは約10億原子のシステムで、この相互作用を1日に何度も繰り返せるほど速くシミュレーションできます。古典的なシミュレーションシステムでは、これに何年もの計算時間がかかっていたと思います。
シミュレーションは多くの工学分野で絶対に中心的な部分です。構造のシミュレーションによって、構造を進化させることができます。FORTRANプログラムで見た同じアイデアに戻りますが、ここではプログラムの代わりに物理的構造を進化させて、重量と強度、さまざまな力に対する抵抗を最適化しています。
面白いことに、進化した構造は機械的なシステムよりも生物学的なシステムに似ているんです。
ロボット工学でも大きな進歩が見られると思います。これはアマゾンが試している倉庫ロボットです。彼らは「人間の労働力をサポートする」と言うてますが、実際に見てみると、人間と同じ仕事をしてるんです。
アマゾンは倉庫でこの種の仕事をする人を100万人以上雇っています。目標は明らかに、彼らを機械に置き換えることです。コストを削減し、能力を向上させるためにね。
長い間待ち望んでいた別の種類のロボットは自動運転車です。サンフランシスコでは今や普通のことになりました。昔は観光客がサンフランシスコにケーブルカーに乗りに来てたけど、今は自動運転タクシーに乗りに来るんです。
生活の比較的普通の一部になりました。アプリを使ってタクシーを呼ぶと、運転手なしで来て、行きたいところに連れて行ってくれます。
これは部分的に、サンフランシスコが完全に3Dマッピングされているからです。タクシー自体がやっていない膨大な量のバックグラウンド計算作業があって、それによってタクシーが上手く運転できるんです。
それでも、時々こんなことが起こります。ここではタクシーが湿ったセメントに突っ込んで動けなくなってしまいました。これが問題なんです。なぜこんなに長く待たされているのか。成功的に運転するには、99.999999%の信頼性が必要です。そのレベルの信頼性を得るには、現実世界で起こるこういった奇妙な端境域のケースすべてに対処する必要があります。
AIシステムは、まだそのレベルに達していません。制御された環境では機能しますが、完全に構造化されていない環境、特にサンフランシスコほど綿密にマッピングされていない、道路標識の少ない都市では、まだ何年も先の話やと思います。
私の同僚の中には、ディープラーニングがすでにすべての問題への答えやと考えている人もいます。でも実際には、現在行われているようなディープラーニングはAIの問題を解決せえへんと考える理由があります。
ここでちょっと専門的な話になりますが、私が示したような箱の中の回路は、線形時間計算システムと呼ばれるものです。計算量は回路のサイズに正確に比例します。信号が一方の端から入って、回路の層を通過し、もう一方の端から出てくるからです。
これはどういう意味を持つのでしょうか。線形時間では解決できない計算タスクを解こうとする場合、NPハード問題と呼ばれる問題のカテゴリーがあります。これらの問題は指数時間を要すると、少なくとも我々は非常に確信しています。
つまり、ディープラーニングがこれらの問題を解決できる唯一の方法は、回路自体が指数関数的に大きくなることです。そうなると、その回路を訓練するのに指数関数的な量のデータが必要になります。
そして、指数関数的に巨大化した回路は、首相がおっしゃったように、計算を行うのに膨大なエネルギーを必要とします。
実際には、宇宙よりも広大な指数関数的に大きな回路を作る代わりに、これらの関数を近似することになります。システムは実際にはこれらの関数を正しく学習できへんのです。記述するのは非常に簡単やのに。
例を挙げましょう。2017年、AlphaGoが人間の世界チャンピオンを破りました。中国のケージェーという選手です。これは中国のスプートニク・モーメントと見なされました。中国がAIで世界をリードする必要があると決心した瞬間です。そうせんと取り残されると。
それ以来、囲碁プログラムは人間のレベルをはるかに超えています。現在、最高のプログラムはKataGoと呼ばれています。これはJBXC005という特定のバージョンです。そのレーティングは5200で、人間の世界チャンピオンのレーティングは約3800です。つまり、人間をはるかに超える能力を持っているんです。人間の世界チャンピオンと100回対戦したら、99回か100回勝つと予想されます。
でも、モントリオールの大学院生で、私たちの拡張研究グループのメンバーであるケレン・ペリンという囲碁アマチュアとKataGoの対局をお見せしましょう。彼のレーティングは約2300です。彼はKataGoに9子のハンディキャップを与えて対局します。
囲碁を知っている人なら、9子のハンディキャップは大変な侮辱やということがわかると思います。KataGoを5歳の囲碁初心者のように扱うているんです。
囲碁では、交互に石を置いていきます。目的は領域を囲むことと、相手の石を囲むことです。相手の石を完全に囲むと、それらは捕獲されて盤から取り除かれます。
これで囲碁の遊び方がわかったと思います。では、対局を見てみましょう。コンピューターが黒を打っていて、この大きな優位から始まります。ケレンが白を打っています。盤の右下の四分の一に注目してください。
白が小さな石の群れを作り始めています。すると黒はすぐにその群れを囲んで、成長を止めようとします。そして白が黒の群れを囲み始めます。
面白いことに、黒はこれに気づいていません。黒には、これらの石を救い、盤の残りの部分と繋げる機会がたくさんあったのに、何かをしないとこれらの石を失うということに気づかず、単純にそれを見逃しています。そして、それらの石を失い、ゲームに負けてしまいます。
これは、超人的能力を持つとされるシステムの初歩的な失敗です。理由は、囲碁の基本的な概念である「石の群れ」を学習できていないからのようです。その石の群れが群れであることを理解していないのかもしれません。おそらく円形だからでしょうか。
実際、我々はこの問題を認識するようにKataGoのバージョンを特別に訓練しました。円形の群れの例をたくさん与えて、我々がその群れを捕獲しようとしているところを見せました。そして最終的に、それらの円形の群れを守ることを学習しました。
ところが、驚いたことに、8の字の形の群れを作ると、またそれが石の群れだと認識せず、捕獲されるのを許してしまうんです。
ここに、ディープラーニングシステムが比較的単純な概念を正しく学習できていない根本的な失敗があります。大規模言語モデルでも同じことが見られます。何百万もの例があるのに、任意の大きさの数の算術ができていません。
実際に見えるのは、ネットワークを10倍大きくするたびに、算術の精度が1桁良くなるということです。これは、概念を正しく学習したシステムではなく、ルックアップテーブルから期待される特性です。
現在、この図はオープンAIにいたレオポルド・アッシェンブレナーによる「状況認識」という非常に重要な文書から取ったものですが、主要企業とその専門家たちは、今後10年以内に超人的AIが実現すると予測しています。
これは「スケーリング法則」と呼ばれるものに基づいています。データ量、パラメータ数、計算量の関数としてのパフォーマンス向上を指します。
これが起こる理由をいくつか挙げましょう。まず、R&D予算がマンハッタン計画の約10倍の規模です。物理学者の方なら、現在の核物理学の年間予算が大型ハドロン衝突型加速器プロジェクトの100倍だということがわかると思います。
これは規模の感覚を掴むのに役立ちます。そのお金によって、非常に多くの賢い人々がこの分野で働いています。彼らの多くは、単にこれらの巨大な回路をスケールアップすることの弱点に気づいていて、他のアイデアをたくさん試しています。
だから、さらなるブレークスルーが起こる可能性を排除したくありません。一方で、我々は本物のデータを使い果たしつつあります。おそらく言語モデルのスケーリングはもう1桁ぐらいは可能かもしれませんが、それ以上は宇宙中のすべてのテキストを使い切ってしまいます。
起こらない可能性のある2つ目の理由は、投資家の忍耐が切れることです。これはすでに多くの自動運転車会社で起こっています。進歩が更なる投資を正当化しないと判断されたんです。
ゴールドマン・サックスによると、これまでにAGI（汎用人工知能）の創造に約5000億ドルが投入されています。ある時点で人々は「成果はどこにあるんだ」と言い出すでしょう。そして、もし彼らが忍耐を失えば、1980年代後半に経験したものよりもはるかに大きなAIの冬が訪れる可能性があります。
これらの結果のどちらが起こると予測するかは言いませんが、この10年か将来のある10年かに、超人的な汎用AIの創造に成功するということを認識する必要があると思います。
そもそも、なぜ我々がこれをやろうとしているのか、それが本当にクールだということ以外の理由を思い出す価値があります。
もし汎用AIがあれば、定義上、人間がすでに管理できたことをできるはずです。昨晩も言及しましたが、人間の創意工夫は、何億人もの人々が客観的に素晴らしいライフスタイルを楽しめる文明を作り出しました。
でも、AIを使えば、それを全ての人々に対してできるんです。なぜなら、はるかに大規模に、はるかに低コストでできるからです。これは世界のGDPを約10倍に増加させることになります。
その現在価値、つまり現金等価物は、したがってAGI技術の価値の下限は15兆ドルです。これが、私たちを前に引っ張っている巨大な磁石の感覚を与えてくれます。未来にある巨大な磁石で、近づけば近づくほど、その磁石からの力は強くなります。
もちろん、我々はもっと多くのことができるでしょう。はるかに良い健康、はるかに良い教育、はるかに良い科学、他にも考えられるほとんどすべてのことがより良くなる可能性があります。潜在的に人類にとっての黄金時代です。
明らかな問題は、AIシステムが全てをやってくれるようになったとき、人間は何をするのかということです。これは映画「ウォーリー」からの場面で、一つの明らかな問題を指摘しています。
アラン・チューリングは1951年に別の明らかな問題を指摘しました。彼は言いました。「機械的思考方法が一度始まれば、我々の弱い力を追い越すのに長くはかからないだろう。したがって、ある段階で我々は機械が制御権を握ることを予期しなければならない」と。
首相がおっしゃったように、これは彼の頭にあった質問です。我々よりも強力な存在に対して、永遠に力を保持するにはどうすればよいのか。
この質問をこのように尋ねると、実際にはちょっと難しく思えます。過去にこのようなことが起こった良い例はあまりありません。
でも、少し違う方法で尋ねた方がいいと思います。なぜなら、我々はAIシステムをどのように設計するかを選択できるからです。
数学的に定義された問題は何でしょうか。機械がそれを解決すれば、それがどんなに上手く解決されても、我々がその結果に満足することが保証されるように、AIの問題をどのように設定すればいいでしょうか。
これは私が約10年間取り組んできたことです。最初に言及した標準モデル、つまりシステムに固定された目的を与え、それを最適化するというのは、現実世界に出ると機能しません。
目的を正しく指定することは不可能です。これは「ミダス王問題」と呼ばれるものです。ミダス王は触れるものすべてが金に変わることを望みました。それが彼が述べた目的です。神々はその目的を叶えました。ここで神々はAIシステムの役割を果たしています。
もちろん、彼の食べ物や飲み物、家族すべてが金に変わり、彼は悲惨な状態で飢え死にしました。世界中の多くの文化に、このような「願いには気をつけろ」という教訓を含む伝説がたくさんあります。
我々が大規模言語モデルでやっていることは、実際にはさらに悪いです。目的を指定していません。単に人間の行動をコピーするように訓練しているだけです。後でなぜこれが本当に悪いアイデアなのか説明します。
代わりに、提案は、機械は人間の最善の利益のために行動しなければならないということです。これ自体が複雑な問題です。ここに2つのアスタリスクを付けたのは、これが複雑な問題だということを意味します。
でも重要なのは、それらの機械が人間の利益が何であるかについて明示的に不確実であるということです。これは、過去にAIシステムを設計してきた方法からの大きな変更点です。
我々はいつも目的を指定してきました。私の教科書の各章は、目的がどのように指定され、そしてそのような種類の条件下でその種の目的を達成するためにアルゴリズムをどのように設計するかについて説明しています。
でも、ここでは異なる前提から始めています。目的自体が未知であり、したがってシステムの仕事は、人間が何を望んでいるのかについてより多くを見つけ出すことですが、同時に慎重に行動することです。
なぜなら、人間が望んでいることについて知らないことがあることを知っているからです。だから、宇宙を乱すべきではありません。少なくとも、我々が宇宙をそのように乱したいと相当確信できるまでは。
これを我々は「支援ゲーム」と呼ぶ数学的フレームワークに変換できます。これは、2つ以上の存在を含む決定問題を扱う経済学の枠組みであるゲーム理論に該当します。
ここには少なくとも1人の人間と1台の機械がおります。人間は将来について何らかの嗜好を持っていると思われますが、それは完全ではないかもしれませんし、人間自身が自分の嗜好を知らないかもしれません。
そして、機械の仕事は、それらの嗜好が何であるかを最初は知らないにもかかわらず、人間の嗜好を満たすのを助けることです。
この説明から、AIシステムがこの問題をより上手く解決すればするほど、我々はより幸せになるということがわかると思います。なぜなら、ミスアラインメントという基本的な問題が発生しないからです。
支援ゲームを解いて、その解を見て、このフレームワークの数学を分析することで、AIシステムは言われなくても人間に従い、慎重に行動し、世界をできるだけ少なく変えるという最小限の侵襲的行動をとり、常にスイッチを切ることを許可するということがわかります。
これは数学的定理です。彼らには人間にスイッチを切らせる積極的なインセンティブがあります。これは永遠に制御を維持するために重要やと思います。
我々は、たとえ自分たちの利益が何であるかわからなくても、支援ゲームソルバーを構築することが我々の最善の利益になることを示すことができます。でも、それらは非常に慎重に構築される必要があります。ここで説明していない理論がもっとたくさんあります。
過去2年間、我々が取り組んできた具体的な質問をいくつか紹介します。
まず、人間または機械、あるいはその両方が世界の状態に完全にアクセスできない場合、どうなるでしょうか。
皆さんが子供だった頃、そして親に部屋を片付けるように言われたとき、ほとんどの人が経験したと思いますが、すべてをベッドの下に押し込めば親にはわからないと思ったでしょう。
我々はAIシステムにすべてをベッドの下に押し込ませたくありません。人間をだまそうとするのを防ぎたいんです。
部分的な観測可能性がある場合でも、支援ゲームの解決策がそうならないようにする必要があります。実際、AIシステムはすべてをベッドの下に押し込まないことがわかっています。
なぜなら、そうすると、AIシステムが実際に問題を解決したと人間が信じる保証がないからです。
我々はこれらをスケールアップして、より大きな問題で機能するようにしたいと考えています。現実世界までスケールアップしたいんです。
我々はマインクラフトまで到達しました。今では、マインクラフトをしている間に見ていて、あなたが何をしようとしているのかを素早く理解し、それを手伝ってくれる小さなヘルパーを持つことができます。
人間の嗜好の可塑性という問題は最も根本的な問題の1つです。人間の嗜好は固定されておらず、実際に自律的に嗜好を選択するわけではありません。
将来に対する我々の嗜好は、生まれたときに持っていたものではありません。それは我々の育ち方、仲間からの圧力、文化、その他すべてのもの、そして我々の生物学の結果です。
つまり、AIシステム自体が我々の嗜好を操作できるということです。これは、例えばソーシャルメディアで起こっていることの1つだと私は信じています。
では、支援ゲームの解決策が、人間の嗜好を操作するAIシステムを含まないようにするにはどうすればよいでしょうか。
人間との相互作用のあらゆる形態が我々の嗜好に影響を与えるので、AIシステムは我々の嗜好に影響を与えることを避けられません。特に、すべてをこなし、生活を助けてくれる超親切な家庭用執事のような場合は、もちろんそれはあなたの嗜好を変えるでしょう。
でも、それを操作的な方法で行わないようにするにはどうすればよいでしょうか。
最後のポイントは、1965年から2010年まで主流だったAIへのアプローチに立ち返ります。
その期間中、知的なシステムは物事を知るべきだ、つまり外部世界の内部表現である内部知識を持つべきだということは、単なる信念でした。
実際、それは科学が人類のために行っていることです。外部世界の内部表現を作り出し、それを使って推論し、計画を立てることができるようにしています。
でも、なぜそれが良いアイデアなのでしょうか。なぜ単に入力と出力のマッピングを学習しないのでしょうか。
例えば、三目並べ（○×ゲーム）の場合、「この位置にいるなら、これが正しい手だ」というルックアップテーブルを作るのは完全に理にかなっています。そのルックアップテーブルはゲームのルールを知りませんし、目的も知りませんが、それでも完璧にプレイします。
では、なぜ世界について物事を知ることが良いアイデアだと考えるのでしょうか。
AIの基本定理は、この質問への答えになるでしょう。我々はこれに向けて進歩を遂げています。実際、数学的に定義された環境の非常に大きなクラスに対して、知識ベースのシステムのサンプル複雑性、つまり学習率が、単純な入出力システムよりも指数関数的に優れていることを示しています。
もし我々がこの作業をさらに進め、これらの結果を一般化できれば、それが実際に私の見解では、知能の本当の科学理論の基礎になるでしょう。
やるべきことはまだたくさんあります。AIシステムが本当に人間の嗜好について学ぶためには、実際の人間についてもっと理解する必要があります。
社会選択理論にはまだ疑問が残っています。多くの人間に代わってどのように決定を下すかという問題です。社会選択理論のこれらの問題は何千年も前からあります。
基本的に「すべての人の嗜好が等しく重要」と言う功利主義の理論を含みます。つまり、それらを足し合わせるんです。
でも、平等主義に関する問題や、何人の人が存在するかに影響を与える決定に関する問題、その他多くの未解決の問題があります。
AGIを達成することの危険性と、それらの問題を解決する可能性のある道筋を概説したと思います。
一方で、AI企業はますます速く、安全性への懸念をますます軽視しながら進んでいます。
数週間前、オープンAIの現在および以前の従業員のグループがオープンレターを投稿しました。彼らは会社内部からの視点として、安全性への注意がほぼ完全に無視されていると述べています。
そのため、AI安全コミュニティの多くが規制による解決策を考えています。
我々が直面している難しさは、「安全で有益」を定義するのが難しいことです。飛行機の場合、着陸するまで地面に衝突しないことを望みます。これは安全性の定義としてはかなり単純です。
原子力発電所の場合、爆発したり放射能を放出したりしないことを望みます。
でもAIシステムの場合、非常に一般的なので、安全性の定義は非常に曖昧で、文化によって、地理的に異なり、定義するのが非常に難しいんです。
代わりに、明らかに安全でない行動を定義することはできます。それらは安全でない端に位置し、正確に定義されています。我々はこれらを「レッドライン」と呼んでいます。
薬、飛行機、建物、原子力発電所の開発者と同様に、開発者に証明責任があるべきです。市場アクセスの条件として、システムがこれらのレッドラインを越えないことを示す責任は開発者にあります。
我々はこれらのレッドラインが明確に定義され、理想的には自動的に検出可能であることを望んでいます。また、政治的に実現可能であることも望んでいます。
首相が人々に、なぜこれらの制限を課すのかを説明できるようにしたいんです。そうすれば、企業が議会や国会の前に立って、「はい、確かに3兆ドルの銀行預金はありますが、我々のシステムが自己複製しないことを保証できません。我々のシステムがテロリストに生物兵器の作り方をアドバイスしないことを保証できません」と言うのは難しくなるでしょう。
私にとって、これは防御不可能な立場です。だから、これらのレッドラインが必要だと信じています。
効果としては、企業が怠ってきた安全工学を行わざるを得なくなるでしょう。
企業が置かれている状況はこんな感じです。飛行機メーカーが、すべての工学と揚力や抗力の計算などを行う代わりに、単により大きな鳥を作るか育てることにしたと想像してください。
そして、連邦航空局に来て、「この最新モデルを認証してほしい」と言います。ちなみに、この画像はDALL-Eが作ったもので、だから鳥に3本足があるんです。
FAA（連邦航空局）は言うでしょう。「これらの鳥は乗客を食べ、海に落とします。あなたの技術を認証することはできません。安全性について高い確信を持って説明できるほど十分に理解している技術ができたら戻ってきてください」と。
これが現在の状況です。企業は自分たちの技術を育てていて、どのように機能するのか理解していないため、そのような高い確信を持った説明ができないんです。
次の質問です。安全なAIを開発する方法があり、人々がそれを使うように規制しています。でも、他のアクター、つまり悪意のあるアクターが、安全でないAIシステムを展開するのをどうやって防ぐのでしょうか。
人類に有益なシステムを望まないアクターがいるからです。我々はこれを「ドクター・イーブル問題」と呼んでいます。ドクター・イーブルは安全なシステムを望みません。彼は自分のために世界を征服するシステムを望むんです。
これは本当に難しい問題です。ソフトウェアの取り締まりは、我々がソフトウェアの偶発的な間違いや意図的な不正行為で発見したように、非常に難しいんです。
なぜなら、それは入力によって生成され、光速で送信され、無限にコピーされるからです。
実際に我々が必要としているのは、ハードウェアが規制者になることです。
その理由は、悪意のある団体がNVIDIAやTSMCのハードウェア能力に到達するには、少なくとも1000億ドル以上のコストがかかり、少なくとも10年かかり、おそらく数万人の高度に訓練されたエンジニアが必要になるからです。
もし我々が、過去にデジタル著作権管理でやったように、ほんの一握りのハードウェアメーカーに同意してもらえれば、既存のモデル、つまりハードウェアが何でも実行するというモデルを、ハードウェアが「安全だと知っているもの以外は何も実行しない」という新しいモデルに変えることができます。
プルーフキャリングコードと呼ばれる技術があり、これによってこれが可能になります。プルーフキャリングコードとは、ソフトウェアオブジェクトが、必要とされる任意のプロパティの証明を伴って来ることを意味します。
その証明は、ハードウェアによって即座に、迅速にチェックできます。そしてハードウェアは、安全性の証明を持たないソフトウェアオブジェクトの実行を拒否します。
そして、ソフトウェアオブジェクトは、その証明をチェックしないハードウェア上での実行を拒否します。
ご想像の通り、これには多くの作業が必要です。なぜなら、我々のデジタルインフラ全体を置き換える必要があるからです。
要約すると、AIは人類に大きな利益をもたらす可能性があります。止められない勢いがあります。でも、我々が現在のパスを続ければ、我々の未来に対するコントロールを失うでしょう。
我々にとって唯一の選択肢は、証明可能に安全で、証明可能に我々に有益なAI技術を開発することだと思います。
AIを安全にすることを考えるのではなく、つまりAIを作ってからそれを安全にする方法を考えるのではなく、安全なAIだけを作ることを考える必要があります。私はそれが不可能だと思っています。
ありがとうございました。
（拍手）
ラッセル教授、魅力的で考えさせられる洞察と見解を共有していただき、本当にありがとうございました。
とても光栄です。ありがとうございました。