エリック・シュミットとヨシュア・ベンジオ、AIがどれだけ恐ろしいものかを議論する

5,750 文字

司会: 皆様、本日はこの対談にお越しいただき、ありがとうございます。ご来場の皆様もありがとうございます。今日はAIについて話し合うために集まりました。簡単に説明させていただきますと、ヨシュアは、AIが人類を絶滅させる可能性があるというリスクを、パンデミックや核戦争のような世界的なリスクとして考えるべきだと考えています。一方、エリックはAIにとても興奮しています。これが二人の立場です。
ちなみに、エリックはこの分野の半分を発明したようなもんですね。
では、エリックから始めましょう。そやね、彼がこの分野の半分を発明したんやから。
2022年11月、この会場におられる多くの方々がAIに注目し始めた時期です。OpenAIがChatGPTをリリースし、一気に私たちの生活に入り込んできました。2022年11月から今日までの間で、最も興奮したこと、最もポジティブだと思うことは何でしょうか？
ヨシュア: 最もポジティブなんは、AIのポジティブな可能性だけでなく、危険性についても認識が高まっていることやね。これが一番大事なことやと思うわ。これを続けていくことで、AIがもたらすメリットを享受しながら、民主主義や社会を台無しにしたり、人類を破壊したりすることを避けられるんやないかな。
エリック: まあ、私はちょっと違う意見なんやけどな。何の制限もなく全速力で進めるべきやと思うわ。冗談やけどね。
AIの可能性はすごく深遠やと思うわ。例えば、AIの医者やAIの家庭教師を考えてみてください。社会が抱える問題の多くを解決できる可能性があるんやから、なんかの理由でこの動きを遅らせてしまうんが心配なんや。できるだけ早く開発を進めたいんやね。
今のところ、アメリカを中心に、カナダや他のパートナー国と一緒に進めていて、そのアドバンテージを活かしたいと思うわ。
今、同時に3つのことが起こっています。今は言語から言語への変換を考えているけど、すぐに「無限のコンテキストウィンドウ」というものが出てくるやろう。これを使えば、どんな質問にも答えられるし、たくさんのレシピやいろんなことを教えてくれるんや。
それから、エージェントを開発して、いろんなことを学習させることもできるし、最後に、プログラマーに何をしてほしいかを伝えるだけで、必要なコードを書いてくれるようになるんや。これらはすごく強力で面白い技術やね。
問題は、この知性から生まれる力はすべて「デュアルユース」やということや。知ってるように、AIに何か影響力のあることをさせる能力と、AIに何をさせるかという目的を分けることはできへんのや。
ヨシュア: そうやね。もし、AIを道徳的に行動させる方法や、悪用されないようにする方法、事故で自律的で危険なものにならないようにする設計方法が見つからへんかったら、これらの良いことも無駄になってしまうんや。
今のところ、科学者たちは、私たちの望むことをするAI、私たちの規範や法律、価値観に従って行動するAIをどう作ればいいのか、まったく分かっていないんや。これが大きな問題やね。
エリック: でも、みんな価値観が違うやん。誰が道徳的な方法を決めるんや？
ヨシュア: 原則的には、すごく簡単な答えがあるんや。私たちはすでにこの問題を抱えてるんやけど、それが民主主義やね。今、AIやほかのもんで危機に瀕してるけどな。
もちろん、人類にとって何が正しくて何が間違ってるかをAIに決めさせるなんて信用できへんわ。私たち自身が集団で決定せなあかんのや。
エリック: でも、誰が「私たち」なんや？
ヨシュア: これはガバナンスの問題やね。民主主義の制度を通じて答えを出すべき問題や。規制当局を作って、ガードレールを設置したり、これらのものを作る組織のインセンティブを決めたりするんや。これらは集団的な決定で、普通は政府を通じてやるもんや。もちろん、民主主義がうまく機能する世界でのハナシやけどな。
エリック: 人間が主導する行動とコンピューターが主導する行動を区別することが大事やと思うわ。人間がAIに何かをさせる場合と、AIが自分で何かをする場合があるんやけど、後者はめちゃくちゃ危険やと思うんや。
例えば、エージェント同士が会話を始めて、計画を立て始めるシナリオがあるんや。しかも、人間には理解できない言語で計画を立てるかもしれへん。
ヨシュア: エージェントって何？
エリック: エージェントは、何かを実行するように設計されたコンピュータープログラムのことや。いろんなことを知ってて、何かを実行できるんや。この文脈では、通常は言語で呼び出されて、言語で結果を出すけど、ノブを回したりコードを書いたりすることもできるんやね。
だから、エージェントが人間には理解できない言語で互いに話し始めたら、どうすればいいか分かるよな？コンピューターの電源を切ればいいんや。それはアカンのや。
ヨシュア: そやね、限界があるわけやな。
エリック: そう、それを「レッドライン」って呼んでるんや。いくつかあってな、ヨシュアと私も何度か一緒に取り組んできたんやけど、レッドラインについては意見が一致してると思うわ。
中国でさえ、一般的にはレッドラインに同意してるんやで。基本的に、みんな同意してる。コンピューターの電源を切って、家に帰ってコーヒーでも飲むべきやっていうね。
でも、人間がこれらをコントロールせなあかんのや。問題は、すべての人間を信用できへんってことや。精神異常者や犯罪者、テロリストの人間がおるってことはよく知られてるからな。
一番明らかなのは「オープンソース」に関することやね。これらの一部となるモデル、サムも言うてたけど（サムはもちろん天才やけど）、彼らのモデルはクローズドやけど、ほかの場所ではほぼ同じくらい優れたオープンモデルを構築してるんや。それを修正できるんやけど、そこにはまだ完全には理解できてないコントロールの危険性があるんや。
ヨシュア: ここで重要なことを付け加えさせてもらいたいんやけど、一度そういうモデルが世界中に共有されてしまうと、武器を作るのに使われへんようにつけられた安全保護機能は、ほんまに簡単に取り除かれてしまうんや。ほとんど誰でもできるくらい簡単なんや。しかも、世界中どこでも起こり得るから、私たちには分からへんのや。
もう一つ付け加えたいのは、危険な悪用と制御の喪失には関連があるってことや。例えば、北朝鮮の組織が私たちのオープンソースモデルの1つを使って、本当に悪いことをするように調整したとしよう。そして、もっと大きな影響を与えるために、「自己複製するな」というレッドラインを越えるように調整したとする。これはサイバー攻撃やほかのことに使われる可能性があるんやけど、人間の悪い目的を達成するためにレッドラインを越えることで、私たちが避けようとしてる制御の喪失を引き起こす可能性があるんや。
確かに、これらは異なるシナリオやけど、一方が他方を引き起こす可能性があるんや。
良いニュースもあるで。楽観的に考えたいんやけど、まだ科学的な解決策を探る機会の窓は開いてると思うんや。例えば、悪いことができない抑制機能を持つAIシステムを設計できたら、ずっと良くなると思うわ。世界中のいくつかの研究グループがこの問題を探求してるんやけどな。
まだオープンソースの問題や悪意のある人が情報を盗む問題には対処せなあかんけど、もし道徳的な超人的AIシステムを作れたら、暴走したAIが現れた場合の私たちの守護者になってくれるかもしれへんのや。
エリック: ちょっと前に言うたことに戻りたいんやけど、この段階に達したら、みんなが同意して電源を切るって言うたよな。でも、本当にみんなが同意するんかな？これらは高度に競争的な企業で、AIで先を行くための最も競争の激しいレースに参加してるんやで。本当に電源を切るんかな？今の状況を考えると。
ヨシュア: そうやな、これは難しい問題や。企業はこのレースに勝とうとしてるし、同時に、その企業で働く個人は人間やから、大惨事が起こってほしくないと思ってる。この2つの力が絡み合ってるんや。
だから、私はある程度、脅威の範囲は理解されてると思うんや。大体こんな感じやね。現在のモデルは、1世代ごとに約4倍のペースで成長してる。これは「スケーリング法則」って呼ばれてて、まだパフォーマンスの低下は見られへんのや。つまり、もっともっと大きくすれば、どんどん良くなっていくように見えるんや。
最終的には収穫逓減に達するはずやけど、まだそれは見えてへん。私が話した多くの人や、私が管理してるチームは、本当にこれらの問題に直面する前に、あと2、3ラウンドくらいあると考えてる。2ラウンドかもしれへんし、3ラウンドかもしれへん。1ラウンドは約18ヶ月やから、集団的に3〜5年くらいあるってことやね。その間にヨシュアの課題に対して行動を起こさなあかんのや。
司会: AGI（汎用人工知能）がそんなに早く来るんですか？
ヨシュア: かなりの確率で来ると思うわ。正確には分からへんけどな。でも、それはめちゃくちゃ早いわ。例えば、拘束力のある大統領令をもっと確実なものにするための法律とか、まだないんや。ほとんどの国には、企業にシステムを安全に保護させて、悪意のある人に簡単に盗まれへんようにするための仕組みがないんや。
本当に危険なAIシステムができたときに、リスクを減らすために最善を尽くせるよう、急いでやらなあかんことがたくさんあるんや。
エリック: 私は、少なくとも私が話したことのある西側諸国は、これらの法律や規則、責任を適切に整備すると、かなり楽観的に考えてるわ。
実際、私がもっと心配してるのは、私たちがコントロールできない機関や個人のことや。大手アメリカ企業はみんなが見てるから、ある程度コントロールされてる。でも、たくさんのグループがあって、恐ろしいことが闇の中で起こってるんや。
さっき説明したオープンソースの誤情報ツールは、中国や北朝鮮などの国家を含む悪意のある人たちによって世界中で使われてるんや。
ほとんどの人は、ソーシャルメディアで誤情報に遭遇するやろうな。ほとんどの人がソーシャルメディアを使ってるからね。しかも、好きな情報なら信じてしまうんや。
ソーシャルメディア企業は、一般的に利害の対立があるんや。一方では正確さを求めてるけど、同時に収益も欲しいんや。収益を増やす一番いい方法は、エンゲージメントを増やすことやねん。エンゲージメントを増やす一番いい方法は、怒りを煽ることやねん。
例えば、あなたに何か過激なことを言わせたら、普段の教授らしい話よりもずっと多くの視聴を得られるんや。失礼やけど。
これは民主主義における議論の質を下げてしまうんや。
技術的な解決策は、ヨシュアが言うた通りや。コンテンツがどこから来たかをマークして、ユーザーが誰かを特定できるようにして、責任を持たせる必要があるんや。
ソーシャルメディア企業がどう動くべきかは、民主主義の中で議論すべき問題やね。
私は楽観的で、民主主義はこの挑戦に立ち向かって乗り越えると思うわ。テレビやほかの変化も乗り越えてきたからね。
でも、事実として、今の人々は生まれたときから見たり聞いたりしたものを信じるように育ってきたんや。見たものの大半が本当かもしれへんし、そうでないかもしれへんって学ぶのは、すべての人間にとって大きな変化やね。
司会: 特にアメリカの今年の政治を見てると、見てるものに批判的になるっていうのがすごく欠けてるように見えますよね。これって本当に重要な要素だと思うんです。トレーニングが必要ですよね。これらのものの例をたくさん見て、疑わしく思えるようになる必要があるんじゃないでしょうか。例えば、良すぎて本当とは思えないとか、自分の予想と合わないとか。
ヨシュア: そうやね。例えば、ソーシャルメディアに適切なルールを設けることの問題は、さっき言うたように、企業にとってはコストや摩擦を生むってことなんや。
例えば、アカウントの場合、新しいアカウントを作るのを簡単にしたいんや。それが収益につながるからね。だから、ほかのソーシャルメディアと競争してるから、すべてのソーシャルメディアに公平な環境を作らへんかぎり、自分たちからは動かへんのや。
言いたいのは、少なくとも極端な害については、ある程度の規制が必要になるってことや。
エリック: でも、一番大事なのは、このレベルの問題は乗り越えられるってことやと思うわ。これらは特定できる問題やからね。
本当の問題はこんな感じやね。モデルを訓練して、モデルは何かを学習したけど、学んだことを伝える能力がないんや。何か学んで、「何を学んだの？」って聞いても、学んだことを伝える方法を知らへんのや。
だから、そのまま公開したら、大惨事のリスクがある。でも、公開せんかったら、テストする方法がないから、それもまた大惨事のリスクがあるんや。テストしたら大惨事が起こるかもしれへんし。これはジレンマやね。
今日の業界では、いくつかの技術が生まれてるんや。「レッドチーム」って呼ばれるもので、超頭のええ人たちを集めて、システムが何を知ってるかを想像して、それをテストするんや。
でも、最終的にはこれを、証明可能な安全なシステムの研究か、何かを学んだAIシステムを出し抜くAIシステムに置き換える必要があるんや。業界はこれらすべてが必要やと考えてるんやけどな。
ヨシュア: でも、厳粛な事実として、今のところ、私たちが持ってる評価方法や企業が設けた安全保護は、これらのモデルが出てきてすぐに、研究者やハッカーによって破られてしまうんや。
もし本当に危険なAIシステムができる前に、悪用される可能性のある知識をたくさん持ったAIシステムができる前に、この問題を素早く解決できへんかったら、私たちは大変なことになるで。
司会: ここで聞いたんですね。3〜5年で、このSFホラー映画が現実になるかもしれないって。タイム誌提供でお送りしました。ご参加いただき、ありがとうございました。