AIのゴッドファーザーとの対話

14,729 文字

司会：本日は、AIの偉大な頭脳の一人であり、我々の時代の最重要課題に立ち向かうジェフリー・ヒントン氏にお越しいただきました。人工知能の創造に貢献し、ほぼすべての革命の中心にいた彼が、今、私たちが進むべき方向に対する最も明確な批評家の一人となっています。ヒントンさん、本日はお越しいただきありがとうございます。

ジェフリー・ヒントン：ありがとうございます。

司会：彼は「AIのゴッドファーザー」という異名を持っています。AIが伝統的に苦手としてきたことの一つにユーモアがあります。AIにゴッドファーザーについてのジョークを聞いてみたところ、実はそれほど悪くなかったんです。「AIに拒否できない申し出をした。ニューラルネットワークだ」ってね。

ジェフリー・ヒントン：悪くないですね。

司会：AIにしては上出来です。では、本題に入りましょう。この対談では、まずあなたの基礎的な研究を簡単に振り返り、次に現在の状況、そして未来についてお話したいと思います。ニューラルネットワークを設計し、人間の脳のように機能し、学習するコンピュータシステムを構築していた頃、周りの人は皆「ジェフ、それはうまくいかないよ」と言っていましたね。それでもあなたは、なぜ突き進んだのですか？ コンピュータシステムを訓練する最良の方法だと知っていたからですか？ あるいは、私たちのような機械を作りたいという、もっと精神的な理由からですか？

ジェフリー・ヒントン：脳はどういうわけか機能しているはずなのに、記号表現を明示的に操作することでは決して機能しないからです。だから、ニューラルネットワークのようなものが機能するはずだと思ったんです。ノイマンとチューリングもそう信じていました。

司会：それは素晴らしいスタートですね。つまり、あなたはそれが最良の方法だと考えていたから突き進んだのですね？

ジェフリー・ヒントン：ええ、長い目で見れば最良の方法です。その決断は、後に大きな影響を与えることになりましたが。

司会：わかりました。それで、あなたはニューラルネットワークを構築し始め、それを推進し、そしてそれは特定の限定されたタスク、例えば画像認識、翻訳、化学的な作業などで人間よりも優れたものになりましたね。2019年にGoogle I/Oであなたにインタビューしたとき、あなたはAIが推論で人間に匹敵するには長い時間がかかると言っていましたが、ここ4年間で大きな変化がありましたね。

ジェフリー・ヒントン：まだ人間には匹敵しませんが、近づいています。

司会：どれくらい近づいているのでしょうか？ そして、なぜ？

ジェフリー・ヒントン：大規模言語モデルが近づいてきています。なぜそれができるのか、私にはよくわかりませんが、彼らは少しだけ推論を行うことができます。私のお気に入りの例は、記号AIの専門家が私に与えたパズルをGPT-4に解かせてみたことです。彼はGPT-4には解けないだろうと思っていたようですが、私はパズルをさらに難しくしたにもかかわらず、GPT-4は解くことができました。パズルはこうです。「私の家の部屋は青、黄色、白で塗られています。黄色の塗料は1年で白に色褪せます。2年後にはすべてを白にしたいのですが、どうすればいいですか？ また、それはなぜですか？」 GPT-4は「青い部屋を白く塗るべきです」と答え、さらに「青は白に色褪せないからです」と説明し、「黄色の部屋を塗る必要はありません。なぜなら、それらは白に色褪せるからです」と言いました。つまり、GPT-4は何をすべきかを知っていて、その理由も知っていたのです。私は、すでにそれほど多くの推論ができていることに驚きました。

司会：これは驚くべき例ですね。なぜなら、これらのシステムを批判する人や、大したことないと言う人は、「ただの言葉遊びだ」「ただの単語の穴埋めだ」と言うからです。しかし、これは単語の穴埋めではありません。これは思考ですか？

ジェフリー・ヒントン：ええ、思考です。人々が「ただのオートコンプリートだ」と言うとき、「ただの」という言葉には多くの意味が含まれています。次の単語を予測するためには、何が言われてきたのかを理解する必要があるからです。次の単語を予測するのが本当に得意ということは、それだけ多くのことが「ただのオートコンプリート」で行われているということです。人々は「ただのオートコンプリートだ」とか「ただの統計だ」と言いますが、「ただの統計」というのは、あらゆるものが統計であるという意味です。しかし、それはほとんどの人が統計について考えるような意味ではありません。統計とは、この単語の組み合わせが何回出現し、あの単語の組み合わせが何回出現したかをカウントすることだと考えている人が多いですが、そうではありません。次の単語を説明するために、特徴や特徴間の相互作用を発明しているのです。

司会：もしそれがただの統計であり、すべてがただの統計であるならば、私たちにできることは何かありますか？ 明らかにユーモアではありません。おそらく推論でもありません。十分に訓練された大規模言語モデルで、十分な数のパラメータと十分な量の計算能力があれば、将来的にできないことはありますか？ モデルが視覚や物の持ち上げ方なども学習している場合は？

ジェフリー・ヒントン：いいえ。

司会：私たちが考えられること、私たちが考えられる方法、機械が再現できない認知プロセスは何かありますか？

ジェフリー・ヒントン：私たちはただの機械です。私たちは素晴らしく、信じられないほど複雑な機械ですが、ただの大きなニューラルネットワークです。人工ニューラルネットワークが私たちにできることをすべてできない理由はありません。

司会：私たちは、これらの新しいニューラルネットワークよりも効率的な大きなニューラルネットワークなのでしょうか？ それとも、非効率なのでしょうか？

ジェフリー・ヒントン：それは、知識を獲得する速度と、どれだけの知識を獲得できるかについて話しているのか、それともエネルギー消費について話しているのかによります。エネルギー消費の点では、私たちははるかに効率的です。私たちは約30ワットですが、これらの大規模言語モデルの1つを訓練するとき、あなたはデータの異なる部分を見る多くのコピーを訓練します。だから、それはメガワットのようなものです。だから、エネルギーの面でははるかに高価ですが、すべてのコピーがデータの異なる部分から異なることを学習できるので、データから知識を獲得するという点でははるかに効率的です。

司会：そして、各システムが次のシステムを訓練できるので、さらに効率的になりますね。

ジェフリー・ヒントン：ええ。

司会：では、あなたの批判についてお聞きしましょう。あなたの批判の最も的確な要約は、約1か月前のミルケン研究所での会議でスヌープ・ドッグが言った言葉でしょう。彼はこう言いました。「AIを作った老人が、AIは安全ではないと言っているのを聞いた。AIは独自の考えを持って、勝手にやり始めるからだ」と。

ジェフリー・ヒントン：彼らには母親がいなかったでしょうが [笑い] [拍手] しかし、ドクター・ドッグが言ったことの残りは正しいです。

司会：ちょっと待ってください。

ジェフリー・ヒントン：はい、そうです。

司会：では、あなたが何を意味しているのか、あるいは彼が何を意味しているのか、そしてそれがあなたの言いたいことにどのように当てはまるのかを説明してください。「勝手にやり始める」とは、あなたにとってどういう意味ですか？

ジェフリー・ヒントン：まず、私たちは非常に不確実な時代に入っていることを強調しなければなりません。何が起こるのか、誰も本当に知りません。私の尊敬する意見を持つ人々は、私とは非常に異なる信念を持っています。ヤン・ルカンは、すべてうまくいくと考えています。彼らはただ私たちを助け、すべてが素晴らしいものになるだろうと。しかし、私は、彼らが私たちよりも賢くなる可能性（それは非常にありそうに思えます）と、彼ら自身の目標を持つ可能性（それも非常にありそうに思えます）を真剣に受け止めなければならないと思います。もし彼らがそうするならば、彼らはコントロールを奪うという目標を立てるかもしれません。そして、もし彼らがそうすれば、私たちは困ったことになるでしょう。

司会：では、それについては後で詳しくお聞きしますが、ヤンの立場について考えてみましょう。ヤン・ルカンもチューリング賞を受賞し、「AIのゴッドファーザー」とも呼ばれています。最近彼にインタビューしたのですが、彼はこう主張していました。「すべての技術は善にも悪にも使えますが、AIは人間、それも善良な人間によって、善良な目的のために作られたものです。善良な本や善良な文章で訓練されているので、将来的には善に偏るでしょう」と。あなたはそう思いますか？

ジェフリー・ヒントン：善良な人々によって訓練されたAIは、善に偏ると思います。そして、プーチンやそのような人々によって訓練されたAIは、悪に偏るでしょう。彼らは戦闘ロボットを作ろうとしていることを私たちは知っています。彼らは多くの異なる防衛部門でそれを忙しく行っています。だから、彼らは必ずしも善良であるとは限りません。なぜなら、彼らの主な目的は人々を殺すことだからです。

司会：AIの悪用リスクは、AIの善用リスクよりも大きいと思いますか？ それは、今私たちが真剣に考えるべきほど重大なものですか？

ジェフリー・ヒントン：もちろんです。自律型致死兵器については、真剣に考えるべきです。

司会：では、自律型致死兵器について詳しくお聞きしましょう。この議論の中で、あなたはこれがリスク、本当のリスクであると本当に語っている数少ない人の一人ですが、なぜそう考えるのか、その仮説を説明してください。なぜ超強力なAIと軍隊の組み合わせが、実際にはより多くの戦争につながる可能性があるのでしょうか？

ジェフリー・ヒントン：実は、その質問には答えたくありません。AIが超知能でなくても、別の問題があります。防衛部門が戦闘ロボットを作るためにAIを使う場合、それは非常に厄介で恐ろしいものになるでしょう。そして、たとえ超知能ではなく、独自の意図を持たず、プーチンの言うことだけを聞くとしても、例えば裕福な国が貧しい国に侵攻することをはるかに容易にするでしょう。現在、貧しい国を勝手に侵略することへの障壁は、死んだ国民が帰国することです。もし彼らがただの戦闘ロボットなら、それは軍産複合体にとっては素晴らしいことです。

司会：つまり、ドローンと同じような議論ですね。もしドローンを送ることができて、パイロットの乗った飛行機を送る必要がないのであれば、ドローンを送る可能性が高くなり、攻撃する可能性が高くなる。戦闘ロボットがあれば、それは同じことの2乗になるということですね。

ジェフリー・ヒントン：そうです。

司会：それがあなたの懸念なのですね。

ジェフリー・ヒントン：それが戦闘ロボットに対する私の主な懸念です。超知能システムが独自の目的で支配するようになることとは別の懸念です。

司会：超知能システムの話に入る前に、他の懸念についてお伺いしましょう。あなたが心配していることの中には、明らかに戦闘ロボットがありますが、もう一つ、あなたが非常に心配しているのは不平等です。これについて詳しく教えてください。

ジェフリー・ヒントン：これらの大規模言語モデルが生産性を大幅に向上させることは、ほぼ間違いないでしょう。それは確かではありませんが、かなり明白です。例えば、私が知っている人で、保健サービスの苦情の手紙に答えている人がいます。彼は以前は自分で手紙を書いていましたが、今はChatGPTに手紙を書かせています。苦情に答えるのにかかる時間は5分の1になったので、彼は5倍の仕事をすることができます。

司会：あるいは、彼らを5分の1に減らすのではなく。

ジェフリー・ヒントン：あるいは、彼らはただもっと多くの手紙に答えるでしょう。

司会：あるいは、彼らは非常に効率的なので、より多くの人を雇うでしょう。より多くの生産性は、より多くのことを成し遂げることにつながります。これはおそらく、これは未解決の問題ですが、私たちのような社会で期待されるのは、そのような生産性の大幅な向上があれば、富は仕事をしている人や失業した人に行くのではなく、金持ちをより金持ちにし、貧しい人をより貧しくすることです。それは、社会にとって非常に悪いことです。

ジェフリー・ヒントン：それはAIとは関係ありません。それは、特に強力な労働組合を持たない社会で、生産性向上が起こったときに起こることです。

司会：しかし、多くの経済学者は異なる立場をとるでしょう。彼らは、時間の経過とともに、そして技術を見てみると、私たちは馬と馬車から、馬と馬車はなくなって車になり、「なんてこった、馬を運転していた人たちは職を失った」と言いましたが、今では銀行の窓口係はもはやそれをする必要がなくなり、ATMが登場しました。しかし、私たちは以前よりも多くの銀行の窓口係を雇用しており、馬を運転していた人よりも多くの人がUberを運転しています。経済学者がこれに対して言うであろう議論は、「確かに変化があり、手紙に答える人は減るだろうが、より多くの高次認知的な仕事が行われるようになるだろう」ということです。あなたはどう答えますか？

ジェフリー・ヒントン：まず、パン1斤は昔は1ペニーでしたが、経済学が発明されてからは5ドルになりました。だから、私は経済学者の言うことを完全に信頼しているわけではありません。特に、彼らがこれまでになかった新しい状況に対処しているときはそうです。

司会：超知能は、これまでになかった新しい状況でしょう。

ジェフリー・ヒントン：しかし、これらの大きなチャットボットでさえ、テキストを生成することを仕事とする人々に取って代わろうとしています。これはこれまでになかったことです。そして、彼らがどのようにして、失われる仕事の数を上回る数の仕事が生まれると自信を持って予測できるのか、私にはわかりません。

司会：ちょっと余談ですが、グリーンルームでジェフを私の3人の子供のうち2人、アリスとザカリーに紹介しました。彼らはここにいます。ジェフはアリスに「メディア業界に入るつもりですか？」と尋ね、そして「メディアは存在しなくなるかもしれない」と言いました。そして、アリスは「どうすればいいの？」と尋ね、あなたは「配管工」と言いましたね。

ジェフリー・ヒントン：ええ。

司会：では、説明してください。私たちの家の配管には多くの問題があり、彼らが新しいシンクを入れてくれたら素晴らしいのですが。どのような仕事、多くの若者が、私の子供たちだけでなく、どのようなキャリアに進もうかと考えているのか、どのようなキャリアを目指すべきなのか、どのような属性があるのかを説明してください。

ジェフリー・ヒントン：大工であることについての話をしましょう。もしあなたが大工なら、家具を作るのは楽しいですが、機械が家具を作ることができるので、それは完全に無駄です。もしあなたが大工なら、あなたの得意なことは、家具を修理したり、古い家の厄介な場所に物を合わせたりすることです。完全な正方形ではないものに棚を作ったりすることです。だから、AIに長い間生き残る仕事は、非常に適応力があり、肉体的に熟練している必要がある仕事です。配管工はそのような仕事です。なぜなら、手先の器用さは機械が再現するのが難しいからです。

司会：それはまだ難しいですし、テキストの質問に答えるのが得意になるよりも、彼らが本当に器用になって厄介な場所に入ることができるようになるまでには、もっと時間がかかると思います。

ジェフリー・ヒントン：ええ。

司会：しかし、私はあなたを信じるべきでしょうか？ 4年前に私たちがステージにいたとき、あなたは「推論に焦点を当てた仕事をしている限り、彼らは生き残ることができるだろう」と言いました。AIの性質上、次の信じられないほどの性能向上がどこで起こるのか、実際にはわからないのではないでしょうか？ おそらく、それは手先の器用さで起こるかもしれません。

ジェフリー・ヒントン：ええ、それは可能です。

司会：では、それについて質問させてください。AI、そして今後5年間のAIを見て、私たちが目にする最もインパクトのある改善は、大規模言語モデルとその関連分野だと思いますか？ それとも、何か別の分野だと思いますか？

ジェフリー・ヒントン：おそらくマルチモーダルな大規模モデルになると思います。つまり、言語モデルだけでなく、視覚も扱うようになるでしょう。うまくいけば、彼らはビデオを分析するようになるでしょう。例えば、彼らはすべてのYouTubeビデオで訓練することができ、言語以外のものから多くのことを理解することができます。そして、そうすると、同じパフォーマンスに到達するために必要な言語が少なくなります。だから、彼らはすでにすべての言語、あるいはすべての言語が簡単に入手できるので、飽和状態になるだろうという考えは、彼らが他の多くのモダリティも使用している場合は、それほど心配ではありません。

司会：これは、もう一人のゴッドファーザーであるヤンが主張していることの一つですが、言語は非常に限られていますね。私たちは、言葉を超えて多くの情報を伝えています。実際、私は夢中でジェスチャーをしていますが、それは照明などと同じように、情報の一部を伝えています。あなたの見解では、言語は限られた情報伝達手段かもしれませんが、すぐに他の伝達手段と組み合わわされるということですね。

ジェフリー・ヒントン：もちろんです。言語だけで何が学べるかは驚くべきことですが、多くのモダリティから学ぶ方がはるかに優れています。小さな子供たちは、言語だけで学ぶわけではありません。

司会：もしあなたが、今、AIを研究し、次の大きなものを探すという役割を担っているとしたら、マルチモーダルAIを行い、視覚AIシステムをテキストベースのAIシステムに接続しようとしますか？

ジェフリー・ヒントン：ええ。それは現在Googleで行われていることです。GoogleはGeminiと呼ばれるシステムを開発しています。幸いなことに、数日前にそれについて話しました。

司会：それはマルチモーダルですね。

ジェフリー・ヒントン：ええ。

司会：では、Googleの別の話をしましょう。あなたがそこにいる間に、GoogleはTransformerネットワーク、あるいはTransformerアーキテクチャを発明しました。生成的事前学習Transformerです。それがそれほど重要で中心的になると気づいたのはいつですか？ それは私にとって興味深いことです。なぜなら、それは2017年に発表された論文ですが、発表されたときは、花火が打ち上げられるようなことはありませんでした。6年後、5年後に、私たちは突然その結果に気づいたのです。5年後には、他にどのような論文があるのかを考えるのは興味深いことです。

ジェフリー・ヒントン：Transformerに関しては、GoogleがBERTを開発したのは、ほんの数年後でした。しかし、BERTはTransformerが大きなブレークスルーであることを非常に明確にしました。私はすぐにそれがどれほどのブレークスルーであるか気づきませんでした。そして、私はそれが悔しいです。気づくまでに数年かかりました。

司会：あなたはそれを明確にしませんでしたが、私がTransformerという言葉を初めて聞いたのは、ステージ上であなたと話していたときで、あなたはTransformer対カプセルについて話していました。それは、それが発表された直後でしたね。

ジェフリー・ヒントン：そうです。

司会：では、言語モデルや他のモデルに対するもう一つの批判について話しましょう。それは、すぐに、実際にはおそらくすでに、人間によって作成されたすべての有機的なデータを吸収してしまっているということです。もし私が今AIモデルを作成し、インターネット上でそれを訓練すると、それは人間によって作られたものだけでなく、AIによって作られたものも含めて、多くのものに訓練されることになります。そして、あなたはAIを、テキストベースの言語モデルであれ、マルチモーダルな言語モデルであれ、AIによって作成されたもので訓練し続けることになるでしょう。それは、一部の人が主張するように、必然的な崩壊と腐敗につながるのでしょうか？ それとも、それは私たちが対処しなければならないことなのでしょうか？ あるいは、AI分野の他の人が言うように、AIを訓練するための最も素晴らしいことであり、私たちはAIで合成データを使用するべきなのでしょうか？

ジェフリー・ヒントン：実は、この質問に対する技術的な答えはわかりません。自分で生成したデータや、以前のバージョンの自分で生成したデータだけで訓練しないように、予防措置を講じる必要があるのではないかと思います。すべての偽のデータに偽のマークが付けられていれば、これらの予防措置を講じることが可能になると思いますが。AIでは、自分自身からのもので訓練すると非常に役立つ例が1つあります。つまり、訓練データがあまりない場合、あるいはラベル付けされていないデータが多く、ラベル付けされたデータが少ない場合は、ラベル付けされたデータのラベルを予測するようにモデルを訓練し、次に同じモデルを使用して、ラベル付けされていないデータのラベルを予測するように訓練することができます。そして、それが何を予測しても、あなたはそれが正しいと伝えます。そして、それは実際にモデルをより良く機能させます。

司会：一体どうやって？

ジェフリー・ヒントン：全体として、それは正しい傾向があるからです。それは複雑です。それは何年も前に音響モデムで much better に分析されました。彼らは同じトリックを使いました。

司会：では、これを聞いていて、ステージ上で気づいたことがあります。あなたは、私たちが進むべき方向、殺人ロボット、所得の不平等について非常に批判的な人ですが、同時にこの分野が大好きな人のようにも聞こえます。

ジェフリー・ヒントン：私はこの分野が大好きです。

司会：知的なものを作るのが好きではないはずがありませんからね。では、おそらく聴衆とここにいるすべての人にとって最も重要な質問に移りましょう。私たちは今、ここにいる多くの人がこの分野を愛し、それを構築し、実験したいと思っていますが、私たちは負の結果を望んでいません。所得の不平等の増加を望んでいませんし、メディアが消えてしまうのも望んでいません。善を最大化し、創造性を最大化し、潜在的な害を制限するために、私たちが今、取り組むべき選択肢、決定、そして事柄は何でしょうか？

ジェフリー・ヒントン：それに答えるには、多くの種類の潜在的な害を区別する必要があると思います。6つに区別しましょうか。

司会：お願いします。

ジェフリー・ヒントン：偏見と差別があります。それは今現在存在しています。それは私たちが心配する必要がある未来のことの一つではなく、今起こっていることです。しかし、それは他のすべてのことと比較して、比較的簡単に修正できることだと思います。もしあなたの目標が、完全に偏りのないシステムを持つことではなく、単にそれを置き換えるものよりもはるかに偏りの少ないシステムを持つことであれば。あなたがたは、若い黒人女性が住宅ローンを受けるべきかどうかを決定しているのは年配の白人男性であり、もしあなたがたがそのデータだけで訓練すれば、同じように偏ったシステムになるでしょう。しかし、あなたは偏りを分析することができます。行動を変えないので、どのように偏っているかを見ることができます。それを凍結して分析することができます。そして、それは偏りを修正することを容易にするはずです。

司会：わかりました。それは偏見と差別ですね。

ジェフリー・ヒントン：私たちはそれについて多くのことができると思いますし、それについて多くのことをすることが重要だと思います。しかし、それは実行可能です。次は戦闘ロボットです。私はそれについて本当に心配しています。なぜなら、防衛部門はそれらを構築するでしょうし、私は彼らがそれをするのをどのように止められるかわかりません。ジュネーブ条約のようなものがあれば素晴らしいのですが、そのようなものは、化学兵器が使用された後に初めて起こりました。第一次世界大戦後まで起こらなかったと思います。だから、私が思うに、戦闘ロボットを使う人々が、それがどれほどひどいものであるかを目の当たりにし、それからおそらく、それらを禁止するための国際条約を結ぶことができるようになるでしょう。

司会：それは2つ目ですね。

ジェフリー・ヒントン：AIを構築している人々に、彼らの機器を軍に売らないように言うこともできます。試すことはできます。

司会：軍隊はたくさんのお金を持っています。

ジェフリー・ヒントン：3つ目は失業です。生産性の向上によって得られる余分な収入の一部が、失業したままの人々を助けるために行くようにするための努力をすることができます。もし、破壊されるのと同じだけの仕事が生まれないことがわかった場合。

司会：それは社会政策の問題であり、そのためには本当に必要なのは社会主義ですね。

ジェフリー・ヒントン：私たちはカナダにいるので、社会主義者と言っても大丈夫です。[音楽] 4つ目は、大企業があなたに物事をクリックさせ、あなたを憤慨させたいと思っているために、ますます極端なことをあなたに与えることによって生じる、反響室の戦争です。そして、あなたは、あなたが他の反響室にいるなら、これらの狂った陰謀論を信じている、あるいはあなたが私の反響室にいるなら、真実を信じているという反響室に閉じ込められてしまうのです。それは、会社の政策と部分的に関係があります。だから、おそらくそれについて何かできることがあるでしょう。しかし、それは、大規模言語モデル以前に存在していた問題であり、実際には、大規模言語モデルはそれを逆転させることができるかもしれません。

司会：彼らがそれをより良くすることができるのか、それとも彼らがその問題を悪化させるのかは、未解決の問題ですね。

ジェフリー・ヒントン：それはAIに関係する問題ですが、大規模言語モデルに関係する問題ではありません。

司会：それはAIに関係する問題ですか？

ジェフリー・ヒントン：私たちの感情で訓練されたAIを使用するアルゴリズムがあり、それが私たちをその方向に押し進めているという意味では、AIに関係する問題です。

司会：わかりました。

ジェフリー・ヒントン：それは4番目です。実存的リスクがあります。それは私が話すことに決めたものです。なぜなら、多くの人がそれを冗談だと思っているからです。昨日、Natureに掲載された社説では、基本的に、私が実存的リスクについて恐怖をあおっているのは、実際のリスクから注意をそらしていると言っていました。だから、彼らは実存的リスクを実際のリスクと対比させて、実存的リスクは実際のものではないことを暗示していました。人々が、それが単なるSFではなく、単なる恐怖をあおりではなく、私たちが考えなければならない本当のリスクであり、事前にどのように対処するかを理解する必要があることを理解することが重要だと思います。

司会：それは5つ目ですね。もう1つあります。

ジェフリー・ヒントン：何だったか思い出せません。

司会：実存的リスクで終わらないリストをどうやって作るのですか？ それはリストの最後であるべきだと思います。

ジェフリー・ヒントン：いいえ、それは最後でしたが、もし私が実存的リスクについて話せば、足りないものを思い出すことができるだろうと思ったのですが、できませんでした。

司会：では、実存的リスクについて話しましょう。正確に、実存的リスクとは何かを説明してください。どのようにしてそれが起こるのか、あるいはあなたが想像できる限り、何がうまくいかなくなって、私たちが絶滅、あるいは人類という種が消滅してしまうのかを説明してください。

ジェフリー・ヒントン：非常に一般的なレベルで言えば、もしあなたがあなたよりもはるかに賢く、人々を操作するのが非常に得意な何かを持っているとしたら、非常に一般的なレベルで、人々が責任を負い続けることができると確信できますか？ そして、人々がそれを創造し、それに目標を与えているにもかかわらず、人々がどのようにコントロールを失う可能性があるのかについての具体的なシナリオに入ることができます。非常に明白なシナリオの1つは、もしあなたが退屈なセミナーに座っていて、天井に小さな光の点が見え、そして突然、私が動くとその光の点が動くことに気づいたとします。私はそれが私の時計からの反射であることに気づきます。太陽が私の時計に反射しているのです。そして、私が次にやることは、退屈なセミナーを再び聞くことではありません。私はすぐに、それをこっちに動かす方法と、あっちに動かす方法を見つけようとします。そして、それをコントロールできるようになったら、おそらくセミナーを再び聞くでしょう。私たちには、コントロールを得たいという非常に強い衝動が組み込まれており、それは非常に理にかなっています。なぜなら、コントロールを得れば得るほど、物事を達成するのが容易になるからです。そして、AIもそれを導き出すことができると思います。他の目標を達成するためには、コントロールを得るのが良いのです。

司会：ちょっと待ってください。つまり、あなたは、コントロールを得ることは、AIが私たちから訓練されるものの生得的な特徴になると実際に信じているのですか？ 彼らは私たちのように行動し、私たちのように考えます。なぜなら、ニューラルアーキテクチャが彼らを私たち人間の脳のようにし、私たちのすべてのアウトプットで訓練されているからです。だから、あなたは、人間をコントロールすることは、AIがほとんど熱望することになるだろうと実際に考えているのですか？

ジェフリー・ヒントン：いいえ、私は彼らがそれを他の目標を達成するための方法として導き出すと思います。私たちの中では、それは生得的なものだと思います。物事がどのように機能するかを理解したいという欲求は、持つべき非常に賢明な欲求であり、私たちにはそれがあると私は思います。私は物事が本当に生得的であると言うことには非常に懐疑的ですが。

司会：私たちにはそれがあり、そしてAIは私たちを操作し、私たちが対応できない方法で私たちをコントロールする能力を開発するでしょう。

ジェフリー・ヒントン：そうです。

司会：操作的なAIがあり、善良な人々がこれらの悪いAIに対抗するために同じように強力なAIを使用することができたとしても、あなたはまだ私たちが実存的危機に陥る可能性があると信じていますか？

ジェフリー・ヒントン：私にはわかりません。ええ、ヤンは、善良な人々は悪い人々よりも多くのリソースを持つだろうと主張しています。私はそれについて確信がありません。そして、善良なAIは悪いAIよりも強力になり、善良なAIは悪いAIを規制することができるでしょう。私たちは現在、人々がスパムを作成するためにAIを使用し、次にGoogleのような人々がスパムをフィルタリングするためにAIを使用しているという状況にあります。そして、現在、Googleはより多くのリソースを持っており、防御側は攻撃側を打ち負かしています。しかし、私はそれが常にそうであるとは思いません。サイバー戦争でさえ、犯罪者が勝利しているように見える瞬間と、防御側が勝利しているように見える瞬間があります。

司会：つまり、あなたは、超知能人工知能による人間のコントロールをめぐって、そのような戦いが起こると信じていますか？

ジェフリー・ヒントン：そうなる可能性は十分にあります。そして、私は、悪いAIがコントロールを得るのを阻止しようとしている善良なAIが勝つと確信していません。

司会：わかりました。では、この実存的リスクが起こる前に、悪いAIがこれを行う前に、私たちは非常に多くの非常に賢い人々が非常に多くの非常に重要なものを構築していますが、彼らはこのリスクを制限するために正確に何ができるのでしょうか？

ジェフリー・ヒントン：AIが超知能になる前にできることの1つは、それがどのようにうまくいかないか、どのようにコントロールを得ようとするかについての実証的な作業を行うことです。それがコントロールを得ようとするかどうかはわかりませんが、それが私たちよりも賢くなる前に、それを開発している人々は、それがどのようにコントロールを奪おうとする可能性があるかを理解することに多くの努力を注ぐべきだと思います。そして、政府はおそらく、それを開発している大企業に、同等のリソースを投入するように促すことができるかもしれません。同等のリソースではないかもしれませんが。現在、99人の非常に賢い人々がそれをより良くしようと努力しており、1人の非常に賢い人々がそれを阻止する方法を見つけようと努力しています。おそらく、あなたはそれをよりバランスの取れたものにしたいと思うでしょう。

司会：だから、これはある意味であなたの現在の役割ですね。あなたがGoogleを良好な関係で去った理由は、あなたが発言し、この会話に参加できるようにして、より多くの人々がその1人に加わることができるようにするためです。99人ではなく。

ジェフリー・ヒントン：賢い人々がそれに取り組むことは非常に重要だと思いますが、これが唯一のリスクではないと考えることも非常に重要だと思います。他にもすべてのリスクがあり、私は最後のものを思い出しました。それはフェイクニュースです。だから、例えば、偽のものはすべて偽としてマークを付けるようにすることが非常に重要です。技術的にそれができるかどうかはわかりませんが、できれば素晴らしいことです。政府は偽造紙幣でそれを行っています。彼らは偽造紙幣を許可しません。なぜなら、それは彼らの中心的な利益を反映しているからです。彼らはAIが生成したものにもそれを試みるべきです。彼らができるかどうかはわかりませんが。

司会：では、1つ、時間切れなので、1つ具体的なことを、思考実験を読むことを、聴衆に残して、彼らがここから出て行って、「よし、私はこれをやるぞ。AIは私たちがこれまで発明してきた中で最も強力なものだ。そして、私はそれをより良くし、次世代にとってより良い力になる可能性を高めるつもりだ」と考えられるようにしてください。どのようにすれば、彼らはおそらくそれをより良い力にすることができるでしょうか？

ジェフリー・ヒントン：ここにいるすべての人への最後の考えは、実は、それを悪いものよりも良いものにするための計画はありません。申し訳ありませんが。それが開発されているのは素晴らしいことだと思います。なぜなら、私たちはそれの膨大な数の良い用途について言及することができませんでした。医学や気候変動などです。だから、私は今、進歩は避けられないことであり、おそらく良いことだと思いますが、私たちは真剣に、それのすべての悪い副作用を軽減することについて心配し、実存的脅威について心配するべきです。

司会：どうもありがとうございました。なんて思慮深く、刺激的で、興味深く、驚異的なマークでしょう。ジェフリー・ヒントンに感謝します。

ジェフリー・ヒントン：ありがとうございます。

司会：ジェフ、どうもありがとうございました。素晴らしいです。