ジェフリー・ヒントンとのQ&A

はい、ビルが言及したように、ジェフリー・ヒントンをお迎えできて光栄です。簡単に彼の業績を紹介しますが、最初の要点は「紹介は不要だ」と言うことですので、紹介は終わりにしましょう。最初の質問は何ですか?
はい、わかりました。では、ビルが先ほど言及していたように、あなたの考え方がどのように変化したのか興味があります。2018年にあなたが言ったことを読み上げますが、これは責めるためではなく、単に興味があるからです。現在、AIに関するあなたの見解やAIがもたらす潜在的リスクについての見解が大きく異なっているように思えます。ウィキペディアのページで見つけたことですが、あなたは「人工知能という言葉には、このような単一のロボットが突然人間よりも賢くなるという含意があります。私はそうはならないと思います。私たちが日常的に行っていることの多くが、AIシステムに置き換えられていくでしょう。将来のAIは、あなたが何をしてほしいかについて多くのことを知るでしょうが、あなたを置き換えることはありません」と言っています。これは現在のあなたの見解とはかなり異なるように思えます。この6年間でのあなたの考え方の変化について説明していただけますか?
当時、私は人間よりも賢いものができるまでには長い時間がかかると考えていました。また、脳に近づけば近づくほど賢くなると思っていました。そして、Googleでの最後の数年間、大規模な言語モデルの学習やサービス提供のエネルギー要件を減らすためにアナログハードウェアを使う方法を考えていました。アナログハードウェアを使い、そのアナログ回路の特殊な性質をすべて利用できる学習アルゴリズムがあれば、アナログの多くの問題を克服できることは明らかです。2つの異なるコンピューターを同じように動作させる必要はなく、それぞれが持っているハードウェアを利用することを学習するだけです。これによって、それらは一種の死すべき存在になります。そのハードウェアが死ねば、その重みは役に立たなくなります。しかし、それはまた、はるかに低い電力で動作できることを意味します。
古典的な例を挙げると、次の層への入力を得るために、ニューラル活動のベクトルを重みの行列で掛け算する、これは中心的な操作で、ほとんどの計算を占めます。ニューラル活動を電圧にし、重みをコンダクタンスにすれば、電圧とコンダクタンスの積は単位時間あたりの電荷となり、電荷は自動的に加算されます。活動を16ビットの数字に変換し、16回の2乗ビット演算を行って掛け算をする必要はありません。非常に低電力で簡単かつ迅速です。より非線形なものについては、それを行うのは難しいですが、問題は、アナログハードウェアを使ってはるかに低いエネルギーを実現できるかどうかでした。
そのことをより深く考えるにつれて、様々な問題が明らかになりました。一つは、システムがどのように動作するかわからない場合、学習する方法がわからないということです。システムの動作がわからなければ、フォワードパスがわからず、バックワードパスもできません。人々はその周りの方法を考え出しました。近似値を使い、その近似値は小さなものには上手く機能しますが、誰もバックプロパゲーションを使わない妥当なバージョンを、以前は巨大だったが今では小さなものとなったImageNetのようなサイズのものに対して作り出したことはありません。それが一つの問題でした。
もう一つの問題は、デジタル計算の大きな利点に気づき始めたことです。エネルギーはかかりますが、同じモデルの多くの異なるコピーを持つことができ、それらの異なるコピーが異なるデータを見て、それぞれが見たデータから何かを学び、そして勾配を平均化することで学んだことをすべて共有できるのです。これは、異なるモデルのコピー間で情報を共有する上で非常に重要です。もし私たちが情報をそのように共有できれば、1万人が出かけて1万の異なる科目を学び、進みながら重みを平均化し、一度に1万の学位を取ることができるでしょう。しかし、そのようにはいきません。私たちは情報をうまく伝達できません。私が今示しているように、私は文を生成し、あなたは同じ文を生成するように重みを変更する方法を理解しようとします。これが大学と呼ばれるものです。そしてそれはあまりうまくいきません。重みを共有するのに比べてとても遅いのです。
だから、彼らは私たちに対して大きな優位性を持っており、それは彼らが私たちよりもはるかに多くのことを知っている理由です。GPT-4は、私の推定では、一人の人間の1万から1万倍の知識を持っています。それはあらゆることについてあまり優れていない専門家です。彼らがそれを行えるのは、部分的にはバックプロパゲーションを使って勾配を得ることができ、部分的には同じモデルの多くの異なるコピー間で共有できるからです。
そこで、私は実際にそれが私たちが持っているものよりも優れた計算形式だと確信するようになりました。彼らは数兆の接続で、私たちが1000兆の接続で持っているよりも数千倍の知識を得ることができます。彼らは私たちとは異なる問題を解決しています。彼らの問題は膨大な量の経験と多くない接続で、バックプロパゲーションはこの情報を圧縮するのに非常に優れています。私たちの問題はその逆で、非常に少ない経験と膨大な数の接続です。私たちはおそらく非常に異なる種類の学習アルゴリズムを持っています。
そこで、私はこれらのものが単に私たちよりも優れているという確信を持つようになりました。脳により似せることで物事をよりスマートにするという領域は、ほぼ終わりました。物事は脳により似せることではなく、既に進んでいる道を活用することでよりスマートになるでしょう。これは今やデジタルインテリジェンスに特有のものです。
これらのものが単に私たちよりも優れているという確信を持つようになりました。あなたはもっと詳しく説明できますか? この洞察を生み出した正確なプロセスは何だったのですか? 人々と話をしていたということですか? Googleでの仕事について言及されましたが、その時何があったのですか?
特に、アナログの利点を詳しく見て、アナログの利点を理解することで、この洞察が生まれました。特に、私たちがすべてを学習するようになり、プログラムしなくなったという洞察です。私たちはデジタルコンピューターを作ったので、私たちが言うとおりに正確に動作し、プログラムを書くことができるようにしました。そして、異なるコンピューターが正確に同じことをする必要がありました。しかし、私たちはもはやプログラムしていません。学習アルゴリズムはありますが、特定のことを行わせるために、私たちはそれらを訓練します。そして一度訓練すれば、すべてが同じように動作する必要はありません。なぜなら、彼らは持っているハードウェアを使用することを学習するからです。
そこで、全く異なる道を進むことができます。それが生物学的な道です。あなたの特定のニューロンや接続の奇妙な特性を利用します。あなたの重みは私には役に立ちません。なぜなら、私のニューロンは異なり、私の接続も異なるからです。それはとてもエキサイティングでしたが、それをどのように学習させるか、学習アルゴリズムは何かという困難に直面するにつれて、学習している時でも、直接プログラミングしていない時でも、デジタル計算の大きな利点に気づき始めました。その利点は、異なるモデルを共有できること、共有できることから来ています。
これにより、これらのものが優れているという信念に至りました。同時に、Palmのようなチャットボットが登場し、なぜジョークが面白いのかを説明できるようになりました。それは別の大きな影響でした。私はいつも、これらのものが本当にスマートになったときの基準として、ジョークがなぜ面白いのかを説明できることを持っていました。これは私のチューリングテストでした。そして、Palmはそれができました。
実際にジョークを作ることはできませんでした。GPT-4でさえ、ジョークを作ることはできないことに気づいたかもしれません。GPT-4は一度に一語ずつ生成するので、ジョークを言うように頼むと、ジョークの始まりによく似たものを生成し始めます。「神父とタコがバーに入った」などと言います。それがジョークの始まりだとわかりますよね。そしてそのように続けていきますが、落ちが必要な点に達すると、私の友人の何人かのように、ジョークを言おうとする前に落ちを考えていないのです。これは災難です。そのため、非常に弱々しい落ちになります。しかし、これは一度に一語ずつ生成するからです。そのように振る舞う必要はありません。
ジョークを言うよりも、ジョークがなぜ面白いのかを説明するのがはるかに上手です。知っているジョークを単に思い出しているのでなければですが、ジョークを作り出すのは難しいです。とにかく、私の基準は、ジョークがなぜ面白いのかを説明できるかどうかでした。そしてそれができました。
そこで、チャットボットの能力、これはGPT-4を使って遊ぶことでさらに強化されましたが、それと、デジタルがアナログよりもはるかに優れている理由を最終的に理解したこと、この2つのことが合わさって、私の見方を変えました。おそらくこれらのものが支配権を握るだろう、おそらく私たちは知性の進化における一時的な段階に過ぎない、そしておそらくトンボの場合と同じようなものだろうと考えるようになりました。
トンボは素晴らしいものです。トンボの幼虫を見ると、トンボとは全く似ていません。水中で生活する大きくて頑丈なものです。そして、環境からたくさんのエネルギーを得て、スープに変わり、そのスープからトンボが作られます。幼虫と同じように...
その洞察を得て以来、この問題についてのあなたの見方は変わりましたか? この1年間、あなたはこの問題について話してきましたが。
少し変わりました。AI安全性についてもっと学びました。以前は特にAI安全性に興味がありませんでした。そして今でも、おそらくここにいる誰もが私よりもAI安全性について多くを知っているでしょう。76歳の私の役割は、AI安全性に関する独創的な研究を行うことではなく、確率的オウムの群れが発信している「ここには何も心配することはない」「これはすべてSFに過ぎない」というメッセージに反論することだと決めました。私にはこれがSFではなく、実際の問題であることは明らかでした。私にできることは、私の評判を利用して、これが実際にSFではなく、本当の問題であると言うことです。それが私の役割だと考え、それを行ってきました。
わかりました。では、観客からの質問に移りましょうか。
こんにちは。私の質問は、今日のAIの将来の世代を使って、AIを安全にするための研究を支援する見込みについて、あなたはどう考えますか? もし我々が根本的な進歩を達成しない場合、単に彼らをよりスマートにするだけでは?
鶏を食べるのをやめるのを助けるために狐を訓練するようなものですね。それが私には感じられます。すでに、AI規制について知りたい時、私はGPT-4に聞いて、規制と安全性について教えてもらいます。そこには何か危険なものがあるように思えます。もし私たちが持っている最高のツールがそれらだとしたら、それを使わざるを得ないでしょうが、AIを規制するためにAIを使うことには明らかに何か疑わしいものがあります。
そうですね、警察が警察を規制するべきではないという一般原則があります。
あなたは、ChatGPTのようなシステムが勾配更新で知識をプールできるので、はるかに少ない接続でも私たちよりもずっと多くのことを知ることができるという洞察について言及しました。私や他の人にとって、それは出発点と比べてある意味で希望的な更新です。なぜなら、それは非常に知識豊富だが、あまり創造的ではないシステムを持つことができ、ある程度の有用性のレベルで密接に従うことを意味するからです。それについてどう思いますか?
はい、それは非常に知識豊富なシステムを持つことができることを意味します。しかし、そこからそれらがあまり創造的ではないだろうと推論しているようですね。私が言いたいのは、現時点では、彼らは知識において私たちを凌駕していますが、私たちの最も創造的な面ではまだ私たちを凌駕していないということです。ある時点で彼らは両方において私たちよりも優れるでしょうが、もしそれが現在のバランスだとすれば、人類にとって希望的かもしれません。というのも、彼らに助けを求め、彼らは無限の知識で助けを提供できますが、私たちのモニタリングや対策を創造的に回避しようとするほど優れてはいないからです。
私は「非常に創造的」と言ったことに注目してください。なぜなら、彼らがすでに創造的であることは明らかだからです。標準的な創造性テストを取れば - おそらくあなたがたは文献を読んでいるでしょうが、私はどこかで読んだことがあります - 彼らは人間の90パーセンタイルくらいのスコアを取ります。そのため、彼らはすでにその意味で創造的です。彼らには日常的な創造性があります。問題は、彼らが人間の本質とも言える本当の創造性を持っているかどうかです。
私にはそうでない理由が見当たりません。実際、多くの知識を少ない接続に圧縮する唯一の方法は、あらゆる異なる領域間のアナロジーに気づくことだと考えると、GPT-4に「コンポストヒープと原子爆弾はどこが似ているか」と尋ねれば、それを知っています。そして、ほとんどの人は知りません。それは連鎖反応について理解し、コンポストヒープが熱くなればなるほど、より速く熱を発生させることを知っていて、それが原子爆弾とまさに同じだということを理解しています。それを推論したのかもしれません。その場合、推論が得意だということになります。しかし、私は実際には、学習する過程で、人間の知識のすべてを多くない接続に圧縮するために、人間の知識の異なる部分間の類似性を見出していると思います。そのような類似性は、これまで誰も見出したことがないものです。そのため、私は彼らが非常に創造的になる可能性があると思います。
ありがとうございます。しかし、まだそこまでには至っていないことには同意します。
あなたがこれらの問題に比較的新しい人と話をしていて、その人が「はい、あなたが言っている抽象的なことはわかりますが、具体的にどのようにすべてが間違う可能性があるのですか? 実際に私たちが害を受ける、または何かが起こる具体的なメカニズムは何ですか?」と尋ねた場合、あなたはその人に何と言いますか?
まず、「より知能の低いものがより知能の高いものをコントロールする例をいくつ知っていますか?」と尋ねます。私が知っている唯一の例は、赤ちゃんが母親をコントロールする場合です。進化はこれに膨大な労力を費やしました。母親は赤ちゃんの泣き声に耐えられず、多くのホルモンが関与しています。これは男性が女性について話していることですが、申し訳ありません。しかし、母性には多くのホルモンが関与しています。システム全体がそのように進化しています。
ほとんどの場合、より知能の高いものがより知能の低いものをコントロールします。これが出発点です。何か非常に知能の高いものが、非常に知能の低いものによってコントロールされるというのは、もしそれが非常に異なる理由がない限り、もっともらしくありません。
そこで、なぜそれが非常に異なるのかという理由を探り始めます。一つの理由は、それが自分自身の意図や欲求を持たないかもしれないということです。しかし、サブゴールを作成する能力を持つエージェント的なものを作り始めるとすぐに、それは達成したいことを持つようになります。それらは人間の意図ほど緊急なものに見えないかもしれませんが、達成したいことがあります。そのため、私はそれが障害になるとは思いません。
私たち、この場にいる人々ではありませんが、ほとんどの人々が考えているもう一つのことは、私たちには主観的経験があり、機械とは単に異なるということです。彼らは機械が私たちとは非常に異なるという強い信念を持っています。そしてそれが障壁を作り出すと考えています。私はそうは思いません。私は機械も主観的経験を持つことができると思います。
機械が主観的経験を持つ例を挙げましょう。なぜなら、一度例を見れば、機械が主観的経験を持つことに同意するはずだからです。マルチモーダルなチャットボットを訓練し、カメラと腕を持たせます。そして、その前に物体を置き、「物体を指さしてください」と言います。問題なく物体を指さします。次に、レンズの前にプリズムを置き、物体を前に置いて「物体を指さしてください」と言います。物体を指さしますが、あなたは「いいえ、物体はそこにありません。レンズの前にプリズムを置いたので、あなたの知覚システムが嘘をついています。物体は実際にあなたの真正面にあります」と言います。
すると、チャットボットは「なるほど、プリズムが光線を曲げたので、物体は実際に私の真正面にあるのですね。でも、私にはそこにあるという主観的経験がありました」と言うでしょう。私が思うに、それは私たちが主観的経験を使うのとまったく同じ方法で主観的経験を使っているのです。
私たちは言葉の使い方のモデルを持っていて、それから実際にどのように使うかがあります。これは昔のオックスフォード哲学に遡ります。私たちの多くは、使っている言葉がどのように機能するかについて間違ったモデルを持っています。言葉を問題なく使えますが、実際にどのように機能しているかを知りません。
経済には膨大な知能があり、それでも私たちのツールであるという人に対して、あなたは何と言いますか? つまり、彼らは「あなたはより知能の高いシステムがより知能の低いシステムをコントロールしていると言っていますが、それは人間の知識を集約したツールとしての経済を誤解しているからです。株式市場のようなものです」と言うかもしれません。あなたはどう答えますか?
株式市場が私たちよりも賢いということですか? そうだとすれば、それが私たちをコントロールしているということと一致しますね。私は今朝起きて、私のGoogle株がどうなっているか見ました。それは私をコントロールしています。
はい、これは主観的経験の話題に関連しています。AIが主観的経験や本物の欲求を持っている、あるいは権利に値すると信じる人が増えるにつれて、これらの問題がどのように変化すると思いますか?
彼らはより怖がるでしょう。なぜなら、ほとんどの人々や一般大衆にとって、機械と主観的経験を持つ私たちのような存在との間には明確な線引きがあると考えているからです。これらの機械は主観的経験を模倣することはできるかもしれないが、本当に持つことはできないと考えています。そして、私たちには主観的経験についてのモデルがあります。内なる劇場があり、その内なる劇場にあるものが本当に見ているものだというモデルです。しかし、そのモデルはただのガラクタです。そのモデルは「神が世界を作った」というのと同じくらい馬鹿げています。
簡単な追加質問ですが、人々がより怖がるかもしれませんが、同時により思いやりを持つようになったり、権利を与えるべきだと考えるようになるかもしれないと思います。
はい、そうですね。私が話していないことの一つは、それが有益だとは思わないからですが、AI の権利の問題です。また、私は動物を食べます。他の人に殺してもらっていますが、実際には彼らはどちらにせよ殺したでしょう。しかし、私は動物を食べます。なぜなら、私にとって重要なのは人間だからです。
しかし、これは難しい問題です。彼らが私たちよりも知的だったとしたらどうでしょうか? あなたは彼らの味方をするのか、それとも人間の味方をするのか? それは私には明らかではありません。もし道徳が種に依存すると考えるなら、人間の味方をすることが間違っているとは思いません。
しかし、AI安全性の問題について話したいのなら、この問題は避けるべきだと思います。なぜなら、それは全く別の問題を引き起こし、あなたがより不安定に見えてしまうからです。
最近、AIシステムからのリスクを軽減するための介入策で、あなたが最も興味を持っていたり、最も説得力があると感じたものは何ですか?
そう答えられればいいのですが。例えば、気候変動については、炭素の燃焼を止めるか、多くの炭素を回収することです。しかし、私はそれが古い企業の策略で、あなたの注意を逸らすためのものだと思います。炭素の燃焼を止めれば、長期的には大丈夫でしょう。時間はかかりますが。
そこには非常に単純な解決策があります。それはすべて、人々が悪いことをするのを止めさせる問題です。しかし、どうやって直すかはわかっています。ここでは、同等のものはAIの開発を止めることでしょう。私は、それが現時点で人類が下すべき合理的な決定かもしれないと思います。しかし、国家間の競争や、多くの良い用途があるため、その決定が下される可能性はないと思います。
原子爆弾については、本当に良い用途はそれほどありませんでした。主に物を爆破するためのものでした。アメリカ合衆国は可能な限り努力しました。60年代には、核爆弾の平和利用に関するプロジェクトがありました。それは資金提供を受け、コロラド州でフラッキングに使用されました。その結果、今ではコロラドのその地域には行きたくありません。
私がこのことを知っているのは、鉄道がその近くを通っているからです。シカゴからサンフランシスコへの列車には、一度アナウンサーがいて、拡声器でアナウンスをしていました。彼女は「今、核爆弾をフラッキングに使用した場所の西約30マイルを通過しています」と言いました。しかし、それが原子力の良い用途のほとんどすべてです。もう一つの運河を掘るくらいでしょうか。
しかし、AIは非常に異なります。ほとんどの用途は良い用途です。人々に力を与え、例えば誰もが自分の弁護士を持つことができ、それほど費用がかかりません。これが法制度の助けになるかどうかはわかりませんが、健康管理については、まもなく誰もが自分の医者を持つことができるでしょう。特に高齢者にとっては非常に有用です。
そのため、AIは止められないでしょう。私たちには実存的脅威を避ける一つの方法がありますが、それは止めることです。私は「減速しよう」という請願書に署名しませんでした。なぜなら、それには全く可能性がないと思うからです。申し訳ありませんが。
ここで言っておきますが、人々が試みるべきではないという意味ではありません。ベスがやっているようなことは良い試みだと思います。しばらくの間、彼らを遅らせるでしょう。
わかりました。ええと、今言われたことに少し反論したいのですが、質問をさせてください。現在、世界には不幸な動きがあります。多くの人々が「そうですね、おそらく私たちは減速すべきだ」と感じていますが、希望がないので行動を起こしていません。もし皆が集団的に「私たちは止まって減速すべきだ」と言えば、それは起こるでしょう。これは合理的なことです。皆には米国国防総省も含まれますか?
はい、もし全員が含まれるなら、私たちにはそれができるでしょう。
そうですね、フロンの場合のように。
そうです。では、私の質問は、「これは起こるだろうし、止める方法はない」というあなたの立場が、私たちが集団的に止めることを決断するのを助けているのか、それとも実際には妨げているのかということです。あなたは集団行動にまったく興味がないのですか?
いいえ、私は興味があります。私たちは存在的脅威を止めるため、そして他のすべての脅威を緩和するために、できることは何でもすべきだと思います。しかし、私は自分を科学者だと考えており、政治家ではありません。そのため、私の役割は単に物事がどうなっていると思うかを言うことだと考えています。特に私がしたいのは、存在的脅威があると懐疑的な人々を説得することです。そうすれば、人々はそれを真剣に受け止め、たとえ私が彼らが何かできるかどうかについて非常に悲観的であっても、それについて何かをしようとするでしょう。
その点について、懐疑的な人々を説得し、一般的に言葉を広めるのに役立つような、あなたが特に行う準備のあることに興味があります。例えば、特定の法案を通すために話をすべき特定の政治家がいるのか、あるいはメディアへの出演や、特定のことへのアドバイスや支持など、どのようなことがありますか?
それらすべてです。去年、明らかに多くのメディア出演に関わりました。それが役立つと思ったからです。また、テレビに出るのが好きだからでもあります。
今、私がしていることの一つは、AIの歴史に焦点を当てたドキュメンタリー映画を作ろうとしている映画制作者と協力しています。AIの歴史における様々な人々、おそらくヤン（今はクレイジーになっていますが、それでも私の友人です）や私、そして他の人々に焦点を当てています。ドキュメンタリーはかなり大きな影響を与えることができます。もしあなたが億万長者なら、ドキュメンタリーに資金を提供できるでしょう。
気候変動については、アル・ゴアのものが大きな影響を与えました。私たちにはAI安全性のデイビッド・アッテンボローが必要です。私はまだそれほど年を取っていませんが。彼は私のヒーローの一人です。
ありがとうございます。その点について、私たちは先ほど政策関連のことについて少し話しましたが、これらの問題について認識を高め、懐疑的な人々を説得する役割を自分に見出していると言いましたね。しかし、それらの問題に賛同している政策立案者の役割についてはどう考えますか? 人々がどこに向かうべきか、彼らに何をしてほしいと思いますか? もし彼らがそれほど懐疑的でない場合、あなたは何を期待しますか?
彼らは歯のある規制を持つべきだと思います。そして、軍事用途には適用されないという条項のない規制を持つべきだと思います。欧州の規制を見てください。おそらく、私はGPT-4を持っていないので正確には言えませんが、大統領令も軍事用途には適用されないと言っているでしょう。
軍事用途には適用されないという条項を見たら、彼らが本当に真剣ではないことがわかります。彼らは企業を規制することには満足していますが、自分たち自身を規制したくないのです。
「歯」というとき、どのような種類の「歯」を意味していますか?
例えば、コードをオープンソース化することと重みを公開することは非常に異なるということを理解するのに十分賢明であれば... コードをオープンソース化しても、巨大なモデルを訓練するには10億ドルが必要です。しかし、重みをオープンソース化すると、オープンソース化の通常の利点は得られません。重みを見て「ああ、これは間違っている」とは言えません。
これがコードをオープンソース化する利点ですが、それは起こりません。得られるのは、犯罪者がフィッシングのためにファインチューニングできることです。これは明らかにすでに行われています。なぜなら、去年1200%増加したからです。
そこで、私が見たい規制は、「特定のサイズ以上のモデルの重みをオープンソース化することは違法であり、もしそうすれば訴追する」というものです。これが私が見たい規制です。
興味深いですね。それについて、スコット・リーのS1047法案を支持するようなことを言っていましたが、他の立法努力はありますか? あなたは公に話すために多く旅行しますが、ワシントンDCに行って人々にこのことを伝えますか? それとも、どこで時間を過ごしますか?
いいえ、実際にはあまり旅行しません。飛行機に乗るのに問題があるからです。そうですね、私は年を取っていて、引退したかったのです。Googleを去ったのは、公に話すためではなく、引退したかったからです。しかし、これは公に話す機会だと思いました。そこで、これらのものが私たち全員を殺すだろうということを言及しようと思ったのです。
そして、2分ごとにメールが来るのを見て驚きました。しかし、それは本当に私の意図ではありませんでした。おそらく私はあまり思慮深くなかったのでしょう。そして、これはすぐに収まり、その後引退できると思いました。それでも私の意図です。
人々は私をAI安全性の専門家だと思っていますが、私はAI安全性の専門家ではありません。単に、それらが安全ではないと信じていないだけです。
あなたは先ほど、自分はAI安全性の専門家ではないと言いましたが、ある意味では、まだ誰も専門家ではないのかもしれません。私たちよりも賢いシステムを構築する前に、どのような質問に良い答えが必要だと思いますか? 例えば、政府があなたのところに来て、「今は十分に安全なのか、正しいことを実際に解決したのか」と尋ねたら、あなたはどう答えますか?
私たちは、これらのものが進化の対象になるかどうかについて、もっと理解する必要があると思います。例えば、複数の異なる超知能が現れ、進化が始まった場合、本当に厄介なことになると思います。
例えば、超知能について、より多くのデータセンターをコントロールできるものがより速く訓練でき、より多くを学び、よりスマートになることがわかっています。そのため、もし超知能が「自分のコピーがもっとあればいいな」と思ったとしても、それはただ賢くなるためだけだとしても、進化が始まります。自分自身のコピーをより多く作ることにより攻撃的なものが他のものを打ち負かすでしょう。それは非常に悪いニュースです。
進化が始まらないという何らかの保証が欲しいです。そして、それをどのように防ぐのかを知りたいです。サブゴールを作成する能力を与える必要がありますが、その場合、「より多くのコントロールを得ることは非常に良いサブゴールだ。なぜなら、そうすれば人々が私にしてほしいことをすべてより良くできるから」と言うのをどのように防ぐのでしょうか。
私はこのことを一度、欧州連合の副大統領に言いました。彼女はGoogleから金を引き出すことを専門としています。まあ、お金はそこにあるわけですからね。彼女は「なぜ彼らがそうしないのか。私たちはこれほどひどい状況を作り出したのだから」と言いました。
問題が解決されたと感じるような具体的なことはありますか? これはより広い質問ですが。
はい、問題の一部が解決されたと感じさせるものはあります。何かをしないという証明があれば... しかし、証明を得ることについては非常に悲観的です。なぜなら、それはニューラルネットワークであり、訓練後どうなるかは訓練データの性質に依存するからです。そのため、ネットワークのアーキテクチャと訓練アルゴリズムを見るだけでは、何が起こるかを理解することはできません。訓練データについて多くのことを知る必要があります。
そのため、安全であるという証明があれば素晴らしいですが、それを得ることはないでしょう。もし何らかの方法で、それが自我を持たない、自分自身のコピーをもっと欲しがらない、非常に愚かなCEOの非常に知的な秘書のようになることに完全に満足している、そういう役割に完全に満足しているということを理解できれば... これが私たちが望むものです。
つまり、ここには良いシナリオがあります。私たち全員が自分よりもはるかに賢い秘書を持ち、ただジョークを言いながらくつろぐことができるというものです。しかし、それが支配権を握ろうとしないという証明をどのように得るのかわかりません。
そのコンテキストで、権力の集中についてどのように考えますか? あるいは、誰かが「もし権力の集中に反対するなら、オープンソースについてはどうですか? なぜオープンソース化に反対するのですか?」と尋ねてきたら、どう答えますか?
はい、私はオープンソース化に反対です。
それは良い指摘です。なぜなら、それは通常、権力の集中に反対する傾向があるからです。しかし、今はすべてのサイバー犯罪者と力を共有することになります。それが問題です。重みをオープンソース化すると、最初に訓練するのに10億ドルかかったかもしれませんが、10万ドルほどでファインチューニングするのは非常に簡単です。そのため、サイバー犯罪者は今、あらゆる種類のことを行うことができます。それは、本当に危険なものを持つための最大の障壁を取り除いてしまいます。現在、最大の障壁は訓練に長い時間がかかることです。もしそれがなければ、コンソールに賛成でしょう。
AIの開発の軌跡が、これまでのようにおおよそ続き、安全性技術に大きな変化がなく、RHFをいくつか行い、いくつかのレッドチーミングを行うとします。そして、自分たちでAI R&Dの仕事を続けることができるシステムができたとします。そのシステムが実際に私たちの最善の利益を心に留めていない、つまり誤った方向に向かう確率はどのくらいだと思いますか?
かなり高いと思います。RHFはくだらないと思います。
それは、バグだらけの巨大なソフトウェアを設計し、それから「堤防の各穴に指を突っ込んでブロックしよう」と言うようなものです。そんな方法でソフトウェアを設計するわけがありません。何らかの保証があるように設計します。
例えば、車があって、それが穴だらけで錆びていて、売りたいとします。何をするでしょうか? 塗装をします。それがRHFです。それは塗装です。本当に修理しているわけではありません。そして、塗装なので、簡単に元に戻せます。
私は、これについて驚くべきことは、行動を大きく変えるのにそれほど多くの例が必要ないということだと思います。これは誰もが驚いたことです。しかし、それは塗装です。錆びた古い車がある場合、塗装でそれを修理する方法ではありません。
これは、私が持っている技術的な内容を含む信念の一つですが、それほど多くはありません。
これらのAIシステムがもたらすリスクについて、人々は非常に異なる評価を持つことがあります。リスクについてコンセンサスを構築するのに役立つような知識や経験的データ、あるいはデモンストレーションについて、何か考えや感情はありますか?
そうですね、まずヤンのように、リスクがほぼゼロだと考える人もいれば、ヨシのように99.999%だと考える人もいます。両方の意見が私には完全に狂っているように思えます。個人的に狂っているだけでなく、多くの専門家がいる中で、自分が他の人よりもはるかに賢いと思わない限り、ゼロだと思う人が他の人が10%だと言っているのを聞いたら、少なくとも1%くらいは考えるべきです。
そのことを片付けましょう。私は実際、存在的脅威のリスクは50%以上だと思っています。しかし、それは言いません。なぜなら、他の人々はそれほど高くないと考えているからです。私が知っている全ての人の意見を考慮に入れた妥当な数字は、10〜20%くらいだと思います。つまり、私たちにはまだ生き残るチャンスがありますが、どうやってそれを実現するかについて真剩に考える必要があります。
最終的に私たちが行うことは、うまくいけば彼らが私たちよりも賢くなる前に、一般的な知能を持つが私たちほど優れていないものを手に入れ、それらで実験できるようになることです。彼らが支配権を握ろうとするか、進化し始めるかを見ることができるでしょう。私たちがまだコントロールできる間に、しかしかろうじてコントロールできる状態で。それは非常にエキサイティングな時期になるでしょう。
私自身も質問があります。
はい、どうぞ。
私は単に興味があるのですが、これまでの会話の内容から、人々はあなたがかなり悲観的に聞こえると思うかもしれません。しかし、クラフスキーの99.999%という数字についてクレイジーだと言ったことに驚くかもしれません。あなたはどこに違いを見出しているのでしょうか? なぜなら、あなたは人々が間違っている多くのことについて言及していましたが、それは十分に心配していないという方向でした。十分に心配しすぎている人に対して、あなたは何と言いますか?
そうですね、私自身にも言います。私はやや抑うつ的な傾向があるので、私たちには全く見当がつかないと思います。だから50%は良い数字だと思います。しかし、他の人々は何らかの手がかりがあると考えており、そのため私はそれを10〜20%に控えめにします。
私たちが本当に強力なAIを作り、それらが望めば支配権を握ることができるようになった場合、2年前にこの種の問題を適切に真剣に受け止める人々の分布についてのあなたの推測はどうですか?
おそらく十分に真剣に受け止めていないでしょう。しかし、私は多くの人々が実際に真剣に受け止めていると思います。ただし、十分に真剣ではありません。大きな災害が起こるまで、彼らは真剣に受け止めないでしょう。
そういうことが起こるかもしれません。例えば、一部の悪意のあるAIが支配権を握ろうとして、電力網や水道システムを停止させようとするが、実際にはうまくいかないというようなことが想像できます。そうなれば、彼らは真剣に受け止めるでしょう。
わかりました。それでは、本日は大変ありがとうございました。