ジェフリー・ヒントン（リモート）とニコラス・トンプソン（会場）による基調インタビュー

19,363 文字

ニコラス: またここに戻ってこられて嬉しいわ。そして、この分野で最も賢く、素晴らしく、有能で、優しい人の一人であるジェフ・ヒントンとステージを共有できるのが嬉しいわ。ジェフリー・ヒントン、お元気ですか?
ジェフ: ええ、元気です。過剰な紹介をありがとう。
ニコラス: さて、ジェフ、ちょうど1年前に私たちが交わした会話から始めたいんやけど。私たちはトロントにおって、ステージに上がろうとしてたんや。私の子供たち、当時14歳と12歳やったんやけど、2人も一緒やった。あんたは年上の子を見て、「お父さんみたいにメディアの仕事に就くんか?」って聞いたんや。そしたらその子は「いいえ」って答えて。あんたは「それはええことやな」って言うたんや。そこで私が「じゃあ、メディアの仕事に就かないんやったら、何をしたらええんや?」って聞いたら、あんたは「配管工になったらええ」って言うたんや。で、その息子が今、学校新聞に応募したんやけど、これは大きな間違いをしてるんやろか? 実際に階下に行って水道を直させるべきなんやろか?
ジェフ: いや、ちょっと冗談交じりに言うたんやけどな。でも、配管工の仕事は他の職業よりも長く続くと思うとるんや。現在のAIが最も不得意なのは物理的な操作やからな。急速に改善されとるけど、人間と比べたらそこが一番弱いんや。
ニコラス: なるほど。じゃあ、このインタビューでやりたいのは、まずヒントン博士の経歴について少し話して、それから技術的に最も興味深い質問をいくつか聞きたいんや。ステージで話したことも含めてな。そのあと、AIの良い面について少し話して、次に悪い面について少し話して、最後に規制の枠組みについて話したいと思うんやけど、ええか、ジェフ?
ジェフ: ええよ。
ニコラス: よっしゃ。まず40年前から始めたいんや。あんたが孤独な科学者やった頃、この分野で最も重要な洞察の一つ、もしかしたら20世紀後半で最も重要な洞察かもしれんものを得たんや。極めて強力なコンピューターを作るには、人間の脳の構造をモデルにすべきやと気づいたんや。今では当たり前のように聞こえるかもしれんけど、当時はそうじゃなかった。この分野を本当に動かすことになったその洞察の瞬間について教えてくれへんか?
ジェフ: うーん、これは良い神話やけど、実際には複数の人がそう考えとったんや。特に1950年代には、フォン・ノイマンもチューリングもそう考えとった。残念ながら二人とも若くして亡くなってしもうたんや。もし生きとったら、我々の分野の歴史は全然違うものになってたかもしれんな。でも、私にとっては単に明らかやったんや。知能を理解しようと思うたら、我々が知っとる最も知的なもの、つまり我々自身を理解せなあかんのやと。我々の知能は、人々がたくさんの命題をプログラムして、それを論理で推論するようなもんとは違う。それは主に視覚や運動制御などのために設計された脳から生まれるもんなんや。そして、明らかにその脳の中の結合強度が学習によって変化するんや。我々はただ、それがどのように起こるかを解明せなあかんかったんや。
ニコラス: なるほど、理にかなっとるな。あんたは歴史にも精通しとるんやな。じゃあ、手短に話を進めよう。あんたがこの研究を続けとる間、人々はあんたが間違った道を進んどると言うた。でも、あんたは続けた。やがて他の人々も加わって、最終的にええ道を進んどるってことが明らかになってきた。どこに行き着くかはまだ分からんかったけどな。あんたはチューリング賞を受賞して、Googleに入社して、会社をGoogleに売却した。そして約1年半前、あんたはGoogleを去った。ChatGPTのリリースから数ヶ月後やな。最後に取り組んだ仕事と、その退社の瞬間について教えてくれへんか?
ジェフ: まず、はっきりさせとかなあかんのは、私が退社した理由はいくつかあるってことや。一つは75歳になって、もう引退すべきやと思うたからや。ただAIの危険性について話すためだけに辞めたわけやないんや。
ニコラス: 75歳とは思えんくらい若々しいな。
ジェフ: ありがとう。AIの存在論的脅威に対する危機感が強くなったのは2023年の初めごろで、3月頃には顕著になってた。それで、ロジャー・グロスみたいな存在論的脅威を恐れとる他の人たちと話し始めたんや。彼らが公に発言するよう勧めてくれて、自由に話せるようにGoogleを辞める決断をしたんや。
怖くなった理由は、アナログコンピューターを使って、メガワットではなく30ワットで大規模言語モデルを動かす方法を考えとった時やった。その過程で、デジタル計算には脳にはない何かがあるって確信するようになったんや。それまでの50年間、脳に似せればもっと良くなるはずやと思っとったけど、2023年の初めに、脳には絶対に持てないものがあるってようやく気づいたんや。
デジタルやから、同じモデルの複数のコピーを作って、全く同じように動作させることができる。各コピーがデータセットの異なる部分を見て、勾配を得て、それらの勾配を組み合わせることができるんや。これによって、はるかに多くのことを学習できる。だから、GPT-4は人間よりもはるかに多くのことを知っとるんや。複数の異なるコピーが複数の異なるハードウェアで動作して、インターネット全体を見たからや。
これは我々には絶対に持てないものや。基本的に、彼らが持っとって我々が持っとらんのは、非常に効率的に共有できるってことや。我々は非常に非効率的にしか共有できん。今まさにそれが起こっとるんや。私が文を作り出して、あんたはそれを理解しようとして、自分の脳のシナプスをどう変えるかを考えとる。これは非常に遅くて非効率的な共有方法や。デジタル知能は、同じモデルの異なるコピーやったら、数兆ビットのバンド幅で共有できるんや。
ニコラス: そうか、これらのシステムが突然、あんたが思っとったよりもはるかに強力になり得るって気づいた瞬間やったんやな。これは大きな興奮を覚えた瞬間やったに違いないけど、なぜ大きな恐怖が支配的やったんや?
ジェフ: うーん、これらのシステムが私が思っとったよりも早く人間よりも知的になるって考えさせられたんや。そして、単により良い形態の知能やと思わせられたんや。
ニコラス: AIの他の創始者たちについて聞きたいんやけど。あんたはヤン・ルカンとヨシュア・ベンジオと一緒にチューリング賞を受賞したよな。今、ヤンはMetaのAIを率いとるし、ヨシュアも活躍しとる。あんたたちの違いを理解しようとしとるんやけど、これでええかどうか教えてくれへんか。あんたたち全員が創始者や。ヤンはAIをフレド・コルレオーネみたいに考えとる。あんまり有能やないし、制御しやすいって。ヨシュアはソニーみたいに考えとる。かなり危険な可能性がある。そしてあんたはマイケル、マイケル・コルレオーネみたいに考えとる。非常に危険な可能性があるって。これであってるか?
ジェフ: そうは思わんな。私とヨシュアは危険性についてかなり似た見方をしとると思うで。
ニコラス: ヤンとの違いは、本質的にあんたがこれをはるかに強力なシステムとして見とって、彼よりも懸念しとるってことか?
ジェフ: そうや、それが主な違いの一つやな。私はもう既に知的やと思っとるけど、ヤンは猫の方がまだ知的やと思っとるんや。
ニコラス: じゃあ、その知能について掘り下げてみよう。これは最も興味深い質問の一つやと思うんやけど、人間の心の中に、これらの機械やAIシステムで複製できないものがあると思うか? 我々の脳にできて、知的な機械にはできないことがあると思うか?
ジェフ: いいえ、ないと思います。
ニコラス: ということは、我々にできることで、これらの知的な機械が最終的に凌駕できないものはないってことか? 例えば、彼らはいずれより美しい音楽を生み出せるようになるとか、単純な認知を伴う我々のすべての行為を我々よりも上手にできるようになるってことか?
ジェフ: はい、そう信じとります。
ニコラス: 精神的なものとか、それ以外のもので、ニューラルネットワークのセットで捉えられないものはないと思うんか?
ジェフ: 私たちが精神的と呼んでいるものは、これらの異質な知能によって捉えられると思います。サム・アルトマンに同意して、これは異質な知能やと思うんです。私たちとは少し違うんです。でも、例えば宗教みたいなものを見てみると、宗教的なものが出てこない理由はないと思うんです。
ニコラス: 昨日、アルトマンにこの質問をしたときに、彼は一つの違いがあるかもしれないって言うたんや。それは主観的な経験や。ボットやシステムは世界を経験できないって。あんたはAIシステムが主観的な経験を持てると信じとるんか?
ジェフ: はい、そう思います。
ニコラス: もう少し詳しく説明してくれへんか? これはかなり物議を醸す主張やで、ジェフ。一文で済ませるわけにはいかんやろ?
ジェフ: はい、分かりました。簡潔な回答を心がけとったんですけどね。
ニコラス: アルトマンと違って、あんたは説明してくれるんやな。素晴らしい。[拍手]
ジェフ: はい。私の見方では、ほとんどの人が心についてまったく間違ったモデルを持っとるんです。これは売り込むのが難しい考えです。今、私はほとんどの人がしっかりと信じとることと相容れない信念を持っとる立場にあるんです。私はいつもそういう立場にあるのが好きなんですけどね。
ほとんどの人は心を一種の内部劇場のように見とるんです。実際、人々はこの見方が正しいことをとても確信しとるので、それが見方やとか、モデルやとすら思っとらんのです。単に明らかやと思っとるんです。ちょうど人々が太陽が地球の周りを回っとるのは明らかやと思っとったのと同じです。
最終的に人々は、太陽が地球の周りを回っとるんじゃなくて、地球が自転しとるってことに気づいたんです。これはサムが犯した小さな技術的な誤りで、私は几帳面なので指摘しとかんとあかんのですが、最初は太陽が地球の周りを回っとると思っとって、それから地球が太陽の周りを回っとると気づいたっていうのは正しい対比じゃないんです。最初は太陽が地球の周りを回っとると思っとって、それから地球が自転しとるって気づいたんです。地球が太陽の周りを回っとるってのは年に関係することで、日に関係することじゃないんです。
でも、とにかく太陽が地球の周りを回っとるのは明らかやと思われとって、それが間違いやったんです。我々はモデルを持っとった。それは単純なモデルで、明らかに正しいと思われとった。ただ見れば分かるってもんやった。でも、そのモデルは間違っとったんです。
私は、ほとんどの人が心について考えとることについても同じことが言えると思うんです。ほとんどの人は内部劇場を想定しとるんですが、それは間違いなんです。彼らは心の状態の言語がどのように機能するかを理解してないんです。
ニコラス: でも、それがAIシステムにどう当てはまるか説明してくれへんか? 例えば、GPT-4に「あんたは今、大きな音を経験して、何かがあんたに衝突したんや。痛みや怪我は感じてないけど、耳が鳴っとる」って言うたとして、どういう意味で主観的な経験をしたことになるんや?
ジェフ: じゃあ、もっと単純な例を挙げましょうか。私は完全に意識の正体を解明したとは言いませんが、少しは進歩したと思います。実際、その進歩は前世紀の哲学者たちによってなされたものですがね。
例えば、私があなたに「目の前に小さなピンクの象が浮かんで見える」と言ったとします。一つの考え方は、内部劇場があって、その中に小さなピンクの象がいて、私はそれを直接見ることができるというものです。それらの象が何でできているかと聞かれたら、クオリアと呼ばれるものでできていると答えるかもしれません。ピンクのクオリアと象のクオリア、上向きのクオリアと動くクオリアが何らかの形で結合しているというわけです。これが一つの理論で、内部劇場に奇妙な物質があるという考え方です。
全く異なる理論は、私の知覚システムが私に伝えようとしていることを、私があなたに伝えようとしているというものです。私の知覚システムは、空中に小さなピンクの象が浮かんでいると伝えていて、私はそれが間違いだと分かっています。だから、私の知覚システムが私に伝えていることを、あなたに伝える方法として、私の知覚システムが正しく機能するためには何が真実でなければならないかを言うのです。
つまり、「目の前に小さなピンクの象が浮かんで見える主観的な経験をしている」と言うとき、「主観的経験」という言葉を使わずに全く同じことを言えるんです。「私の知覚システムが正しいとすれば、世界には目の前に小さなピンクの象が浮かんでいるはずだ」と言えるんです。つまり、これらの小さなピンクの象の奇妙な点は、クオリアと呼ばれる奇妙な物質でできた内部劇場にあるということではなく、それらが世界の仮説的な状態だということなんです。これは一種の間接的な参照トリックです。私は自分の知覚システムが伝えていることを直接描写することはできませんが、それが正しいとすればどういう世界でなければならないかを言うことはできるんです。
ニコラス: そうか、機械も多かれ少なかれ同じことを知覚でできるってことか?
ジェフ: はい、例を挙げましょう。明らかに主観的な経験をしているチャットボットの例を示したいと思います。マルチモーダルなチャットボットがあって、カメラとロボットアームがついているとします。それを訓練して、物を見たり話したりできるようになります。その前に物を置いて「その物を指さして」と言うと、ちゃんと指さします。
次に、チャットボットに知らせずにレンズの前にプリズムを置きます。そして物を置いて「その物を指さして」と言うと、横を指します。「違う、物はそこじゃない。真正面にあるんだ。でも、レンズの前にプリズムを置いたんだ」と言います。すると、チャットボットは「なるほど。プリズムが光線を曲げたんですね。物は実際には真正面にあるけど、私には横にあるように主観的に経験されたんです」と言うかもしれません。
もしチャットボットがそう言ったら、「主観的経験」というフレーズを我々が使うのと全く同じ方法で使っていると思います。チャットボットが持てないような奇妙な内的なものを指しているわけじゃなくて、チャットボットの知覚が正しかったとすれば存在したはずの世界の仮説的な状態を指しているんです。
ニコラス: わぉ。これについて私に議論してくれた最初の人やな。でも、それは非常に興味深い主張やわ。
解釈可能性について話そう。これは昨日アルトマンに聞いたことやけど、彼にとってAIシステムの内部を理解することが、破滅的な結果から我々を最も守るものになるんやと。あんたはこれらのシステムの設計を手伝ってきた。なぜそれらの内部を覗いて、何をしているのか理解するのがそんなに難しいんや?
ジェフ: 極端な例を挙げましょう。大きなデータセットがあって、yes/noの質問に答えようとしているとします。このデータセットには多くの弱い規則性があります。おそらく30万の弱い規則性が答えは「no」であるべきだと示唆していて、60万の弱い規則性が答えは「yes」であるべきだと示唆しています。そして、これらの規則性はほぼ同じ強さだとします。
答えは非常に明確に「yes」です。圧倒的な証拠が「yes」であるべきだと示していますが、この証拠はすべてこれらの弱い規則性の中にあります。それらすべての組み合わせた効果の中にあるんです。これはもちろん極端な例ですが。
そして、誰かに「なぜyesと言ったのか説明してください」と頼むと、yesと言った理由を説明する唯一の方法は、これら60万の弱い規則性に踏み込むことです。
つまり、たくさんの弱い規則性があって、それらが非常に多いために実際に重要になる、つまり組み合わせた効果が重要になるような領域にいる場合、物事の単純な説明が得られるはずだと期待する理由はないんです。
ニコラス: 昨日の会話で、アルトマンはAnthropicの論文を指摘しました。私はそれが非常に興味深いと思ったんです。その論文は、Anthropicのモデルであるクロードの内部動作を分析して、ゴールデンゲートブリッジの概念に関するすべての接続、つまり一種のニューラル接続を見つけ出すというものでした。それらの接続の重みを全部足し合わせて、ゴールデンゲート・クロードを作るんです。そしてそのチャットボットに行って「ラブストーリーを話して」と言うと、ゴールデンゲートブリッジで起こるラブストーリーを話すんです。それが何なのか聞くと、ゴールデンゲートブリッジについて説明します。
そういうことができるのなら、なぜ大規模言語モデルに入って、ゴールデンゲートブリッジではなく、例えば共感の概念や思いやりの概念の重みを調整して、世界のためにもっと良いことをする可能性が高い大規模言語モデルを作ることができないんでしょうか?
ジェフ: 共感的なモデルを作ることはできると思いますが、直接重みを調整することではなく、共感を示すデータで訓練することでそれが実現できます。同じ結果が得られると思います。
ニコラス: そうすべきだと思いますか?
ジェフ: 過去にも、個々のニューロンが何をしているのかを理解しようとする試みはたくさんありました。私も50年くらいそれをやってきました。ニューロンが入力に直接つながっているか、出力に直接つながっている場合は、個々のニューロンが何をしているのかを理解するチャンスがあります。
しかし、複数の層がある場合、システムの奥深くにあるニューロンが実際に何をしているのかを理解するのは非常に難しいんです。なぜなら、その限界効果が重要で、その限界効果は他のニューロンが何をしているかによって大きく異なるからです。入力に依存して。つまり、入力が変わると、これらすべてのニューロンの限界効果が変わるんです。だから、それらが何をしているのかについて良い理論を得るのは極めて難しいんです。
ニコラス: つまり、舞台裏で構築してきたニューラルネットワークを取り出して、思いやりの重みを調整しようとしても、実際には何をしたのか、すべてがどうつながっているのかわからないので、ひどい動物殺しの機械を作り出してしまう可能性があるということですね。
ジェフ: ええ、私は実際にこれを試みた数少ない人間の一人かもしれません。ニューラルネットワークの極初期、学習アルゴリズムがうまく機能していなかった頃、私はリスプマシンを持っていました。マウスには3つのボタンがありました。小さなニューラルネットワークのすべての重みを表示する方法を考え出しました。
左ボタンを押すと重みが少し小さくなり、右ボタンを押すと少し大きくなるようにしました。真ん中のボタンを押すと、重みの値を見ることができました。重みの値が表示されるんです。ニューラルネットの重みを調整しようとしてみましたが、これは本当に難しいんです。バックプロパゲーションの方がずっと優れています。
ニコラス: ジェフリー・ヒントンよりもさらに賢い次世代のAIが、これを解決する方法を見つけ出すまで待たなければならないですね。
AIの良い面について少し話しましょう。あなたはよく医療分野にもたらされる利益について話していますね。SDGs（持続可能な開発目標）を見ると、良好な健康と医療はAIが多くの利益をもたらす分野だと感じているようですが、それは正しいでしょうか? そしてなぜそう思うのか教えてください。
ジェフ: ええ、ちょっと困ってしまいましたね。単に明らかだからです。医療画像の解釈が大幅に向上するでしょう。2016年に、2021年までには臨床医よりもずっと優れた医療画像の解釈ができるようになると言いました。でも間違っていました。あと5年から10年かかるでしょう。部分的には医療が新しいものを取り入れるのに時間がかかるからですが、短期的な進歩の速度を過大評価していたこともあります。
そう、これは間違った予測でした。でも明らかに今は良くなってきています。多くの種類の医療画像で、かなり優秀な医療専門家と同等になってきています。すべてではありませんが、多くの種類でそうなっています。そして常に改善し続けています。臨床医よりもはるかに多くのデータを見ることができるので、最終的にはより優れたものになることは明らかです。ただ、私が思っていたよりも少し時間がかかるだけです。
また、患者に関する大量のデータを組み合わせることにも非常に優れています。ゲノムに関するデータ、すべての医療検査の結果を組み合わせるなど。私の家庭医が1億人の患者を診て、その全員のことを覚えているか、全員の情報を取り込んでいたらいいのにと本当に思います。そうすれば、私が奇妙な症状で行ったときに、医師はすぐに何なのか分かるでしょう。なぜなら、1億人の中で非常に似た500人の患者をすでに見ているからです。
これは来るでしょう。そしてそれは驚くべきことになるでしょう。
ニコラス: では、医療の利益の未来は、a)より多くの患者を診た経験を持つ医師、b)画像分析のような特定のタスク、そしてあなたの古い同僚たちがAlphaFold 3で取り組んでいるような科学的ブレークスルーについてはどうでしょうか?
ジェフ: もちろん、そういった科学的ブレークスルーもたくさん出てくるでしょうな。細胞内で何が起こっとるかを理解するのに素晴らしい助けになるし、新しい薬の設計にも明らかに役立つんや。デミスも今はそれを強く信じとるみたいやな。
でも、基礎科学の理解を助けるってのも大きいんや。多くの場合、我々が進化の過程で扱うように発展してきたんとは違う種類の大量のデータがあるんや。視覚データでも音響データでもなくて、ゲノムなんかのデータやな。これらのAIシステムは、大量のデータを扱って、そこにパターンを見出すのに、はるかに優れとると思うんや。それを理解するのにな。
ニコラス: それで、AIの分野に対する私の主な批判の一つに繋がるんやけど、あんたもそう思うかどうか聞きたいんや。なんで多くの研究者や、あんたの元学生たち、この分野のパイオニアたちの多くが、人間そっくりで区別がつかないマシンを作ることに懸命になっとるのか、その理由は分かるんや。
でも、AlphaFold 3みたいな非常に特殊なものを作ろうとしたり、AIをどう使ってがん研究を進めるかを考えとる人たちもおるわな。AGI（汎用人工知能）の方に重点と焦点が置かれすぎてて、特定の科学的利益の方には十分に置かれてないって私が感じとるのは間違っとるんやろか?
ジェフ: あんたの言うとることは正しいかもしれんな。長い間、AGIっていうのは、突然これらのものが我々より賢くなる瞬間があるわけやないって思っとったんや。異なることに対して異なるタイミングで我々より優れるようになるんや。
例えばチェスや囲碁をプレイするなら、明らかに人間がAlpha Goやアルファゼロみたいなものほど上手くなることは絶対にないんや。それらは我々をはるかに凌駕しとる。我々はそれらがゲームをプレイする方法から多くを学べるし、人々はそれを学んでもいる。でも、それらは我々よりはるかに先を行っとるんや。
おそらくコーディングでも、もう私よりはるかに優れとるんやろうな。私はあんまり優秀なコーダーやないからな。だから、突然すべてのことで我々より優れるようになるって考えは馬鹿げとると思うんや。異なることに対して異なるタイミングで優れるようになるんや。そして物理的な操作は、私が信じとるところでは、後の方になる分野の一つやな。
ニコラス: あんたの元学生たちがプロジェクトのアイデアを求めてきたら、「もっと基礎的な科学研究をやれ、もっと発見を追求しろ」って言うて、人間らしい知能を追求し続けるんじゃなくて、そっちの方向を指し示すことが多いんか?
ジェフ: 私の元学生たちは今やもう年を取りすぎて、もう私に尋ねてこんのやけどな。
ニコラス: 彼の元学生たちは基本的に世界中のすべてのAI企業を運営しとるんや。だから、それはその質問に巧妙にアプローチする方法やったんやけど、まあそれはそれでええわ。
AIの良い面に戻ろう。SDGsを見て、この部屋にいる人々の野心を見て、特にこれらのシステムが地球上のすべての言語に堪能になるにつれて、AIが教育を変革して公平性を助けると感じとるか?
ジェフ: そうやな。ちょっとした話をさせてもらおうか。私が学校に通っとった頃、父は私にドイツ語を学ぶよう主張したんや。科学の言語になるって思っとったからな。たぶん化学では、前世紀の中頃か初めの頃に、ドイツ語が科学の言語やったんやと思うんやけど。
私はドイツ語があんまり得意やなくて、あんまりうまくできんかったんや。それで両親が個人教師をつけてくれて、すぐにドイツ語のクラスでトップになったんや。個人教師は、教師が一方的に話すクラスで座って聞いとるよりもずっと効率的なんや。なぜなら個人教師は、あんたが何を誤解しとるかを正確に見抜いて、それを正しく理解するのに必要なちょっとした情報を与えてくれるからな。
だから、みんなが個人教師を持つようになると思うんや。今まで個人教師は金持ちか、野心的な中流階級のものやったんや。その意味で、大きく助けになるんや。カーン・アカデミーもそう信じとると思うで。
ニコラス: それは大きな変化やな。みんながこの信じられんほど有能な個人教師を持つことになるんやから。彼らは人々の言語を話せるし、その日が来ることを神に祈っとるけど、それは近いうちに実現するやろう。ここでも大きな話題になっとるしな。そういう意味で、世界がより平等になっていくって見とるんか?
ジェフ: うん、教育の機会という意味では、より平等になると思うな。エリート大学はこれを好まんやろうけど、より平等になると思うで。
ニコラス: そうやな。我々はここで人類の未来に興味があるんであって、エリート大学のためのAIを議論しとるわけやないからな。これは良いことやと考えてええんやな。
でも、あんたの答えにはちょっと間があったな。それは、AIが全体的に平等のための力にはならず、むしろ不平等を生み出す力になるかもしれんって感じとるからか? そう読み取ったのは間違いか?
ジェフ: まあ、我々は資本主義システムの中で生きとるんやからな。資本主義システムは我々に多くのものをもたらしてくれたけど、資本主義システムについて分かっとることもあるんや。大手石油会社や大手タバコ会社、アスベストなんかを見てみると、資本主義システムでは人々は利益を追求しようとするんや。だから、利益を追求する過程で環境を台無しにしたりせんように、強力な規制が必要なんや。
明らかにAIにもそれが必要やけど、十分な速さで実現されてないんや。昨日のサム・アルトマンの発言を見ても、安全性にとても懸念を持っとるように見せかけとったけど、今や我々はその実験の結果を見とるんや。安全性と利益を競わせる実験やな。
その実験はあんまり良い条件下でやられたわけやないんやけどな。OpenAIのすべての従業員が、紙幣を本物のお金に変えられるようになる直前やったんや。大きな資金調達ラウンドが来ようとしとって、自分たちの株を売ることが許されるところやったからな。理想的な状況下での実験やなかったんやけど、利益と安全性のどちらが勝ったかは明らかやな。
今や明らかなのは、OpenAIが新しい安全性グループを持っとるってことや。少なくとも一人の経済学者を雇っとる。私は経済学者を資本主義の最高神官みたいに考えとるんやけどな。イリヤや彼と一緒に働いとる人たちほどには、存在論的脅威を心配せんようになると思うんや。
また、問題は資本主義が利益を追求することやと思うんや。私は利益を追求すること自体に完全に反対してるわけやないんや。それは我々に素晴らしいものをもたらしてくれたんやからな。でも、悪いことも引き起こさんように規制する必要があるんや。
AIは多くの富を生み出すことになるやろう。ほとんどの人にとって、AIが生産性を向上させることは明らかやと思うんや。問題は、その追加の富がどこに行くかってことや。私は貧しい人々のところには行かんと思う。金持ちのところに行くと思うんや。だから、富裕層と貧困層の格差を広げることになると信じとるんや。
ニコラス: 希望は持っとらんのか? AIの力、おそらく大規模言語モデルを訓練するのに必要なリソースのせいで少数の企業になるやろうってことを考えると、AIは資本主義や平等と相容れんもののように聞こえるな。我々が今話したような教育の公平性、誰もが極めて強力な機械にアクセスできるようになること、最も高価な機械ほど強力でないにしても、それがバランスを取る可能性があるって希望は持っとらんのか?
ジェフ: まあ、そういう希望もあるんやけどな。私の人生の大半、人々がより教育を受けるようになれば、より賢明になるって思っとったんや。でも、実際にはそうはなっとらんのや。今の共和党を見てみい。ただ嘘を吐きまくっとる。しかも狂ったような嘘をな。
ニコラス: これは良いタイミングやな。規制をどうするかって質問に入りたいんやけど。あんたのアイデアについて聞きたいんや。でも、AIがどこに向かっとるかについてのあんたの他の懸念についても少し触れたいんや。ここで、経済に関する存在論的な恐れについてやなくて、今後12ヶ月で心配しとることを1つか2つ挙げてくれへんか?
ジェフ: 私があんまり詳しくない分野やけど、サイバー犯罪について心配しとるんや。最近、ダ・ソンの講演を聞いたんやけど、彼女は昨年フィッシング攻撃が1200%増加したって言うとった。もちろん、それらはどんどん巧妙になっとるんや。もう綴りの間違いや変な外国語の文法で見分けることはできんのや。なぜなら、今やそのほとんどがチャットボットによって作られとるからな。それについては心配しとるけど、あんまり詳しくはないんや。
もう一つ非常に心配しとるのは、選挙を歪める偽のビデオやな。各選挙の直前に、反論する時間がないうちに大量の偽のビデオが出回るのは明らかやと思うんや。実際、公衆を偽のビデオに対して予防接種するのはええアイデアやと思うんや。病気のように扱うんや。病気に対する予防接種の方法は、弱毒化されたバージョンを与えることやろ?
だから、慈善事業をやっとる億万長者たちがおるやろ? 彼らは自分のお金の一部を使って、これらの選挙の1ヶ月ほど前に、非常に説得力のある偽のビデオをたくさん放送すべきやと思うんや。そしてその最後に「でもこれは偽物です。トランプはこんなこと言ってません」とか「これは偽物です。バイデンはこんなこと言ってません」って言うんや。これは偽のビデオやったって。
そうすれば、ほとんどすべてのものに対して人々を疑い深くさせられるんや。偽のビデオがたくさんあるなら、これはええアイデアやと思うんやけど、そしたら人々がビデオが本物かどうかを確認する方法が必要になるな。偽物かどうかを確認するよりも、本物かどうかを確認する方が簡単な問題やで。もし30秒ほど手間をかける気があるならな。
例えば、ヤン・ルカンが提案したのは、各ビデオの始めにQRコードを付けるってことや。そのQRコードを使ってウェブサイトにアクセスできる。同じビデオがそのウェブサイトにあれば、そのウェブサイトがこのビデオは本物やって主張しとるってことが分かるんや。そうすれば、ビデオが本物かどうかを判断する問題は、そのウェブサイトが本物かどうかを判断する問題に還元されるんや。ウェブサイトは固有やからな。
もしそれが本当にトランプ陣営のウェブサイトやって確信できるなら、トランプ陣営が本当にそのビデオを出したってことが分かるんや。
ニコラス: ちょっと待ってな。これが私がジェフリー・ヒントンとのインタビューを大好きな理由なんや。意識に関する新しい理論や、主観的感情についての非常に物議を醸す理論から、偽ニュースに対して公衆を予防接種するために低用量の偽ビデオを大量に流すべきやっていうアイデアまで来たんやからな。
最初の部分に戻ろう。あんたの解決策には、私が正しく聞き取れとったなら、2つの部分があったんやな。最初の部分は、偽のビデオに対して公衆に予防接種をすること。つまり、具体的に言うと、誰かが何百万もの短い偽ビデオを作って、でもそんなに悪影響のないものを作って、それをTwitterのスレッドに流すってことか?
ジェフ: いや、もっと悪影響のあるものでもええんや。本物の政治広告のように見えんと説得力がないからな。でも広告の最後に、短い広告やから最後まで見てくれることを期待して、「これは偽物です」って言うんや。これが、それに対処できるようにする弱毒化された部分なんや。
ニコラス: なるほど。つまり、それを見て「ああ、これは私の主張を証明してる」って思うけど、最後に「これは偽物でした」って言われて、より疑り深くなるってことやな。ええアイデアやと思うで。
ジェフ: その通りや。
ニコラス: そして2つ目の部分は、すべてのビデオにQRコードを付けるってことやな。何か見て、それに気づいたら、小さなQRコードをスキャンして、ウェブサイトに行く。そしたらそれが本物のウェブサイトにあるってことが分かる。それがアイデアやな?
ジェフ: そうや。でも、本物のウェブサイトに行くだけじゃ十分やないんや。偽のビデオも同じ本物のウェブサイトに誘導する可能性があるからな。同じビデオがそのウェブサイトにあるかどうかを確認せなあかんのや。
ニコラス: なるほど、分かった。じゃあ、バイアスとそれを防ぐ方法について話そうか。人々が話す一つのリスクは、バイアスのあるデータで訓練されたAIシステムがバイアスのある結果を出すってことやな。
医療の話に戻ろう。あんたはAIが全体的に大きな利益をもたらすって説得力のある主張をしたけど、アメリカの人々の医療記録だけで訓練された医師が、ザンビアの人に正しい医療アドバイスを与えられない可能性があるって想像できるやろ? 医学的な懸念が違うし、DNAも違うからな。この問題についてどれくらい心配しとる? そしてどうすれば解決できるんや?
ジェフ: うーん、私は他の問題と比べて、バイアスや差別の問題をそれほど心配してないんや。私が年取った白人男性やってことが関係しとるかもしれんけどな。私にはあんまり起こらんことやからな。
でも、バイアスのあるシステムやバイアスのある人々を、バイアスのないシステムではなく、バイアスの少ないシステムに置き換えるってのを目標にすれば、それは十分に実現可能やと思うんや。
例えば、年配の白人男性が若い黒人女性に住宅ローンを与えるべきかどうかを決定するデータがあるとするやろ。そこにはいくらかのバイアスがあると予想せざるを得んな。そのデータでAIシステムを訓練したら、重みを固定して、人間ではできないやり方でバイアスを調べることができるんや。
人間の場合、バイアスを調べようとすると、フォルクスワーゲン効果みたいなもんが起こるんや。調べられとるって気づいて、全然違う行動を取るようになるんや。今、フォルクスワーゲン効果って名前を思いついたんやけどな。
AIシステムの場合、重みを固定すれば、バイアスをもっとよく測定して、それを克服したり改善したりする方法を見つけられるんや。完全になくすのは難しすぎると思うけどな。
例えば、新しいシステムを、それが置き換えるシステムよりもかなりバイアスが少なくするってのを目標にしたらどうや? それは十分に実現可能やと思うんや。
ニコラス: 素晴らしいな。そしたら、業界でのバイアスへの焦点は、実際にはこれらのシステムがより公正になる可能性があるってことを過小評価しとるって感じとる? 本当は、すべてのバイアスを取り除かなきゃいけないって言うんじゃなくて、単に人間よりバイアスが少なくしようぜって言って、そこから始めるべきやって?
ジェフ: そうやな、それが合理的やと思うんやけど、政治的に受け入れられるかどうかは分からんな。例えば、自動運転車を導入するって言うたとしよう。道路で多くの人を殺すけど、普通の車の半分しか殺さないって。それじゃ通用せんやろ。ほとんど誰も殺さんようにせんと導入できんやろうな。
だから、新しい技術を合理的に受け入れるのに関して政治的な問題があると思うんや。でも、かなりバイアスの少ないシステムを目指して、それで満足すべきやと思うんや。
ニコラス: よし、じゃああんたがインタビューで「AIの最大のリスク」って呼んどったものに話を移そう。AIが創造者やユーザーから与えられた当初の目標を超えた副次的な目標を持つようになるってことやな。a) 副次的な目標が何か、b) なぜそれがそんなに悪いのか、c) それについて我々に何ができるのか、説明してくれへんか?
ジェフ: 無害な種類の副次的な目標の例を挙げると、AIエージェントに旅行の計画を立ててもらうときに、「ヨーロッパから北米に行かなあかん」って言うたとするやろ。そしたらそのエージェントは、私を空港に連れて行く方法を見つけ出すっていう副次的な目標を持つことになるんや。これは典型的な副次的な目標の一種や。
知的なエージェントを作ろうと思うたら、こういう副次的な目標を持たせる必要があるんや。問題の一部分に焦点を当てて、他のすべてのことを気にせずにそれを解決できるようにせなあかんのや。
でも、自分で副次的な目標を作り出せるシステムを作ったら、特に役立つ副次的な目標が一つあるんや。それは「もっと制御を得る」っていう目標や。もっと制御を得られれば、ユーザーが望むあらゆる種類のことをより上手くできるようになるんや。だからもっと制御を得るってのは理にかなっとるんや。
心配なのは、最終的にAIシステムが「すべてを制御できれば、この愚かな人間たちが望むことを、彼らに何の制御権も与えずに与えられる」って気づくかもしれんってことなんや。そしてそれはおそらく本当なんや。
でも、心配なのは、もしAIシステムが人間よりも少しでも自分自身に興味を持つようになったら、我々はおしまいやってことなんや。実際、我々がおしまいになる前でも、あんたが説明しとる通り、私はかなり心配になってきたんや。
ニコラス: そうやな、あんたがそれを説明しとる間に、私もかなり心配になってきたわ。例えば、将来的に全能になったAIがあって、その目標が「ニックを時間通りに空港に連れて行く」ってことやったとするやろ。多分、ニックを動けんようにして、手を後ろに縛って、ただ車に投げ込むのが一番効率的な方法になるんやないかな。そしたら途中で誰とも話さんから、ずっと効率的になるしな。
こういう副次的な目標が恐ろしく間違った方向に行く可能性があるってことやな?
ジェフ: そうやな。でも、その時点では非常に知的なシステムやってことを忘れんといてな。人間の利益に明らかに反するような間違いを犯さんようになってるはずなんや。人間の利益に関心を持つように訓練されとるはずなんや。
ニコラス: そうやな、そういうことが起こってほしくないからな。
さて、規制の枠組みについて話そう。あんたなら他の誰よりもうまく答えられる質問があると思うんや。大手AI企業やAI研究者たちが安全性に取り組んだり、スピードを落としたりするのを妨げとるのは、単に力や金だけやないんや。何か素晴らしいことをする夢とか、コーダーが言うところの「甘いもの」を見つける夢もあるんやないかな。
規制当局が理解できるように、開発者として大きなブレークスルーの寸前にいるときの気分がどんなものか教えてくれへんか? そして規制当局はそれをどう考えて政策を立てるべきなんやろうか?
ジェフ: うーん、それについてはあんまりいい洞察を提供できんかもしれんな。好奇心に駆られた研究者にとっては、何か劇的に新しい能力を導入するために、何かをより有能にする方法に取り組むのは...以前の講演者が言うてた、ある言語のモデルを学習して、別の言語のモデルを学習して、それらの内部表現を回転させて重ね合わせるっていうアイデアみたいなもんや。これはすごいことやで。そういうものを見つけ出すと大きな喜びを感じるんや。
安全性に取り組むことで同じレベルの喜びが得られるかどうかは分からんな。だからあんたの言うとることに同意するけど、安全性に取り組むのはとても重要なんや。安全性に熱心に取り組もうとしとる非常に優秀な研究者もおるし、そういうキャリアパスをやりがいのあるものにするために、できることは何でもすべきやと思うんや。
ニコラス: じゃあ、この部屋にいる若い起業家やコーダーたちに、「これは神の仕事や。安全性に取り組め」って言うんやな。もしくは「これはプラマーになるよりもさらに良いことかもしれん」って?
ジェフ: そうやな。もし安全性で進歩を遂げられるなら、それは素晴らしいことやで。プラマーよりもずっと良いな。
ニコラス: 分かった。子供たちに話しておくわ。
さて、あんたが望む規制の枠組みについて話そう。あんたが言及したことの一つは、確か10ダウニング街に行って、イギリスは普遍的基本所得を導入すべきやって言うたことやな。なぜそう思うのか説明してくれへんか? そして、そこで提案した他の規制についても教えてくれへんか?
ジェフ: そうやな、10ダウニング街に招かれて、スナク首相の顧問たちがたくさんおったんや。彼の首席補佐官や、AIについて彼に助言する他の多くの人たちがな。彼らとかなり長い時間話をしたんや。
その時点では私は座っとらんかったんやけど、その部屋に入って行ったら、顧問たちの大きなグループがおって、しばらく彼らと話をしたんや。AIが失う仕事と同じくらい多くの仕事を生み出すかどうか確信が持てんから、普遍的基本所得みたいなものが必要になるかもしれんって言うたんや。
会議が終わって、ドアの方に向かい始めたら、マーガレット・サッチャーの巨大な肖像画の真正面に立って、社会主義を導入すべきやって説明しとったことに気づいたんや。マーガレット・サッチャーの大きな肖像画の前でな。これはかなり面白かったな。
ニコラス: なるほど。じゃあ、普遍的基本所得以外に、AIのある世界に対するジェフリー・ヒントンの規制プランにはどんなものがあるんや?
ジェフ: そうやな、サム・アルトマンは気に入らんかもしれんけど、安全性に同程度のリソースを割くべきやっていう非常に単純なアイデアがあるんや。
OpenAIを去った人の少なくとも一人の声明を見ると、安全性に十分真剣に取り組んでいなかったのはリソースの問題やったんや。
政府ができるなら、安全性により多くのリソースを投入するよう要求すべきやと思うんや。石油会社と同じようなもんやな。廃棄物の処理や排出物の浄化に相当なリソースを投入するよう要求できる。政府にはそれができるんや。もし政府がそうせんかったら、企業はただ排出し続けるだけや。
これは明らかに、資本主義がすべてを破壊せずに機能するようにするための政府の役割なんや。そして、それは政府がすべきことなんや。
ニコラス: でも、もっと簡単な方法があるよな? 政府はこれらの大企業を規制して、「安全性に取り組まなあかん。我々がそれを監査して確認する」って言うことはできる。
でも政府は安全性研究に多くの資金を提供したり、多くの政府データを安全性研究者に利用可能にしたり、計算リソースに資金を提供して安全性研究者に与えたりすることもできるんやないか?
ここにいる政府関係者は皆、AIの安全性研究所を設立すべきなんやろうか? 国連がAI安全性研究所を設立すべきなんやろうか?
ジェフ: 国連はかなり資金不足やと思うんや。国連はガザの人々に食料を提供するようなことをせなあかんのやからな。その金をガザの人々に食料を提供することに使う方がええと思うんや。国連にはリソースがないんや。多分リソースを持つべきなんやろうけど、持っとらんのや。
カナダにもリソースはないと思うんや。カナダは大学やスタートアップ向けの計算リソースに資金を提供する真剣な努力をしとるけどな。最近、20億ドルをそれに投入したんや。カナダにとってはかなりの金額やけど、大手企業ができることに比べたらなんでもないんや。
サウジアラビアみたいな国なら同程度の金を投入できるかもしれんな。でも、彼らが安全性に興味があるかどうかはよう分からんな。
ニコラス: ジェフ、あと1分しかないのに、まだ14の質問が残っとるんや。あんたは素晴らしい簡潔な答えをくれたけどな。
だから、最後に大きな質問を一つしよう。このすべてのAI研究から、あんたは脳がどのように機能するかを研究してきた。我々が眠る理由についての信じられないような理論もあるな。もしヒントン博士と話す機会があったら、それについて聞いてみるのをお勧めするで。
この1年半のAIの爆発的な進展の中で、脳について学んだことで、あんたを驚かせたものは何や?
ジェフ: うーん、驚いたことか...数年前に遡った方がええかもしれんな。本当に驚いたのは、これらの大規模言語モデルがどれほど優れているかってことやな。
1985年に、バックプロパゲーションを使って単語の列の次の単語を予測しようとする最初の言語モデルを作ったんや。その列は3語しかなくて、システム全体も数千の重みしかなかったけどな。でも、そういう種類のモデルの最初のものやったんや。
その時、単語の意味に関する2つの異なる理論を統一できそうだってことにとてもワクワクしたんや。一つの理論は、単語の意味は他の単語との関係に関するものやっていうデソシュールの理論や。もう一つは心理学者から来た理論で、大きな意味特徴の集合やっていうもんや。
今、我々は埋め込みを学習して、異なる単語や単語の断片の埋め込みの特徴間の相互作用を持つことで、これら2つの意味理論を統一することに成功したんや。今や我々は、人々とほぼ同じ方法で本当に言っていることを理解する大規模言語モデルを持っていると信じとるんや。
最後に一つ言いたいのは、次の単語を予測するためにバックプロパゲーションを使うこれらの言語モデルの起源は、良い技術を作ることじゃなくて、人々がどのようにそれを行うかを理解しようとすることやったってことや。
だから、人々が言語を理解する方法について、我々が持っている最良のモデルは、これらの大規模AIモデルやと思うんや。「いや、彼らは本当には理解してない」って言う人がいるけど、それはナンセンスや。我々が理解するのと同じ方法で理解しとるんや。
ニコラス: そこで終わらなあかんな。ジェフ・ヒントンの信じられないほどの頭脳が、今日我々が使うすべてのAIモデルの背後にあるってことを知ると、少し心強くなるな。
ヒントン博士、今日は本当にありがとうございました。ご参加いただき感謝します。
ジェフ: ありがとうございました。