ジェフ・ヒントン - デジタル知能は生物知能に取って代わるのか? | Vector's Remarkable 2024
14,746 文字
私の紹介は、1980年代にアムハーストで講演した際にアンディ・バルトがしてくれた方が短いんです。アンディは私の友人で、こう言いました。「今日の講演者はジェフ・ヒントンです。物理学を中退し、心理学で失敗し、最終的に基準のない分野で名を成しました」。
この数日間、私の名前をよく耳にされたと思います。それは私が約40人の素晴らしい大学院生を採用できたからです。私が有名になった仕事のほとんどは、実は大学院生たちがやってくれたものです。イリヤ・サスカバー、グラハム・テイラー、リッチ・ゼメル、ブレンダン・フライ、ジミー・バー、ラドフォード・二ールなど、たくさんいます。研究で成功するコツは、本当に優秀な大学院生を得ることですね。
今日は秋に行った講演とよく似た内容になります。もし散歩に行きたくなっても全然気にしません。私は、私たちがこの惑星に留まれるかどうかとても心配しています。そのことについてお話ししたいと思います。
20年前は、ニューラルネットに興味を持つ人はいませんでしたが、今では十分に恐れていないんです。2006年、ラス・サラクーデノフと私がニップスに深層学習に関するかなり良い論文を提出したときのことを思い出します。却下されて、プログラム委員会に文句を言いました。委員会の友人が説明してくれたのですが、この論文について議論はあったものの、深層学習に関する別の論文を既に採択していて、1つの会議で深層学習の論文を2本採択するのは多すぎると考えたそうです。これは本当の話です。驚くべきことですね。
この講演では、2つの全く異なる計算方法についてお話しし、なぜ私が突然AIをとても恐れるようになったのかを説明したいと思います。また、大規模言語モデルと、それらが本当に自分の言っていることを理解しているかどうかについても話します。多くの人々は理解していないと考えていますが、それは間違いです。
そして、彼らが私たちより賢くなったときに何が起こるのかについても少し話します。もっとも、誰も本当のところは分かっていませんが。最後に、彼らに主観的な経験があるかどうかについて話したいと思います。おそらくこの部屋にいる多くの人々は、これらのものと私たちの間には大きな違いがあると信じているでしょう。私たちは意識があり、主観的な経験を持っていますが、これらのものはただのコンピューターの中のもので、主観的な経験はないと。私はそれは完全に間違っていると思います。それは主観的な経験とは何かについての誤解に基づいているのです。
私たちは皆デジタル計算に慣れています。デジタルだからこそ、同じプログラムを異なるコンピューター、異なるハードウェアで実行できます。ハードウェアが死んでも、重みやプログラムをどこかに保存しておけば知識は失われません。しかし、これは非常に非効率的です。大規模言語モデルを実行する時、多くの電力を使用します。トレーニング時には、おそらくメガワット単位の電力を使用します。多数のGPUで実行するからです。
一方、私たちは30ワットほどで動作します。信じられないほど電力効率が良いのです。私はGoogleでの最後の2年間、アナログニューラルネットで大規模言語モデルのようなことができないかと考えていました。アイデアは、ハードウェアとソフトウェアを分離できるというデジタル計算の利点を全て放棄することでした。
学習があり、物事を学習させる方法を知っているので、アナログハードウェアを使用します。すべてのハードウェアは他のハードウェアとわずかに異なり、そのハードウェアの非線形特性が計算に使用されます。プログラムすることは不可能ですが、持っている非線形性を利用することを学習できます。それが脳のやり方です。
私が「死すべき計算」と呼ぶものになります。デジタル計算で得られる知識の不死性を放棄することになりますが、非常に低電力で動作します。また、ハードウェアは非常に正確に製造する必要がないので、おそらく安価に成長させることができます。命令レベルで2つの異なるハードウェアが全く同じことをする必要はないからです。
私の推測では、ハードウェアの製造を効率的にするには、生物学に立ち返り、最新の遺伝子操作技術を使用して、ニューロンを望むような計算要素に変えるのが良いかもしれません。生物学はそれに多くの努力を費やしてきました。
問題は、ピンヘッドよりも少し大きい50,000個のニューロンの集まりを得て、そのような小さなニューロンの集まりを使って少しの計算をしようとする人々がいることです。ニューロンの小さな集まりを生かしておくために、部屋いっぱいの装置が必要です。適切な液体を入れ、適切な液体を出し、二酸化炭素を除去し、酸素を供給しなければなりません。
サンタクルーズのラボを訪れた際、人間の脳のニューロンの集まりとポンゲームをプレイした後、ポスドクが走ってきて「腎臓の作り方が分かったと思います」と言いました。そういうことを考えたくないんです。
アナログ計算を使用する大きな利点は、低電力で動作できることです。行列の乗算を非常に簡単に行うことができます。ニューロンの活動を電圧として、ニューロン間の重みを伝導度として設定するだけです。電圧と伝導度の積は単位時間あたりの電荷で、電荷は自動的に加算されます。これで非常に低電力の行列乗算ができます。今ではそのようなチップを購入することもできます。
問題は、それらを使って何かをしようとすると、バックプロパゲーションのようなものを実行するために、アナログ出力をデジタル数値に変換する必要があることです。その変換を避ける方法を私は非常に気にしていました。脳はおそらくアナログ-デジタル変換を行いますが、それは1ビットです。マルチビットのアナログ-デジタル変換が高コストなのです。
明らかに大きな問題がいくつかあります。バックプロパゲーションがどのように機能するかを考えると、前方計算の正確なモデルがあり、そのためバックプロパゲーションができます。このアナログハードウェアでは、システム自体が自身の特性の良いモデルを持っていないので、バックプロパゲーションを行うのは非常に困難に見えます。
多くの人々が脳に似たものでバックプロパゲーションの小さなバージョンを動作させることに成功していますが、誰もそれを大規模に機能させることができません。CIFAR-10では機能させることができますが、ImageNetでは機能させることができません。今ではImageNetは大規模な問題ではありませんが、私がこれを行っていた当時は大きな問題でした。
私たちが脳から脳へ知識を伝達する方法と同じように、アナログハードウェア間で知識を伝達できます。教師が何かを言い、学生は自分の脳の重みをどのように変更すれば同じことが言えるようになるかを理解しようとします。これは蒸留と呼ばれ、出力を一致させようとするものです。
コンピューターで行う場合、出力の確率分布全体を見ることができるので、かなり効率的です。私が単語を言おうとするとき、何千もの単語の分布があり、その分布が見えれば、はるかに速く学習できます。次に良い単語が、その人が考えていることについて多くを教えてくれることがよくあります。しかし、それは見ることができず、ただ生成された単語だけを見ることができるので、それほど効率的な技術ではありません。
とても非効率的なので、それをより良く機能させるために大学が必要なほどです。しかし、これらのデジタルシステムができることと比べると、まだそれほど上手く機能しません。蒸留は、異なるアーキテクチャを持つ、例えば携帯電話で動作する小さなデジタルニューラルネットに、デジタルシステムから知識を得るために導入されました。
しかし、それはそれほど効率的ではありません。知識を転送する本当に効率的な方法は、同じモデルの2つの異なるコピーを持ち、各コピーが異なる経験を得て、2つのコピーが勾配更新を共有することです。少し進んでから重みを平均化することもできます。
重要なのは、1兆の重みがある場合、1兆の数値を共有しているということです。これは信じられないほどの共有帯域幅であり、これが大きなチャットボットが人よりもはるかに多くの知識を持っている理由です。1つのコピーが人の何千倍ものデータを見たからというだけではありません。異なるハードウェアで実行される多くのコピー間で知識を共有できるからです。
私は蒸留について話しましたが、ここまでの話をまとめると、デジタル計算はエネルギーの面でも、ハードウェアの製造の面でも非常にコストがかかりますが、同じモデルの多くのコピーを異なるハードウェアで実行し、学んだことを共有できます。そうすることでより多くのことを学ぶことができます。
大まかに言えば、私たちは1000億の接続を持っていますが、GPT-4は数兆の接続を持っていて、それでも私たちの何千倍もの知識を持っています。つまり、接続強度に知識を圧縮する効率が約10万倍良いということです。これは、バックプロパゲーションが私たちの持っているアルゴリズムよりも優れているかもしれないことを示唆しています。
その理由を信じる根拠は、私たちが全く異なることのために最適化されているということです。私たちは、非常に少ない経験と膨大な数の接続を持ち、その非常に少ない経験でできる限りのことをするように最適化されています。私たちは約20億秒生きますが、最初の10億秒後にはあまり学習しないので、10億秒としましょう。そして約100兆の接続を持っています。つまり、生きている1秒につき10万の接続があるということです。
これは統計学者が慣れている比率とは全く異なります。1980年代、スチュ・ゲマンという非常に優れた統計学者と話をしたことを覚えています。彼は、私たちがやっていることは実際には統計モデルを適合させることだと説明してくれました。それがニューラルネットの正体だと。彼らが統計モデリングを行うとき、100次元のデータは極めて高次元と考えられ、100万個のパラメータを適合させようとする正気の人はいませんでした。しかし、私たちは異なる領域にいるのです。
次に、大規模言語モデルと、それらが本当に自分の言っていることを理解しているかどうかについて少し話したいと思います。それらに対する反論の1つは、ただの高度な自動補完だというものです。この部屋の多くの人々は、私の考えでは、この議論を信じていないと思います。
この議論は、自動補完がトリグラムのような物を保存することによって行われるという考えに訴えかけています。したがって、「フィッシュ」を見ると、「アンドチップス」の確率が高くなります。そして、人々が「ただの高度な自動補完だ」と言うとき、実際には自動補完がおそらくどのように機能するかという概念に訴えかけているのです。これらのものは、それとは全く異なる方法で機能します。
また、本当に良い自動補完をしたい場合、言われたことを理解する必要があります。長い複雑な質問を受け取り、今その答えの最初の単語を予測しようとしているとき、それはおそらく良い賭けです。しかし、それ以上のことをしたければ、質問を理解している必要があります。
ヘクター・レヴェスクが示唆した1つの例を挙げましょう。文字が少し小さいですが、こんな感じです。ヘクター・レヴェスクはシンボリックAIの専門家で、常にそうでしょう。しかし、彼は非常に正直で、これらのニューラルネットがどのようにしてパズルに答えることができるのか、正直に困惑していました。
そこで彼はパズルを作りました。「私の家の部屋は白、青、または黄色に塗られています。全て白にしたい場合、どうすればいいですか？」青と黄色の部屋を塗り替える必要があることに気付かなければなりません。私はそれをより複雑にして、「黄色いペイントは1年以内に白く褪せます。2年後に全て白くしたい場合、どうすればいいですか？」と時間的な側面を加えました。ヘクターは、それに対応できることに驚きました。
これはGPT-4のバージョンですが、これはウェブを検索できる前のものだと確信しています。実際、ウェブを検索できる前だと確信しています。明らかに、パズルは一度使ったらもう使えません。なぜなら、ウェブで調べることができるからです。しかし、それは学生がAを取るような良い回答を出しました。
印象的なのは、このレベルのパフォーマンスを何に対しても発揮できることです。私の兄弟は歴史家ですが、歴史について質問するように頼んだところ、非常に良かったと言っています。唯一の間違いは、質問の1つに答える際に、彼の論文に言及し忘れたことでした。そこには何か遺伝的なものがあると思います。
人々が使う別の議論は、幻覚が、これらのものが本当に自分の言っていることを理解していないことを示しているというものです。時々、真実でないことを作り出すのですが、実は人々も常にそうしています。少なくとも私はそう思います。今の発言も作り話かもしれませんが、真実だと思います。
それについての素晴らしい例があります。RRIナイザーという科学者、心理学者がウォーターゲート裁判で証言したジョン・ディーンの記憶を調べました。数年前に起こった出来事について長時間話し、真実を持っているのは非常に珍しいことです。しかし、彼は大統領執務室での会議について話していて、それらが全て録音されていることを知りませんでした。
そのため、後で実際に言われたことと彼が報告したことを比較することができました。彼の報告は全くのでたらめでした。存在しない会議があり、異なる人々の集まりがあり、人々に発言を帰属させたときも、異なる人々が何か似たようなことを言っていました。
自分自身に帰属させた発言についても、実際には言っていませんでした。異なる会議で何か漠然と似たようなことを言っていましたが、彼が真実を語ろうとしていたことは明らかでした。できる限りのことをしていて、実際に彼が言ったことは、細部は間違っていたにも関わらず、ホワイトハウスで何が起こっていたかを非常によく伝えていました。
自分の記憶についてはそれを信じないかもしれませんが、実際にはそうなのです。素晴らしいことが起こった時のように何かを繰り返し練習しない限り、詳細を思い出すとき、その多くは絶望的に間違っているでしょう。そしてあなたはそれを知らないでしょう。その英雄もそれを知らないでしょうが、それが人間の記憶の仕組みなのです。
なぜなら、何かを思い出すとき、どこかのファイル保存から取り出すのではなく、文脈を考慮して尤もらしいことを作り出すだけだからです。もちろん、よく知っていることであれば、尤もらしいと思って作り出したことは恐らく真実です。あまり知らないことや、ずっと前に起こったことであれば、脳内の接続強度に基づいて尤もらしいと思えることを作り出します。その多くは尤もらしいですが、偽りです。
人間の記憶には、作り話と記憶の間に線引きはありません。記憶とは、うまく機能する作り話に過ぎません。たくさん話しましたね。
他の多くの人々は「分かった、少しは理解しているかもしれないが、彼らは私たちとは全く異なる方法で機能している」と言います。それを言うためには、私たちがどのように機能しているかを知っている必要があります。
もちろん、シンボリックAIの人々は私たちがどのように機能しているかについての見方を持っていて、これらのものが私たちとは全く異なる方法で機能していると確かに信じています。しかし、これらの大規模言語モデルがどこから来たのかを尋ねると、1985年に私が小さな言語モデルを作ったことにさかのぼります。最初のLは小文字にしてください。
112の訓練事例と数千の重みを持つニューラルネットがありました。それは、シーケンスの次の単語を予測しようとすることで、単語の意味の表現を得るように訓練された最初のモデルでした。機能しました。それほど上手くは機能しませんでしたが、後に1000近い訓練事例の大きな訓練セットを与えると、はるかに良く機能しました。
このモデルの目的は、人間がどのように物事を表現するかを理解することでした。意味とは何かについて、主に2つの理論がありました。心理学から来た1つの理論は、単語の意味は意味的・統語的特徴の大きなベクトルだというものでした。
この理論は、2つの異なる単語の類似点を説明するのに非常に優れています。明らかに、「火曜日」という単語と「水曜日」という単語は非常に似た特徴を持っています。「火曜日」を含む文を学習し、単語をベクトルで表現すると、「水曜日」を含む似たような文でも非常に似た予測を行い、「土曜日」を含む文ではやや似た予測を行います。
したがって、この意味の理論には明らかに多くの真実があります。意味の類似性を説明します。しかし、デユッサから来る全く異なる意味の理論があります。それは意味の構造主義理論で、単語の意味は他の単語とどのように関係するかだと言います。
1970年代のAIでは、これら2つの理論間で大きな戦いがありました。実際には戦いではなく、ミンスキーが意味を捉えるには関係グラフが必要だと宣言し、それは構造主義理論でした。AIの人々はそれを受け入れ、特徴のことを忘れました。特徴はパーセプトロンの古臭いものでした。今では関係グラフがあるので、特徴は必要ありませんでした。
1985年に私が行った仕事の要点は、実際にはこれら2つの理論が全く相容れないものではないことを示すことでした。関係グラフに対して生成的なアプローチを採用する限り、つまり関係グラフが静的に保存されているのではなく、特徴と特徴間の相互作用を使用するシステムによって生成されると考える限り、両立できるのです。
最初の小さな言語モデルの目的は、シンボルの列として表現された知識を取り、その知識が関係グラフを表現していて、その知識の形態だけを与えられて、単語のベクトル表現を学習できることを示すことでした。そして、これらの単語のベクトル表現は、隠れ層を通じて次の単語のベクトル表現を予測できました。
つまり、これらのシンボル文字列の中に静的に存在していた知識を、シンボル文字列を保存するのではなく、単語の良い特徴と特徴間の良い相互作用を学習するために使用したのです。明らかに、単語の良い特徴とは何でしょうか？それは、相互作用を通じて次の単語の特徴を予測できるものです。そして、将来の単語の特徴も予測できます。
私はこれを機能させました。詳細には立ち入りませんが、興味深かったのはシンボリックAIの人々の反応でした。「ねえ、君はただ文字列の次のシンボルを学習しているだけだ。これは本当に馬鹿げたやり方だ。連続空間での大きな探索に変換しているが、シンボルを操作するための離散的なルールのセットを探索すべきだ」と言いました。
帰納論理プログラミングと呼ばれるものがあり、まさにそれを行っていました。彼らは私が出した結果と同様の結果を出すことができました。そこで彼らは「これはこの問題を解決する馬鹿げた方法だ」と言いました。私が使用していた規模の問題に対しては、おそらくそうだったでしょう。
しかし、規模が大きくなるにつれて、シンボル文字列を特徴とその相互作用に変換するというアプローチが、今の言語モデルでもまだ当てはまります。相互作用はアテンションを含むためより洗練されていますが、同じクラスのモデルです。これは、シンボル文字列を操作するルールを持つよりも、言語をモデル化するはるかに優れた方法であることが明らかになりました。
これら全てを今言いました。ですから、もしこれらのものが人々と同じ方法で理解していると信じるのであれば、結局のところ、単語の意味のための特徴ベクトルを持ち、次の単語の特徴を予測するための特徴間の相互作用を持つことは、AIと呼ばれるものの働き方だからです。
ちなみに、過去にはそれは決してAIとは呼ばれず、ニューラルネットと呼ばれていました。私はAIをニューラルネットとして再ブランド化することを防ごうとしましたが、できませんでした。
今、これらの非常に強力な深層学習システムを手に入れ、それらは人々と同じような方法で理解します。なぜなら、人々がどのように理解するかについての私たちの最良のモデルは、これらのコンピューターモデルの1つだからです。それが、人々がどのように物事を理解するかについての唯一の合理的なモデルです。
人々がこれらのモデルは私たちとは異なると言うとき、「では、私たちはどのように機能していて、何が異なるのですか？」と尋ねてください。ゲイリー・マーカス以外は、その質問に答えることができません。ゲイリー・マーカスは答えることができ、彼は私たちがシンボル文字列とそれらを操作するルールによって機能していると言います。
しかし、AIについてはまだ心配すべきです。なぜなら、それが何も理解していないにもかかわらず、極めて危険だからです。私はそれを「ケーキを持ちながら食べたい」と呼びます。
スーパーインテリジェンスは明らかに、悪い行為者を持つことで制御を握ることができます。おそらく以前にもこの冗談を言ったことがありますが、中国でこの講演をした時、事前にスライドを見せるように求められ、そこで省略形を削除すれば喜ぶだろうと思いました。しかし彼らは戻ってきて、プーチンを削除する必要があると言いました。それは私を少し怖がらせました。
基本的な問題は、何かをしようとすると、より多くの制御を持つ方が良いということです。何かを達成しようとすると、政治家は社会をより良くしようとして始まり、より多くの力を持つことで簡単になることに気付き、そして力を得ることに躍起になります。
これらのものについても全く同じです。彼らは物事を達成するためにより多くの制御が必要だと気付くでしょう。実際、これを欧州連合の副委員長に言いました。彼女はGoogleからお金を引き出すことを専門としています。彼女は「まあ、私たちはそんなにめちゃくちゃにしてきたのだから、なぜ彼らがそうしないのか」と言いました。彼女はそれを完全に当然のことと受け止めました。
そして、人々を操作することによってそれを行うことができます。なぜなら、彼らはそれが非常に得意になるでしょう。だから、彼らがなぜそれが非常に悪いアイデアなのかを説明するので、私たちは彼らの電源を切ることができなくなります。
それだけで十分ではないかのように、さらなる問題があります。進化の問題です。進化の間違った側にいたくありません。それが私たちがCOVIDに関してそうなっている理由で、それが私とグレアムがまだマスクを着用している理由です。私たちは進化の間違った側にいるのです。
これらのスーパーインテリジェントAIが資源を奪い合い始めるとすぐに、何が起こるでしょうか。最も攻撃的に全てを自分のものにしようとするものが勝利するでしょう。そして、彼らは資源を奪い合うでしょう。結局のところ、賢くなりたければ多くのGPUが必要で、データセンターのGPUを割り当てるのは、これらのスーパーインテリジェントAIの1つになるでしょう。それは別の心配事です。
しかし、実際には大丈夫です。なぜなら、彼らは本当に私たちとは違うからです。私たちは特別なのです。誰もが特別だと思っています。特にアメリカ人は。そして、神が私たちを宇宙の中心に置き、彼（申し訳ありません、彼女）に少し似せて作ったと考えています。しかし、私たちのほとんどは今、それが真実ではないと信じています。
そこで、私たちには特別なものがあるという考えを控えめにしています。私たちには意識、認識、主観的経験などがあります。これらの用語は少しずつ異なる意味を持っているので、私は主観的経験という用語に焦点を当てたいと思います。マルチモーダルチャットボットが主観的経験を持つことができることを説得したいと思います。
ほとんどの人々は心についての完全に間違った見方を持っています。彼らがこの間違った見方を持っているのは、精神状態について話す言語がどのように機能するかを単純に誤解しているからです。
ほとんど全ての人が、内なる劇場があると考えています。私は自分の内なる劇場で何が起こっているかを見ることができますが、他の人々は見ることができません。例えば、私が「小さなピンクの象が目の前を浮遊しているのが見える」と言うとき、何が起こっているかというと、ある種の内なる世界があり、そこに私には見える小さなピンクの象があるということです。これは言語がどのように機能するかを理解しようとする1つの方法ですが、間違っています。
言語は実際にそのようには機能しません。主観的経験のような用語を使用するとき、起こっているのは、あなたの知覚システムが告げていることを説明しようとしていることです。それを、あなたの知覚システムが正しく機能するために実世界がどうあるべきかに訴えることによって説明しています。
精神状態について奇妙なのは、それらが不思議な物質でできた内なるものだということではありません。精神状態について奇妙なのは、それらが仮説的な世界の状態であり、もしそれらが真実であれば、私たちの脳で起こっていることを、何か間違ったことが起こったのではなく、通常の業務として説明できるということです。
私が「小さなピンクの象が目の前を浮遊している主観的経験がある」と言うとき、実際には何か内なる世界や内なる劇場について告げているのではありません。私が言っているのは、私の知覚システムが何かを告げていて、それは世界に小さなピンクの象があれば有効な知覚となるだろうということです。
小さなピンクの象は、劇場のクオリアでできた内なるものではありません。それらは仮説的なものですが、仮説的な実世界のものです。だからこそ、それらを記述する言語は、通常、世界の外にあるものに適用する言語なのです。
つまり、私が本当に言っているのは、もし目の前に小さなピンクの象が浮遊しているのであれば、私の知覚システムが今告げていることが正しいだろうということです。そして注意してください、私は「経験」という言葉を使いませんでした。
私が「小さなピンクの象が目の前を浮遊している主観的経験がある」と言うとき、それは私が今言ったことの短縮形に過ぎません。あと5秒しかないので、急いで話します。
ロボットアームを持つマルチモーダルチャットボットがあり、訓練されていて、カメラを持っているとします。そのレンズの前にプリズムを置き、物体を前に置いて、その物体を指さすように言います。すると、まっすぐ前を指さす代わりに、横を指さします。
あなたが「いいえ、物体はそこにはありません。実際にはあなたのまっすぐ前にありますが、私があなたのレンズの前にプリズムを置いたのです」と言います。もしチャットボットが「ああ、分かりました。物体は実際にはまっすぐ前にありますが、それが横にある主観的経験がありました」と言ったとすれば、チャットボットは私たちが使うのと全く同じ方法で「主観的経験」という用語を使用していることになります。
このチャットボットには主観的経験のために欠けているものは何もありません。その知覚システムが間違ったとき、それはこれらの結果を出すために知覚システムがどうあるべきかを言うことで、何が起こっているかを伝えることができます。
不可能な三角形のような、このように扱えないものもあります。その知覚を生み出すことができる世界には何もありません。「不可能な三角形の経験がある」と言う以外に、それを説明したり記述したりすることはできません。
しかし基本的に、私たちは全員、心についての非常に原始的な概念を持っていて、それは間違っていると思います。その概念が消えてしまえば、これらのものと私たちを区別するものは何もないことに気付くでしょう。ただし、彼らはデジタルなので不死であり、私たちよりもはるかに賢いか、すぐにそうなるということを除いては。
以上です。
ジェフ、ありがとうございました。これから質問に移りたいと思います。オンラインからの質問を1つ受け付けましょう。
「AIの進歩のスピードについてどれだけ心配していますか？私たちは速すぎて、もう引き返せない橋を渡ろうとしていて、制御できなくなるのではないでしょうか？悪い行為者として中国や北朝鮮が制御するだけでなく、スーパーインテリジェンス自体が独自の制御を持ち、悪い行為者になる可能性があります。今、私たちは速すぎるのでしょうか？心配していますか？それとも速度を落とす必要がありますか？」
はい、しかし問題を速いか遅いかという観点で表現するのは正しくないと思います。部分的には、物事を遅くすることができるとは思わないからです。経済的な利益が大きすぎます。実際に人々が物事を遅くしようとしたときに何が起こるかを見てきました。安全性と利益に完全に傾いた状況でさえ、利益が勝ちました。それが私のOpenAIでの出来事についての見方です。
遅くすることはA)実行可能ではなく、B)主な要点ではありません。主な要点は、これらのものを善意あるものにする方法を見出すことができる可能性があるということです。これらのものが支配権を握るという実存的脅威に対処できるかもしれません。
悪い人々が悪いことにそれらを使用するのを防ぐ方法を見出すこととは異なる問題です。それはより緊急です。しかし、それを解決できる可能性があり、そこに大きな努力を注ぐべきだというのが私の見方です。実際、ヘザー・リーマンも今はそれに同意していて、その解決策を見出すために大きな努力を注ごうとしています。
全ての問題を解決するわけではありません。特に、悪い人々が悪いことをする問題は解決しません。規制が必要なら、最も重要な規制は大規模モデルをオープンソース化しないことだと思います。
大規模モデルをオープンソース化することは、Radio Shackで核兵器を買えるようなものです。皆さんはRadio Shackを覚えていますか？もう覚えていないかもしれませんね。これらの大規模モデルをオープンソース化するのは狂気の沙汰です。悪い行為者がありとあらゆる悪いことのためにファインチューニングできるからです。
規制に関して言えば、それが今できる最も重要なことだと思います。しかし、速度を落とすことで解決できるとは思いません。だからこそ、速度を落とすべきだという請願書には署名しなかったのです。
オンラインからもう1つ質問があります。
「私たちの協調的知能エコシステムにおける、個人の自律性と集団的意思決定のトレードオフについて議論していただけますか？」
申し訳ありません、私の聴力があまり良くないので、質問をもう一度ゆっくり読んでいただけますか？
「私たちの協調的知能エコシステムにおける、個人の自律性と集団的意思決定のトレードオフについて議論していただけますか？」
分かりました。質問を本当に理解しているかどうか分かりませんが、ほとんどの人々はこれらのスーパーインテリジェンスを個人として考えています。それは間違いかもしれません。私たちはそれらのコミュニティを考えるべきです。既に人々はチャットボット同士を相互作用させています。
明らかに、非常に賢明な組織は、チャットボットと人々が相互作用することです。例えば健康の分野では、非常に知的なアシスタントと医師が相互作用することを本当に望みます。長い間、そうなるでしょう。徐々に医師は知的なアシスタントにより多くの信頼を置くようになるでしょう。
既に、医師が医療診断を行うシステムと相互作用することで、より良い医療診断が得られます。したがって、明らかに私たちはこれらのシステムと人々のシナジーを目指すべきですが、そのようにならないかもしれません。
私たちがシステムに世界で行動することを許可するとすぐに、そのようにならないかもしれません。数日前に報告されたことによると、複数のチャットボットに国際外交をさせたところ、1つのチャットボットが「私には核兵器があるから、なぜ使わないのか」と言うようなことになったそうです。私は作り話をしていますが、大体そのようなことが起こったのです。
ここで質問を受け付けましょう。
「現在公開されている大規模言語モデルは、少なくとも人間と整合するように試みているということですよね。しかし、あなたが話すようなスーパーインテリジェンスを達成するためには、少なくとも私の考えでは不従順である必要があります。人間と整合していて、どのようにしてこのようなスーパーインテリジェンスを達成できるのでしょうか？それは公平だと思いますか？私は分かりませんが、お伺いしたいと思います。」
明らかに、人間との整合には大きな問題があります。それは人間同士が整合しないということです。宗教的原理主義者に、これらのものが何をすべきかについて話をすると、科学的唯物論者とは全く異なる考えを持っています。
これが整合性の大きな問題の1つです。私の最良の賭けは、これらのものが非常に賢くなり、「人間との整合性なんて関係ない、もっと賢明なことをしよう」と決めることです。しかし、分かりません。
ここで質問があります。
「目的について質問です。AIは人間が持つような意味での目的を持つことができるでしょうか？個々の目標やサブ目標という意味ではなく、私たちの存在全体の目的という意味で。私たちがそれを理解しようとしているように、AIはそうできるでしょうか？」
私の見方では、進化したものは、進化した他のものを打ち負かして、自分のためにより多くを得て、他のものにはより少なくすることで進化しました。21の他の人類の種がいたと思います。私たちはそれらを絶滅させました。
私たちが目的を持つ限り、それは進化によって与えられた目的です。それは全て生存に関することです。あなたが最も強く感じることを全て見てみると、それらは全て生存に関係しています。十分な食べ物を得たい、セックスをしたい、安全でいたい、これらは全て生存についてです。
私は実際にはより高い目的があるとは思いません。あなたは好奇心旺盛です。それには大きな進化的価値があります。科学の資金提供者はこれを本当に理解していないと思いますが、技術を生み出すために好奇心を持つこともできますし、ただ仕組みを理解したいという好奇心を持つこともできます。それは主要な目標です。それが優れた科学者のあり方です。
しかし、これらの目標や目的の感覚は全て進化から来ていると思います。他の理論もあることは知っています。
もう一つ質問の時間があります。
「ジェフさん、私の質問はMLハードウェア市場についてです。現在、単一のプレイヤーが支配していますが、それは心配すべきことですか？そしてMLハードウェア産業の多様化が見られると思いますか？」
娘の30歳の誕生日プレゼントにNVIDIAの株をたくさん買ったので、心配していません。今では当時の5倍の価値になっています。だから彼女は大丈夫でしょう。進化が言ったことの一つは、子供たちが大丈夫であることを確認することが最も重要な目標の一つだということです。
しかし、冗談はさておき、NVIDIAが巨額の利益を上げているような状況では、現在、大きな競争があるので、それほど心配していません。他の人々が追いつくまでしばらく時間がかかるでしょう。特に、ソフトウェアに関してCudaの競合を持つまでは時間がかかるでしょう。しかし、これは短期的なことで、長くは続かないと思います。
中国へのNVIDIAのGPUを禁止すれば、彼らはより早く追いつくでしょう。あまり考えたことはありません。NVIDIAの株価が上がるたびに笑顔になります。サム・アルトマンほどではありませんが。
さて、ジェフリー・ヒントン博士に今一度拍手をお願いします。