科学の巨人：ジェフ・ヒントン
16,239 文字
クリス・スミス：ネイキッド・サイエンティストへようこそ！この番組は、科学、テクノロジー、医学における最新のブレークスルーをお届けする番組です。私はクリス・スミスです。今日は、世界の大きな問題を解決する科学界の最も影響力のある人物とのロングインタビュー、「科学の巨人」シリーズの復活です。今回のエピソードでは、ケンブリッジ大学継続教育研究所の人工知能のパイオニア、ジェフ・ヒントンにお話を伺います。ネイキッド・サイエンティスト！
[音楽]
ジェフリー・ヒントンは1947年12月6日、ウィンブルドンで生まれました。彼は数学者で教育者のメアリー・エベレスト・ブルとその夫で論理学者のジョージ・ブルの玄孫にあたります。他の著名な家族には、外科医で作家のジェームズ・ヒントン、そして数学者のチャールズ・ハワード・ヒントンがいます。
ジェフリーはブリストルのクリフトン・カレッジに通い、その後ケンブリッジ大学で哲学と自然科学を学びました。1970年に実験心理学の学位を取得し、さらにエディンバラ大学に進学し、1978年に人工知能の博士号を取得しました。彼はまた、サセックス大学、カリフォルニア大学サンディエゴ校でも研究を行い、ギャツビー慈善財団の計算神経科学ユニットの founding director を務めました。
ジェフリーはしばしばAIのゴッドファーザーと呼ばれ、ニューラルネットワークとディープラーニングに関する彼の先駆的な研究は、ChatGPTのように現在多くの人々に馴染みのあるシステムへの道を開きました。彼は昨年Googleを辞任した際に、AIによってもたらされる危険性について警告しました。
ジェフリー、まずはあなたが育った場所についてお伺いします。ロンドンとブリストルでの子供時代について教えてください。当時はコンピュータは身近でしたか？
ジェフ・ヒントン：いえ、私はブリストルで育ちましたが、コンピュータはほとんど知られていませんでした。
クリス・スミス：では、なぜその道に進もうと思ったのですか？
ジェフ・ヒントン：ケンブリッジ大学で学部生だった頃、私は脳の仕組みについて非常に興味を持つようになりました。脳の仕組みを研究するには、脳で実験をするか、コンピュータモデルを作って仕組みを模倣するという2つの方法があります。もし何かの仕組みについての理論があれば、その理論に従って動作するコンピュータプログラムを書いて、実際にそれが動作するかどうかを見ることで理論を検証できます。そして、脳の仕組みについての初期の理論のほとんどは、コンピュータでシミュレートしてみると実際にはうまくいかないことがわかりました。
クリス・スミス：当時はそれが奇妙に思えましたか？それが、脳がコンピュータの論理と異なる理由をより深く理解しようとするきっかけになったのでしょうか？
ジェフ・ヒントン：当時は、コンピュータでシミュレーションをして科学を行うという考え方はかなり新しいものでした。そして、脳がどのように学習するかを理解するための、少なくとも実験を補完する正しいアプローチのように思えました。
クリス・スミス：それで、どのようなことをしましたか？
ジェフ・ヒントン：エディンバラで大学院生の頃は、脳細胞のネットワークのふりをするコンピュータプログラムを書いて、脳細胞間の接続をどのように変化させれば、ネットワークで接続された脳細胞の集合体が、例えば画像中の物体を認識したり、音声中の単語を認識したり、自然言語の文章を理解したりといった複雑なことができるようになるのかという疑問に答えようとしていました。
クリス・スミス：今日でも、それがどのように機能するのか明確にわかっているのでしょうか？あなたは明らかに、私たちが全く知らなかったことを解明し、それをモデル化しようとしていました。私たちはそこに到達したのでしょうか、それともまだ暗闇の中にいるのでしょうか？
ジェフ・ヒントン：どちらも違います。私たちはまだそこに到達していませんが、より深く理解できるようになりました。今では、コンピュータ上で動作するニューラルネットワークのコンピュータモデル、つまり脳細胞のネットワークのふりをするものが、非常にうまく機能しています。それは、これらの大規模言語モデルや、携帯電話が物体を認識できるようになったこと、そして音声を認識できるようになったことからもわかります。私たちは、そのようなものを作る方法を理解しており、脳がそれらのものと非常に似ていることを理解しています。脳がどのように学習するかはまだ完全にはわかっていませんが、脳が何を学習するのかについては、より良いアイデアを持っています。脳は、これらの大きなニューラルネットワークの1つのように振る舞うことを学習するのです。
クリス・スミス：脳細胞が脳細胞と対話していて、それらが単に接続の大集団であるという事実に還元されるのであれば、コンピュータでモデル化するのは比較的簡単ではないでしょうか？何が障害になっているのでしょうか？なぜこれが難しいのでしょうか？
ジェフ・ヒントン：難しいのは、ネットワークが得る経験の結果として、接続の強さがどのように変化すべきかについてのルールを考え出すことです。例えば、1940年代の初め、あるいは1950年代初めに、ヘッブという心理学者は、2つのニューロン、つまり2つの脳細胞が同時に発火すると、それらの間の接続が強くなるというアイデアを思いつきました。これをコンピュータでシミュレートしようとすると、すべての接続が強くなりすぎて、全体が破綻してしまうことがわかります。接続を弱くする何らかの方法も必要なのです。
クリス・スミス：私は「一緒に発火するものは一緒に配線される」という言葉を気に入っています。ユニバーシティ・カレッジ・ロンドンでヘッブの本を読んだのを覚えています。それは私の中にずっと残っています。では、どのようにしてその問題に対処しようとしたのですか？コンピュータがそうでなければ過熱してしまうような神経細胞を、より簡単に飽和させるようにしたということでしょうか？
ジェフ・ヒントン：まあ、それは最初に思いつくことで、試してみても、あまりうまくいきません。問題は、画像中の物体を認識したり、昔で言えば手書きの数字を認識したりといった複雑なことができるように、十分にうまく機能させることができるかどうかです。2や3などの多くの例を取り上げて、どれが2でどれが3かを認識できるかどうかを試してみます。そして、それがかなり難しいことがわかります。どの学習ルールがうまくいくかを発見するために、さまざまな学習ルールを試してみて、何がうまくいって何がうまくいかないか、そしてなぜうまくいかないかを学びます。
クリス・スミス：うまくいかないことと、なぜうまくいかないのか。わかりました。では、うまくいくことを教えてください。それが明らかにより興味深いからです。
ジェフ・ヒントン：ピクセルであるふりをするニューロンの層があります。画像はピクセルの集まりで構成されていて、ピクセルはそれぞれ異なる明るさを持っています。それが画像です。各ピクセルがどれくらい明るいのかを示す数字にすぎません。それが入力ニューロンで、ピクセルの明るさを教えてくれます。そして、出力ニューロンがあります。数字を認識する場合、10個の出力ニューロンがあるかもしれません。それらは、それがどの数字であるかを示しています。通常、ネットワークは、少なくとも最初は確信が持てないので、賭けをヘッジします。おそらく2で、3かもしれない、4ではないだろう、といった具合に。そして、それは、2の出力ユニットはかなりアクティブで、3の出力ユニットは少しアクティブで、4の出力ユニットは完全にサイレントであることによって表現されます。そして、問題は、入力としてそれらのピクセルをどのようにして出力のそれらの活動を引き起こすかということです。ここで、現在すべての大きなニューラルネットワークで使用されている方法を紹介します。
これは、gp4のような大きなチャットボットを訓練するのと同じアルゴリズムです。画像中の物体を認識するものを訓練するのにも使われています。そして、それはバックプロパゲーションと呼ばれています。そして、それは次のように動作します。入力と出力の間にいくつかのニューロンの層があります。ピクセルの強度を表すニューロンは、最初の隠れ層、そして2番目の隠れ層、そして3番目の隠れ層、そして最後に出力に接続されています。
それらは隠れ層と呼ばれています。なぜなら、あなたは最初にそれらが何をしているべきかを知らないからです。そして、あなたはこれらのネットワークにランダムな接続から始めます。だから、ネットワークは明らかに賢明なことは何もしません。そして、あなたが数字の画像を入れると、それは通常、可能な10個の数字すべてに賭けをヘッジして、それらはすべて多かれ少なかれ等しくありそうだと
言います。なぜなら、それは何が起こっているのか全くわからないからです。そして、あなたは次の質問をします。接続の強さの1つをどのように変えることができるでしょうか。
ある層のニューロンと別の層のニューロンの間の接続の強さを変えることで、正しい答えを得ることに少し近づけることができます。例えば、最初に2と3の違いを区別しようとしているとします。2を与えると、確率0.5で2、確率0.5で3と答えます。賭けをヘッジしているのです。そこで、接続の強さをどのように変えれば、51%で2、49%で3と答えるようになるのかを考えます。接続をいじくることで、それができると想像できます。ネットワーク内の接続の強さの1つを選んで、それを少し少し強くして、それがネットワークをより良く動作させるかどうか、あるいはより悪く動作させるかどうかを確認することができます。もしそれがより悪く動作させるなら、明らかにその接続を少し弱くします。それは進化のようなものです。これらの根底にある変数の1つ、接続の強さを取ってきて、もし私がそれを少し変えたら、物事をより良く動作させるためにどのように変えたらいいのか、そしてそれらの変化を保存するのです。
クリス・スミス：そうすることで、最終的にはうまくいくことは明らかですが、膨大な時間がかかるでしょう。
ジェフ・ヒントン：初期の頃は、何千もの接続を持つネットワークを使っていました。今では、これらの大きなチャットボットは何兆もの接続を持っています。その方法で訓練するには、永遠に時間がかかってしまいます。しかし、バックプロパゲーションと呼ばれるこのアルゴリズムによって、ほとんど同じことを達成することができます。
画像を入力します。それが2だとしましょう。重みは最初は接続上のランダムな重みなので、情報はネットワークを前方に流れ、50%は2、50%は3だと答えます。そして、ネットワークにメッセージを返送します。返送するメッセージは、実際には「2である可能性を高くし、3である可能性を低くしてほしい。つまり、2のパーセンテージを上げて、3のパーセンテージを下げてほしい」ということです。メッセージを正しい方法で返送すれば、すべての接続について、同時に少しだけ変更して、答えをもう少し正確にする方法を理解することができます。
それがバックプロパゲーションと呼ばれるものです。微積分を使いますが、本質的には、進化が一度に1つずつ変更することによって行う接続の強さをいじくることを行っています。しかし、バックプロパゲーションアルゴリズムは、すべての接続について、同時に、それぞれをわずかに変更して物事をより良く動作させる方法を理解することができます。
ですから、もしあなたが1兆個の接続を持っていれば、1つを変更してどうなるかを見るよりも1兆倍効率的です。
クリス・スミス：しかし、一番下の層は、自分が入力するものが正しいものであることを確認するために、上にあるものがどのように変更されるのかをどのようにして知るのでしょうか？つまり、自分が行った変更とその確率が最終的にさらに良くなるようにするためです。そうすれば、自分自身を変更してしまうことはありません。それがネットワークにフィードフォワードバックされて、何か他のものが変更されますが、それではあなたにとって最適ではなくなってしまいます。私の言っていることがわかりますか？
ジェフ・ヒントン：あなたの言っていることはよくわかります。それは非常に良い質問です。
本質的に起こっていることは、ネットワークの初期の接続を取ると、それは一種の仮定をしているということです。それは、「他のすべての接続が同じままであると仮定すると、私の接続の強さを変更することで、物事をどのように改善できるでしょうか」と言っているのです。それは、他のすべての接続が同じままであると仮定しています。そして、「もし私が接続の強さを変えたら、物事をどのように改善できるでしょうか」と言っているのです。そして、それらはすべてそうしています。
もし接続の強さを大きく変えると、物事は実際には悪化する可能性があります。なぜなら、各接続の強さを変更する方法を選ぶことができるからです。もしその変更を単独で行えば、物事は良くなるでしょう。しかし、すべての変更を同時に行うと、物事は悪化します。しかし、変更を非常に小さくすれば、その問題はなくなります。変更を非常に小さくすれば、1つの接続の強さを変更する方法がわかります。そして、他のすべての接続の強さの変更が非常に小さいので、例えば、役立つ変更が害になる変更に変わることはほとんどありません。
クリス・スミス：これらの個々の層は、彼らが考えていることを私たちに伝えることができるのでしょうか？なぜなら、私が研究者と話をする際に、彼らが私に言う問題の1つは、彼らがこの種のシステムを構築する際に、それがどのように結論に達しているのか、いわゆる説明可能性を知りたいということです。
癌を認識するように訓練されたシステムが癌の写真を見ると、写真の中のどの特定の特徴がそれらの細胞を癌細胞として特定したのかを説明することができます。そして、いくつかのモデルはこれを行いますが、他のモデルは行いません。彼らがそうする方法とは、彼らが得た出力を得るために彼らが何を変えたかをあなたに伝えることができることによってそうしているのでしょうか？
ジェフ・ヒントン：彼らが何を変えたかを伝えるというよりは、彼らがどのように動作するかを伝えるということです。例えば、ピクセルから入力を受け取るニューロンの層を取ると、2と3の違いを区別しようとしているとしましょう。その層のニューロンの1つが、画像の下部にある水平な明るいピクセルの列を探していることがわかるかもしれません。
その下には暗いピクセルの列があり、その上には暗いピクセルの列があります。そして、それは、明るいピクセルの列には大きな正の接続強度を持ち、暗いピクセルの列には大きな負の接続強度を持つことによって行います。もしあなたがそれをそのように配線した場合、あるいはむしろそれが自身をそのように配線することを学習した場合、それは水平線を検出するのに非常に優れているでしょう。その特徴は、2と3の違いを区別するための非常に良い方法かもしれません。なぜなら、2は下部に水平線を持つ傾向があり、3は持たないからです。
それは最初の隠れ層、つまり特徴検出器の最初の層には有効ですが、ネットワークのより深い部分になると、それが実際にどのように動作しているのかを理解するのは非常に困難です。これに関する研究はたくさんありますが、私の意見では、これらの多くの層を持つディープネットワークがなぜその決定を下すのかについて、現実的な説明を与えることは非常に難しいでしょう。
クリス・スミス：あなたがどのように動作するかについて説明してくれたことは、かなり一般的なもののように思えます。もし私がこれらのモデルのどれを取っても、それらはおそらく似たような方法で動作しているでしょう。もしそうなら、誰かが「私はAIに取り組んでいます」と言ったとき、私たちがそのようなプラットフォームを持っていることを考えると、彼らは実際には何に取り組んでいるのでしょうか？私たちは、あなたが私たちに説明してくれた主要な原則、中核となる基本的な動作アルゴリズムから、どのようにAIを変更、改善、または開発しようとしているのでしょうか？
ジェフ・ヒントン：概して、私たちは that algorithm から離れて開発しようとはしていません。そうする人もいますが、概して私たちがしようとしていることは、that algorithm を使って非常にうまく動作するアーキテクチャを設計することです。
例を挙げましょう。自然言語理解において、2014年頃、ニューラルネットワークは突然、ある言語から別の言語への翻訳に非常に長けるようになりました。あなたは入力として英語の単語の列を与え、出力としてフランス語の単語の列を生成することを望みます。特に、英語の単語の列が与えられたとき、あなたは彼らが文中の最初のフランス語の単語を生成することを望みます。そして、英語の単語の列と文中の最初のフランス語の単語が与えられたとき、あなたは彼らが文中の2番目のフランス語の単語を生成することを望みます。
彼らは常に次の単語を予測しようとしており、あなたは英語とフランス語の文の多くのペアで彼らを訓練します。2014年の初めには、次の単語を理解しようとしているとき、あなたはすべての前の単語からの影響を受けていました。そして、人々は少し後に、すべての前の単語に等しく影響を受けるのではなく、あなたと非常によく似た前の単語を見て、それらにあなたに
より多くの影響を与えるようにすべきだということを発見しました。ですから、あなたは基本的なアルゴリズムを取り除いたり、それを回避したりしようとしているのではなく、注意のような特定のものを配線することによって、それをどのように補完するかを理解しようとしているのです。
クリス・スミス：私たちが耳にするのは、現在非常に顕著になっている大規模言語モデルの1つの問題は、彼らが幻覚を見ることができるということです。その振る舞いはどこから来るのでしょうか？彼らは、存在しないのに、これらの種類のエンジンの出力において非常に大きな権威を持って語られる、これらの偽のものをどのように生成するのでしょうか？それはどこから来るのでしょうか？
ジェフ・ヒントン：まず訂正させてください。それは幻覚ではなく、作話と呼ばれるべきです。言語で行う場合は作話と呼ばれます。これは1930年代に人々において多く研究されました。そして、最初に認識すべきことは、これが彼らをより人間らしくするということです。人間を取ってきて、かなり昔に起こったことを覚えておくように頼むと、彼らは非常に自信を持って、多くの詳細を話しますが、それは単に間違っています。それは人間の記憶の非常に典型的なもので、決して例外的なものではありません。それが人間の記憶のあり方です。だからこそ、陪審員になったことがあるなら、人が物事を覚えているときには非常に疑うべきです。彼らはしばしば物事を間違って覚えています。
大きなチャットボットは、その点で人間と全く同じです。そして、彼らがそのようである理由、そして人間がそのようである理由は、あなたは実際に文字通り物事を保存していないからです。あなたは、例えば単語の列を取って、それをコンピュータのメモリに保存し、後でその単語の列を取りに行って、全く同じ単語の列を得ることができるコンピュータのメモリに慣れています。それはこれらの大きなチャットボットでは起こりません。大きなチャットボットが行うことは、単語の列を見て、次の単語を予測できるようにネットワークの重みを変更しようとしていることです。そして、彼らが見たすべての単語の列のすべての知識は、それらの接続の重みにあります。そして、あなたが彼らに何かを思い出させるとき、彼らが実際に行っていることは、それを再生成することです。それは人間と同じです。彼らは常にこれらの記憶を構築しています。そして、実際には、本物の記憶と偽の記憶の間に違いはありません。人が構築している視点から見ると、どちらが本物でどちらが偽物かはわかりません。あなたはただ、あなたにとって妥当と思われるものを言うだけです。チャットボットも同じことをします。
チャットボットは作話において人間よりも劣っていますが、彼らは良くなっています。
クリス・スミス：私にとっての懸念は、私たちは人の言うことを話半分に聞くということです。人によって異なりますが、私たちは機械に対しては、彼らが私たちの考えでは完璧な方法で振る舞うので、大きな信頼を置く傾向があります。そして、私たちは今、より人間のように振る舞い、あなたが私たちに概説してくれたように、ある意味で人間の欠点を持つ機械を使っています。
だから、私たちは将来、機械をそれほど信頼できるものと考えないように、人々を教育しなければならないのでしょうか？
ジェフ・ヒントン：はい。私たちがこれらの大きなチャットボットで作り出したものは、私たちと非常によく似ていて、通常のコンピュータプログラムとは全く異なる新しい種のようなものです。私たちは、信頼できる昔ながらのコンピュータプログラムのようにチャットボットを扱わないことを学ばなければなりません。
クリス・スミス：先ほど話していたとき、あなたは脳がどのように働くかを理解するためにコンピュータを使い始めたと言っていましたが、私たちは今、コンピュータやあなたが説明してくれたようなものが、自然がどのように働くかを示しているという立場にいるように思えます。それはまるでループが閉じているかのようです。
ジェフ・ヒントン：ええ、これらの大きなチャットボットを作ることで、言語についてより多くのことを理解できたと思います。昔、チョムスキーのような人々は、言語は生得的なものであり、学習されたものではないと言っていました。それはかなり妥当性が低くなりました。なぜなら、これらのチャットボットはランダムな重みから始めて、英語の列を見るだけで非常に優れた英語を話すことを学ぶからです。それは私たちがどのように働くかについて多くを教えてくれました。私たちは彼らと非常によく似て働いています。だから、私たちが人を信頼する以上に彼らを信頼するべきではありません。
クリス・スミス：あなたはいつAIのゴッドファーザーと呼ばれるようになったのですか？私たちは会話の中でいきなり難しい話に入ってしまいましたが、どのようにして今日の立場になったのでしょうか？多くの人は、AIが今ここに登場したと思っていますが、あなたは私が生まれた直後にAIで博士号を取得しています。
過去40数年間で何が起こったのでしょうか？そして、背景では何が起こっていたのでしょうか？そして、その中で重要な役割を果たしたあなたの役割は何だったのでしょうか？
ジェフ・ヒントン：類推をしてみましょう。なぜなら、科学で起こったもう1つのことで、実際には非常によく似たことがあります。
1910年代か1920年代に、ヴェーゲナーという気候を研究していた人が、大陸が漂流していて、南アメリカの膨らみがアフリカの脇の下にうまく収まるのは単なる偶然ではないと判断しました。それらは実際には一緒になっていて、離れていったのです。そして、約50年間、地質学者は、これはナンセンスだ、大陸は漂流できない、全くのでたらめだと言っていました。そして、ヴェーゲナーは自分の理論が立証されるのを見るまで生き延びることができませんでした。しかし、1960年代かその頃、大西洋の真ん中で、大陸が離れていくところで新しいものが生まれているのが発見されました。そして、突然、地質学者は態度を変えて、「彼は最初から正しかった」と言いました。
ニューラルネットワークでも同じようなことが起こっています。ニューラルネットワークの初期の頃には、どのようにして知的なシステムを得ることができるかについて、2種類の理論がありました。1つは、ランダムな接続を持つニューロンの大きなネットワークがあり、データから接続の強さを学習することができるというものでした。そして、誰もそれをどのようにすればいいのかわかりませんでした。
もう1つは、論理のようなものでした。あなたは、一種の洗練された英語のような内部言語を持っていて、洗練された英語で表現を操作するためのルールを持っていました。そして、あなたはこれらのルールを適用することによって、前提から新しい結論を導き出すことができました。だから、もし私が「ソクラテスは人間である」と言い、「すべての人間は死ぬ」と言ったら、私は「ソクラテスは死ぬ」と推論することができます。それが論理です。そして、AIをやっているほとんどの人、実際にはしばらくするとほとんどすべての人が、それが知性の良いモデルだと思っていました。
それは知性のより良いモデルではありませんでした。ニューラルネットワークは知性のより良いモデルでしたが、ほとんどの人にとってそれは非常に妥当性が低いものでした。だから、20年前でさえ、誰かに尋ねたとしたら、ランダムな初期接続を持つニューラルネットワークを取って、それにたくさんのデータを見せて、本当に優れた英語を話すことを学習させることができるかどうかを尋ねたとしたら、人々は「いや、あなたは完全に狂っている。そんなことは絶対に起こらない。それには生得的な知識が必要で、ある種の組み込みの論理が必要だ」と言ったでしょう。
彼らは単に間違っていました。
クリス・スミス：人々がAIの周りに安全装置を置くと聞くと、それはあなたが一種の障壁を持っているということです。つまり、あなたが説明してくれたように、あなたは自由と接続の制御を持っていますが、私たちがそれに「いや、私はあなたが黒いナチスを発明することを望まない」と言いたいとき、それは私たちが以前抱えていた問題です。それはあらゆる種類の画像を生成していました。
その画像は歴史的に完全に不適切または妥当性が低いという例が示されました。そして今、それは修正された、または allegedly 修正されたと言われています。では、そのような愚かな間違いを犯さないように、どのようにしてシステムに頼るのでしょうか？
ジェフ・ヒントン：まず、多くのデータでシステムを訓練します。そして、あなたがデータを非常に注意深くクリーニングしていない限り、データには不幸なものが含まれています。人々はそれから、それらのバイアスを克服するように訓練しようとします。時には彼らは少し熱心になりすぎて、そのための1つの方法は、あなたのチャットボットに物事をさせる人々のグループを雇うことです。そして、人々はチャットボットが何か間違ったことをしたとき、あるいはチャットボットが2つの異なる応答をしたときに、どちらが望ましい応答かをあなたに伝えます。そして、あなたはチャットボットをもう少し訓練して、それが望ましい応答をし、他の応答をしないようにします。
それは人間の強化学習と呼ばれています。残念ながら、もしあなたがニューラルネットワークの重みを公開すると、人々は that human reinforcement learning のすべてを克服して、再び人種差別的な行動をとるように訓練することができます。
クリス・スミス：しかし、システムはなぜそれが間違っていることを知るほど賢くないのでしょうか？私はその言葉を慎重に使っています。そして、なぜそれは自己修正しないのでしょうか？
ジェフ・ヒントン：おそらく、Googleが偏見を少なくするために多くの努力を払う前は、それは黒いナチスを生み出さなかったでしょう。しかし、Googleはそれを、彼らが考えていたよりも偏見のないものにするために多くの努力を払いました。その結果、それは黒いナチスを生み出し始めました。それは残念なことです。しかし、それがナチスの絵を生み出しているとき、それは実際には特定のナチスを覚えているのではなく、それが妥当だと思うものを言っているだけだということを覚えておかなければなりません。
クリス・スミス：あなたはGoogleに入社しましたが、何があなたに「私は去る」と言わせたのでしょうか？
ジェフ・ヒントン：私は、これらのチャットボットに使用するデジタルコンピュータよりもはるかに少ないエネルギーを使用するアナログコンピュータを作る方法に取り組んでいました。そして、そうしているうちに、デジタルコンピュータは実際には脳のようなアナログコンピュータよりも優れていることに気づきました。だから、私は人生のほとんどの間、脳を理解するためにデジタルコンピュータでこれらのモデルを作っていました。そして、脳のように物事をより多く作れば作るほど、それらはより良く動作すると想定していました。しかし、実際にはこれらのものは脳ができないことができるようになり、それがそれらを非常に強力にするということに気づいたときがありました。そして、彼らが脳ができないことができることは、あなたは同じモデルの多くの同一のコピーを持つことができるということです。
だから、異なるコンピュータ上で、あなたは全く同じニューラルネットワークをシミュレートします。そして、それがデジタルシミュレーションなので、あなたはそれを全く同じように動作させることができます。そして今、あなたがすることは、非常に多くの異なるコピーを作ることです。1つのコピーにはインターネットの1つのビットを表示し、別のコピーにはインターネットの別のビットを表示します。そして、各コピーはインターネットのそのビット上で自分で学習し始め、インターネットのそのビットをよりよく理解するためにどのように重みを変更したいかを決定します。しかし今、彼ら全員がどのように重みを変更したいかを理解したら、あなたは彼ら全員に、彼ら全員がしたいことの平均によって重みを変更するように言うことができます。そうすることで、あなたは彼ら一人一人に、他のすべての人が何を学んだかを知ることができます。
だから今、あなたは同時にインターネットの何千もの異なるビットを見ることができる同じモデルの何千もの異なるコピーを持つことができます。そして、すべてのコピーは他のすべてのコピーが学んだことから利益を得ることができます。それは私たちができることよりもはるかに優れています。
あなたがしなければならないことは、文を生成することです。そして、私はどのように接続の強さを変更するかを理解しなければなりません。だから私はそれらの文を生成した可能性があります。そして、それは教育と呼ばれるゆっくりとした苦痛なビジネスです。これらのものはその意味で教育を必要としません。これらのものは信じられないほど効率的に、そして私たちよりもはるかに高い帯域幅で知識を共有することができます。
クリス・スミス：では、Googleで潮時だと判断したのはなぜですか？
ジェフ・ヒントン：人々は間違った話をしています。メディアは素敵な話を作るのが大好きで、素敵な話は、私がAIの危険性について非常に動揺し、それが私がGoogleを去った理由だったでしょう。
実際にはそうではありませんでした。私は75歳で、引退する時でした。私は以前ほど研究者として優れていませんでした。そして、私はゆっくりと過ごして、Netflixをたくさん見たいと思っていました。しかし、私はAIの危険性について警告する機会にしようと思いました。そこで、私はニューヨークタイムズのジャーナリストに話をし、AIの危険性について警告しました。そして、大変な騒ぎになりました。私は、どれほどの反響があったかに非常に驚きました。
クリス・スミス：本当に？
ジェフ・ヒントン：私はこれほどの反響があるとは思っていませんでした。そして、何が起こったのかというと、巨大な波が来たとき、その波に乗りたいと思っているサーファーがたくさんいて、特定のサーファーだけがちょうどいいタイミングでパドリングしているので、その波に乗ることができるのです。しかし、なぜそのサーファーだったのかと聞くと、それは単なる幸運だったのです。
そして、私は多くの人がAIの危険性について警告してきたと思いますが、私はそれがちょうど激しい関心の的になったときに警告しただけだと思います。そして、私はたまたま私がしてきたすべての研究から良い評判を得ていたので、私は一種のラクダの背骨を折った藁だったのです。しかし、そこには他にもたくさんの藁がありました。
クリス・スミス：確かに、誰が言っているかにもよると思います。なぜなら、ジャーナリストが「何人かの人がこう言っているのを聞いた」と言っているのと、あなたのようにキャリアを捧げて非常に成功し、パイオニアである人が「懸念がある」と言っているのとでは、重みが全く違います。人々はそれをはるかに真剣に受け止めるでしょう。
しかし、あなたはその主な懸念は何だと思いますか？
ジェフ・ヒントン：ええと、さまざまな懸念があります。そして、私が公表したのは、実存的脅威と呼ばれるものです。そして、私はそれを公表しました。なぜなら、多くの人が「これは単なる愚かなSFだ。そんなことは絶対に起こらない。愚かだ。SFだ」と言っていたからです。
そして、それはこれらのものが私たちよりも賢くなり、乗っ取るという脅威です。そして、私はこれらのものが私たちと非常によく似ていることを指摘したかったのです。そして、彼らが私たちよりも賢くなったら、何が起こるかわかりません。しかし、彼らが乗っ取るかもしれないかどうかについて、私たちは真剣に考えるべきです。そして、私たちはそれを防ぐためにできることをすべきです。
今、より差し迫った他のすべてのリスクがあります。最も差し迫ったリスクは、今年の選挙で何が起こるかということです。なぜなら、私たちは今、非常に優れた偽のビデオや偽の音声や偽の画像を作ることができる、このすべての生成的AIを持っているからです。そして、それは本当に民主主義を腐敗させる可能性があります。
すでに起こっているもう1つのことは、FacebookやYouTubeのような大企業が、あなたに物事をクリックさせるための技術を使用しているということです。そして、彼らが使用する主な技術は、彼らがあなたにあなたが見たものよりもさらに極端なものを表示することです。そして、それは社会の大きな二極化を引き起こしました。そして、もはや合意された真実の概念のようなものはありません。そして、各グループは強化され続けています。なぜなら、FacebookやYouTubeのようなものは彼らが見たいものを見せるからです。
だから、誰もが憤慨するのが大好きだということがわかりました。そして、もしあなたが私に「トランプが本当に悪いことをしているこのビデオがあります」と言ったら、私はもちろんそれをクリックして、それが何なのかを見ることができるでしょう。それは社会にとって本当にひどいことです。それは、あなたが互いに話さないこれらの異なるグループに分極化されることを意味します。そして、私はそれがうまく終わるとは思いません。
クリス・スミス：それはある意味でエコーチェンバーを増幅させています。
しかし、私がその質問に答えるときにあなたが最初に言うかもしれないと思ったのは、私が大きな懸念としてすぐに思い浮かんだことです。それは、私たちが正しい道にいるのか間違った道にいるのかを判断するために証拠の重みをとる、証拠に基づいた分野である科学で働いているということです。
もしあなたが作話しているシステムを持っているなら、それらは潜在的に作話で知識空間を汚染しています。それは潜在的に、私たちを完全に間違った道に導くという効果があります。なぜなら、それは実際には完全に間違っていることに真実味と信頼性を与えるからです。そして、それは私たちが多くのことを誤って学習してしまうことにつながる可能性があります。
ジェフ・ヒントン：はい、その可能性はあります。あるいはもちろん、科学者はすでに自分でそうしています。物事をでっち上げる科学者、特に理論に関してはそうです。例えば、チョムスキーは、言語は学習されたものではなく、生得的なものであると多くの言語学者に信じ込ませることができました。言語は学習されたものであることは明らかですが、彼はそれがそうでないと信じ込ませることができました。だから、人を誤解させることができるのはチャットボットだけではありません。
クリス・スミス：では、最大のメリットは何だと思いますか？そして、どのようなタイムスケールで？
ジェフ・ヒントン：私は、大きなメリットがあると思います。そして、これらの大きなメリットがあるので、私たちはこれらのものをさらに開発することを止めないでしょう。もしこれらのリスクしかなければ、私たちはそれを止めることに同意するかもしれません。しかし、医学のような分野では大きなメリットがあります。そこでは、誰もがはるかに優れた診断を受けることができるようになります。
クリス・スミス：将来、私たちができることを可能にするかもしれない、本当に投機的で冒険的な、突飛な考えはありますか？
ジェフ・ヒントン：多かれ少なかれ何でもです。人類の進歩とは、制限を取り除くことであるという考え方があります。私たちが狩猟採集民だったとき、私たちは数日ごとに食料を見つけなければならないという制限がありました。農業を始めるとすぐに、あなたは食料を貯蔵することができ、数日ごとにそれを見つける必要はありません。あなたは同じ場所に
住んでいるので、食料を貯蔵することができます。だから、それは大きな制約を取り除きました。それから、あなたは馬を歩いたり乗ったりしなければならないので、遠くまで移動できないという制約があります。電車や自転車や車や飛行機のような輸送手段は、最終的に that constraint を取り除きました。それから、私たちには限られた力しかないという制約があります。そして、産業革命が起こり、私たちははるかに強い機械を手に入れました。そして、人間の力はそれほど価値のあるものではなくなりました。
今、これらの大きなチャットボットで起こっていることは、私たちの日常的な知的
能力が彼らによって凌駕されているということです。あるいは、すぐにそうなるでしょう。だから、それらを行うために合理的に知的な人を必要とするすべての仕事は、これらのチャットボットによって行われる危険にさらされています。そして、それは一種の恐ろしいことです。
クリス・スミス：ジェフ・ヒントンからの驚くべき洞察ですね。さて、今週はこれで終わりです。来週もまた同じ時間に、ケンブリッジ大学の動物認知の専門家、ニッキー・クレイトンとの「科学の巨人」シリーズを続けていきます。カケスやイカでさえ手品をするのか、それがニッキーと議論することです。ネイキッド・サイエンティストはケンブリッジ大学継続教育研究所からお届けします。ロールスロイスの支援を受けています。私はクリス・スミスです。ネイキッド・サイエンティストの全員から、お聞きいただきありがとうございました。そして、次回までさようなら。