CBMM10パネル: AI時代における知能研究

32,548 文字

トマソ・ポッジオ: はい、トマソ・ポッジオです。もちろん、変わってませんな。残念ながら変更せなあかんかったんは、今イスラエルで起こってる悲しい出来事のせいで、パネルにおられたアムノン・シャシュアさんが参加できへんようになったことです。向こうは今、戦争状態やからね。そして、ピエトロ・ペロナさんが最後の瞬間に飛び入りで参加してくれはって、アムノンの代わりになってくれはりました。
そやから、3人が実際におって、3人がバーチャルで参加することになります。今の時点で時間を取りすぎたくないんやけど、素晴らしいパネルやと思うんです。パネリストの皆さんに、すでに議論されたものも含めて、さまざまなトピックについての意見を聞くのは非常に興味深いと思います。
最初に取り上げたい質問は2つあります。パネリストの皆さんには、この2つについて約5分間話してもらって、その後で議論を続けていきたいと思います。
最初の質問は、理論的な研究をもっと進めるのはええアイデアかどうかということです。大規模言語モデルやその他のディープラーニングモデルと人間の知能を比較する理論、そして大規模言語モデル同士を比較する理論についてです。我々は今、人類の歴史の中でも特異な時点におるわけです。人間の知能以外の知能が存在すると主張できる時点やからね。
これらの異なる形態の知能に共通する原理があるかどうかを見るのは非常に興味深いと思うんです。
2つ目の質問は、このワークショップを通して中心となってきた問題で、本質的に、神経科学がAIの役に立つのか、そしてAIが神経科学の役に立つのかということです。
ディープラーニングと人間の学習に関する基本的な原理について、少しイメージを掴んでもらうために、現時点で存在する謎の1つを挙げると、ご存知の通り次元の呪いというものがあります。計算を行おうとして、数個以上の入力が必要な場合、望む計算や関数を適切に表現するには、パラメータの数が指数関数的に必要になるという問題に直面します。
でも、ニューラルネットワークはこの呪いの影響をあまり受けていないように見えるんです。なぜそうなのか、そしてそれが他の形態の知能についても何か洞察を与えてくれるかどうかが問題です。これに関連して、古典的コンピューターと量子コンピューターの違いについての質問もありますが、それはまた後で議論しましょう。
まず最初に、ジェフに聞きたいと思います。ジェフは私以外で多分一番年上やと思います。ジェフと初めて会ったのは...1979年やったかな、ジェフ。ラホヤで。覚えてる?
ジェフリー・ヒントン: ああ、覚えてるよ。
トマソ・ポッジオ: そうやな。せやから、我々は十分年取ってるわけや。[笑] これがジェフに最初に議論を始めてもらう良い理由やね。
ジェフリー・ヒントン: わかりました。年齢が唯一の取り柄やということを考えると...[笑] 理論に関する質問は無視させてもらいます。私は理論をやらへんし、数学も得意じゃないんで、他の2つの質問、つまり神経科学のAIへの役割とAIの神経科学への役割に焦点を当てたいと思います。
神経科学がAIに大きな影響を与えたのは明らかやと思います。単純なプロセスの大規模ネットワークが結合強度を変えることで学習し、非常に複雑なことができるという考え、これは最初はあまり信じられへんかったんですが、神経科学のおかげで人々はニューラルネットを探求し始めたんです。
これが主な影響やと思います。他にも小さなことはたくさんあって、例えばドロップアウトのアイデアは、ニューロンが時々発火すべき時に発火せえへんということを考えることから来ました。ReLUのアイデアは、サム・ロイズとヒュー・ウィルソンの両方が、シグモイド関数は実際のニューロンのモデルとしてはあまりよくないと教えてくれたことから来ました。
ReLUの方がニューロンのモデルとしてはずっと良かったんです。ロジスティックシグモイドは非常にええベイズ的解釈ができるにもかかわらず、ReLUほどうまく機能しませんでした。もう1つの影響で、まだ起こっていないけど起こる必要があるのは、ハードウェアの理由で、高速重みです。イリヤはファストウェイトの実装のアイデアによく馴染んでるはずですが、それほど大きな利点がないんです。なぜなら、すべてのケースで異なる高速重みを持つため、ケース間で重み行列を共有できへんからです。
最終的には、人々は異なるハードウェアを持つようになったときに高速重みを使い始めるかもしれません。例えば、重みがコンダクタンスになるようなハードウェアです。これはまだ来ていないものです。でも最近、ある啓示を受けました。今年の春、アナログ計算とエネルギー効率の向上について考えていた時、突然気づいたんです。
バックプロパゲーションを使用する、同じモデルの多くのコピーを作成して同じように動作させることができるこれらのデジタル知能は、実際には我々が持っているものよりも優れているかもしれないと。まだ我々のものよりも少し小さいですが、それほど小さくはありません。はるかに少ない重みで多くの知識を詰め込むことができます。
現在の私の考えでは、これらは進化できなかったより優れた形態の知能かもしれません。非常にエネルギー集約的やからです。我々がそれを作り出す必要があったんです。でも現在の私の考えでは - これは他の質問、つまりAIの神経科学への役割に関わることですが - AIの新しい発展は必ずしも神経科学について多くを教えてくれないかもしれません。
脳からインスピレーションを得られる情報のほとんどをすでに得ているかもしれず、今や新しい発展は必ずしも脳について多くを教えてくれないかもしれません。これは私にとって全く新しい考え方です。50年間、AIをもう少し脳に似せれば少しはうまく動作するだろうと思っていましたが、もはやそうは思えません。
AIが我々に教えてくれたもう1つのことは、これらの大規模言語モデル、特に大規模マルチモーダルモデルが、脳が人工ニューラルネットよりも統計的に効率的であるという種類の議論を覆したということです。彼らが示したのは、以前は人々がMITの学部生が少ないデータから学べることと、白紙の状態の神経ネットが少ないデータから学べることを比較していたということです。
大規模言語モデルを取り、何か新しいタスクでMITの学部生と比較すると、統計的効率にそれほど大きな違いはありません。これが少ないショット学習です。だから、AIは我々がなぜ統計的に効率的なのかについて何かを教えてくれたと思います。ベイズがかなり昔に言ったように、我々は非常に豊かな事前知識を持っていますが、デジタル知能が同様に豊かな事前知識を持てない理由はありません。
5分使い切ったと思います。
[拍手]
トマソ・ポッジオ: では、ピエトロ。ピエトロ・ペロナはカリフォルニア工科大学の教授です。コンピュータビジョンと計算神経科学への先駆的な貢献で有名です。物体認識、テクスチャ分析、視覚科学研究の進歩に重要な役割を果たしました。
これは、ちなみにChatGPTが書いたものです。[笑] ちょっと大げさやけど、まあええか。そして、フェイフェイ・リーのような次世代の研究者を育成することでも、ビジョン技術の未来を形作りました。そして、確か空き時間にアマゾンの副社長か何かをしてはるんやったよな?
ピエトロ・ペロナ: 副社長ではないんです。私の肩書きはアマゾンフェローで、今は半分の時間をそこで過ごしています...
トマソ・ポッジオ: なるほど。
ピエトロ・ペロナ: ...主にアマゾンでの責任あるAIに取り組んでいます。さて、ジェフ、デミス、イリヤ、こんにちは。準備したコメントはありません。最後の瞬間に頼まれたので。でも、いくつか話せることがあります。
私が気づいたのは、具現化された知能と純粋にテキストを読むことから得られる知能の間で議論が行われているということです。私は、少なくとも我々が知っていることの一部は、体を持つことから来なければならないと考える陣営にいます。一般的に、知能は具現化されているかどうかで異なるでしょう。
今のところ、非常に良い理由で、インターネットで入手可能なデータの塊を分析することから得られる知能に過度に注目してきました。でも時間が経つにつれ、世界で行動する知的な機械が欲しくなるでしょう。マーク・レイバートのロボットについては知っていますね。見たことがあると思います。高速道路を走る必要がある車についても知っていますが、まだドライバーについての適切な心の理論を持っていないので、残りの世界とうまく相互作用できません。
そこに行きたいなら、知能をどうするかについての見方の一部が変わるでしょう。今のところ、我々は相関関係に毒されていて、因果関係を理解できる機械の作り方がわかりません。因果関係を理解するには、基本的に機械に実験を行わせる必要があります。
なぜそうなのか? 具現化されていないエージェントの場合、予測だけが必要で、相関関係は予測には非常に有効です。でも世界を変える必要があり、介入する必要がある場合、物事の原因を理解する必要があり、そこで因果関係が基本的になります。
我々はまだ、人間ができるレベルに近いところでさえ、実験を行い、設計する人工システムを見たことがありません。私の学生たちが作った機械は、植物や動物の認識において、どんな博物学者よりも優れています。iNaturalistをポケットに入れて持ち歩けば、約10万種の植物や動物を認識できます。
でも、実験をどのように行うか、結果をどのように解釈するかなどを考える点では、どんな下手な生物学者でも機械には全く及びません。これは未知の領域です。私にとっては非常に興味深いです。そこに到達する方法を考えるべきだと思います。
そして人々は超人的知能について疑問に思います。もちろん、機械には不公平な利点があります。はるかに多くの情報に指先で簡単にアクセスできます。学んだことを他の機械にパラメータの塊を通じて伝達できます。我々にはできないことです。などなど。より多くのセンサーを使用でき、より有能な身体を持つことができます。少なくともいくつかの領域では、機械が我々よりも優れたパフォーマンスを発揮することは明らかです。
そして、トミーが尋ねた3つ目の質問は理論についてでした。現状は非常に急速に変化しています。我々は動く標的を持っていて、もちろん理論を発展させたいと思いますが、それには長い時間がかかります。時々、断片的なものを見てきました。例えば、ジェフが言及していたドロップアウトのように。
私の考えでは、ディープネットワークにとって最も成功した理論の主な部分は、過学習を避ける方法と正則化をどのように行うかについてです。今では、それをどのように行うかをずっとよく理解しています。だから、それは良い理論の一部だと言えるでしょう。
将来的には、人々ができることのこの動く標的と、理論のこのミックスになるでしょう。我々は覚えておく必要があります。世界中の約5万人の非常に賢い人々が試行錯誤を繰り返して、何が出てくるかを見ているんです。方程式を推し進めるだけではそれに勝つことはできません。これは大規模な探索なんです。
だから理論家は最も興味深い標的を選んでそこで作業し、追いつけるかどうかを見る必要があります。そやから、理論と実験の両方を見ることになり、物事の進み方によって、どちらかが優位に立つことになりますが、どちらになるかは分かりません。ここで終わりにします。
トマソ・ポッジオ: ありがとう。
[拍手]
さて、デイビッド・シーゲル。デイビッドはTwo Sigma Investmentsの共同創設者兼共同会長で、大手ヘッジファンドです。確か我々が出会ったのは、今はモデルナビルディングになっているところで、当時はAIラボでした。あんたはロボット工学者やったな。その間に、機械学習にとって多分一番難しいと思われる金融の分野で働いてきはったわけや。このAI革命の文脈で、研究の観点だけでなく、ビジネスや社会の観点からも、あんたの視点を聞くのは非常に興味深いと思います。
デイビッド、どうぞ。
デイビッド・シーゲル: ありがとう、トミー。最後にそのことに触れますが、まずは少し違う話から始めましょう。みんな、リラックスしてください。素晴らしい10周年のお祝いがもうすぐ終わります。ちょっと目を閉じて、子供の頃に戻ってみてください。両親と一緒に野原で星を見上げていた時のことを想像してください。
その時に思い浮かんだかもしれない考えを再現してみてください。はい、そのイメージを持っていてください。後でまた戻ってきます。
私自身の旅路と、なぜ知能の研究が重要なのかについて考えると、最初は本当に、コンピューターに人間のようなことをさせようという興味から始まりました。それが私をAIラボに連れてきたんです。本質的に、実用的な問題を解決したかったんです。
今日、AIの分野は大きく進歩し、さまざまな種類の問題を解決する不思議な能力を示しています。これは非常に驚くべきことです。どれだけ「考えている」のかについては議論の余地がありますが、結果が私のようなビジネスにどのように応用できるかについては議論の余地がありません。インターネット上のさまざまな種類の技術に浸透しています。それはすべて非常に良いことです。
でも最近では、トミーがCBMMを構想していた時に彼と一緒になって、知能という概念について、それが何を意味し、なぜそれについて考えることが重要なのかについて、もっと深く考えるようになりました。そして、ここにいる皆さんのように昔、星について夢見ていた時、あなたは、私は信じていますが、上にあるものは何なのかを不思議に思っていたんです。
なぜそれらが動いているのかを単に見ていたわけではありません。軌道を予測することについて考えていたわけではありません。大きな絵を考えていたんです。これは本当に驚くべきことです。これを作ったものは何? どのように機能しているの? なぜここにあるの? これはすべて、人類がほとんど永遠に研究してきた問題なんです。
宇宙を理解しようとする努力にこれほど多くのエネルギーが注がれています。それは何か実用的なデバイスを作るためではありません。宇宙の理解はより良い検索エンジンを作ることにはつながりません。我々はただ、なぜ我々がここにいるのかを知りたいんです。これは我々の存在の一部なんです。
知能も同じです。我々の心を理解することは、我々自身の存在を理解するための重要な側面です。もし我々の心が何であるか、知能が何であるかを理解しなければ、我々が誰であるかを本当に知ることはできません。
私にとって、これは基礎研究のプロジェクトです。商業的な利益によって動機づけられているわけではありません。知能を理解することは、おそらく商業的なAIアプリケーションの進歩に役立つでしょう。それは素晴らしいことですが、それが私がこの問題に興味を持っている理由ではありません。宇宙がおそらく商業的な応用につながらないのと同じように、その分野のほとんどの研究者はそのことを気にしていないと思います。
神経科学とAIの実際の質問について少し考えてみたいと思います。もし問題を私が描こうとしているように枠組みを設定するなら、答えは両者が協力しなければならないということです。なぜなら、問題は知能の理論を理解し、脳がどのように知能を提供する方法で計算できるのかを理解することだからです。そして、意識にまで拡張すると、それを理解するのは難しすぎます。
当面は知能にとどめておきましょう。この知能の理論は、私の考えでは、単なる実験からは生まれません。ただ、ああ、これは知的に見えるというだけでは十分ではありません。我々は何が起こっているのかをより深く理解する必要があります。ちょうど星の動きを予測するためのモデルを使うのと同じように、それだけでは何が起こっているのかを理解するには十分ではありません。
子供の時に夢見ていた時、あなたは理解したかったんです。もしかしたら、そのことを知らなかったかもしれませんが、重力はどのように働いているのか、何がそれを一緒に保っているのか、どのように...理論が必要だったんです。だから、私は我々がすべきことは...みんながこれに取り組む必要はありませんが、CBMMの焦点は主に私が描写していることにあると思います。
商業的なAIをより良くすることを目的としているわけではありません。それも良いことです。そのような問題に取り組んでいる人々はたくさんいます。画面に映っている人々もその問題に取り組んで素晴らしい仕事をしています。私が思うに、我々がここでやっていることは、私が描写していることについてずっと多くのことです。そして、正直言って、この種の研究に投資されている金額は、我々が誰であるかを理解するための他の大きな課題を研究するのに比べて、信じられないほど小さいです。
神経科学の部分とAIの部分は、私の考えでは、この知能の理論、心の理論を理解するために組み合わせるのが最良の方法です。より良いAIにつながるかどうかはわかりません。おそらく、数分前に示唆されたように、AIにインスピレーションを与えることからの利点のほとんどはすでに達成されているかもしれません。でも私にとっては、それは本当に重要ではありません。
そして、最後に簡単に言えば、これはすべて我々が誰であるかを理解することについてだと思います。そしてそれをするためには、知能の理論が必要なんです。
[拍手]
トマソ・ポッジオ: 全く同感です。非常に良いです。
さて、デミス。デミスはDeepMind Technologiesの共同創設者兼CEOで、それ以上の存在です。皆さんご存知の通り、AlphaGo、AlphaZeroなどのゲームの仮想世界で画期的な成果を上げ、最近では科学の世界でAlphaFoldを生み出しました。最近、ラスカー賞を受賞しましたね。おめでとうございます、デミス。
[拍手]
まだ正式には受け取ってへんのやろ?
デミス・ハサビス: いえ、数週間前に素晴らしい授賞式がありました。
トマソ・ポッジオ: そうやったんか。はい。その前は、ゲームデザイナーでしたが、本質的には大学/カレッジで神経科学の博士号を持つ神経科学者でした。これは非常に興味深い事実やと思います。あんたは間違いなく最高のAI企業の1つを率いているわけですからね。そしてもう1つ、グーグルもそうです。
あんたは神経科学者であって、コンピューター科学者ではないんです。さあ、デミス、あんたの番やで。
デミス・ハサビス: ありがとう、トミー。ジェフが言おうとしていたことの多くを言ってくれたので、ジェフの冒頭の発言に大部分同意します。神経科学はAIに大きな貢献をしたと思います。それはただ、ああ、どのアルゴリズム?というよりも、もっと微妙なものです。それはアイデアのスープのようなものです。
ディープラーニングだけでなく、強化学習でも重要だと思います。他のことでも、記憶の再生やエピソード記憶のような小さなアイデアでさえそうです。これらのアイデアの種は、神経科学の理解から来ています。そして、最終的にはシリコン上でかなり異なる方法で実装されたとしてもです。
だから、我々はそれを過小評価すべきではありません。神経科学コミュニティはそのことを非常に誇りに思うべきです。でも、我々は今、新しい時代に入っています。AIの最先端で行っていることは非常にエンジニアリング集約的になっています。そして、システムはますます脳の働き方から乖離しているかもしれません。
その認識に至ったのは、おそらく4、5年前です。今やフロンティアとなっている大規模言語モデルでスケーリング則が成り立ち始めたように見えた時です。実際、それらはもはや言語だけではなく、マルチモーダルになっています。とはいえ、現在のシステムには欠けているものがまだあると思います。
もし我々が...これらの議論を過去10年間にわたって何度も行ってきました。5年前くらいに話していたら、これらのシステムがどのようにして抽象的な概念を学習するのか、あるいは最終的には言語のような象徴的な知識を含む抽象的な概念的知識をどのように形成するのかについて議論していたでしょう。おそらく、具現化された知能やシミュレーションを通じて現実世界に根ざすことについて議論していたでしょう。でも、それを行う別の方法があることが判明しただけです。
おそらく、産業革命のようなものだと思います。エネルギーやパワーに関する素晴らしい新しいアイデアがたくさんありましたが、地中に眠っている恐竜の死骸、石炭や石油が燃料となっていました。地面に横たわっているだけです。産業革命がそれなしにどれほど困難だったか想像してみてください。
我々は一気に核エネルギーや太陽光エネルギーに飛躍しなければならなかったでしょう。そして、私はそれが知能研究とAI研究に起こったことだと思います。そして、その石油に相当するのは、まさにインターネット、この過去20年、30年にわたって我々全人類が構築してきた巨大な人間によってキュレーションされた人工物なんです。
もちろん、我々はそれを利用できます。そこには我々のどの一人も理解できるよりもはるかに多くの情報があることが判明しました。そして、それが大規模にスケールされたAIシステムが利用できるものなんです。だから、それによって我々は...ちなみに、人間からのフィードバックも含めてです。強化学習による人間のフィードバックを通じて、ある種の根拠が浸透していると思います。なぜなら、我々は明らかに根拠のあるエージェントで、これらのAIシステムと相互作用しているからです。
おそらく、それらは根拠のないものかもしれませんが、その後、根拠のあるフィードバックを得ます。だから事実上、そのアプローチを通じて、彼らの知識や行動に何らかの根拠が浸透していると思います。さて...だから、まだ欠けているものがあると思います。我々は計画が得意ではありません。事実性を修正する必要があります。
また、記憶やエピソード記憶のための余地もあると思います。だから、おそらく神経科学のアイデアからインスピレーションを得る余地はまだたくさんあると思いますが、おそらくそのピークは過ぎたかもしれません。一方で、神経科学から取り入れるべきだと思うのは分析技術です。
これが私が...トミーにも話したんですが...CBMMに提案したいことです。我々はこれらのシステムの理解が非常に不足しています。それを行うのは非常に難しいです。なぜなら、AIは工学的な科学だからです。まず人工物を構築しなければなりません。それ自体がすでに非常に難しいことですが、その後で科学的に分解して理解する必要があります。
そして、それは明らかに動く標的です。だから、これは非常に経験的な科学であり、理論だけでなく経験的なアプローチが必要だと思います。しかし、主に経験的なアプローチが、これらのシステムが何をしているのかを理解しようとするのに必要です。そして、神経科学の技術と神経科学者がこの分析スキルを活かせると思います。
私が念頭に置いている種類の研究は、例えばAnthropicのクリス・オラーの研究のようなものです。これらのシステムが何をしているのか、表現やアーキテクチャなどを分析する最良の例だと思います。ただ、そのような研究が100倍くらい必要だと思います。それが目標でなければなりません。
CBMMのような場所ができるもう1つのことは、主要な研究所...我々のものも含めてですが、分析や対抗テストの目的で、これらの非常に大規模なモデルへの早期アクセスとアクセスを提供する意思があると思います。そして重要なのは、能力をベンチマークするためのベンチマークも必要です。これは安全性の意味合いだけでなく、性能の意味合いもあります。
例えば、これらのシステムが欺瞞が可能かどうかを知ることは良いでしょうが、それは何を意味するのでしょうか? どのようにして操作化し、厳密にテストし、ある意味で合格できるようにできるでしょうか? だから、ここには膨大な作業があり、緊急に必要な作業があると思います。主要な研究所の一部で行われていますが、十分ではありません。
実際、独立した学術機関がこれを行い、その取り組みに参加する方が良いと思います。おそらく、これらのシステムが非常に強力になり、おそらく非常に近い将来、我々がこれらをより良く理解する緊急の必要性があるということで締めくくりましょう。つまり、他の可能性もあるかもしれません。例えば、これらのシステムが自分自身を説明することに加えて、我々が表現などを分析することです。
だから、我々にはこれができるという楽観性がたくさんありますが、もっと多くの人々、もっと多くの優れた研究者がその努力に参加する必要があります。ありがとうございます。
[拍手]
トマソ・ポッジオ: イリヤ・サツキーヴァー。あんたがこの中で一番若いな。最後に話すことになったな。まず、ジェフリーと一緒にImageNetで素晴らしいことをやり遂げて、最近ではOpenAIの共同創設者で最高科学責任者か何かをしてはるな。だからChatGPTとGPT-4の責任者やな。イリヤ、どうぞ。
イリヤ・サツキーヴァー: 紹介ありがとうございます。非常に良い点がたくさん指摘されたので、簡潔に話します。3つの質問が提起されました。理論の役割は何か? 神経科学はAIにどのように役立つか? AIは神経科学にどのように役立つか? まずそこから手短に始めましょう。
理論は、人によって異なる意味を持つ可能性があります。ニューラルネットワークの非常に高い複雑性のため、物理学のように非常に正確な予測ができるような非常に精密な理論を持つことは難しいでしょう。
同時に、理論が明らかに有用であることは確かです。今日でも、非常に精密な理論を持ちたいという欲求を諦めれば、突然、パラメータのスケーリング、活性化のスケーリング、その正規化、最適化の理論に関するたくさんのアイデアがすべてまとまり、今日のAIにとって明らかに非常に有用です。
このような理論がこれからも有用であり続けることは完全に確信しています。これが最初のポイントです。
第二に、神経科学はAIに何を与えられるか? 確かに、すでに言及されましたが、非常に重要な巨大なアイデアが神経科学からAIにもたらされています。例えば、ニューロンの概念。分散表現の概念。多くのものがデミスやジェフによって先ほど言及されました。
そして、おそらく神経科学からもう1つか2つか3つの大きなアイデアを借りることができるかもしれません。しかし、神経科学からアイデアを成功裏に借りるには大きなスキルと信じられないほどの感性が必要です。脳は非常に複雑で、神経科学は脳について、ニューロンについて、そのスパイクについて、そのイオンチャネルについて、おそらく脳の大規模な組織についても、信じられないほど大量の事実を生み出しました。
これらのアイデアのどれが付随的なものであり、気にする必要がないのか、あるいは脳の中に我々の研究のインスピレーションとして使える特定のアイデアがあるのかを判断するのは全く明白ではありません。だから、数年以内に我々が発見したことの中に脳にアナログがあることを発見するか、あるいはおそらくインスピレーションが脳から我々のAIシステムに流れる可能性があると思いますが、それは慎重に行う必要があります。
そして、ただ脳を見て真似しろとは言いません。これが2番目のポイントです。
AIが神経科学を助ける。非常に興味深いことで、もし本当だとわかれば非常に素晴らしいことですが、人工ニューラルネットワークが学習した表現と脳が学習した表現が、視覚と言語処理の両方で、おそらく予想以上の類似性を示しているという証拠が増えています。
これは事前に明白だったとは思いません。だから、おそらく今みんなが作っているこれらの素晴らしいニューラルネットワークを研究することで、人間の脳がどのように機能するかについてより多くのことを学ぶことができるでしょう。それはかなりありそうだと思います。
また、デミスの指摘に同意し、支持したいと思います。学術界やこのセンターで行える具体的に有用なことの1つは、評価、つまりこれらのモデルが何をできるのか、実際にどれほど優れているのかを理解することです。非常に混乱しています。時々、これらのモデルが素晴らしい閃きを見せることがあります。
一方で、非常に奇妙な、静かな非人間的な失敗モードもあります。そこで何が起こっているのかについてより多くの洞察を得ること、さらに良いのは、1年後または2年後にどこにあるのかについての洞察を得ようとすること、これらはすべて大企業の外部で行われるべき非常に重要な貢献になるでしょう。
ここで終わります。
[拍手]
トマソ・ポッジオ: では、座ってみましょう。バーチャル参加の人たちも含めて、この配置で試してみましょう。まず、議論の導入として、2、3のスライドを見せたいと思います。はい、なぜなら我々のパネルの...パネルの一部の人は昨日これを聞いていないからです。これが理論が良い理由について話した1つの理由でした。
ボルタが電池を発見した例を挙げて、その発見が電気が何であるかを誰も理解していなかったにもかかわらず、すぐに革命をもたらしたという事実について話しました。ボルタが「ピラ」...「ピラ」は「物の山」という意味ですが...亜鉛、コルク、銅の円盤の山であるこの物を発明してから20年後には、電気モーター、発電機、電気化学が行われ、電信線が敷設されました。
だから、それは大きな革命でしたが、マクスウェルによる電磁気学の理論的理解ができたのはずっと後のことです。そしてもちろん、これはさらに電気革命を推進することに貢献しました。1800年、そんなに昔のことではありません。約200年前です。
だから、理論が必要な理由は、他にも多くの理由がありますが、例えばデイビッドが先ほど言及したように、我々自身を理解したいという理由があります。理論を持つことは、何が起こっているかを理解することを意味します。我々は理論を持ちたいと思っています。物理学やマクスウェル方程式と同じレベルの精度である必要はありません。
単にいくつかの基本的な原理かもしれません。そして、デミスやイリヤも言及した2番目の点について、研究プログラムがどのようなものになるかについては、異なる形態の知能の経験的な研究のようなものになるでしょう。大規模言語モデル、異なるもの。人間の知能との比較の可能性。
そして、これは認知のレベルと箱の中身のレベルで行われるでしょう。そして、1つの目標は、体系的な違いと共通の特性、共通の行動、共通の...もしあれば、これらの知的システムに共通する基本的な原理を探ることになるでしょう。共通点がないかもしれません。
個人的には、あると信じています。そして、これは古典力学の精密な意味での理解ではないかもしれませんが、同様に有用で重要なものになるかもしれません。では、ここから始めましょう。最初に意見を言いたい人はいますか? ジェフ、理論についてもう少し詳しく聞かせてください。あなたは否定的か中立的な立場ですね。
ジェフリー・ヒントン: いや、理論に反対しているわけではありません。理論は素晴らしいと思います。ただ、私はそれをやっていないだけです。数学が得意ではないので、もっと実践的なことをする方が好きです。AIの神経科学への貢献について話していた時に言い忘れたことがあります。ここ数年で1つの大きな貢献をしたと思います。それは、脳内の言語の性質についてずっと良い理解を与えてくれたということです。
MITにチョムスキーという変な奴がいて、すべて生得的だと主張し続けてきました。今では、そうである必要がないことがわかっています。チョムスキーの言語観全体は、振り返ってみるとかなり狂っています。なぜなら、言語は意味を伝えることについてです。何かを伝えることについてです。そして、チョムスキーはその側面を無視しました。
車を理解しようとするときに、我々全員にとって車を理解するということは、大部分が車を動かすエンジンがどのように機能するかを理解することを意味するでしょう。でも、誰かが言うのを想像できます。いや、いや、車について理解すべきことは、なぜ3輪車や4輪車はあるのに、5輪車は決してないのかを理解することだ、と。
そして、それが我々が車について理解する必要があることだ、と。これは私には、チョムスキーの言語理論のようです。彼は特定の構文構造がなぜ不可能なのかを理解したかったのです。私が見る限り、彼は言語がどのように意味するのかという基本的な問題を避けるためにできることはすべてやりました。そして、これらの大規模言語モデルがそれに終止符を打ったと思います。
チョムスキーの心の中ではそうではないかもしれませんが、他のほとんどすべての人の心の中ではそうです。
デミス・ハサビス: はい、それに続いて、AIの神経科学への貢献についても触れたいと思います。ジェフ、私の価値として、チョムスキーは学部生の頃から完全に間違っていると常に思っていました。そして、自然言語処理を長い間間違った方向に導いたと思います。
でも、その議論は別の機会にしましょう。AIの神経科学への貢献については、付け加え忘れていました。今起こるべきことは、我々にはこれらの素晴らしいAI技術があり...多くの人々がこれを行っているのを知っていますが、脳の状態の分析、デコーディング、あらゆる種類のことに広く適用しましょう。10年、15年前に行っていたことですが、今ははるかに優れたAIツールがあります。
私の感覚では...ここ数年神経科学から少し離れていますが...部屋にいる人々は異議を唱えるかもしれませんが...神経科学側でより良い質問を始める必要があると感じています。学習理論や表現などについて、本当に大きな飛躍となる結果を見ていないんです。もしかしたら私がその論文を見逃しているだけかもしれません。
オックスフォードとUCLのティム・ベーレンズのような人々の研究は好きですが、fMRIが新しいツールとして登場した20年前くらいにあったと感じていたような大きな発展を見ていません。そして、もし我々が構築しているAIシステムを神経科学の観点から新しい分析ツールと考えれば、今それを行うチャンスがあるかもしれません。
異なるタイプの実験的神経科学を行うべきかもしれません。これは部屋にいる神経科学者への質問です。だから、私が強調したいのは、トミー、あなたのスライドにリストアップしたことに加えて、評価とベンチマークのポイントです。
分野として我々がそれを行うことは本当に重要です。正しいベンチマークを作成することは理論も必要とします。これらの新しい能力の理論です。これらのシステムがどのようにしてそれらの新しい特性を生み出すのか、それらがどこから来るのかについての理論はないと思います。
もしそれについてより良い理論があれば、より良いベンチマークを構築でき、そしてそれらがいつ現れるかについてより良い把握ができると思います。
トマソ・ポッジオ: 私の最初の要点はベンチマーキングについてだったと思います。
デミス・ハサビス: ああ、そうかもしれません...
トマソ・ポッジオ: 機械と人間、そして機械同士の共通点と相違点、行動の側面を見ることについてですが、はい。
誰か...聴衆の中に神経科学者はいますか? デミスの挑戦に答えたい人は? ジム。
聴衆: はい。我々の一部は、かなり前からそのクールエイドを飲んでいます。これらのものを何が起こっているのかの最良の予測として使い、そこから実験を導き出すということです。それは我々がベンチマークとして提示する新しい現象を生み出します。
不明確なのは、それらの現象をどのように使って再び歯車を回し、より深い理解を築くかということです。我々の一部は数年間ベンチマークにも取り組んできました。これは神経科学と認知科学の分野では典型的ではありません。だから、難しかったですが、あなたがたがこれらのアイデアを支持してくれるのを聞いて嬉しいです。
これらのことにはお金とリソースが必要で、実験がどのように行われ、なぜ行われるのかについての考え方の変化も必要です。必ずしも即座の理解を生み出すためではなく、それらのポンプに燃料を供給するためです。でも、実験と予測を超えて、そして実験的努力がラボが結果を出し、その深い理解を生み出すという分野のインセンティブ構造に合わないという次の歯車の回転は、それを超えています。
だから、そのようなプラットフォームを通じて大規模に科学を行うことが我々が向かうべき方向だと思います。そして、あなたがたが言っていることすべてにそれを聞いています。これは、AI生成器を仮説構築者として扱い、我々がそれらを脳に最も似たものにどのように形作るかを追跡する素晴らしい機会だと思います。
そして、それにはそれらのベンチマーキングプラットフォームと実験的なものが一緒に走る必要があります。だから、私はあなたがたが言ったことを単に反響させているだけです。私はすでに...そのクールエイドを飲んでいます。そして、もっと多くの人々がそうできることを願っています。そして、あなたがたが何らかの方法で我々を助けてくれるなら、それは素晴らしいことです。
ありがとうございます。
デイビッド・シーゲル: デミスが言っていたことに関連して、少し違う方向からコメントしたいと思います。今日の早い時点で、誰かが指摘していましたが、知能を示すAIシステム、大規模言語トランスフォーマーアーキテクチャを研究することは、脳を研究するよりもはるかに簡単です。なぜなら、それを突っついて、あまり努力せずに欲しいものを何でも得て分析できるからです。
脳はトランスフォーマーよりもはるかに複雑だと思います。そして、トランスフォーマーアーキテクチャで何が起こっているのかを、ああ、今我々は本当に何をしているのかを理解したと言えるレベルで理解できないのであれば、脳についてはほとんど不可能でしょう。はるかに複雑になるでしょうから。
だから、神経科学の仕事の一部を、知能を示しているこれらのアーキテクチャに移行させることの利点が見えます。
ピエトロ・ペロナ: 私の視点を付け加えさせてください。現時点で、我々は言語を興味の分野として過度に重視している可能性があります。そして、人間は知能を示す多くの種の中の1つに過ぎないことを忘れるべきではありません。
科学の基本的な原則は、現象を可能な限り最も単純な具現化で研究することです。そうすることで、より早くそれの底に到達し、より単純なバージョンから原理を理解し始めることができます。そして、神経科学はこれを行ってきました。だから、我々はC. elegansについて約100個のニューロン、ショウジョウバエについて約10万個、マウスについて約1億個、人間について1000億個を研究しています。
そして、我々は忘れるべきではありません。これらすべての異なるトレードオフ、つまり電力消費、パフォーマンス、適応性のトレードオフがあり、多くの異なる種、もしすべてでなければ、の文脈で知能の問題を見るべきです。だから、これは神経科学が注意を喚起し続けることができる、異なる形態の知能についてのことです。
ジェフリー・ヒントン: 興味深いのは、その範囲について人々が非常に異なる見方をしていることです。かつてスティーブン・ピンカーと話していた時、彼に尋ねました。ラットがどのように機能するかを完全に理解したとしましょう...ラットについて我々が理解したいと思うすべてのことを理解したとします。人間の知能を理解する道の半分以上か以下のどちらにいることになるでしょうか? そして、私は多くの生物学者がほとんど道のりの大部分を進んだと言うだろうと思います。
スティーブン・ピンカーは、いや、人間の知能を理解する道の半分よりもずっと手前だ、と言いました。
ピエトロ・ペロナ: そうですね。まあ、それは好みの問題です。実際には、我々はそこに到達するまでわかりません。でも、ジェフ、あなたは同意すると思いますが、これらすべての異なる形態に注意を向け続け、人間と言語に執着しないことは価値があると思いませんか?
ジェフリー・ヒントン: もちろん、そう思います。
トマソ・ポッジオ: マーク。
聴衆: はい、心理物理学をもっと直接的に議論に持ち込むべきではないかと考えていました。みんなが神経科学について話しているのは、神経科学がニューロンと相互接続の物理学に特に関係しているかのようです。
でも、心理物理学的実験に反映される人間や他の動物の行動は、エンジニアリングされた知能システムと生物学的システムの両方に適用できるベンチマークを得る機会を提供すると思います。これにより、ニューロンのレベルや計算の説明のレベルまで行かずに比較を行う本当の機会が提供されるでしょう。
トマソ・ポッジオ: 私は...ちょっとスライドを見せてもらえますか? はい、ここの最初のポイント、最初の箇条書きは心理物理学または認知科学または行動の測定についてです。ベンチマーキングを含みます。2つ目はより記録に関するものです。そして、私はこの場合、1つ目の方が重要だと思います。
聴衆: でも、パネルが神経科学に言及した時、彼らが何を意味していたのか疑問に思います。
トマソ・ポッジオ: 彼らに聞いてみましょう。バーチャルパネル。
デミス・ハサビス: 心理物理学。私も全く同意します。心理物理学が実際に我々が必要としているものだと思います。我々は...おそらく少し早すぎたかもしれませんが、約10年前でさえ、Psych Labと呼ばれるAIシステムのための仮想テストラボのようなものを持っていました。
そして、私はまさにそれだと思います。非常に厳密な管理下での行動テストは、おそらく単に神経記録の等価物よりも、我々がもっと強く押し進める必要があるものです。だから、心理物理学が大きな部分を占めるべきだということに全く同意します。
ジェフリー・ヒントン: 明確にするための質問があります。
AlexNetのようなものを見ると、その決定の大部分は...テクスチャに大きく依存しています。そして、これらの新しいAI生成モデルを見ると、分類を行う際にテクスチャにあまり依存していません。これはあなたが心理物理学と呼ぶ種類のものですか? はい。その場合、はい、我々はそのようなものをもっと必要としていると思います。
デミス・ハサビス: でも、それ以外のこともあるでしょう、ジェフ。記憶状況や設定をテストするようなこと...実際の小さな実験です。実際、我々は元々ラットの実験をモデルにしていましたが、今では我々のシステムが洗練されすぎているので、更新する必要があるかもしれません。
イリヤ・サツキーヴァー: これらの非常に強力なモデルが存在するという事実について、1つの良いことは、心理物理学をインスピレーションとして使用するというここで議論されているアイデアについて、我々は議論する必要がなく、すぐに試してみて、すでに興味深い結果について議論できるということです。
そして、我々というのは、大きな研究所の人々だけでなく、強力なオープンソースモデルが今存在します。モデルアクセス...大きな研究所が研究者にモデルアクセスを提供しています。非常に早く見つけることができます。
ピエトロ・ペロナ: OpenAIとDeepMindから聞くのも興味深いかもしれません。あなたがたはどのようにリソースを配分していますか? 明らかに明白な商業的・産業的な目標がありますが、同時に何らかの良い仕事をしないと成功しないでしょう。だから、技術、理論、神経科学の間でリソースをどのように見ていますか? あなたがたの会社内でそれをどのように見ていますか?
デイビッド・シーゲル: おそらく考え方の1つは...同意するかどうかわかりませんが、一般的に産業界では、特定のアプローチに賭けて、それを改善し続けるという丘登りの方が多いです。
学術界では、常に新しい思想家や新しいアイデアで受粉されているため、より多くのジャンプがあります。そして、とにかく丘登りのためのインフラはありません。スケールアップもしません。だから、これは私の心の中では、アイデア創出の自然な分割です。
イリヤ・サツキーヴァー: その質問は、製品のニーズと研究のニーズの間に緊張があることを示唆しています。そしてある意味ではそれは真実です。別の意味ではそれははるかに真実ではありません。そして、それがあまり真実ではない意味を説明したいと思います。
異なる企業間で、彼らのAIがどれだけうまくいっているかについてかなりの競争があることは明らかです。つまり、少し近視眼的になりすぎると、来年か2年後には、あなたのAIはうまくいかなくなります。
そして、それはAIを継続的に改善したいという多くの欲求と単純な商業的インセンティブを生み出します。改善というのは、より能力を高めるだけでなく、短期的なAIをより安全にすることも意味します。また、人間よりも賢い長期的なAI、そしてそれらのAIは構築されるでしょうが、超知能AIを安全で、整列され、一般的に人類に対してポジティブな傾向を持つようにする作業をすることも意味します。
でも、これをどのように行うのでしょうか? この長期的な研究にどのように取り組むのでしょうか? 簡単な答えはありません。基本的に2つの答えがあります。多くの優れた研究者を雇い、彼らに自由を与えることができます。これは1つのアプローチです。もう1つのアプローチは、正しいトップダウンのアイデアがあり、自信があれば、検索空間を縮小してこの方法で進歩することができます。
そして、それが基本的に...哲学はどうなのか? 物事がどうあるべきかについて、単に現在どうであるかではなく、どのように考えているのでしょうか? これらすべてのことが一緒になって、進歩し続けることができると思います。
ピエトロ・ペロナ: では、もう1つ質問してもいいですか? デミスが以前言っていたことに戻りたいのですが、テストと理解の仕方にもっと投資する必要があるということで、これは私に非常に響きます。私はビジョンの分野でベンチマークを通じて問題を定義することに関わってきました。それはしばらくの間うまくいきました。
今、これらの大規模なビジョンと言語モデルについて考えると、タスクが何であるかを定義し、それを測定するためにどのようなベンチマークを使用すべきかを定義することがますます複雑になっていると感じています。
そして、多くの我々が現時点で、以前よりも良いのか悪いのかを判断するための良い羅針盤を持っていないと感じています。そして、企業や大学の科学者の生活について考えると、彼らはしばしば、どこかの誰かの論文にある非常に単純なベンチマークに頼って、自分たちがより良くなっているかどうかを判断しようとしています。そして、それらが何を意味するのかさえわかりません。
神経科学の側面を見ると、我々も同じようなことがあると思います。脳がどのように機能するかを理解することに興味がありますが、多くの人々が研究室で、動物がエコロジカルな意味があるかどうかさえ不明確なタスクを実行しなければならない非常に定型化された準備に終わっています。
そして、動物は何ヶ月もかけてそれを過度に学習し、その後我々はニューロンが何をするかを研究します。そして、知能のエコロジカルな価値についての我々の視点で何をしているのかは非常に不明確です。
そして、両分野で、知能は何のためにあるのか? 行動とは何か? 動物や自動機械は何を達成しようとしているのか? そして、ある意味で、これらの生き物のエコロジカルな適応度をどのように測定するのか? について再考する必要があるように感じます。
デミスが提起した質問は非常に豊かな一連の質問だと感じます。そして、私は...デミスの考えはわかりましたが、ジェフとイリヤがこれについてどう考えているのか疑問に思います。私が言ったことに同意するか、パフォーマンスを測定するのが難しいと思うかどうか。
イリヤ・サツキーヴァー: はい、パフォーマンスの測定が非常に難しいことは疑う余地がありません。いくつかの例を挙げたいと思います。
AIにいた人々...2010年代半ばくらいに、ビジョンにおける超人的なパフォーマンスが達成されたという主張を聞いたことがあるかもしれません。ある時点で、一部の研究者がImageNetデータセットでビジョンにおける超人的なパフォーマンスを達成しました。まあ、でも我々はこのタスクで明らかに超人的ではありませんでした。
どうしてそうなったのでしょうか? まあ、それはあまり大したことではありませんでした。なぜなら、これらのニューラルネットは単なる学術的なプロジェクト...非常に動機づけられた情熱的な個人が取り組んでいた研究プロジェクトだったからです。それは重要ではありませんでした。
今、我々ははるかに洗練されたニューラルネットを持っています。それらは広く使用されていますが、そのパフォーマンスを理解するのは難しいです。例えば、これらの...オンラインで見つけることができる大規模言語モデルのチャットボットのいずれかを取り、難しい数学の問題を解くように頼んで、それが解けた場合、それは推論して理解したからでしょうか? それとも、トレーニングセットで何か似たようなもの、あるいはある程度似たようなものを見たからでしょうか? そして、トレーニングセットはかなり大きいです。
これは混乱を生み出します。本当にクールな行動の例を興奮して投稿する人々を見るかもしれません。それらはバイラルになります。そして他の人々が同様のことを試みますが、失敗します。これは我々のニューラルネットが機能しないということではありません。明らかに機能します。でも、測定が本当に簡単ではないということを示しています。そして、これは非常に意味のある概念的および経験的な貢献の余地がある分野だと思います。
ジェフリー・ヒントン: 1つ小さなコメントがあります。以前、GPT-4がウェブを見ることができる前に、知っていることはすべて2023年1月...あるいは22年だったかな...以前のことだと確信を持って実験をしていました。そして、ログアウトしてログインし直し、質問を少し変えて異なる応答を得ることができました。
もはやそれはできないと思います。誰かが実験について話すとすぐに...GPT-4はその実験についてのウェブ上の議論を見ることができるでしょう。これが私の推測です。どんな種類の体系的な実験を行うのも非常に難しくなるでしょう。
デミス・ハサビス: ピエトロ、これについての私の考えは、簡単だったらすでに行われているはずだということです。
だから、確かに簡単ではありません。なぜなら、この通話に参加している全ての人々...私はこれについて15年、20年考えてきましたし、我々には何千人もの研究者がいます。非常に難しいです。でも私のポイントは、これが大きな...これが私のトミーへのピッチです。もし私が今MITとCBMMにいたら、これが私がすべきだと信じることです。
最大のモデルを構築するこのコンピューティングレースについて心配する必要はありません。実際...私は主要な研究所のほとんどが分析と安全性の仕事のためにモデルへのアクセスを提供すると思います。だから、それがあると仮定してください。だからあなたはそのレースに参加する必要はありません。我々が本当に必要としているもの、そして主要な研究所のみんなから聞いていることは、これは...そして、これには理論、神経科学、心理物理学、実践的な実験が含まれますが、新しい能力、適切なベンチマーク、イリヤが言うように、これらの新しいタイプの知能をテストする方法について、どのようにこれらの問題に取り組むのかということです。
我々はみんなこれを見てきました。AlphaGoでは、世界チャンピオンよりも優れたシステムがありますが、分布から外れると、今日でも奇妙なことをさせることができます。我々はそれを修正できますが、単にGoのためにそうする意味はありません。
でも、これらは人間の知能がそうではないような方法で訓練されているため、知っていることに大きな穴があるように見える不均一な知能です。だから、今日我々が持っていない全く新しい学習の理論やメタ理論が必要かもしれません。
だから、私はこれが次の5年、10年のために非常に豊かな空間だと思います。これはおそらくMITとCBMMができることの強みに合致すると思います。そして、これは非常に必要とされており、緊急に必要とされていると思います。そして、おそらく主要な研究所が得意とすることを補完するものだと思います。私の意味は、我々はGoogle DeepMindでそれを少し試みています。
我々にはAIラボとしては珍しく、いくつかの神経科学者がいますが、そのような場所でその種の仕事をするのに十分な人々が引き付けられていません。だから、これは大きな機会だと思います。そして、これらのシステムを展開し、これらのシステムの安全性に取り組み、次の10年間にAGIまたは人間レベルの知能に近づくにつれて、それに取り組むことを考えると、私の見解では、これは絶望的に必要とされています。
だから、より明確な使命やクラリオンコールはないと思います。そして、さらに、これはもちろん、我々が今日議論してきたように、多くの異なる方法で人間の心を理解するのにも役立つでしょう。とにかく、ここで止めます。
デイビッド・シーゲル: 手短に付け加えると...
トマソ・ポッジオ: デイビッド。
デイビッド・シーゲル: 言われたことすべてに同意します。ベンチマーキングは非常に難しいです。部分的には、よく定義された問題であっても...特定の問題には正解があり、ベンチマークを設定できますが、多くの...ほとんどの問題には正解がありません。それは文脈に依存したり...もし早い段階で話しているなら、あなたの哲学的枠組みが重ね合わされます。
だから、ファジーな出力を扱う場合、ベンチマーキングで何を意味するのかについて本当に考える必要があります。私は本当にわかりません。
そして、ベンチマーキングが本当に重要だということを付け加えたいと思います。なぜなら、ベンチマーキング関数を決定すれば、人々は本質的に彼らのモデルをチューニングして...すべきです...そのパフォーマンスを最大化するからです。そして、ベンチマーキング関数を間違えると、結果的に間違ったことに長けたものを構築してしまう可能性があります。
トマソ・ポッジオ: 非常に良いです。尋ねたい他の質問がたくさんありますが、その前に、聴衆に質問する機会を与えましょう。誰か最初に手を挙げた人がいましたね。まあ、ランダムに行きましょう。ジャン＝ジャック。
聴衆: はい。これは前に言及されましたが、もう少し直接的に聞いてみましょう。
我々はみな進化の考えで育てられました。特に、脳が感覚運動制御の洗練から進化したという事実です。海鞘という小さな動物の逸話があります。これは泳いで岩に固着し、その時点で自分の脳を飲み込みます。もはや動く必要がないからです。
さて、ここで我々は奇妙な場所にいます。LLMでは、動きの前に言語があります。ある意味で、我々は会話エージェントなどを持っていますが、配管工ロボットのようなものはまだ遠いですね。そして、確かにLLMはインターネットのすべての知識を吸収したと言えますが、例えば、私は自分が何かを操作している時に何を感じているのか、何を感知しているのかの詳細を説明することは全くできません。
これは簡単に説明できるものではありません。だから、この種の言語が動作の前にある行動を持つことで、何か見逃しているのでしょうか?
ジェフリー・ヒントン: 完全に正しいとは思いません。おそらく、ルービックキューブについてコメントできるでしょう。
イリヤ・サツキーヴァー: 私は、データが化石燃料として存在するという類推が素晴らしいと思います。
そして、これがなぜ今日我々が持っているAIを作る上で重要な役割を果たしたのかの理由です。少なくとも今のところ、過去においては、ロボットは高価で、ロボットのデータはありませんでした。高価で、誰も大規模なニューラルネットを訓練してロボットで実行することはできませんでした。だから、今日うまくいっているレシピはロボットには適用されませんでした。
非常に急速に変化しています。様々な研究所が生み出しているロボット工学の進歩を見ると、かなり良く見えます。GoogleやDeepMind、最近ではトヨタ技術研究所から本当にクールな研究が出ています。彼らはパンケーキをひっくり返すなど、ロボットを制御する本当にクールなニューラルネットを訓練しています。
そして今、それが可能になっています...人々は今、それが可能だと信じていますが、以前は信じていませんでした。確かに、我々が持っているAIはロボットほど完全ではなく、確実に機能が完全ではないと主張できるかもしれません。でも、ロボット工学の進歩を見ると、数年後には状況がかなり違って見えると思います。
デミス・ハサビス: はい、その点についてイリヤに同意します。我々は最近、RTX汎用ロボットシステムをリリースしました。まだロボット工学で一般的に可能なものからはほど遠いですが、これが言語とは異なるとは考えないでしょう。言語はすでに非常に難しかったのですが、それは実現可能でした。そして、我々には他の方法があります。
非常にリアルなシミュレーション、物理シミュレーション。そして、大規模なロボット農場、アーム農場からより多くのデータを収集することもです。これらを回避する方法があると思います。そして、汎用モデルからロボット工学の領域に一般化することです。私の意見では、今後数年でそれほど難しくないと思います。だから、具現化されたものが異なるということを過度に重視しないでしょう。
聴衆: 産業界と学術界の交差点に座っている我々にとって、理論を実践に適用して現実世界でのイノベーションを推進し、ひいては生活を向上させる方法を考える時、ここに1つ質問があります。我々は皆、質問や問題を枠組みすることの重要性を知っています。
そして、仮定の穴や何が起こったか、盲点について話しました。ここで重要なのは、20年前にAIの分野を振り返ったとして、当時は認識していなかったかもしれない潜在的な盲点で、今日に反映されているものは何でしょうか? デイビドの例で言えば、Two Sigmaを始めた時、非常に不完全な現実世界...データの不完全性、システムのダイナミクス、異なる当事者間の対立する動機...でマシン技術を使用する旅の中で、どのような盲点があったでしょうか? これらの盲点は、おそらく教育データとして役立ち、今後20年間のAIと人間をどのように見るかについて推論するのに役立つかもしれません。
デイビッド・シーゲル: 1つ簡単な答えを言えば、本質的に間違ったデータや不正確なデータから学習している場合、明らかに望ましくない出力を得ることになります。
だから、理論を持たず、完全にデータ駆動だけに頼っている場合は、データについて非常に注意深くなければなりません。
これは、物事が非常に経験的になった時に心に留めておくべき一般的な教訓だと思います。
聴衆: はい、産業界のパネリストの方々に、本当に大規模な心理物理学的に制御された実験と整列研究を、ここMITのような場所で実際に地に足をつけて推進する方法について伺いたいと思います。少なくとも過去5年間、この分野で観察してきたところによると、神経科学/AI研究への最大の貢献はFacebookのPyTorchモデルだったと言っても過言ではないでしょう。これらは我々の研究で使用するモデルの傾向にあります。我々はこれらのモデルのオープンソース版で実験を行おうとしています。
しかし、例えば実験の心理物理学的パラメータについて大規模な実験的グリッド検索を行うことと、GPTのような非常に大規模なモデルよりもはるかに小さいモデルを訓練できるが、多くの異なる仮説をテストするために多くの異なるバージョンを訓練する必要がある小規模なモデル心理物理学的検索の両方を行うことが非常に有益だと思います。
ヒューベルとウィーゼルが小さなペンと紙で画面上でグリッド検索を行っていたようなものです。産業界がモデルを訓練しているスケールでそれができれば、実際にはるかに高速で整列研究を追求できるかもしれません。だから、そのための扉は何か、あなたがたがそれについてどのように考えているか、どのようなリソースを割り当てる意思があるか、そして学術界からの堅固な管理とチェックを伴う大規模な実験をどのように行うかについての会話をどのように始められるかについて伺いたいと思います。
デミス・ハサビス: まあ、短い答えを言えば、主要な研究所は...我々は政府とも話していますが、モデルへのアクセスを提供する意思があります。だから、それを出発点として考えるべきです。
そして、それらのモデルの一部はできません...オープンソース化については全く別の問題があります。これは今日の範囲外ですが、明らかに悪意のある使用事例、悪意のある行為者が強力な技術を手に入れて悪用するという明白な質問に答えなければなりません。そして悪意のある行為者には個人や国家が含まれる可能性があります。だから、これらの質問に答える必要がありますが、同時に明らかにオープンサイエンスの流れを維持する必要があります。
だから簡単ではありません。もう1つ、非常に難しいことがあります。そうでなければ、すでに解決されているはずです。
イリヤ・サツキーヴァー: はい、これについても簡単にコメントします。OpenAIや他の多くのAIラボが学術研究のために彼らのモデルへのアクセスを提供していることは事実であり、それが答えです。
ライブモデルは高価ですが、それでも多くのことができます。人間やラットなどと比較して、モデルに対して心理物理学にインスパイアされた実験を行うのは確実にはるかに簡単です。
聴衆: マノリス・ケリスと申します。MITのAIとコンピューターサイエンスの教授で、私の研究はゲノミクス、計算生物学、そして多くの分子神経科学に関するものです。
つまり、人間の病気の分子的基盤についてです。この会議で多くの人が、人間のニューロンの多様性と、統合失調症や神経変性、アルツハイマー病などに関連する脆弱性が実際には非常に特定のニューロンのメカニズム、非常に特定のニューロンのサブクラスを指し示していることについて多く考えています。
そして、大きな議論があり、今日も多くそのことについて話しましたが、脳に異なるタイプのニューロンがあることがどれほど重要なのかということです。数十の異なるタイプの興奮性抑制性ニューロン、グリア細胞の役割などの役割を理解しようとすることがどれほど重要なのでしょうか? あなたがたの見解では、AIは現時点でそれとは完全に切り離されているのでしょうか? 今日我々がいる場所に到達するために必要だった進化の奇妙な副産物に過ぎないと思いますか? もし単に巨大な皮質だけで最初からやり直せば、同じくらい知的だったでしょうか?
そして、それに関連して、我々は具現化された知能について、感情の役割、複数の感覚入力の収束の役割について多く話しています。
これらのエングラムを通じて記憶する能力について。だから、私は好奇心があります。あなたがたの見解では、人間の知能は人間を理解するためだけに有用なのでしょうか? それとも、この麺の袋がどのようにして、工場のエネルギーを使って認知の面で達成したかを理解することから、真にパラダイムシフトを起こす能力が生まれる可能性があるのでしょうか? そしてもちろん、麺の袋は取り残されるかもしれませんが、エネルギーの面ではどのような代償を払うのでしょうか? だから、私はトミーの前提の一部だったと思うこの往復の質問について好奇心があります。
ジェフリー・ヒントン: 私の推測では、脳は長い進化の期間にわたって高度に最適化されてきました。
だから、これらすべての異なる種類のニューロンがあるのは、それらすべての異なる種類のニューロンを持つことが役立つからですが、はるかに少ない種類でもかなりうまくいくでしょう。
明らかに、いくつかの種類は必要です。AIモデルの層正規化のようなものは、脳の抑制からインスピレーションを受けています。だから、これらのAIモデルにはそこから来る神経の多様性が少しはあります。でも私の推測では、一種のクリックの見方で、進化は試行錯誤を行う者であり、長い間試行錯誤を行ってきて、異なる種類のニューロンに具現化されたこれらすべての小さなトリックを思いついたが、おそらく知的システムを得るためにそれらすべてを必要としないということです。
イリヤ・サツキーヴァー: これについて1つ簡単なコメントがあります。訓練されたニューラルネットワーク、おそらく大規模な訓練されたオープンソースモデルを取ると、すでに多くの興味深いニューロンタイプを発見できる可能性があります。実際、それはかなりありそうです。
聴衆: パネルは素晴らしいです。あなたがたに伺いたいのですが、AI支援の科学革命についてどのように考えていますか? AIはすべてですか? AIにはできないことがありますか? AIと科学を組み合わせるということですね。
はい。
ジェフリー・ヒントン: デミスはすでにそれができることを示しています。
デミス・ハサビス: はい。まあ、それが私の目標であり、最初からの情熱です。これが私がAIに人生をかけて取り組んできた理由です。今は、それを世界と宇宙を理解するのを助けるために応用できる刺激的な瞬間です。
だから、AlphaFoldは、我々が何ができるかについての私の名刺だと思います。そして、10年後に振り返った時、それがAI支援生物学やAI支援科学の新しい時代の始まりに過ぎなかったことを願っています。今のところ、我々が構築したすべてのシステムを見て、非常に単純に言えば、大規模な組み合わせ的な検索空間があり、多くの場合、そのように捉えることができる状況があると思います。
おそらく材料設計、化学、生物学の多くのことがそうです。そして、その解決策があります...その...しかし、すべての可能なタンパク質の折りたたみ方の中から正しいタンパク質の折りたたみを見つけるような解決策があります。その捜索不可能な空間を捜索可能な方法で検索して、干し草の山の中の針を見つける必要があります。
そして、AlphaGoは...基本的にそれがAlphaGoです。もちろん、碁のゲームにおいてですが、なぜなら単に検索だけでは不可能だからです。モデルが必要です...ある種の合理的なモデル...それほど良くなくても構いません...碁とその動態と碁のモチーフについてのモデルが必要です。そして、AlphaFoldも同じです。
だから、今のところ、既存のシステムでも解決できる科学の問題が多くあると思います。これから登場する次のシステムは、自分で新しい仮説を生成したりすることができるかもしれません。まだそこまでには至っていません。
我々が仮説を入力し、質問を枠組みし、データを与え、モデルを構築する必要があります。だから、それは今のところ人間の専門家が使用するためのツールに過ぎません。これは我々がやっていることです。そして、それは非常に一般的です。我々はそれを生物学だけでなく、化学、核融合のプラズマ閉じ込め、そして数学や定理証明にも適用しています。
だから実際に...このように考え始めると、科学にはこのタイプの設定に適合する問題がたくさんあると思います。
デイビッド・シーゲル: 今日我々が話していることに適切な問題です。私は常に、AIが十分に急速に進歩して、おそらく脳を理解する問題の解決を助けるかもしれないと信じてきました。そして、我々はこれを完全に循環させるべきです。
トマソ・ポッジオ: はい、すべてのパネリストに簡単な意見聴取をしましょう。あなたが言ったことや何度も議論されたことの根底にある1つの質問は、最新の大規模言語モデルがどれほど独創的あるいは創造的なのかということです。もちろん、例えばAlphaGoが韓国での試合に勝った時、かなり創造的な手を打ったことは知っています。
そういうことは可能です。でも、非常に具体的に言えば、既存のモデルや次のGPT-4、例えばGPT-5などが、新しい非自明な数学的予想を述べることができると思いますか? 証明するとは言っていません。述べるだけです。今後5年以内に可能だと思いますか。
イリヤ・サツキーヴァー: 現在のモデルがそれをできないと確信していますか?
[笑]
トマソ・ポッジオ: 私は確信していません。
絶対に。あんたはそれができるかどうか知っていますか?
イリヤ・サツキーヴァー: つまり...
ジェフリー・ヒントン: 例を挙げましょう...GPT-4がすでにできる創造的なことで、ほとんどの人にはできないことの例を挙げましょう。我々はまだ、論理的推論が知能の本質であるという考えに囚われています。しかし、我々は知っています...
トマソ・ポッジオ: ...でも一部の人は。
ジェフリー・ヒントン: まあ...
トマソ・ポッジオ: はい。
ジェフリー・ヒントン: 類推を見ることができること、特に遠い類推を見ることができることが、知能の非常に重要な側面であることを知っています。だから、GPT-4に「コンポストヒープと原子爆弾の共通点は何ですか?」と尋ねました。そして、GPT-4はそれを的確に答えました。ほとんどの人は「何もない」と言うだけです。
デミス・ハサビス: 何と言いましたか?
[笑]
ジェフリー・ヒントン: まず、エネルギースケールが非常に異なるので、一見すると非常に異なるように見えると言いました。
しかし、その後、連鎖反応について、そしてエネルギーを生成する速度が増加するにつれてエネルギーが増加する方法について説明し始めました。つまり、連鎖反応のアイデアを理解しました。そして重要なのは、それは人間の約1万倍の知識を持っているので、我々には見えないようなあらゆる種類の類推を見ることができるということです。
デミス・ハサビス: はい。だから、これについての私の考えは、AlphaGoから始まって、明らかに今日のBardやGPTのようなシステムまで、それらは明らかにある意味で創造的です。詩を作らせると、今では詩がかなり素晴らしいです。素晴らしい音楽を作れるシステムがあります。我々が非常に創造的だと見なすようなものがたくさんあります。
すべての画像関連の作業、テキストから画像への変換など。トミー、あなたが尋ねていることは、私の意見では、まだ不可能だと思います。推測ですが。我々は断定的に言えません。なぜなら、私はこれについて前に話したことがあると思います。おそらくCBMMでも、創造性には3つのレベルがあると考えています。そして、我々は明らかに最初の2つを持っています。
まず、内挿です。見たものを平均化して、新しいプロトタイプ的なものを作り出すこと、例えば、見たすべての猫の画像から新しい猫を作り出すことです。これが創造性の最も低いレベルです。次に外挿があります。これが我々が今いるところだと思います。それはAlphaGoの37手のような新しい碁の戦略です。
新しい音楽の断片、新しい詩の断片、そして人間には見つけられないようなものの間の類推を見つけることです。そして、これらのシステムは確かにそれができると思います。しかし、私が発明や枠外の思考と呼ぶ第3のレベルがあります。それはAlphaGoが碁を発明するのと同等です。
良い碁の手を思いつくのではなく、碁や将棋を発明することです。そして、それらはできません。人間のゲーム愛好家が古典的に良いと見なすような何か...ある種の美的な方法で良いもの。そして、それらはできません。そして、それが欠けているものです。あるいは、ピカソがキュビスムを思いつくこと、あるいは偉大な数学者が新しい予想を思いつくことです。
しかし、それが魔法だとは信じていません。我々はそれができるシステムを持つことができると思います。しかし、今日それらができるとは思いません。まだ何かが欠けています。しかし、将来的にはそれができるようになると思います。
トマソ・ポッジオ: デミスに同意します。イリヤはどうですか? 同意しますか、それとも...
イリヤ・サツキーヴァー: つまり、今日存在するニューラルネットワークが明らかに、そして疑う余地なく創造的であると思います。
それらはすべての分野において歴史上最も創造的な人間ほど創造的ではありません。そう言えると思います。
トマソ・ポッジオ: はい。数学について尋ねていましたが...
イリヤ・サツキーヴァー: まあ、予想は少し厄介です。
トマソ・ポッジオ: まあ...
イリヤ・サツキーヴァー: すでに推測することができます...
トマソ・ポッジオ: ...それはまさにデミスが言ったことに当てはまります。
群論を...あるいは何か...から発明できますか?
イリヤ・サツキーヴァー: それは予想とは異なります。群論は少し...ここで話しているのはかなり高いハードルです。
[笑]
文字通り、他に何も残らないでしょう。
デイビッド・シーゲル: この多くは、ベンチマーキングの問題に戻ります。
創造性についても、どのようにベンチマークするのでしょうか?
私が苦労しているのは、ベンチマークなしでは...コンピューターは発明されたほぼ瞬間から、特定のタスクで人間を凌駕してきました。そして、ここで何が起こっているのかを本当に理解するためには...私は言われていることに反対しているわけではありませんが、デミスや他の人が指摘したように、本当にベンチマーキングの問題に焦点を当てるべきだと思います。
ジェフリー・ヒントン: 歴史的なコメントをさせてください。私は長い期間、人々がニューラルネットは決してXができないと言うのを見てきました。ゲイリー・マーカスの全集はその良い歴史です。
[笑]
だから、もはやそういう発言を信じません。なぜなら、人々が言ってきたほとんどすべてのことについて、今ではそれらができるからです。
そして、人々は...数学の定理を証明することは、かつては...まあ、ニューラルネットワークは決してそれをしないだろうと言われていました。そして、人々はただタスクを移動させ続け、それをどんどん難しくしています。私はデミスに完全に同意します。人々ができることで、それらができないと信じる理由はありません。我々はまだ...それらはまだ深遠な新しい数学的予想を思いつくことができないかもしれませんが、それは20年後にはできないということを意味しません。
イリヤ・サツキーヴァー: しかし、我々はそれについて同意しています。我々は存在証明を持っています。脳はニューラルネットワークです。
デミス・ハサビス: はい。脳で非計算的な何かが起こっていない限り。
トマソ・ポッジオ: その通りです。はい。
デミス・ハサビス: つまり、非常に賢いものか、非常に洗練されたものか、非常に進化したものかもしれません。
トマソ・ポッジオ: いいえ、私の質問は既存のパラダイムとトランスフォーマーと大規模言語モデルについてでした。そして、はい、ここから始めて、ここで何か独占的な領域を侵害しているかどうかわかりませんが、トランスフォーマーの後の次のアーキテクチャがどのようなものになるかについて何か考えはありますか? ジェフ。ジェフ、あなたは何かアイデアを持っているはずです。
ジェフリー・ヒントン: もしアイデアがあったとしても、十分な計算能力を持つまでは公の場で言うことはないでしょう。
[笑]
少なくとも、大学院生がそれに取り組むまでは。
トマソ・ポッジオ: ピエトロ。何かアイデアは?
ピエトロ・ペロナ: いいえ。
[笑]
トマソ・ポッジオ: イリヤ? はい、でもそれについて話せないんですね。わかります。
[笑]
そうですね...
[笑]
聴衆: オープンサイエンスについてはどうなったんですか。
トマソ・ポッジオ: では、神経科学に移りましょう。質問は、機械学習に大きな影響を与えるような神経科学のブレークスルーは何だと思いますか? もし脳でどのように学習が行われているのか、それがバックプロパゲーションによるものなのか、それとも何か他のものなのか、あるいは他の何かなのかについてもっと知ることができれば、それは素晴らしいと思います。
ニューラルネットワークの爆発的な進歩の最も劇的な要因の1つは、バックプロパゲーションと勾配降下法だったと思います。
だから、もし多くの人が考えているように、それが生物学的にもっともらしくないとすれば、脳がどのようにしてそれを行っているのかを知ることは非常に興味深いと思います。そして、それは機械学習にも影響を与える可能性があります。
しかし、機械学習に影響を与える可能性のある他の潜在的な神経科学のブレークスルーについて何か考えはありますか?
ジェフリー・ヒントン: まあ、脳が時間を通じてバックプロパゲーションを行っていないことはかなり明らかだと思います。それはとても考えにくいです。私が知っている脳がバックプロパゲーションを行う方法についてのすべての理論は、複数の皮質領域を通じてバックプロパゲーションを行うためのものです。
また、これらの大規模言語モデル、そしてマルチモーダルなものも、脳よりもはるかに多くの情報を接続ごとに保存していることもかなり明らかです。今はただ、はるかに多くの経験を持っているからかもしれません。そして、はるかに多くの経験を持てば、もっと多くのことができるようになるかもしれません。しかし、今では...私はいつも脳が何らかの形のバックプロパゲーションを行っているに違いないと思っていましたが、今ではもっと単純な何かを行っているのではないかと疑っています。
しかし、もしGPT-20に1つの質問に答えてもらえるとしたら、それは「脳は何らかの形のバックプロパゲーションを実装していますか?」という質問でしょう。
トマソ・ポッジオ: これは素晴らしかったです。皆さん、ありがとうございました。
[拍手]
デミス・ハサビス: ありがとうございます。みなさん、ありがとうございました。