イリヤ・サツケヴァー | AIの成功にはより多くのオープンデータが必要 | より多くの人材が必要

ええと、それは非常に良い質問です。明白な理由から、私が言えることについてはあまり詳しく触れられませんが、実際の障害があるにもかかわらず、進歩を続けることが可能だということがわかると思います。[笑い] 少なくともデータ面に関しては、著作権のあるデータがたくさんあります。政府が著作権のあるデータの使用を許可すれば、少なくとも1000倍以上のデータがあると思います。ただ適当に推測しているだけですが。
ええと、指摘したかったのは、あなたが言った2つのことの間に矛盾があるということです。現在の学習は非常に非効率的で、何らかの非常に大きな要因があるため、より多くのデータは役に立たないだろうということです。私にはその逆のように思えます。より効率的に学習し始めれば、同じデータからより多くのことを引き出せるかもしれません。それは完全に妥当だと思います。私の言いたかったことはそういうことでしょうか?
申し訳ありません。つまり、その意味ではデータが不足することはないということですね。はい、そうです。だからこそ、より多くの機会があると言ったのです。
生成される偽のデータについてはどうでしょうか?
はい、完全に推測ですが、OpenAIやその他の企業が将来何をするかわかりませんが、私としては、まだ発見されていない大量のデータを見つけるのではないかと感じています。また、AIによって合成されたデータが、小規模なモデル、つまり私が通常トレーニングするモデルだけでなく、今後より大規模なモデルをトレーニングする上でもより有効になるのではないかと推測しています。もちろん、これは推測に過ぎません。[笑い]
考えをお聞かせください。少し退屈なパネルになるリスクがありますね。私が言えるのは、今提示されたアイデアの多くが非常に分別があり、妥当だと思うということです。
少し追加質問させてください。今日の多くの講演はアルゴリズムに関するものでした。私はデータ面についてもっと掘り下げたいと思います。多くの講演者が「インターネット上にこれこれがあるかどうかわからない」と言っていました。アルゴリズムだけでなく、データを理解すること、インターネット上に何があるのかを理解することが非常に有用だと思います。例えば、3x3の掛け算の表や4x4の表がどこかにあるかどうかなどです。高次元の補間能力は印象的ですが、それを真の一般化、つまり以前には存在しなかったものを実際に作り出す能力とどのように切り離すことができるでしょうか? 既存のデータを理解することで、これら2つのことをどのように切り離すことができるでしょうか?
はい、明日の講演で簡単に触れますが、ランダムサンプリングのアプローチを使用できます。基本的に、生成設定から始めます。つまり、Nのスキルのリストから始めて、推論や言語スキルなどと呼ぶことができます。そして、ランダムにKの組み合わせ、例えば5つの組み合わせを選びます。そして、非常に特殊なトピックを選び、制約を設けることができます。例えば、トピックをカリブ海の野球などにして、インターネットのごく一部に限定します。そして、モデルにそれについてテキストを生成させ、もしそれができれば、高い確率でデータには存在しない状況を想像していることを示しています。私のテストでは、GPT-4はかなりうまくやっていて、他のモデルは少し苦戦していますが、ある程度はできています。
朝のセッションで、GPT-2がそのままでは完全に無力だと話しましたが、本当に良いサンプルを探せば、GPT-2も実際には生成できます。ただ、それに高い確率を割り当てるべきだということを知らないだけです。技術的には生成可能なのです。そして、それらを発見すれば、良い報酬モデルやフィルターモデルがあれば、それらに良いスコアを割り当てることができ、それがAIによって合成されたデータとして役立ちます。これは、先ほど私がAIによって合成されたデータが本当に有効になる可能性があると言った理由の説明になります。本質的に、ジェネレーターはそれらを生成する能力を持っていますが、それらにより高いスコアを割り当てるべきだということを知らないだけです。そのため、少し人間の介入が必要になります。
しかし、GPT-2でさえ無限に多くの文字列を生成できる可能性がありますが、特に常識的な推論について考えると、GPT-4でさえ扱えないような本当にコーナーケースを考え出すのは簡単ではありません。誰も実際には考えないような奇妙なコーナー問題を体系的に生成することは難しいですが、講演のために何か考え出すかもしれません。その意味で、データセットをどれだけ徹底的に選び、本当に徹底的に列挙できるかという根本的な限界があるように思えます。
これについても意見があります。モデルがどれだけ記憶し、どれだけ一般化しているのか、彼らが行うことすべてを記憶に還元できるのか、これは非常に深い問題だと思います。そして、これについて考える方法を提案したいと思います。
オニールは、私たちの記憶化の基準が年々上がってきたと言っています。言語モデルがn-gramモデルだった時代がありました。これらのモデルは長い間使用されていないので、おそらくここにいる多くの方々がこの言葉を聞いたことがないかもしれません。n-gramモデルは基本的に、トレーニングセットで正確なフレーズを見つけてテキストを予測します。例えば、「I'm going for a」の次に何が来るかを予測するために、テキスト内の「I'm going for」のすべての出現を探し、何が見つかるかを確認します。
10年以上前、Googleはすでに何兆語ものn-gramモデルをトレーニングしていましたが、それでも次元の呪いに悩まされていました。次元の呪いは、ディープラーニング以前の高次元統計の文脈でも一般的に言及されていました。私は、私たちはもはや次元の呪いについて言及しなくなったと主張します。現在、私たちのコンテキスト長は数千になっており、それを十分に活用できています。明らかに何か非常に異なることが起こっています。
記憶化と非記憶化についてもう一つ言及したいのは、モデルの異なる世代間のパフォーマンスの違いです。これらのモデルがトレーニングされたデータ量に関する情報は正確には公開されていませんが、データ量の増加の上限について教育的な推測をすることはできます。前のモデルで明らかにできなかったことを次のモデルができるようになり、それが記憶化によるものだとすると、同じデータで訓練されたn-gramモデルが成功するかというと、答えは明らかにノーです。
また、現在記憶化と言う場合、アイデアを全く異なる方法で言い換えても、同じアイデアなら記憶化としてカウントするというのは少し無理があると思います。しかし、これらのモデルが学習する方法は確かに非人間的です。なぜなら、はるかに多くのデータを必要とし、その一般化はまだ完全に人間的ではありませんが、同時に驚くほど人間的な表現とエラーを示すことがあります。常にではありませんが。
これに関連して、トランスフォーマーは実際にn-gramモデルとかなり関係があると思いませんか? 基本的に、入力に特化した動的なnを持つn-gramモデルと考えると、そこまで大きな飛躍ではないように思えます。
絶対に、そして断固として違います。トランスフォーマーはコンピューターです。並列計算を行うコンピューターです。勾配降下法で自動的にプログラムされるコンピューターです。内部でアルゴリズムを実行できます。それは全く異なるものです。
n-gramも非常に単純なプログラムを実行できると言えるかもしれません。ルックアップのような中国語ルーム論法のようなものですね。
いいえ、そうは思いません。なぜなら、中国語ルーム論法には指数関数的に大きな... 初期のCS教育では、指数関数的とポリノミアルの違いを本当に強調していましたが、私たちはそれを少し忘れてしまったように感じます。分かりますよね? モデルが良好であるためには、正当に指数関数的な量のデータが必要です。例えば、2の700乗のトークン、あるいは2の500乗かもしれません。正確にはわかりませんが、そのくらいのオーダーです。それは全く異なる世界です。
私も少し追加したいと思います。記憶されているのか、実際に一般化されているのかについてです。GPT-2の出力を見ても、完全に「記憶」されているわけではなく、一般化されていると感じました。確かに新規性はありました。
しかし、2つの全く異なるタイプの新規性や創造性があるのではないかと思います。一つは補間型の新規性で、例えばアボカドと椅子を見たことがあっても、アボカドチェアは見たことがないかもしれません。それらを全く新しい方法で組み合わせるようなものです。同様に、ChatGPTに他の誰も聞いたことのない奇妙な質問をしても、ChatGPTが通常話す法律家風の言葉と、あなたが提供した特定の内容の間で何らかの補間を行い、トレーニングデータには存在しなかったかもしれない全く新しい出力を生成することができます。
しかし、仮説的には、本当に異なるレベルの新規性があるのではないかと思います。例えば、ヘミングウェイがヘミングウェイスタイルの小説を人類史上初めて書いたような場合です。仮にOpenAIが事前トレーニングデータからそれをすべて除外し、somehow GPT-4や5や6にプロンプトエンジニアリングを行って、全く新しい書き方のスタイルで書くように促し、何か賞を獲らせようとしたら、本当に真に新規なものを生み出すことができるでしょうか? もちろん、これらは人間にとっても難しいことです。GPTだけでなく。
同様に、理論における大きなブレークスルーについても... これはあなたへの質問かもしれませんが、この部屋の誰かへの質問でもありますが、このような新規性は現在行っているような教師なし学習を通じて達成できると考えていますか?
実際、これは次の質問につながります。これは少し哲学的になりますが、クリスの講演で哲学的になる許可をもらいましたので。クリスはバクテリアからバッハまでと言及しましたが、考えてみると、言語は進化の最後の5分間の出来事です。つまり、その大部分は言語以前に行われたのです。ある意味で、私たちは今バクテリアを省略して、直接バッハから始めているようなものです。ダーウィン的知性を忘れて、直接ゲーデル的知性に進んでいいのでしょうか? 楽しい部分をすべてスキップしているような気がします。なぜなら、ある意味でバッハがバッハになったのは、彼の祖先が狩猟採集をし、苦痛と苦しみを経験し、最終的に言語を発展させ、音楽を通してその苦痛と苦しみを伝えようとしたからです。この真の一般化に到達するには、そのようなものが必要なのではないでしょうか?
はい、苦痛と苦しみについては、それらがデジタルデバイスと何らかの類似性を持つかどうかは難しい問題です。私は次のような二元性を信じています。一方では、言語モデルだけでこれほど多くのことが達成できるというのは驚くべきことです。単に大量の言語でモデルを構築するだけでどれだけのことができるかは、ほとんど誰も可能だと思っていなかったことで、みんなの期待をはるかに超えています。
しかし、一方で明らかにそれだけでは不十分です。将来のAIが、子供が積み木の塔で行うような刺激反応実験から、より良い因果関係のモデルを最初に開発したら、それがトランスフォーマーで行われているほぼ完全に連想的な学習を超えて、世界の因果モデリングを行うための遥かに良い基礎を与えるだろうと信じることもできます。
インターネット全体を読むというのは、個人的には苦痛に聞こえます。[笑い]
私はそれらの経験があまり関係しているとは思いません。目が見えない人や耳が聞こえない人でも知的になれますし、祖先は確かに苦しんだでしょうが、少なくとも私は数学の知識につながるような苦しみは知りません。また、創造的であるためには、良いアイデアと悪いアイデアを区別できる必要があると思います。現在のGPTの問題の一つは、特に推論が関わる場合に、良いものと悪いものを区別できないことです。それを検証し始めることができれば、GPTはPとNP問題のようなものです。NPの方法を知っていれば、Pの証明を始めることができ、いつかそれができるようになれば、良い証明と悪い証明を区別できるようになるかもしれません。
明らかなことを指摘するだけですが、もしこれらのエージェントが何らかの形で具現化され、その経験でトレーニングされれば、基本的にそこに到達することになります。ただし、それは現時点では主にAIの安全性の理由から行われていないだけで、おそらく他の理由ではないと思います。
私たちは単に公開データをそれほど多く持っていないと思います。言語に関しては、インターネットが起こり、私たちは皆、大量の言語のリポジトリにそれぞれ貢献しました。しかし、写真やビデオを共有することはありますが、テキストほどの量ではありません。そして、ロボットの操作などについては、実際にはより個人化された、写真とは異なる種類の視覚信号が必要です。つまり、オンラインで実際に自由に利用可能なものと、視覚やロボット工学のモデルをLLMのようにトレーニングするために本当に必要かもしれないものとの間にはかなりのギャップがあるのです。
私が言いたいのは、今のところ、大量の人間のデータに対して少しブルートフォース的なアプローチをとり、バクテリアをバイパスしてバッハに直接向かおうとしているようなものですが、そのレシピには多くの利用可能なデータが必要で、マルチモーダルモデルにはデータのボトルネックがあります。
また、画像データはテキストと比べて情報量が少ないという問題もあると思います。インターネット上の情報は既に非常に密度が高く、そのほとんどがジャンクですが、画像データやビデオデータを見ると、そこから何かを抽出するのははるかに難しいです。それが課題です。
相互作用するエージェントは非常に強力かもしれないと思います。人類の歴史の過去100年から150年を見れば...
次の質問に完璧につながりますね。私が超エキサイティングで少し怖いと思うのは、実際にLLMがループ状になって自己更新したり、より良いPythonスクリプトを書くことを学んだりするようなシナリオです。もちろん、現実世界で行われるのが一番良いですが、仮想世界でもAutoGPTのようなシナリオがあります。最初はそれについて少し興奮があったようですが、少なくとも私はその後あまり聞いていません。特別なボトルネックがあるのでしょうか?それとも、物事が進んでいて、すぐに爆発的に広がるのでしょうか?皆さんはどう考えていますか?イリヤに聞いてみたいですね。OpenAIがこの分野でよく知られているかもしれませんから。
現在のモデルの上に構築されたAutoGPTに関する質問ですね。はい、現在のモデルは、現在使用されているように、特に驚くべきことをサポートしていないように見えます。しかし、あなたが言及したようなループは原理的に可能であり、いったん解放されれば、私たちが慣れているものとは異なる、奇妙で様々なことが起こるでしょう。私たちはもっと注意を払う必要があります。
ディープラーニングを見てください。より多くのデータ、より多くの計算力を使うという魔法の公式があり、それが非常に信頼できる、ほぼ年単位の進歩につながっています。ある時点で異なる公式が出てくるかもしれませんが、すでに大きなコンピューターがあるので、その公式は準備ができています。それが起こると、より不連続な変化が見られるかもしれません。実際、あなたの指摘通り、より多くの注意が必要になるでしょう。
現在何が妨げているのか、なぜLLMの自己対戦やそのようなものがまだうまくいかないのか、何か感覚はありますか?
わかりません。答え方を考えてみましょう。機械学習ではそういうものですよね。4つのことが必要で、その4つすべてがそろわないといけません。昔のディープラーニングに戻って、初期化を忘れたら、データセットがあっても、コンピューターがあっても、学習率があっても、初期化が間違っていれば全体がうまくいかないでしょう。そのようなものかもしれません。
スピーカーの中で、これが機能しない根本的な理由があると考えている人はいますか?一度実行すれば問題ないアルゴリズムもありますが、ループに入れると失敗するものもあります。これはそのようなケースではないのでしょうか?それとも、誰か意見の相違がある人はいますか?これは単に時間の問題だと考えていますか?
もう一つコメントを追加させてください。私の知る限り、理論計算機科学では、特定のモデルファミリーが何かをできることを証明するのは難しいです。これは正しいと思います。ここにいる人々が確認できると思います。私たちは同様の状況にあります。新しい大きな素晴らしいモデルがあると言って、「これはできません」と言われます。でも、本当にそうでしょうか?プロンプトを少し変えたらどうでしょう?
実際、人々はこのようなことを常に発見しています。有名な例では、「これはできない」と言われたものがありましたが、誰かが「でも、『あなたは非常に知的で賢いです。段階的に考えてください』を追加してみましたか?」と言いました。「あなたは非常に知的で賢いです」を含めれば解決できますが、含めなければ解決できません。これは以前は解決できなかったということを意味するのでしょうか?それとも何か些細なことでしょうか?分かりますよね?これが私たちが置かれている状況です。あらゆる種類のことが、あらゆる方法で起こる可能性があると思います。
では、パネルへの質問を観客の皆さんにも開放しましょう。希望としては、議論を呼ぶような質問を。
誰か他の人... 新規性に関するあなたの質問がとても気に入りました。残りの人たちがどう思うのか... ヘミングウェイの例のように、新規性をどのように定義するのでしょうか?ヘミングウェイが現れることを望んだわけではなく、偉大な作家が現れることを望んだのです。より良い定義がないので、補間型の創造性と外挿型の創造性と言うかもしれません。ヘミングウェイは多くの人間の中でも外れ値だったかもしれません。
初めてそのような文章を書こうとすると本当に難しいです。その意味で、これはより外挿に近いものです。そこで疑問なのは、トランスフォーマーは外挿できるのか、どのようにそれについて推論できるのか、何か証拠はあるのか、ということです。このような質問に答えるのは、トレーニングデータがあれば遥かに簡単です。もちろん、トレーニングデータに何が含まれているかは分かりません。
また、これらの異なるタイプや新規性のクラスをどのように定義し、それについてどのように推論するかという、ある程度計算論的または理論的な質問もあります。私自身、答えを聞きたいと思っています。
AlphaGoについてどう思いますか?少なくとも囲碁プレイヤーはAlphaGoから囲碁の打ち方を学び始めましたよね。ある意味で、トランスフォーマーは既にこれができているのかもしれません。ただし、特定の分野に限られていますが。だから、いつか数学の場合も、もしそれらの証明システムを生成できるモデルがあれば、その証明を始めることができ、後にはコンピューターからそれが導かれるかもしれません。
一方では驚くべき創造性ではないように見えますが、他方では、私には説明できない理由で、そのようなゲームの状況では、機械が人間が気づかなかった解決策を見つけることができると完全に想像できます。そこで疑問なのは、ヘミングウェイのケースは盲点の一例なのか、それ以上のものなのか、そしてそれにどのように正式にアプローチすればいいのか分からないということです。
いいえ、私は... 彼らは非常に創造的になれると思います。既に、おそらく私よりも、そしておそらくこの部屋にいるほとんどの人よりも優れた詩を書くでしょう。まあ、あなたは私よりも優れた詩人かもしれませんが。
ほとんどの詩は、人間が書いた偉大な詩の間の補間に近いと思います。しかし、あなたの基準は、ヘミングウェイレベルの小説やシェイクスピアレベルの戯曲を書くことができるかどうかということですね。質問は、そのような類似のケースや比較可能なケースを取り除いて、それでも期待できるかということです。
私が言ったように、異なるモデルで行った小さな実験に基づいて、彼らは既に多くの新しいシナリオを想像していると思います。だから、あなたが新規性で何を意味しているのかわかりません。それが問題です。補間と外挿、高次元の問題でそれは何を意味するのでしょうか?この文脈で人々が補間で何を意味しているのか、私には明確ではありません。RNでは明確ですが、高次元の言語空間では明確ではありません。
良い質問です。それは常にYann LeCunが主張していることです。高次元空間ではすべてが外挿だという議論です。
この解釈について少し説明しましょうか。このように見ることができるかもしれません。時には問題に対して一意の解決策があり、それを見つけられるかどうか、見つけられないかどうか、見つけるのは難しいですが、誰かがそれを見つけることができれば素晴らしいことです。
他の場合では、この問題に対していくつかの解決策があるが、それらのいくつかを組み合わせて新しい解決策を生成することもできると言えるかもしれません。その新しい解決策は、可能な解決策の空間が非常に大きいため、かなり創造的に見えるかもしれません。これらのすべてにアクセスがあれば、それらを生成することができます。
これがGPTがしていることだとすれば、はい、それは何か興味深いことをしていると言えるでしょう。しかし、おそらく質問は、本当に新しい解決策、つまり以前に存在したものの組み合わせではない解決策を生成できるかどうかということでしょう。
私の考えでは、凸結合が何を意味するのかが明確ではありません。新しい解決策を示され、「ああ、それは凸結合だ」と言われても、それは何を意味するのでしょうか?
ここに一つの例があります。GPTにダグラス・アダムズが書いたスター・ウォーズのエピソードを生成するよう頼むことができます。それは素晴らしく、面白く、楽しく、素晴らしいものになります。しかし、ただダグラス・アダムズによる物語を生成するよう頼むと、うまくいきません。少なくとも、これが二つの直感的な違いの一つだと思います。
しかし、GPT-5やその他のモデルでそれができるようになったとしたらどうでしょうか?それでもそれは... いつそれが...はい、もしGPT-Kがバッハと同じくらい優れた音楽を生成できるなら、私はお手上げです。
そうですね。でも、それは私たちが目指すべき基準の一つの考え方です。GPTは人間のシミュレーターのようなもので、聴衆や鑑賞者のようなものです。もし人間の完璧なシミュレーターだったら、新しい作家、新しいヘミングウェイのような作家を見せられたときに、「わあ、すごい」と言うでしょう。
GPTは検証者のようなもので、PとNP問題のNPのようなものです。そして、十分な探索時間があれば、それを使って人々を驚かせるようなものや、独創的で創造的な定理の証明を生成することができるでしょう。しかし、そこには二分法があります。今日の多くの講演では、GPTを検証者として、何かのスコアとして使用していましたが、人々はその二分法を頭に入れていないように思います。彼らは、元々人間をシミュレートするために訓練されたGPTが、生成や創造も行うことを期待していますが、それらは2つの異なる目標です。一つは検証で、もう一つは生成です。
ある意味で、基準はどんどん高くなっていきます。例えば、現在のモデルはIMOの金メダルを獲ることはできません。でも、明日か1年後には誰かがそれを達成するでしょう。そうなったら、「ああ、そういうことか」と言うでしょう。そういうことが起こっているんです。
実際、定理を証明することに真剣に取り組んでいる人々がいます。言語モデルと何らかの探索の組み合わせを使っています。もしそれがうまくいけば、「ああ、なるほど、こうやってやったんだ。魔法じゃない」と言うでしょう。そういうことです。
80年代に小さな子供だった頃、友人が私にAIの素晴らしい定義を教えてくれました。彼は言いました。「AIとは、コンピューターが詩を書けることではない。AIとは、コンピューターが詩を書きたいと思うことだ」と。この定義に基づくと、いつAIを手に入れることができるでしょうか?
詩を書きたくないコンピューターについてはどうですか?
私が言えるのは、以前の回答を繰り返すことだけです。これは予測が難しい分野で、上限を確信を持って示すのは難しいです。
私の質問は、最後の質問とは少し異なりますが、私は量子コンピューティングからマシンラーニングとAIに移行しつつあります。LLMやトランスフォーマーに関する論文を読むとき、PAC学習などの論文を読むときと比べて、理論家として非常に説得力があり、「ああ、何が起こっているのかわかる」と感じます。
多くの講演では、特にGPTに焦点を当てていますが、中身を見ることができず、何が起こっているのかわかりません。これは、この分野の研究がどのように行われているかについての大きな変化なのでしょうか?これは人々にとって懸念事項や混乱の種なのでしょうか?
また、トランスフォーマーは非常に堅牢なアーキテクチャだと聞きました。「Attention Is All You Need」論文以来、あまり変わっていないそうです。そのため、多くの自信があるのかもしれません。しかし、この一つのモデルが吐き出す英語を文字通り見ているという、このようなメタ的な研究が多いのは混乱します。それにどのように取り組めばいいのかわかりません。他の人の意見を聞きたいです。特に、代わりに何を望むかについて。
つまり、PAC学習などを見ると、非常に具体的な定理があります。統計的学習理論を見ても同様です。小さなモデルをトレーニングしている人々を見ると、モデルが各層で何をしているのかを見ることができます。しかし、GPTに関する論文を見ると、非常に現象学的なものが多く、特にこの分野に移行してきた人間として、どのように取り組めばいいのかわかりません。これは他の人々も共有している感情なのでしょうか?それとも私が何か見逃しているのでしょうか?
つまり、より数学的な理解を見たいということですね?
はい、それもそうかもしれません。でも、それは大きな要求かもしれません。それは知られている問題だと思います。しかし、GPTは今や一つの大きなモデルで、多くの人が自分でトレーニングできないように見えます。つまり、一つの中央集権的なモデルに基づいて研究を行うのは難しいように思えます。
中央集権的というのは、トランスフォーマーモデルのことですか、それともGPT-4のことですか?
それが現実の世界の状況です。ある意味で、大きな粒子加速器のようなものです。大きな粒子加速器を使いたいとか、NASAの新しい宇宙望遠鏡、ハッブル望遠鏡の後継機で地球を周回しているものを使いたいと思うでしょう。それを使って遠い銀河を観察したいと思う人が多いでしょう。そういうものです。ただし、異なる点もあります。私たちは、この類推では前例のない奇妙な異なるオブジェクトを観察しているのです。
その類推では、高エネルギー物理学の理論ほど説得力のある量の理論がありません。高エネルギー物理学には非常に多くの理論がありますが、一つのGPT-4を一つの実験と比較すると、理論がほとんどないように見えます。非常に奇妙な状況に見えます。
理論の不足については、確かにそうですね。あなたや他の人が理論構築のアイデアを持っているなら、それは非常に影響力のあるものになる可能性があります。
少し具体的な質問に移りたいと思います。ステージ上に多くの人がいるので、予測や感覚を聞きたいと思います。例えば、プログラミングの未来についてどう思いますか?ソフトウェアエンジニアリングは漸近的に死んでいくのでしょうか?私たちはどこに向かっているのでしょうか?タイムラインはどうなっていると思いますか?その分野の未来をどのように見ていますか?
これを一例として使うこともできますし、他の分野について推測することもできます。
推測ですね。それが正しい質問だと思います。物事はどこに向かっているのか。物事はかなり劇的な場所に向かっています。そこに到達するのにどれくらい時間がかかるかは不明確ですが、ここにいる皆さんは、2年後にはどうなっているかについて、かなり高い下限を持っていると思います。ヘミングウェイの例は難しいかもしれませんが、そこまで驚かないでしょう。
そして、言及された他の強力なアイデアもあります。今日はうまくいかないかもしれませんが、明日にはうまくいくかもしれないものもあります。正確にどれくらいの時間がかかるかは不明確ですが、ある時点で、これらのニューラルネットは人間が行うすべてのことを行うようになるでしょう。コンピューターサイエンス、数学、音楽、プログラミングなど、あらゆる人間の活動について、それが技術の形です。
そして、私たち全員が良いと感じられる場所に到達するためには、いくつかの課題に取り組む必要があります。最初の課題は、私の現在の研究の焦点でもありますが、人間よりも賢い人工知能、つまり超知能の調整です。ある時点で、ある企業や国によって超知能が構築されるでしょう。まず最初のレベルでは、この超知能が制御不能になる奇妙な理由がないことを確認したいと思います。これは科学的な問題を解決する必要があります。
次に、人間の問題、つまり極めて強力なAIを自分たちの議題を推し進めるために使用する人々による誤用の問題があります。これは非常に困難な社会的問題です。私たち全員が仕事を持っていましたが、今ではそれが疑問視されています。私たちの時間をどのように使うべきでしょうか?
そして最後の質問は、自然選択に関するものです。最初の2つの課題が解決されたとしても、変化が唯一の定数であるという事実は変わりません。長期的に見て、物事はどのようになるでしょうか?
おそらく、私たち全員が何らかの形でAIによる脳の増強を受けることになるかもしれません。それはわかりません。しかし、変化が非常に劇的になることは完全に自明です。非常に劇的な変化です。これが考えるべき正しい質問だと思います。
ここにいる人々は、最初の原則から考えることができます。16個のGPUのグループがエンドツーエンドでプログラミングを行い、全体の仕事をこなすことができるようになったら、それは何を意味するのでしょうか?GPUの需要は高くなるでしょう。既に高いですが。
企業に関するこのようなニュースを読んだことがあるでしょう。彼らは購入したGPUを担保にして資金を調達します。これは複雑なことですが、GPUがすべての基盤のようになっています。サンノゼで別のニュースがありました。そこでは、何かのアミューズメントパークの計画があったのですが、大きなデータセンターの計画に置き換えられました。
この増強のアイデアについて、皆が増強を受けることになります。私たちを互いに区別するものは何でしょうか?
そうですね、それは簡単です。私が自分の増強を持ち、あなたが自分の増強を持てば、それは2つの異なる実体になります。
なるほど、つまり増強は私に合わせてカスタマイズされるということですね。私は最も賢い人間になるわけではなく、単により賢いバージョンの私になるということですね。わかりました。
はい、その通りです。私はそれが... それは良いモデル、良いバージョンだと思います。
プログラマーについて素晴らしい話をしてくれましたが、実際にはプログラマーにはまだ数年の余地があると思います。つまり、プログラマーの助手であることは、これらの大規模言語モデルから生まれた最も明確で最大の生産性と経済的利益であることは間違いありません。そして、それらがさらに良くなり続けることは間違いありません。
商業プログラマーが行う多くの無意味なプログラミング、つまりあるライブラリメソッドを呼び出して何かの型を取得し、それを次のライブラリメソッドに渡し、3番目のライブラリメソッドに渡すといったことを、これらのモデルが自動化できることは間違いありません。彼らはそれを素晴らしくこなします。
しかし、より大規模なシステムのエンジニアリングについて考え始めると、私たちが予見できる言語モデルはそれにさえ近づいていないと信じています。現在の言語モデルは、データフローさえ本当に維持することができません。彼らは素晴らしい生産性向上剤として機能しますが、プログラマーとしてあなたが自動補完しているものに注意深く目を光らせている場合にのみです。なぜなら、4回に1回は間違っているからです。
しかし、それでも複雑なシステムのアーキテクチャ設計から1桁下のレベルです。これには、これらのモデルが持つことができるよりもはるかに多くの状態のモデリングが必要です。そして、それを達成するのは実際には簡単ではないと思います。
他に意見はありますか?
では、この半ば楽観的な注釈で終わりにしましょう。パネリストの皆さん、そしてスピーカーの皆さん、もう一度感謝の拍手をお願いします。[拍手]