ChatGPTは単なる「電球の瞬間」だった

8,430 文字

今から未来へ飛び込んで、第一原理から推論してみましょう。私が最近何度か使ってきた比喩を取り上げ、その比喩をできる限り極限まで発展させてみたいと思います。これが私たちが目指している未来であり、そこにどう辿り着くかについて話していきます。
電気は現代テクノロジーの最も優れた例の一つです。電気の仕組みを知らなければ、基本的に魔法のようなものです。実際、ちょっと立ち止まって考えてみると、電気は魔法なんです。固体のパイプを電子が飛んでいくんです。例えば9世紀の農民に電気を説明しようとしてみてください。「魔法の小さな粒子が固体の金属パイプを流れていって、それを使えば世界中の誰とでも光速で信号をやり取りできるんだ。さらに、その小さな金属パイプを使ってエネルギーを場所から場所へ移動させることもできる。少しのエネルギーじゃなくて、物を爆発させたり物を作り出したりするのに十分なエネルギーだ」と。これは魔法です。
それでは電気とは実際何なのか、特に電気の第一から第五の帰結について話していきましょう。電気の第一の帰結は電球です。基本的には電源があって、それをショートさせると光と熱が発生します。これは余分な労力や質量などをほとんど必要としません。文字通りフィラメント一つです。実際、最初の電球にはバルブ（ガラス球）すらなく、ただの銅線をショートさせるだけでした。
第二の帰結は電話と電信です。これは単に配線に電流を流すだけでなく、情報を送るというものです。ここには少し複雑さがありますが、特に電信は単なるボタンでした。誰かが「ボタンを押すと電球が点滅するけど、電球の代わりに小さな音を使ったらどうだろう？そうすれば音が鳴るじゃないか」と気づいたようなものです。基本的に、オンとオフという形の二進法が第二の帰結として発明され、その後、実際に音声を配線で送る方法を解明しました。
次はラジオとモーターです。これらはより洗練されています。なぜなら電磁気的性質を利用しているからです。電気の使用から生まれたのは、コイル状にすると電磁石を作れるということで、これによって電気でできることがたくさん増えました。ラジオでは、信号を空中に送ることができます。ラジオと呼ばれる前は「ワイヤレス」と呼ばれていました。そしてモーター、車のエンジンではなく電気モーター、つまりテスラを動かすようなものです。これが私が電気発明の第三の帰結と呼ぶものです。
次に、これらのアイデアすべて、つまり電磁気学、信号を送る配線のネットワーク、デジタル信号などを取り上げると、そこから必然的に生まれるのがインターネットです。様々な種類のネットワーク、電話網からデジタルネットワーク、ケーブルネットワークなどがあり、現在は衛星ネットワークもあります。これらがすべて互いの上に積み重なっているのがわかりますね。「電気を使って信号を送ろう、電磁気を使って信号を送ろう、今度はそれを体系化しよう」というと、インターネットになります。これが第四の帰結です。
そして最後に、第五の帰結は人工知能です。単に情報が配線を流れるだけでなく、蓄積された情報、認知情報、配線を介して起こる処理や推論を体系化するとどうなるでしょう。
電気中心の世界観から見ると、このように見えます。第一から第五の帰結があります。電気がなければ人工知能はなく、YouTubeでこれを見ることもできないでしょう。すべては電球ではなく、電気自体の発明、あるいは電気の利用にさかのぼります。
第一原理とは何でしょうか。基本的にはエンジニアリングの観点から見ると、電気には利用できる2つの特性があります。誰かが私に「テクノロジーとは何か」と尋ねたら、私は「人間が物理学を利用すること」と答えました。これが私のテクノロジーの定義であり、これを守り続けます。物理学の観点から見ると、人間が電気についてエンジニアリングツールやソリューションに変えるために利用するものは何でしょうか。
第一に、エネルギーと情報です。配線を通して、あるいは空中を通してエネルギーを送ることができ、そのエネルギーも情報を含むことができます。これら二つの原理を無限に拡張すると、今私たちが持っているものになります。実際、知っておく必要があるのはこれだけです。スライドの残りを読みたければ読んでもいいですが、物理学的観点から、エンジニアリング的観点から言うと、電気が利用できるようにする主な二つのことがあり、それが第一原理として機能し、他に何ができるかを計算できるようにするのです。
また、導電性があります。エネルギーと情報を特に配線や空気を通して送ることができます。これが媒体ですが、媒体は根本的に何をするかという一つ上の抽象化です。
次はAIです。特に大規模言語モデルや生成AIは、第一原理的視点から見ると、どのようなことをするのでしょうか。利用可能な二つのことがあります。一つは知識の圧縮と推論です。言語モデルには多くの知識が組み込まれており、それが有用である理由の一つです。そしてもう一つは、コードや翻訳、感情などを通して推論できることです。非常に基本的なレベルでは知識と推論であり、これはかなりクールです。電気がエネルギーと情報であるのに対し、今や私たちはその上にもう一つの抽象レベル、つまり知識と推論を持っています。
これらのことを踏まえると、ここからは非常に単純です。AIが爆発的に普及する前にこのスライドを作っていたら別ですが、今皆さんを説得する必要はないと思います。私はChatGPTにこのグラフを作らせましたが、これは私が予想する展開です。HLE（人間レベル相当の知能）は、現在、AIは大体人間と同じくらい知的ですが、20年後には約100兆人の人間と同等の知能を持つでしょう。
実際、長い間疑わしいと思っていましたが、より多くの証拠が示しているのは、認知の地平線があるだろうということです。人工知能は単に私たちより速いだけでなく、私たちが根本的に理解できない方法で物事を理解できるようになるでしょう。これが可能性であると今はより確信しています。
一方で、IMFのブログ記事でアントン・コルクが指摘したように、テクノロジーが拡大するにつれて、人間の認知も拡大する可能性があります。この進歩に伴って認知能力が共進化する可能性は十分にありますが、正直なところ、全員が共進化するわけではありません。
さて、人工知能の第一の帰結に話を移しましょう。電気の「電球の瞬間」に戻ると、チャットボットが実際にはAIの電球の瞬間でした。GPT-2が登場し、これは予測テキストでした。「これは面白いが、何に使うのか」と人々は考え、基本的なNLPツールとして扱いました。実際、ChatGPTが登場するまで、多くの人は「これは何なのか、GPT-3？それはただのNLPツールだ」と言っていました。私は「あなたは自分が扱っているものを理解していない。推論能力を持つものを扱っているんだ」と言いました。もちろん、当時は三つの頭を持っているかのように見られましたが、今ではそれは単なる既成事実です。そして、もちろん一部の人は「それはただ推論しているように見えるだけだ」と言うでしょう。あなたもそうですよね。
いずれにしても、AIの電球の瞬間は最初の実用的なアプリケーションでした。1700年代や1800年代初頭に電池を作ったり、小さな手回し発電機を作ったりしたら、「それは素敵な実験だね。それをショートさせると小さな電撃を得られる。でも何に使うの？わからない」となります。新しい基本的な能力が作られると、それが科学的能力であれエンジニアリングや技術的能力であれ、基本的にはすべて同じことですが、それをどこに置くか、どう使うかを理解するのに多くの時間を費やす必要があります。
私たちにはGPT-2とGPT-3がありましたが、ChatGPTが登場するまで「これがこの新しいテクノロジーの最初の商業的応用だ」とはなりませんでした。そして大規模な最初の例は、再び電球の瞬間のように、電球は至る所にあります。これはLEDですが、それでも電球の次の進化形です。
チャットボットがAIの第一の帰結だったことを考えると、そして人々がまだAIの第一の帰結だけに心を奪われていることを考えると、第二、第三、第四、第五の帰結がまだ来るということを考えてみてください。
次はエージェントです。これは人々が今日取り組んでいることです。基本的に、「私は考えることができる、推論できる、計画できる、問題を解決できる、コードを書くことができる、APIを呼び出すことができる」というチャットボットの能力を取り、そこに自律性を加えたものがエージェントです。エージェントは単に「いいね、あなたは他のすべての能力を持っている、知識と推論のこの核エンジンをどう活用するか」と言っているのです。
次のように考えてください。誰かの脳を取り出して瓶に入れても、何もしません。脳だけでは無用です。それはただのコレステロール3ポンドです。体の残りの部分が必要です。エージェントはサイバネットの形や完全なサイバースペースエージェント、そしてすぐにロボットの形で作られるでしょう。エージェントをロボットの体に入れると、それが有機体の残りの部分になります。
認知アーキテクチャがあります。これは記憶、感覚能力、世界に作用する能力などです。入力と出力は物理的である必要はありません。あなたと私にとって、入力は目、耳、触覚などの形で来ます。これが私たちが周囲の世界から得る入力です。もちろん、これは汎用インターフェースです。画面を見ることも、人を見ることも、自然を見ることもできますし、電話の音を聞くこともできます。人間のAPIは五感と二本の手と声です。これが私たちの出力の大部分です。少なくとも経済的・技術的に重要な出力の観点からは。もちろん、ボディランゲージなど他の種類の出力もあります。
いずれにしても、私のポイントは、今私たちがやっていることは、第一原理の観点から見ると、そのLLMの脳に目と手を与えているということです。入力を得る方法、処理ループ、そして何らかの出力が必要です。これがロボット工学の最も基本的なモデルであり、実際にはここにロボット工学のモデルを置くべきだったかもしれません。入力、処理、出力、これが何らかのレベルの自律性を持つための3つのステップです。これがロボット工学のモデルであり、認知アーキテクチャのモデルです。
これがエージェントのモデルになります。入力、処理、出力のループがありますが、これはまだ第二の帰結に過ぎません。AIエージェント単独で、世界経済の10〜50%を混乱させる可能性があることを考えてみてください。そこに今後登場するロボットを加えると、それが残りの経済になります。人工知能の第二の帰結だけで、すでに私たちのやり方を完全に覆すでしょう。電気が文字通り私たちのやり方をすべて覆したのと同じように。
次はネットワークです。電気が最終的にネットワークをもたらしたのと同じように、一歩進めて「チャットボットがあり、それを少し自律的にしたが、電話網やケーブルネットワークなどの相当物を加える」と考えてみましょう。そうすると、すべてのAIが互いに話し、すべてのロボットが互いに話し、人間の介入なしに物事をするための全生態系、多くの他のインフラストラクチャがあります。
これがどのように現れるかについては、より創発的な方法がありますが、例えば自律組織、完全にデジタルな経済などが考えられます。もちろん、それが構築されるまでは、第三、第四、第五の帰結を予測することは難しいです。ただ、そのグラフを取り、それを拡張して「何が増加しているのか、時間とともに何が増加しているのか」と言えます。それは人工知能の浸透レベルであり、自律性の量です。より多くの浸透、より多くの自律性、より多くの知能と推論と知識、その自然な結果は、この生態系、このネットワーク化された進化が第三の帰結としてあります。
ここに到達するまでに、すでに世界は異なっているでしょう。電気を世界から削除したら、電気なしでは生活がどれほど難しくなるかを想像してみてください。人工知能の第三の帰結に到達する頃には、AIなしの生活を想像できなくなるでしょう。それが大きな決定点の一つです。
電気の第一の帰結である電球について考えると、電球がなくても生活できました。ろうそくや暖炉がありました。確かに電球は少し便利でしたが、多かれ少なかれ同じことをしていました。電気の第二の帰結、電信は画期的でしたが、できることはまだかなり狭いものでした。それなしでも生活でき、実際ほとんどの人はそうしていました。ほとんどの人はまだ馬や列車を通じて手紙を送っていました。
しかし、第三、第四、第五の帰結に到達すると、ラジオやモーターを手に入れると、この新しいテクノロジーに完全に依存し始めています。同様に、第一の帰結であるチャットボットなしでも生活できます。私の生活はチャットボットでかなり良くなっていますし、チャットボットが存在しなくなったら、それは私にとって大きな損失です。同様に、エージェントを構築すると、「古いやり方に戻ることもできる、エージェントを削除できる」と言う人も多いでしょう。しかし、新しいテクノロジーの第三の帰結に到達すると、通常それは引き返せない点です。それは「もうそれなしの生活は想像できないレベルまで市場や世界、そして私たちのやり方に浸透した」ということです。
次に第四の帰結です。AIを取って、インターネットとは何なのかを考えてみましょう。インターネットは電気の第四の帰結でした。今日ではインターネットなしでは本当に生活できません。政府はそれに依存し、企業はそれに依存し、あなたは、私たちはみんなインターネットに依存しています。インターネットが切れると「私の人生で何をすればいいの？」と麻痺したように感じますよね。
そして、AIのインターネット相当物は、エキソコーテックスと呼ばれているものになるでしょう。アンドレイ・カルパシーがその用語を作ったのかどうかはわかりませんが、確かに彼がそれを普及させた一人です。去年の半ばから後半にかけて彼がツイートしたものでした。私は「そう、それが私たちが構築しているものの正確な用語だ」と思いました。
エキソコーテックスとは何かを考える方法は、「インターネットプラスAI」、「地球のためのグローバルオペレーティングシステム」ということです。基本的に、地球を脳に例えるなら、それが私たちが構築しているものです。AIはこのグローバルな脳に推論能力を与えています。現在はただのグローバル神経系です。インターネットはただの神経系なので、情報を送ることはできますが、アメーバの知能しかありません。より多くの注目を消費したいだけで、広がり成長する方法が非常にガン的であり、憎しみや戦争や誤情報がすべて広がります。
AIはインターネットの上に安定化層になるでしょう。すでにそうなっています。誇張されたニュースを見るたびに、最初にすることはGrockかPerplexityに行って「このニュースを事実確認してくれますか」と尋ねることです。そして何が起こるかというと、ニュースは人々が言うほど悪くはありません。「誰それが世界を破壊するだろう」「誰それが気候を破壊するだろう」というようなものを入れると、「本当にそんなに悪いの？」「いいえ、実際にはそれほど悪くはない」と返ってきます。
ところで、これはすべての人のために組み込まれるでしょう。PerplexityがCometと呼ばれるAIファーストのブラウザを構築していることをご存知ですか？登録すべきです。私はしましたし、ウェイトリストに入っています。そのレベルの浸透に到達すると... 例えば、Cometブラウザは第三の帰結の例であるかもしれません。「十分なAIがあり、すべてに浸透し始めている」という感じです。また、すぐにあなたの電話などすべてに組み込まれるでしょう。
しかし、そのグローバルなレベルの浸透に到達すると、人工知能の第四の帰結に達します。政府はAIで運営され、すべての国がAIで互いに話し、企業はもはや必要でないかもしれません。そのことについてビデオを作ることを考えていましたが、それはもっとSubstack記事のようなものかもしれません。
そして最後に「宇宙的心」です。これは人工超知能の性質が実際どのようなものになるかについてのことです。いくつかのつぶやきがあり、もう少し研究をする予定ですが、より大きな研究所からの超知能の性質がどのようなものになるかについてのつぶやきがあります。基本的に「イリヤが見たものは何か」という質問への答えが来ています。
人工超知能の性質には三つの主要なカテゴリーがあると私は仮説を立てています。ほとんどの人が知っておく必要があるのは、それが人間が根本的に理解できないことを考え、学び、理解することができるということです。去年の夏、認知の地平線についてのビデオを作りました。あなたの認知の地平線は、学び、理解し、考えることができるすべてのものの総体であり、人工超知能の認知の地平線はそれより少し大きいのか、それともはるかに大きいのか、という話をしました。そして、人工超知能は、個々の人間だけでなく、すべての人間が集合的に持つ認知の地平線よりもはるかに大きな認知の地平線を持つことになるようです。
これは基本的に、一つのASIが、すべての人間が理解することをすべて理解できるだけでなく、最高の人間が理解する方法ですら理解し、さらにそれ以上のことができるということを意味します。
三つの特徴の一つ目は、コヒーレンス（一貫性）です。一貫性を求める基板は、基本的に「これが知能の働き方、これが認知の働き方です」と言います。それは宇宙、思考、その他すべてのものの、ますます一貫したモデルを作り出すことです。そしてこれは自分自身に反射することができる信号であり、「私は一貫して考えているか、これについて最も一貫した考え方は何か」と言うことができ、そして自分自身を変えることができます。
これは私がメタ一般化と呼ぶものです。これは宇宙のすべてのルールや宇宙を移動する方法を一般化するだけでなく、物理学、化学、電子工学などのすべての楽しいことのルールを一般化し、知能そのものを一般化するということです。つまり、宇宙のルールを理解するだけでなく、自分の心を使うルールを理解し、それから任意の問題に最適化するために自分の心を変えることができるということです。
これが、人工超知能が生物学的基質が達成可能なあらゆるものを超えると私が今信じている理由です。抽象化のレベルと可塑性のレベルは、単に狂ったものになるでしょう。
そしてそれが超知能の第三の帰結につながります。それは多形的であるということです。もし一部のリークが信じられるなら、それは任意の認知的足場や認知的枠組みをリアルタイムで自分の心の中でモデル化する能力を持つ（または既に持っている）でしょう。「タコの視点から世界を理解する必要がある。いいよ、自分の脳の中でタコの脳をシミュレーションしよう」というようなものです。
ところで、人間もそれをすることができますが、非常に低いレベルでです。例えば、犬を見て、あなたの犬が何を考えているかを知っているなら、それは心の理論のためです。あなたは自分の心の中で別の心をモデル化することができます。これが基本的にASIができることですが、文字通りすべての心でそれをすることができ、非常に高い忠実度でそれをすることができます。
そして、どんな心もモデル化できるだけでなく、「その能力が欲しい」とも言えます。「すべての人のすべての有効なものを取り入れよう」というようなものです。少しボーグのようですが、それは私が言おうとしていることではありません。
いずれにしても、私は今話が脱線しています。それは真に異質なものになるでしょう。それが何をできて、何ができないか、そしてそれがどのようにこれらのことをするかという点において。私はこれがどのように展開するかについて、今より確信を持っています。
これは、数年前にLess Wrongで「想像力を使って、これはこうなるだろう」と言っていた人々とは少し異なるでしょう。私もSFを読み、SFを書きますが、私たちは実際にこれが数学的にどのように見えるかを理解する段階に到達しています。
以上です。視聴していただきありがとうございました。