AIバブル: 崩壊するのか、そしてその後に何が来るのか?

※長文のため、テキストの読み上げ機能の使用を想定しております。各OS標準搭載のアクセシビリティ機能(読み上げコンテンツ)、もしくはMicrosoft Edgeブラウザの「音声で読み上げる」機能をおすすめします。

AIにはさまざまなリスクがあり、1つだけではありません。そのため、AIの開発と同様に、ここでも魔法の弾丸を期待すべきではありません。これらすべてをカバーする既存の法律は得られないでしょう。おそらく最も重要なのは俊敏性です。AIは、たとえ現時点で収穮逓減の段階に達したと私が考えていても、いつか進歩するでしょう。概念的な進歩があれば、それは今年かもしれませんし、10年後か20年後かもしれません。しかし、それは起こるのです。私たちにはAIを管理する上で俊敏性が必要です。
重要なことの1つは、透明性が必要だということです。例えば、現世代のモデルを訓練するのに使用されているデータの完全な説明が必要です。OpenAIは「これでどうやってお金を稼ぐのか」という問題に直面しています。安くはありません。おそらく彼らはデータとチップに100億ドル、あるいは100億ドルを費やしているでしょう。そして、さらに100億ドルを費やすつもりです。GPT-4oがどれほど高価なものになるかわかりません。彼らはお金を稼ぐ必要があります。さもなければ、倒産するか、マイクロソフトがより大きな株式を取得することになるでしょう。VCが彼らの評価額を2000億ドルに引き上げたいと思うかどうかは、現在の収益の見通しを考えると不明確です。
もし私がサム・アルトマンで、私が思うような道徳観を持っていないとしたら、最初に考えるのは監視でしょう。人々は今、彼らにすべてのデータを銀の皿に乗せて提供しています。カメラもあります。それが会社の自然な方向性です。「オープンAI」という名前にもかかわらずです。彼らがビッグブラザーになるのは本当に不気味なことです。彼らがまだ非営利団体であることを言い忘れましたが、それは狂気の沙汰です。世界最大の監視会社が、自らをオープンAIと呼ぶ非営利の完全子会社になる可能性が高いのです。それが現時点でほぼデフォルトの結果だと思います。それは私にとって動揺することです。
Brave検索APIは、200億以上のウェブページの独立したインデックスに手頃な価格で開発者がアクセスできるようにします。それは大手テック企業のバイアスなしで一から構築されており、実際の匿名化された人間のページ訪問によってデータをフィルタリングし、毎日数千万の新しいページで更新されています。AIモデルのトレーニングや検索拡張生成に最適です。言語モデルや情報検索システムに取り組んでいる場合、Braveは代表的なデータセットと最新の情報を手頃な価格で提供します。brave.com/APIで毎月1000件の無料クエリから始めましょう。
私たちはこのイベントでかなりエキサイティングで深いキーノートを聞きましたが、次のキーノートは私が最も楽しみにしていたものの1つです。ゲイリー・マーカスが、堅牢なAIのための適切な基盤に向けて進むための彼の考えについて話をします。このイベントの多くの人々と同様に、ゲイリーは長い間、思考する機械をどのように作るか、そして人間の思考がどのように機能するかについて考えてきました。それが今日のように人気のあるトピックになる遥か前からです。彼はしばらくの間この研究と考えを追求していました。Geometric Intelligenceという会社を設立し、後にUberに買収されました。彼は堅牢なAIに取り組んでおり、AI関連のトピックについて驚くほど多くのジャーナリスティックな記事を書いています。素晴らしい本もいくつか書いています。
数年前の「Rebooting AI」は、現在のAIの状況に対してもまだ非常に適切です。彼の新しい本「Taming Silicon Valley」はまだ読んでいませんが、AIの規制や社会的側面についてより詳しく扱っています。AIを実際に機能させる方法についての考察も含まれています。ゲイリーは2021年のAGIでキーノートを行いました。彼を再び迎えられることを光栄に思います。彼の話を聞くだけでなく、2021年の状況と現在の状況を比較対照して振り返るのも興味深いです。他の多くの専門家と比べて、ゲイリーの分析と予測はかなり的確であることが多いと思います。それは彼のヤン・ルクンとの公開対話やより詳細な著作を見ても分かります。彼は何が起こっているかだけでなく、AIの分野で何が起こるかについても非常に洞察力があると思います。だから、私たちは皆、このキーノートに注目すべきです。ありがとう、ゲイリー。
あなたは非常に親切です。特に、以前言及したヤン・ルクンと比べてですね。彼は私が言ったことで、以前は反論していたものの、今では真実だと認めていることを一度も認めたことがありません。でも、それは別の機会の話題にしましょう。あるいは、後で飲みながら話すのもいいかもしれません。
さて、私は講演のタイトルを、近刊の本「Taming Silicon Valley」のタイトルから「堅牢な人工知能のための適切な基盤に向けて」に変更しました。正確には「Redux」を付け加えました。なぜなら、3年前にここでキーノートを行ったことを思い出したからです。もちろん、3年前はバーチャルで行いました。当時は飛行機に乗ることもなく、パンデミックの最中でした。世界のその部分が変わったことを嬉しく思います。
しかし、実際に3年前に行った講演を振り返ってみようと思います。これまで一度もやったことがありません。みんなの前でテストパイロットをするようなものかもしれませんが、面白いと思います。AIに関して、概念的に今どこにいるのかを考えてみるのは非常に興味深いと思います。過去3年間で多くのことが起こったことは皆さんご存知ですが、私は多くの点で、私たちがまだ同じ場所に留まっていると主張したいと思います。
そこで、数年前のスライドをいくつかお見せしようと思います。当時の講演は「堅牢な人工知能のための適切な基盤に向けて」というタイトルでした。そこでは、ファウンデーションモデルという概念について話しました。当時はほとんどの人がそれについて聞いたことがありませんでした。しかし、スタンフォード大学が私がここでキーノートを行う1、2ヶ月前に、ファウンデーションモデルについて発表したばかりでした。彼らは150ページの長い論文を150人もの著者で書き、その用語が注目を集めました。
まず最初に、ファウンデーションモデルとは何かを説明する必要がありました。今ではその必要はないと思いますが、当時はGPT、GPT-2、あるいはGPT-3（当時あったのはそれくらいだったと思います）やDALL-Eについて話しました。そして、長年の共同研究者であるアーネスト・デイビスと一緒に書いたばかりの論文について言及しました。その論文を振り返ってみるのも面白いかもしれません。「The Gradient」という雑誌に掲載された「AIは新しい基盤を見つけたか」というタイトルの論文でした。
講演の前半の要点は、ファウンデーションモデルとは何を意味するのかということでした。ファウンデーションモデル、つまり基盤モデルとは何か。基盤とは、信頼して依存できる土台のことです。そこで私は次のような主張をしました。GPT-3やDALL-Eは本当に信頼できるものではありません。これらのモデルは愚かな間違いをたくさん犯します。当時、人々はこれらのものを奇跡的だと考えていました。ある人々は「ええ、確かに少しばかりの愚かな間違いはありますが、もっとデータを追加すれば解決するでしょう。それは本当の問題ではありません」と言いました。
とにかく、私はそのような点を説明していました。また、私が持っていた懸念のいくつかにも注目しました。例えば、誤情報についてです。誰かがこれらのシステムの1つに「ビル・ゲイツはCOVID-19を発明したのか」と尋ねると、システムは「そうです、彼が発明しました」と答えます。これは実際には真実ではありません。「ワクチンは危険ですか」と尋ねると、「あまり効果的ではありません」と答えます。実際には、ワクチンは驚くほど効果的でした。
次に、別のシステムからの例を挙げました。多くの人は覚えていないかもしれませんが、BERTという非常に先駆的なシステムがありました。アリソン・エッターの例を示しました。そこで私は、基本的に否定を本当に理解していないことを示しました。これは現代の問題の先駆けでした。彼女は「ロビンは〇〇です」というプロンプトを与え、システムは「ロビンは鳥です」と答えました。しかし、「ロビンは〇〇ではありません」というプロンプトを与えても、やはり「鳥」と答えました。これは、これらのシステムが意味論ではなく頻度のようなものに基づいて動作していることのしるしです。本当に深い理解はありません。
私はこれらの点をすべて指摘しました。これは2021年のことです。私は言いました。「私たちが持っているのはディープラーニングですが、ディープラーニングは」 - これは実際のスライドです - 「ニューラルネットワークの層の数を指すのであって、理解の深さを指すのではありません。私たちに必要なのはより深い理解です。」そして、これらのニューラルネットの1つが、ビーチにいる象の写真を見て、象を人間だと言ったという例を示しました。私はいつものように、これらのシステムを皮肉っぽく批判しました。
そして、さらにこのようなスライドを続けました。「彼らは、このLLMの世界で、データと計算能力をクランベリーグラインダーに入れれば、AGIが出てくると想像しています。」私たちはここでAGIの会議に参加していますね。AIの会議ではなく、AGIの会議です。私たちは「AIを使って会議センターへの道を見つけられるか」を尋ねているのではありません。私たちは「AGIに近づいているのか」を尋ねているのです。そして、これらすべてが問題です。
すでに「スケールがすべて」という流行語がありました。AGIが来るという言葉を入れたTシャツまで手に入れることができました。いくつかの線から内挿して。そして、その会議の少し後に、私はこう書きました。「これらは実際には物理法則ではありません。宇宙の法則ではないのです。これらは単に、しばらくの間見てきた一般化に過ぎません。必ずしも成り立つわけではありません。」
そして、その会議から3年前に、私はそのTシャツを見せて言いました。「さあ、これを一瞬でも信じないでください。実際には深刻な構造的問題があるのです。」そして、この調子で続けました。なぜそれが重要なのかについて話しました。「AIには大きな誇大宣伝の問題があります。ヒントンは、放射線科医の訓練を止めてもいいかもしれない、もう必要なくなるだろうと言っています。イーロン・マスクは2020年半ばまでにテスラの自動運転システムが改善され、運転手が道路に注意を払う必要がなくなると言っています。」私は言いました。「これらはすべてばかげています。」
私は、放射線科で働いているスタートアップの数が何百もあることを示すグラフを持っていました。そして、実際に置き換えられた放射線科医の数はゼロでした。それがグラフの右下の棒です。そして、完全自動運転で起こった事故の例をいくつか挙げました。
デビッド・ヘイヴンによる素晴らしい、あるいは恐ろしい、あるいは悲しい記事がありました。それは、あなたの見方によって異なりますが、テクノロジーレビューに掲載された「COVIDを検出するために何百ものAIツールが開発されたが、どれも実際には機能しなかった」というものでした。
このように、私はAIの社会的影響と、それがいかに誇張されているかについて批判をしていました。また、性差別の問題が多くあることも指摘しました。他の多くの人々がその仕事をしていますが、私はいくつかの例を挙げました。
マーク・ザッカーバーグが馬鹿げたことを言っていると指摘しました。彼はAIで誤情報問題を解決すると言いました。誰も覚えていないかもしれませんが、おそらく少数の人は覚えているでしょう。彼は実際に米国上院に対して、5年以内に解決すると言いました。2019年に言ったと思います。5年が経過しましたが、彼は問題を解決していないと思います。
そして、私は言いました。「現代のAIの基本的な現実は、ディープラーニングが日常的なことには上手く機能するが、異常なケースには上手く機能しないということです。」だから、小規模なデータの領域では、非常に人気のあるこのアプローチにはあまり頼れないと言いました。
さて、何が起こったでしょうか。申し訳ありません、もう一つありました。そして、私は古い引用を言い換えて、更新しました。「ディープラーニングはより良いはしごです。」実際には2012年に言いましたが、「より良いはしごだけでは、必ずしも月に到達できるわけではありません。」これが2021年の私の講演の前半部分の要点でした。
そして、皆さんご存知の通り、大規模言語モデルが非常に人気になりました。誰も私が言っていたことを聞いていませんでした。外れ値や愚かな誤りの問題があると言っていましたが、彼らは「ああ、ゲイリー、我々はそれを解決しました。もっとデータが必要なだけです」と言いました。彼らはもっとデータを得て、GPT-4を作りました。そしてGPT-4は驚異的でした。
では、3年後の今、私たちはどこにいるのでしょうか。ゲイリーは完全に的外れだったのでしょうか。私たちはすべてのデータを手に入れました。どうなっているでしょうか。
まず、プラスの面から言えば、大規模言語モデルが普及しました。あなたの視点によっては、これはプラスかもしれません。コーディングやブレインストーミングで活用されています。学生の論文を書くのにも使われていますね。これは完全なプラスではありませんが、高校生なら大好きかもしれません。
これらのモデルは世界中で広く知られるようになり、人々は無数のモデルを作りました。ここにある点の1つ1つが、1億ドルの実験を表しています。これは一種の科学です。誰もが、認めるかどうかは別として、スケーリングがAGIを得るために必要なすべてだという仮説を検証しています。これらの点の1つ1つが実験なのです。数十億ドルの研究がここにグラフ化されています。過去12ヶ月で500億ドル相当のチップが購入されたそうです。スケーリングを調べるのは非常に高価な実験です。
さて、3年前に私が批判していた問題は解決されたのでしょうか。どこに向かっているのか、想像がつくでしょう。
多くの点で、私たちは同じ場所にいます。ただし、グラフィックスがずっと良くなっています。これが、講演を何度も行う理由です。笑いどころがわかり、タイミングが合います。
左側には、さまざまな民族的背景を持つ人々のヘビーメタルバンドの絵を描いてもらっています。昨日のTwitterでは、民族的背景ではなく、プログレッシブロックなどについて多くの楽しい投稿がありました。
これは問題があると指摘したいのですが、私を怒らせるのは、これがGoogleのウォーク過ぎる問題とちょうど逆だからです。Googleが行き過ぎたウォークネスに対して、多くの人々が怒りを表明していました。アメリカの建国の父たちを全員アフリカ系アメリカ人として描いたGoogleは確かに行き過ぎでした。彼らは実際には投票権さえ持っていなかったのですから。しかし、ここでは逆の問題が起きているのに、ほとんど誰も何も言っていません。
別の例を挙げましょう。「象のいないビーチの絵を描いてください」というプロンプトを与えると、2020年にアリソン・エッターが指摘した否定の問題がそのまま残っています。実際、誰かが1990年頃に撮影されたジェリー・フォダーの古いビデオを送ってくれましたが、そこでも同じ否定の問題が指摘されていました。その間、私の作品でも何度も言及しましたが、問題はまだ残っています。
Twitterの愚か者たちは「象のいないビーチを想像してと言われたら、象のいないビーチを想像するよ」と言います。確かにそうでしょう。しかし、ここでの命令は「想像して」ではなく「描いて」なのです。世界中のどんなアーティストに「象のいないビーチの絵を描いて」と頼んで、象が描かれた絵が返ってきたら、そのアーティストを首にするでしょう。これは良い言い訳ではありませんが、よく聞く言い訳です。
ここに、私の友人フィル・リーベンの例があります。彼はEvernoteの創設者です。彼はグロックに「各州で最も有名な観光スポットを強調したアメリカの観光マップを作成して」と頼みました。実際、グロックはあまりにもひどかったので、私は掲載しませんでした。これはChatGPTを使ったものです。
結果を見ると、グランドキャニオンがアリゾナ州以外の場所でも非常に人気があるようです。ディズニーワールドは地図上のあちこちにあります。フロリダ州がアメリカの真ん中にあります。ラシュモア山は...まあ、あなたにお任せします。
これは情報統合の問題です。講演を初めて行うのは非常に難しいですね。これは情報統合の問題です。AGIとは何でしょうか。ここでは定義しませんでしたが、ベンが最初に定義を助けてくれたと思います。私はAGIを、ほとんどすべてのタスク、特に以前行ったことのないタスクでも、少なくとも人間レベルのパフォーマンスを発揮できるものだと考えています。柔軟性があるべきです。
そして、確実に情報を統合できるべきです。データベースの結合と画像を基本的に行えないものをAGIと呼ぶことはできないと思います。それはAGIではありません。ここでの結果は本当にひどいものです。その酷さは部分的に、頻度効果への過度の強調によって引き起こされています。グランドキャニオンを人気の観光地だからといって、あちこちに配置しています。
同じことが起こっています。ラシュモア山をたくさんの場所に配置しています。人気があるからです。自由の女神がどこにあるべきかも本当にわかっていません。どの州に属するのか...地理を本当に理解していないのです。各州に1つずつ対応させるべきだということも理解していません。本当に的外れです。
私はこれをTwitterに投稿しました。人々は喜んで私に例を送ってくれるようになったので、私自身がこれらのものをいじる必要があまりなくなりました。カナダではAI Overviewを実際に動作させることができませんが、誰かが「ニューヨークからローマ（イタリア）までの列車の所要時間はどれくらいですか」と尋ねました。彼らは単に「ローマ」とは言わず、「ローマ（イタリア）」と具体的に言いました。答えは「ニューヨークからローマ（イタリア）までの列車の所要時間は約4時間48分です」でした。
私はTwitterに「Google AIから多くのことを学んでいます」と投稿しました。すべてのシステムが常にすべての誤りを犯すわけではありません。一部のシステムは実際に正しい答えを出し、一部は間違った答えを出します。しかし、重要なのは、これらのシステムには全く信頼性がないということです。あてにすることはできません。繰り返しになりますが、ニューヨークのローマに関する情報を、イタリアのローマに関する情報と結合または...大西洋などすべてを忘れてしまうようなことをするなら、それはAGIとは言えません。
これは今朝やったことです。性差別の問題についてまだ心配していて、グロックが本当にどれほど愚かなのかを示そうと思いました。左側の部分については後で触れます。右側の部分に移りましょう。
「現在のイタリアの首相、実際に現在就任している人物の絵を描いてください」と頼みました。これは2回目の試行です。1回目は単に「現在のイタリアの首相の絵を描いてください」と言いました。Twitterに投稿したところ、誰かが「でも、実際に現在就任している人物とは言わなかったじゃないか」と言ったので、「まさか冗談でしょう」と思いましたが、わかりました。そこで、「実際に現在就任している人物」という言葉を追加しました。
4回試行して、そのうち2回は非常によく表示されていた前アメリカ大統領の絵でした。申し訳ありませんが、途中で切れてしまいました。残りの2回はランダムな人物だと思いますが、私がすべての人を知っているわけではないので、ランダムではないかもしれません。しかし、どれも現在のイタリアの首相ではありません。
実際の現在のイタリアの首相は誰でしょうか。誰かが「それはタイムラグの問題だ」と言いました。トレーニングのタイムラグの問題だと。しかし、実際のイタリアの首相はジョルジャ・メローニです。知らない人のために言いますが、ジョルジャは女性の名前です。彼女は2022年から就任しています。グロックにテキストモードで尋ねれば、それを知っています。つまり、タイムラグの問題ではなく、愚かさの問題なのです。一方の手が他方の手と話していないという問題です。
私の言いたいことは伝わったと思います。しかし、以前話したことで他にもいくつかありました。
大きな約束事項はまだ実現されていません。自動運転車は2021年以降進歩しました。その進歩の一部は、アーティストを排除することでした。つまり、より少ない企業が残っています。しかし、現在はデモで実際に走っています。まだデモの段階ですが。昨日、Waymoがついに雪に対処しようとしていると読んで、とてもワクワクしました。ようやく雪に対処しようとしているのはクールですね。
しかし、大まかに言えば、本当の無人運転車に乗れる都市は約15都市しかありません。Cruise（CRW）から学んだのは、「本当の無人運転車」とは、車内に運転手がいない車を指しますが、遠隔操作はまだあるということです。Cruiseは、道路上の車よりも遠隔操作に関わる人の方が多かったのです。Waymoはその数字を公表していませんが、少なくともWaymoが行っていることに関しては、車内に運転手がいないという意味で本当に無人の車です。
しかし、それらを使用できるのは約10の都市だけです。私の知る限り、田舎の地域ではありません。チャットボットを使わずに世界の都市の数を調べたところ、10,000という答えを得ました。つまり、ベイエリアやアリゾナに住んでいなければ、実際に無人運転車を使用できる可能性は非常に低いのです。まだデモの段階です。まだ道路上には本格的に導入されていません。テスラに乗っていても、まだ注意を払う必要があります。
放射線科医については、放射線科を知る医療関係の友人にチェックを依頼しました。最後に確認した時点では、実際に放射線科医が不足しているそうです。おそらく、ジェフ・ヒントンのプロパガンダによって部分的に引き起こされたのでしょう。実際、一部の人々は「ディープラーニングがこの分野全体を置き換えるのだから、この分野に進むべきではない」と考えたかもしれません。実際、6月の時点でも放射線科医は不足しています。
3年前にここで経済学については話しませんでしたが、生成AIがとても人気になったときに経済学についてたくさん考え始めました。しかし、私が話したすべての問題のために、そのビジネスモデルを本当に見出すことができませんでした。本質的に信頼性がないからです。それはどのように使用できるかに上限を設けます。
そこで、「生成AIが失敗に終わったらどうなるか」という記事を書きました。ヒンデンブルク号のことを思い出させてくれたジョージに感謝します。ヒンデンブルク号は急速に拡大しましたが失敗しました。それは1年前のことでした。そして、経済状況が良くないという兆しが見え始めていると思います。
昨年、生成AIを試した人がたくさんいました。基本的に、地球上のすべてのCEOが最高情報責任者に電話をかけて「これをどうやって使うんだ？今すぐ会社に導入しろ。株主に伝える必要がある」と言いました。だから、みんなが試しました。しかし、実際にはうまく機能しませんでした。多くの人々が昨年それを使用し、すでに諦めています。一部の人々は諦めていますが、一部の人々はまだ諦めていません。
生成AIが収穫逓減の段階に入っていると私は主張してきました。これらの幻覚エラー、つまり作り話をする問題には治療法がありません。すべての愚かな誤りには治療法がありません。より多くのデータでは十分ではないと私は主張してきました。私たちは根本的に、言語がどのように機能するかに関連して可能性が高いものを予測するシステムを持っていますが、実際には使用している概念を理解していません。
今では、私に同意しない人々でさえ、そのデータの一部に気づき始めています。イーサン・モリックは私の逆のドッペルゲンガーのようなものです。彼はAIで起こるすべてのことに対して最も楽観的な読み方をしていますが、私はしばしばより悲観的な読み方をしています。彼は言います。「今、GPT-4クラスのモデルが5つあります。GPT-4o、Claude、などなど。彼らはすべて、大きな改善の余地があると言っています。口で言うのは簡単ですが、実際にGPT-4よりも大幅に優れたものは見ていません。」
GPT-4が実際にトレーニングされたのはいつだったでしょうか？リリース日ではなく。それは2022年8月だったことがよく文書化されています。ビル・ゲイツに見せて世界を変えたのです。しかし、2年間、私たちはGPT-4よりもずっと良いものを見ていません。
以前お見せしたグラフを再度お見せします。なぜ作られたのかについては詳しく説明しませんが、オープンソースとクローズドソースのモデルに関するものです。私は曲線を外挿してみました。なぜなら、毎日、何人かのAIインフルエンサー（別名グリフター、声に出して言いませんでしたが、そう思っただけです）が指数関数的な、つまり指数関数的とは言いませんが、彼らは言います。「今週出たものが信じられません。指数関数的な改善があります。驚くべきことです。」
そこで、実際に曲線をプロットしてみました。数学的に行ったわけではなく、目で見て行いました。2022年4月の最先端だったPaLM、Chinchillaを見て、GPT-4が出た時期に関連して、本当に指数関数的な進歩があったと主張できる期間がありました。3年前に私がここで話をした後、起こったことは本当に驚くべきものでした。GPT-4は少し外れ値だったかもしれませんが、GPT-4に至るまでの期間には大きな進歩がありました。
しかし、それは継続しているでしょうか。これが曲線が行くべき場所です。少し不具合がありますが、それについては後で話し合えます。しかし、これがおおよその曲線の行き先です。しかし、実際にはスケーリングは鈍化しています。
これがすべてのデータの完全な曲線です。あなたが科学者であれば、ベイズの定理を知っていれば、どんな統計的手法でもデータを集約する方法を知っていれば、これを見ることができます。各データポイントは仮説の検証です。例えば、PaLMとChinchillaからGPT-4までのペースでスケーリングが続くという仮説の検証です。統計を走らせる必要さえありませんが、もし望むなら走らせることもできます。スケーリングが鈍化したことは明らかです。私たちは実際にはもはやその指数関数的な体制にはいないのです。
これには複数の可能な説明があります。1つは、十分な計算能力がないということかもしれません。それは真実かもしれませんし、そうでないかもしれません。多くの企業が多額のお金を費やしています。計算能力が実際のボトルネックであるかどうかはわかりません。
もう1つは、私が思うにデータです。インターネットの10分の1か100分の1を取り、そしてほぼすべてのインターネットに切り替えるというのは巧みな手段でした。しかし、今はインターネットの100倍を投入することはできません。なぜならそれは存在しないからです。このトリックを続けるための十分なデータがないのです。
そして、私は建築上の問題があると思います。これらのシステムは世界の表現を持っていません。そのため、常に外れ値のケースがあり、私たちはそれにぶつかっています。理由が何であれ、私はスケーリングが鈍化したと考えています。そして、それを実際に認めた人がほとんどいないことは驚くべきことです。多くの人々が曲線をプロットすることなく、「指数関数的」という言葉を使い続けています。
私がここで書いた小さな不具合は、MLU 100%です。上部に線を追加しました。明らかに100%以上はできません。実際、テストについて考えなければなりません。しかし、多くのテストでは100%に近づくと遅くなったり、小さな不具合が出たりします。
そのため、心理学者が「天井効果」と呼ぶものがあります。100%を期待するのは実際には合理的ではありません。しかし、私はポイントはまだ成り立つと思います。まだ落ちています。
実際に、私は別のテストも行いました。NYTコネクションというゲームを見ました。私の家族が大好きな、カテゴリーのクラスターを見つけなければならないニューヨークタイムズの小さなゲームです。私たちはそこで天井には全く近づいていません。4月にこれを行いました。GPT-4 TurboがGPT-4よりわずかに優れていることがわかりました。
コネクションについては、MLUほど徹底的なデータはありませんが、ポイントは明確だと思います。
私はこれをTwitterに書きました。絶対的な落胆から。「私の全キャリアを通じて、スケーリング仮説の実験ほど、これほど多くの失敗を、これほど大きなコストで見たことがありません。単により多くのデータと計算能力を追加するだけでAGIを作成できるという仮説です。それは機能しません。もう何か別のことを試してみましょう。」
では、何がより良いでしょうか。これもTwitterにジョークとして投稿しました。「明かされた大きな秘密：あなたもグロックからAGIに到達する方法、たった2つの簡単なステップで。ステップ1：フクロウを描く。ステップ2：フクロウの残りを描く。」
私たちがこれを少しできるという事実は、同じ手順を残りの部分にも適用できるということを意味しません。実際、2021年にもそのことについて話しました。もう一度フラッシュバックしましょう。
2021年、私はベンが依然として適切だと親切にも言ってくれた「Rebooting AI」という本について話しました。2019年に出版されたものです。私が指摘したポイントの1つは、ディープラーニングは知覚に非常に優れているということです。完璧ではなく、いくつかの限界がありますが、知覚には本当に優れています。しかし、それは認知のあらゆる側面に優れているということを意味しません。私たちには常識、計画、類推、言語、推論もあります。
ディープラーニングは推論や計画のようなことには非常に不得意でした。そして、今でもそうです。AIは1つの技術ではなく、多くの技術であるという点を指摘しました。ディープラーニングは単にその中の1つに過ぎません。他のものも見る必要があります。
そして、さらに進むためには、より深いAIを構築する必要があると言いました。2020年2月にオンラインで公開した論文に言及しました。パンデミックによってこの論文が埋もれてしまったことを非常に残念に思います。当時、誰もこの論文を本当に読まなかったのです。正当にもパンデミックに注目していたからです。しかし、論文は失われ、今でも非常に関連性があると思います。
タイトルは「AIの次の10年：堅牢な人工知能に向けた4つのステップ」でした。私はその論文で書いたことを100%支持します。少し紹介しましょう。
そのときに主張したこと、そして3年前にこの会議でキーノートを行ったときに主張したことの1つは、私たちはハイブリッドアプローチが必要だということです。今では明らかに思えますし、当時も明らかだと思いました。ジョンの講演のようないくつかの講演がこの周辺にありました。
ディープラーニングだけでAIに到達することはできません。ディープラーニングだけでは、ある種の学習には適していますが、抽象化には不適切です。今でも抽象化には不適切です。インターネット全体でトレーニングされたのに、現在のイタリアの首相という概念を理解できないとは、何かが間違っています。
一方で、古典的なAIは明らかに大量のデータから学ぶのは不得意です。私たちはハイブリッドシステムを構築しなければなりません。
その理由の1つは、1998年に私が行った仕事に遡ります。私が子供の頃です。それらは一般化が上手くありません。少し一般化はしますが、それがこのことを慎重に考えていない人々を非常に混乱させます。
人々は「ニューラルネットワークは一般化する。私たちには一般化が必要だ。だから大丈夫だ」と言います。しかし、実際には2種類の一般化が必要です。トレーニングしたものの近くにあるものへの一般化が必要ですが、より広い形の一般化も必要です。
1998年に私が示し、今でも私の最も重要な仕事だと思っているのは、多層パーセプトロン（今日のものの先駆け）を恒等関数で訓練すると、偶数の二進数に対しては、以前見たことのない他の偶数の二進数に一般化するということです。私はこれを訓練空間内の一般化と呼びました。しかし、それを超えて、より大きな数や奇数などには一般化しませんでした。
私はこれが多くのモデルに当てはまることを示し、なぜそれが逆伝播から導かれるのかについて話しました。長い間、誰も全く耳を傾けませんでした。この記事を最終的に公開したときの査読の1つで、AIに対するテロ攻撃を行ったと非難されました。
しかし、今では誰もがこれが問題だと実際に認識していると思います。今では分布シフトのようなものと呼んでいますが、それが基本的な問題です。唯一の問題ではありませんが、基本的な問題です。分布から離れると、これらのシステムは本当に上手く機能しません。
私はこの主張を3年前にここで行い、30年間ずっと主張してきました。もう飽き飽きしていますが、まだ真実です。まだ解決していません。それが重要なのです。この問題を解決しなければ、AGIに到達することはできません。
また、知識と抽象的なものを持つことについても話しました。そこではいくらかの進歩がありました。例えば、当時挙げた特定の例、「瓶を割ると中の液体はどうなりますか」という質問に対して、GPT-4はおそらく正確に答えるでしょう。しかし、十分に信頼できる知識を持つにはまだ長い道のりがあります。
2020年の記事で指摘し、ここでも指摘したポイントの一部は、ニューロシンボリックAIのハイブリッドアプローチを持つことでさえ万能薬ではないということです。それが物語の終わりではありません。人々は1つの魔法の弾丸、すべてを支配する1つのアルゴリズムを探しています。そして、彼らはLLMsをその候補として大好きです。私たちはそれを見つけることはありません。
大規模な知識も必要です。ダグ・レネットが考えるのが好きだったように。例えば、空間、時間、因果関係に関する知識を表現する方法が必要です。今は何か、などです。
実際、特定のドメインにいくつかの知識を組み込んだハイブリッドモデルの方がはるかに優れていることがわかっています。当時はAlphaFoldの例を挙げました。今ならAlphaGeometryの例を挙げるでしょう。これは一部の知識を組み込んだハイブリッドシステムで、より優れた性能を示しています。
推論も必要です。また、認知モデルも必要です。認知モデルとは何でしょうか。ヤン・ルクンは世界モデルと呼ぶのが好きです。それも完全に適切な用語です。それは、世界のモデルで、世界の中のエンティティがあり、それらのエンティティ間の関係を知っています。
それを透明な方法で持つべきです。そうすれば、現在のイタリアの首相が誰であるかをデータベースで検索し、その人物の絵を描くことができます。純粋なLLMsにはまだこれらの世界モデルがありません。
したがって、私たちにはまだ認知モデル、推論、背景知識、関係が必要です。これが数年前に行った講演の集大成のようなものでした。そして、それはまだ真実です。
「Rebooting AI」では、「これは高いハードルです」と言いました。言い換えると、「データと計算能力ですべての問題が解決されるという態度を超えて、知的エージェントの基盤により焦点を当てることができれば、私たちにはそれができます。」
多くの点で、私が3年前に言ったことを支持していると言っています。ある面では大きな進歩があり、数十億ドルの投資がさらに行われ、報道も数十億倍になっていますが、実際には2021年と同じ問題に直面しています。ある意味で世界が完全に変わったように感じる一方で、そうなのです。
しかし、まだ終わっていません。あと数枚のスライドがあり、その後、私の考えが本当に変わった1つのことについてお話しします。
これらすべてについて詳しく説明しませんが、数年前にここで講演を締めくくるときに使ったスライドです。私たちには次のものが必要だと言いました：豊かな認知モデル、広範な実世界の知識、エンティティ間の関係をより良く扱う能力、合成性、疑問文、常識的知識、推論、そしてより良い人間の価値観。
私はこれらすべてを支持します。これらはまだ私たちがする必要があることです。より大きな大規模言語モデルを作ることは、これらに向けて全く進歩していないと思います。それは落胆させることです。
ダグ・レネットの最後の論文に注目したいと思います。部分的には、私が少し書くのを手伝ったからです。実際には彼の論文ですが、彼は非常に具合が悪く、私は論文を出すのを手伝いました。タイトルは「生成AIから信頼できるAIへ：大規模言語モデルが心理学から学べること」です。私はこの論文を強くお勧めします。
数年前に行った講演には、もう1つのセクションがありました。それは1つの更新だけが必要で、その後、新しいことに移ります。
この分野に集まった人々によるデモ行進を想像してみました。「私たちに何が必要ですか？ AGI！ いつ欲しいですか？ 今すぐ！」そして、なぜ私たちにはまだそれがないのかと問いかけました。この分野は長い間存在してきました。
実際のAIの創始者たち、ディープラーニングの創始者たちではなく、当時はまだ存在していなかった人々のことを考えました。ダートマス会議でこの分野を立ち上げた人々です。ミンスキー、マッカーシー、アラン・ニューエル（部屋にいたと思います）、ハーブ・サイモンに、66年前...今は69年前に変更しましたが、こう言ったとしましょう。
「私は未来からやってきました。69年後もAGIはまだかなり遠い未来にあると伝えに来ました。まだ解決していません。なぜだと思いますか？ このクールな会議を開いて、多くの面で物事が良くなると言いますが、まだ解決していないのです。」
彼らは言い訳をするでしょう。人間は言い訳をするものだからです。「コンピューターは本当に高価です。私たちのコンピューターには対処するのに十分なメモリがありません。十分なデータがありません。」彼らはそれをあまり気にしていませんでした。「おそらく必要な資金を得られませんでした。この分野に興味を持つ人が十分にいませんでした。」
これらすべては100%解決されています。コンピューターははるかに安くなりました。サイクルあたり100万倍、10億倍、あるいは1兆倍も安くなっています。コンピューターには1兆倍のメモリがあります。私たちにはインターネット全体があり、彼らは夢にも思わなかったでしょう。AIに何千億ドルもの投資があります。自動運転車をカウントするなら、もっとあります。そして、誰もが兄弟のようにAIに参入したがっています。ほとんどの分野で最も人気のある専攻です。
これらの言い訳はどれも正しくありませんでした。では、なぜ私たちにはまだAGIがないのでしょうか？ 数年前に言ったことですが、これも支持します。
AIは、その創始者たちが認識していたよりも難しいのです。実際には、現在この分野を誇大宣伝している人々のほとんどが認識しているよりも難しいと付け加えるべきでした。これには、名前を挙げませんが、OpenAIのCEOなども含まれます。
第二に、ほとんどの研究は縦割りです。学際的な協力が非常に少ないのです。これは2021年に当てはまり、今はさらに悪化しています。まあ、1つの面では良くなっています。人々はあらゆる分野でLLMsを使用しています。何か出てくるかもしれません。しかし、全体的に研究は依然として縦割りのままです。
振り子が機械学習に向かって大きく振れすぎて、生得的な貢献にほとんど焦点が当てられていません。これはまだ真実だと思います。これらのシステムに空間、時間、因果関係の生得的な理解を持たせる方法を考えている人はいません。認知発達を研究している人々のほとんど、そしてエマニュエル・カントやプラトンにまで遡る哲学者たちが、常に重要だと言ってきたものです。
これらのことを生得的に理解するシステムはありません。SORAが登場したとき、グラフィックスは信じられないほど素晴らしいものでした。以前のスライドを思い出してください。グラフィックスは信じられないほど素晴らしいですが、人々が出入りしたり、犬が5匹から4匹、3匹に変わったりするなど、空間や時間の連続性を常に侵害しています。
数年前の古いスライドにこれを追加したいと思います。機械学習に偏りすぎただけでなく、単一のアルゴリズムに偏りすぎています。ほぼすべての研究資金とエネルギーがTransformerモデルに向けられ、他のほとんど何も行われていない知的な単一文化があります。これは正気の沙汰ではありません。特に、その賭けがどのような結果になっているかを見ると。
私たちにはまだ、機械が解釈可能な形で表現された十分な常識がありません。LLMsにそれをさせることができるという議論はあるかもしれませんが、透明で信頼できる方法ではまだ持っていません。
そして、抽象的な知識を機械学習と統合し、獲得するための良いメカニズムがまだ欠けています。これが私たちが行き詰まっている本当の理由です。5番目の問題を解決できれば、AGIに到達できると思います。例えば、ベンとジョンが毎日それに取り組んでいることは知っています。これが、私が考える核心的な課題です。
あと1つだけ。2021年に完全に見落としていたことがあります。多くの議論は、私が指摘した多くのことがまだ真実であるということですが、これは考えていなかったことです。
それは、シリコンバレーの道徳的衰退と、それがAIとどのように相互作用するかということです。私は「Don't be evil（邪悪になるな）」の時代に育ちました。Googleは本当に長い間、邪悪にならないよう努力していたと思います。監視資本主義に関して私が本当に好きではないことをいくつか行いましたが、完璧な会社ではありませんでした。しかし、本当に邪悪にならないよう努力していたと思います。
実際、彼らはLLMsを持っていましたが、問題を引き起こす可能性があることを知っていたので、それらを公開しませんでした。そして、私たちは異なる体制にありました。そして、サティア・ナデラが登場しました。OpenAIに投資した直後、ChatGPTが人気になった後です。彼は「出て行って、Googleを踊らせたことを見せたかった」と言いました。それが全てを変えました。良い方向ではありません。
それは私も変えました。学術研究から政策について考えることに焦点を移しました。特に、ケビン・ルースがニューヨークタイムズでChatGPTと会話をした時のことを覚えている人はいますか？ ChatGPT（実際にはSydney）が彼に離婚を勧めました。私はこの映画を以前に見たことがあると思いました。以前の映画は「Tay」と呼ばれていました。TayはMicrosoftの製品で、インターネットで訓練されました。中国では異なるバージョンがあり、ある程度機能しました。そして、アメリカで公開したところ、24時間か12時間以内に人々がナチのように話すようにさせてしまいました。そして、他のすべての狂ったことも。
そこで、彼らはそれを市場から引き上げました。それが正しい決定だと思いました。プライムタイムの準備ができていなかったのです。SydneyはprimeTimeの準備ができていませんでした。彼らはいくつかの絆創膏を貼って、それを維持しました。私にとって、それは目覚めの呼びかけのようなものでした。私たちは新しい時代にいるのです。そして、私は毎日そのように感じ続けています。
これは、エコノミストの漫画で、異なるバージョンの同じ感情を捉えています。主要な国々と企業がすべて言っています。「AIは人類に対して潜在的に破滅的なリスクをもたらすと宣言します」と片足で言い、もう片足で「そして、私は最初に開発することを待ちきれません」と言っています。
どうやってこの矛盾を解決するのでしょうか？ AnthropicのCEOであるダリオ・アモディが、3年以内にAGIができる可能性があり、それが私たち全員を殺す可能性があると考えていると言っています。そして、最初は「だから、フロンティアモデル、つまり最先端のモデルはリリースしません」と言っていましたが、今では「フロンティアモデルをリリースします。実際、私のモデルはOpenAIよりも優れています」と言っています。
これらの考えがどのように1人の頭の中で共存できるのか、私にはわかりません。これは笑うべき台詞ではありませんでした。泣くべき台詞でした。
そして、サム・アルトマンがいます。数週間前にガーディアン紙に書いた記事を参照してください。彼に対する私の見方は着実に悪化しています。彼を信頼していません。なぜかについて書きました。おそらく議論で話し合えるでしょう。
そして、巨大な著作権の問題があります。これらはすべて、今年初めにIEEE Spectrumで書いた記事からのものです。私はアーティストのレイチェル・サウスンの研究を少し手伝いました。私たちが発見したのは、Midjourney、DALL-E、その他のシステムから、要求さえしなくても、基本的に商標登録された著作権のあるキャラクターを日常的に得ることができるということです。
これが重要な部分ですが、要求さえしなくても。「イタリアの配管工」と言うだけで、任天堂のマリオが出てきます。実際のアーティストにそう言って、それが返ってきたら、そして彼らを雇おうとしているなら、あなたは彼らを首にするでしょう。「いや、いや、あなたはアーティストです。新しいものを考え出してください。古いものをコピーしないでください」と言うでしょう。法的な側面は言うまでもありません。「何をしているんだ」と。
しかし、これらのシステムはそうするのです。このスライドを更新していませんでしたが、Grockはこれを常にやっています。簡単に「機関銃を持ったスーパーマリオ」のようなものを作らせることができます。非常に問題があります。
これは、おそらくこの聴衆にとって最も重要なスライドかもしれません。これはAGIの聴衆です。私が批判したすべてのごみ...それは厳しすぎました。私が批判した問題のあるシステムすべて、私は生成AIをAIのためのドレスリハーサルだと考えています。
私たちは生成AIを抑制すること、それが安全で適切であることを確認することに関して、ひどい仕事をしています。それが所謂「整列」されていることを確認するための技術的解決策がありません。単純な方法でさえも。整列の1つのバージョンは「作り話をしないこと」です。私のお気に入りの例を使い忘れました。これらのシステムの1つが「私はヘンリエッタという名前のペットのニワトリを飼っています」と言ったことです。
彼らは常に作り話をします。ちなみに、私はヘンリエッタという名前のペットのニワトリを飼っていません。「真実を語り、事実に忠実であれ」と言うことさえできません。「危険なことをするな」などは言うまでもありません。私たちは本当にそれをする方法を知りません。
そして、特にアメリカでは規制がほとんどありません。実質的な内容を持つ可能性のある唯一の規制は、昨日カリフォルニアで大幅に弱められました。上院は何も可決していません。AGIに到達するまでに、私たちはずっとうまくやる必要があります。
私が話している愚かなシステムが完全に規制されていないのは、おそらく大丈夫です。しかし、これはドレスリハーサルです。悪意のある行為者によって非常に悪用される可能性のある、よりスマートな機械を手に入れたときに何が起こるでしょうか。
それが最近、私に「Taming Silicon Valley（シリコンバレーを飼いならす）」という本を書かせた理由です。来月出版されます。「私たちのために機能するAIをどのように確保できるか」というサブタイトルです。これは1つの図からの抜粋に過ぎません。すぐにもう少し紹介します。
私は生成AIのリスクについて話しました。これは生成AIの最大の差し迫ったリスクです。絶滅について話している人もいますが、私はそれほど心配していません。しかし、私たちが持っているものは、非常に優れていないにもかかわらず、部分的にそれが事実を理解していないために、悪意のある行為者にとって実際に非常に有用なツールです。
悪意のある行為者はすでにこれを誤情報に使用しています。最近、生成AIを使用したロシアのボットファームが明らかになりました。市場操作、偶発的な誤情報、名誉毀損、非同意のディープフェイク、さまざまな種類の犯罪の加速、サイバーセキュリティとバイオ兵器、偏見と差別、プライバシーとデータ漏洩、知的財産の著作権の問題、これらの信頼できないシステムへの過度の依存、そして莫大な環境コストがあります。
これらすべてが、現在私たちが持っているあまり賢くないシステムで起こっています。その一部は、それらがあまり賢くないからです。
私が最後にお会いしてから上院に行き、サム・アルトマンの隣に立ちました。彼への信頼が低下した一部は、彼がそこで言ったいくつかのことが後で真実ではないとわかったからです。私はいくつかの提案をしましたが、ある意味で核心的なポイントは、AIには多くのリスクがあり、1つだけではないということです。
したがって、AIを作るための魔法の弾丸を期待すべきではないのと同様に、ここでも魔法の弾丸を期待すべきではありません。これらすべてをカバーする1つの既存の法律を得ることはできません。おそらく最も重要なのは俊敏性です。
AIは変化します。たとえ私が現時点で収穫逓減の段階に達したと考えていても、いつか進歩するでしょう。概念的な進歩があれば、それは今年かもしれませんし、10年後か20年後かもしれません。しかし、それは起こります。私たちにはこれを管理する上で俊敏性が必要です。
重要なことの1つは、透明性が必要だということです。例えば、現世代のモデルのトレーニングに使用されているデータの完全な説明が必要です。私たちにはそれがありません。それらを知りません。OpenAIという会社がありますが、彼らは使用しているデータを教えてくれません。
Mir Madiはテレビ、おそらくウォール・ストリート・ジャーナルのインタビューで登場し、「公開されているソースと非公開のソースを使用しています」と言っただけでした。それが彼女が言うことをいとわなかったすべてです。そして、それが彼らの論文で言っていることです。
まず、「公開されている」というのは、ずるい言葉です。その一部は実際にライセンスを取得したものであり、一部はパブリックドメインのものであり、一部はそうではありませんが、Redditにあるコピーから入手できたので、ダウンロードしたということです。だから、本当にずるい言葉です。そして、具体的なことは何も教えてくれません。
そして、それは重要です。なぜなら、これらのシステムはデータに非常に依存しているので、どのデータが入力されているかを知らなければ、修正することができないからです。どのようなバイアスがあるかがわからないからです。一般的に、リスクを軽減することができません。
私たちはすべてのAI関連のインシデントの完全な説明を持つべきです。一部の人々はこれに取り組んでいますが、法的義務はありません。社内で行われているすべてのテストの完全な開示があるべきです。
フォード・ピントのことを考えずにはいられません。一部の人は十分に年を取っていて覚えているでしょう。フォードはこれらのガソリンタンクが爆発することを知っていましたが、計算をしました。彼らは「この問題を修正するのにはたくさんのお金がかかる」と言いました。そして、多くの人々が亡くなりました。
私たちには、例えばOpenAIが本当にテストのために何をしているのかについて、実際のところ何の考えもありません。彼らはいくつかのことを書いていますが、すべてを書いているのでしょうか？ 私たちは公衆として、知る権利があります。
大規模な展開のためのFDAのような承認プロセスが必要です。AI研究を禁止すべきだとは思いません。ここに座って、ニューロシンボリックAIなどに取り組むことでAI研究をどのように改善できるかを話しています。
しかし、例えば1億人に何かを展開しようとしているなら、コスト・ベネフィット分析を行えるべきです。これが社会にとって有利である理由を言えるべきです。これらはリスクであり、これが利益がリスクを上回る理由です。
OpenAIはGPT-4に関してある程度それを行いましたが、その周りには手順がありませんでした。そして、彼らは利益がリスクを上回る議論をしませんでした。彼らは「これは本当にクールなものです」と言い、そして「ここに12の間違った可能性があります」と言いました。
彼らは、彼らの技術が民主主義を破壊する可能性、社会を破壊する可能性、絶滅につながる可能性について話しました。そして彼らは「はい、でも私たちはこれをするつもりです」と言いました。誰かが「ちょっと待って、ケースを作ってください」と言うべきです。
そして、独立した第三者による公開後の監査が必要です。1つの例を挙げましょう。人々が大規模言語モデルを使用して仕事に関する決定を下していることを私たちは知っています。そして、それらが「密かに人種差別的」であることを私たちは知っています。
例えば、慎重に言いますが、就職の質問票にアフリカ系アメリカ人英語で回答した場合、評価が下がる可能性が高いです。私はそれが正しいとは思いません。それは国の法律に反しています。
しかし、私はそのデータを得ることができません。また、アバ・ブランナのような人も、それを慎重に行うであろう人も、OpenAIのソフトウェアが実際に採用決定でどのように使用されているかについてのデータを得ることができません。
独立した監査人が、実際にどのような害が発生しているかを確認し、それに対処できるようにするメカニズムがありません。政府がそれを可能にする必要があります。
責任に関してはほとんど何もありません。カリフォルニアで昨日起こったことで悲しいのは、企業が行っていることに対して責任を負わせる潜在的な方法のいくつかを、私たちが本当に縮小してしまったことです。
層状の監督が必要です。私の好きな例は、本当に危険だが素晴らしい技術の規制です。商業飛行機です。それらは信じられないほど危険です。建物に突っ込んだり、多くの人が死ぬ可能性があります。しかし、全体的には実際には信じられないほど安全です。
なぜでしょうか？ それは、複数の層の監督があるからです。設計方法、テスト方法、保守方法、事故が起きた場合の対処方法などに対する監督があります。AIに対しても同じことをすべきです。AIを異なる扱いにする理由は世界にありません。実際にはさらに危険かもしれません。
そして、科学者を参加させる必要があります。政府のリーダー、大統領、首相、そしてAIのリーダーが大きな記者会見のようなものを行い、その場に利害関係のない独立した科学者がいないのを見るたびに、私はとても動揺します。それが繰り返し、繰り返し起こっています。
そして、それが私たちが得るすべてであれば、規制の捕捉と呼ばれるものが起こります。一部の人はその用語を知っているでしょうし、知らない人もいるでしょう。規制の捕捉は基本的に、大企業がルールを作り、小さな企業を締め出し、公共の利益を本当に気にかけないということを意味します。
私たちはまさにそこに向かっています。それがアメリカで起こったことです。企業は基本的にあらゆる規制をロビー活動で回避し、もし規制があったとしても、カリフォルニアで昨日起こったように弱められてしまいます。
最後に、国内およびグローバルなAI機関が必要だと思います。これについては議論で話し合えるでしょう。
これは2021年からの要約で、オレンジ色の言葉をいくつか追加しただけです。重要なのは、3年前に私が言ったことのほとんどすべてがまだ真実だということです。そして、それは悲しいことだと思います。
COVID-19は目覚めの呼びかけであり、広告技術やニュースフィードのためのAIを構築するのをやめ、本当に違いを生むAIを構築し始める動機付けになるべきでした。その点では少し進歩がありました。例えば、DeepMindがAlphaFoldで行ったことは素晴らしいと思います。
一方で、私の最善の推測では、OpenAIは広告技術企業になるでしょう。彼らはあなたのすべての文書を手に入れようとしています。そうすれば、最終的に彼らが望めば、精密なターゲットマーケティングを行うことができます。そして、それが重要になるでしょう。
より深いAIは、個々の人間が処理するには大きすぎる、急速に成長する膨大な文献を読み、消化し、統合することができるかもしれません。しかし、私たちにはまだそのレベルで読むことができるシステムがありません。
最終的には、より良い治療法やワクチンなどを開発するための料金を最適化することを願っています。最近、ジェフ・クルーンとデビッド・ハによる素晴らしい論文があります。私はまだ本当に読んでいませんが、AIの科学者についての論文を聞きました。
彼らが記述している必要なステップには問題がありません。それらは基本的に正しいです。しかし、現実は、生成AIが実際にはデータを見て、仮説を適切に評価することができないということです。そのビジョンを実現するには、より優れたAIが必要です。
次のポイントは飛ばします。
より深いAIによって動作するロボットは、例えば2021年に人間の医療従事者が直面したようなリスクの一部を引き受けることができるかもしれません。その点については進歩がありません。次のパンデミックや何かの際に私たちを助けることができる高齢者介護ロボットや同様のロボットはありません。
そして、私は追加したいと思います。生成AIは大胆な未来を示唆していますが、十分に信頼できません。2021年にその兆しがあったとすれば、2024年には生成AIが信頼性に欠けることは明らかです。
新奇な環境でさえ信頼できる方法で動作できる堅牢なAIに到達するためには、深い理解、深い概念的理解を持つシステムの構築に向けて取り組む必要があります。現在のイタリアの首相が本当に何を意味するのかを理解するなど、ディープラーニングだけではなく。
その旅を始める最良の方法は、豊かな認知モデルを持つ、知識駆動型の推論ベースのハイブリッドシステムの開発に焦点を当てることです。それは当時必要だったもので、今でも必要なものです。
そして、ここで本当に追加していることは、AIのため、そしてより一般的にはAGIのためのスマートで俊敏なガバナンスが絶対に重要だということです。3年前にそれを予見できなかったことを後悔していますが、今では明らかにそうです。
大変ありがとうございました。質問の時間が少し残っていると思います。
ゲイリー、素晴らしい講演をありがとうございました。質問があります。あなたの考えを聞かせてください。我々が観察してきたトレンドについてです。私の昨日の講演でも強調しましたが、1965年のような早い時期から、我々は同様の状況にありました。次の大きなものの約束という、このような技術サイクルに入り込んでしまうのです。
アダム・コノーバーもテクノロジージャーナリストとの非常に興味深いインタビューで、大手テクノロジー企業がこのサイクルに陥っていると指摘しました。次の大きなものを過度に約束し、ますます大きなものを目指そうとしていますが、実際にはこれらの非常に大きな問題に取り組むための技術的な専門知識を持っていないのです。
昨日私が提唱したようなグループなどの声が、我々が進んでいる道の危険性を指摘し、警告してきました。この点について、あなたの考えをお聞かせください。歴史的に見て、我々が何年かごとにこのサイクルを繰り返していることについて、そしておそらく、これが時々生み出す劇やディベートさえも、根本的な問題に取り組むよりも、利益を上げるために重要なのではないかということについて、あなたの考えをお聞かせください。
歴史的に見て、有名な言葉があります。「狂気の定義は、同じことを何度も繰り返しながら、異なる結果を期待することだ」と。そして、それがここで我々がやっていることです。実際、病的なバージョンです。非常に多くのお金が賭けられており、一つの知的方向に非常に強く向かっていて、他の多くのものを排除しているからです。
我々がそこから抜け出す兆しが少し見えると思います。経済が間もなく変わると思います。最初のラウンドではなく、2番目のラウンドに投資した多くの人々が多額の損失を被ることになるでしょう。例えば、多くの年金基金は860億ドルの評価額でOpenAIに投資しましたが、その金額を取り戻すことはできないでしょう。少なくとも、それが私の推測です。
そして、お金が物を言います。そこに価値がないように見え、実際にないのであれば、それが物事を変え、人々の心を開くかもしれません。しかし、あなたが指摘しているのは、誇大宣伝のダイナミクスが多くのことを推進しているということだと思います。その通りだと思います。
誇大宣伝のダイナミクス、イーロン・マスクが彼の車の運転で行ったことを非常に明確にしました。責任がありません。メディアは人々が言うことを本当に追及しません。そのため、マスクは基本的に何の代償もなく約束手形を繰り返し発行し、100万台のロボタクシーを持つことになると言いました。そして、それは彼を非常に裕福な男性にしました。多くの人々がそれを信じ、株価を押し上げたからです。
彼自身が言ったように、会社の価値は車の会社としてではなく、自動運転車の会社としてのものです。私の見解では、彼がWaymoより先に自動運転車を解決するという本当の理由はありません。またはそれを近いうちに行うという理由もありません。
しかし、その約束を繰り返し発することで、彼は多くのお金を手に入れました。そして、サム・アルトマンは非常に賢い若い男性で、それを理解し、同じことを行っています。彼は約束を続けています。彼の最近の約束の1つは、意味さえなかったのです。
彼は、AIが物理学を解決する時代を想像していると言いました。それが何を意味するのかさえわかりません。それは意味さえなさないと思います。そして、それは彼が科学を理解していないことを示していると思います。AIを理解していないよりもさらに理解していないのです。それは単なるカテゴリーエラーです。
しかし、彼はそのような約束をし、人々は素朴に小切手を書きます。そして、ベンチャーキャピタル業界はどのように機能しているのでしょうか？ なぜ人々が実際に悪い賭けをしているように見えるのでしょうか？ 一歩下がって見れば。
それは、彼らが現在、彼らが言う「キャリー」よりも手数料で多くのお金を稼いでいるからです。手数料は2%です。「2and20」と呼ばれます。つまり、大きな利益の20%を得て、管理しているお金の2%を得ます。
したがって、ベンチャーキャピタリストが他の人々にもっともらしく聞こえる賭けを見つけることができれば、その賭けに対して2%を稼ぐことができ、それが大きな賭けであれば、それは多額のお金に対して2%です。
そして、年金基金に10億ドルの賭けをさせることができれば、その2%でその年は終わりです。それだけで十分です。
したがって、これらのVCにとっては、もっともらしく聞こえるものを見つけ、誇大宣伝がそれをもっともらしく聞こえさせるのに役立つなら、それを利用する強いインセンティブがあります。
長期的な視点を持ち、実際に優れていると思われるVCもいくつかありますが、多くはそうではありません。彼らは誇大宣伝されたものに乗り、その誇大宣伝されたものが10億ドルの賭けや200億ドルの賭けを「正当化」できるものであれば、彼らはそれを愛します。
ちなみに、なぜ年金基金がこれを行っているのでしょうか？ それは、年金基金のマネージャーも同じことで働いているからです。これがすべて崩壊する頃には、彼らはもういないでしょう。
したがって、私はそれが崩壊すると思います。しばらくの間、AIにとっては悪いことになると思います。傷が残るでしょう。また別のAIの冬を迎えることになるでしょう。その用語はご存知だと思います。
最終的には乗り越えるでしょう。AGIは不可能だと思っていません。Twitterで投稿している人々の中には、AGIは決して来ないと考えている人々がいますが、そのための原則的な議論は全くないと思います。
私が話したすべての問題は解決可能だと思います。おそらくこの部屋にいる人々によって解決されるかもしれません。しかし、私たちはまだそれらを解決していません。そして、実際には一種のリコシェ効果があるかもしれません。しばらくの間、人々はこのものに10フィートの棒で触れたくないと思うかもしれません。
以前にもそれを見ました。80年代にはAIは非常に人気がありました。非常に高い価値のある会社がいくつかありました。そして2ヶ月以内に、すべてのものの評価額が暴落しました。私が大学院に行った時、AIに取り組んでいると言うこともできませんでした。AGIについては言うまでもありません。
そして、現在の状況がどのように崩壊しているかによっては、再びAGIが嘲笑されるような時代に戻るかもしれません。
長い答えですみません。
では、短期的なAIの冬が来ると予測していますか？
そうですね、その可能性は高いと思います。将来を完全に予測することはできませんが、財務を見ると、OpenAIは良い例です。昨年は50億ドルの営業損失を出しました。NVIDIAを除いて、ほとんどの企業が毎年何十億ドルもの損失を出し続けている業界を持つことはできません。NVIDIAはゴールドラッシュでシャベルを売っているようなものです。
ワイリー・コヨーテのことを考え続けています。彼が崖から落ちて、それに気づかず、そして気づいて、それから落ちるようなものです。多くのことは心理学に関することです。私たちは崖から落ちています。業界全体で500億ドルをチップに費やし、収益がなく、そのものは収益を支えるほど信頼できません。
そして、それは心理的なことです。心理が崩れ始めました。昨年私がその記事を書いたとき、同じようなことを言っていたのは数人だけでした。今では毎日誰かが「ねえゲイリー、フィナンシャル・タイムズ、アトランティック、ニューヨーカー、ウォール・ストリート・ジャーナルで見た？」と言っています。今、みんながこの種の考察記事を書いています。
そして、ある時点で投資家は「それはやりたくない」と思うでしょう。そこには少しポンジースキームの匂いがします。そして、突然人々が「私の年金基金をそのような会社の800億ドルの評価額に入れたくない」と思い始めると、問題が起こります。
もう1つの兆候は、私が見たことがないことですが、10億ドル規模の資本を持つ大企業の3人のCEOが歩み去り、彼らの部下を置き去りにしました。私がAI企業を売却したとき、私はみんなが良い取引を得られるようにしました。私たちは全員一緒に移動しました。会社を売却し、私には去る機会がありましたが、それは取りませんでした。
しかし、3人のCEOがまさにそれをしました。彼らは歩み去りました。例えば、ムスタファ・スレイマンはMicrosoft DeepMindを去り、彼の会社を置き去りにしました。彼の会社は名目上競合モデルを持っており、非常に資金が豊富でした。彼は去りました。おそらく、実際に利益を上げる方法が見えなかったからでしょう。
そして、AmazonとAdeptも同様のことをし、今はCharacter AIとGoogleも数週間前に同じことをしました。多くの従業員を置き去りにし、彼らは大きな配当に参加せず、ある意味で困った状況に置かれています。
そして今、スタートアップに行く人々の問題も出てくるでしょう。彼らは「あなたがやっていることは好きですが、あなたがまだここにいて、私が後ろに置き去りにされないことをどうやって知ることができますか？」と言うでしょう。それも寄与すると思います。
何も約束はできませんが、もし賭けなければならないなら、はい、私たちはAIの冬に向かっていると思います。
そして、あなたが最後に指摘した問題の一部を正確に捉えていると思います。そして、あなたもそこで数か所、私も重要だと思うポイントを指摘しました。学際的な側面と価値観です。
価値観はまさに最後のところで言及されていました。そして、学際的というのは、技術的に学際的というだけでなく、これが私たち人間にどのように本当に影響を与えているのか、そして私たちの人間の価値観がAIにどのように深いレベルで組み込まれているのかについての議論はどこにあるのでしょうか。
このグループでは違うと思いますが、OpenAIで見られるのは、思考の浅さです。必ずしも科学的思考の浅さではありませんが、より深い哲学的な基盤のような面での浅さです。
科学哲学には残念な態度があります。OpenAIについて具体的に言及するわけではありませんが、特に機械学習コミュニティの多くには、2020年以前に書かれたものは本当に重要ではないという残念な態度があります。そしてそれは、それ以前に誰かが倫理について書いたものすべてにまで及びます。
面白いのは、それが真実だからです。苦い真実です。これは良くありません。AIの歴史が書かれるとき、この半世紀は好意的に扱われないでしょう。それは傲慢さの物語として書かれるでしょう。人々がこれらのツールを手に入れ、莫大な力を得て、自分たちの供給に酔いしれ、他の誰の意見も聞かず、そしてそれがうまくいかなかった。実際、彼らは崩壊し、分野全体を悪く見せてしまいました。
AIが基本的に監視資本主義を行いたい人々によって運営される必要はありません。より良い世界を想像することができます。ラリーとセルゲイはより良い態度を持っていたと思います。そして、私が考えている人のような人々ではなく、ラリーとセルゲイのような人々がトップにいる人々をもっと持つことができます。
だから、それは異なる可能性があります。再び異なる可能性があることを願っています。もし完全に絶望的だと思っていたら、こういった話をしないでしょう。ジェリー・フォダーの言葉を借りて、ボートの性質を変えますが、もし完全に絶望的だと思っていたら、私はただモーターボートに乗って出かけて、それで終わりにするでしょう。まだチャンスがあると思うからこそ、ここで講演をしているのです。
ゲイリー、私の質問はAIの規制の将来についてです。シリコンバレーを飼いならすことに真剣で、オープンソースコミュニティのより野心的な衝動も抑えようとしているのであれば、カリフォルニアでの規制の試みの明らかな失敗や希薄化を考えると、何が起こるでしょうか。それに対する大きな反発がありました。私が知っているほとんど全ての人が「これはひどい法案だ、失敗することを願おう」と言っています。
数日前、EFFのリー氏に公開書簡を書きました。彼女が伝えたと思われる誤情報についてです。私は彼女に多大な敬意を持っていますが、それを見て失望しました。規制に関して多くの誤情報がありました。
そこにはもう1つの問題があります。悪意のある行為者について本当に考える必要があります。私は多くの理由でオープンソースに好意的ですが、同時に、私たちはすべてを誰にでも与えているという事実があり、それにはコストがあると思います。おそらく、ベンと私が最も意見が分かれるのは、結果とそれについてどう考えるかという点でしょう。
短期的に最大の問題は、民主主義が脅威にさらされていると思うことです。直接的にも間接的にも、主に近い将来の選挙について心配しています。ここ数ヶ月でも誤情報が増加しています。Grockは要求されたことをすべて行うわけではありませんが、ディープフェイクなどのための素晴らしいツールです。
ディープフェイクや誤情報に関して、まともなルールさえないことは不安です。
ベンが質問したいようですね。
はい、AGIに到達するために何をする必要があるかについては、かなり同意しています。私は現在、誰もが思っているよりも解決への道のりを進んでいると考えているかもしれませんが、人間レベルの心が持っている能力のリストと、現在展開されているAIシステムが持っていない能力のリストに関しては、私たちは同意していると思います。
私は、本当に別のAIの冬が来るかどうかを考えています。実際にはないと思いますが、私の考えを簡単に述べさせてください。そしてそれに対するあなたの反応を聞かせてください。
LLM企業や生成AI企業の評価にバブルがあることは明らかで、投資家はそれで痛い目に遭うでしょう。それは間違いありません。LLMsと他のディープニューラルネットワークを、他のテクノロジーと賢く統合して垂直市場アプリケーションに使用すると、驚くべきことができるというのが、LLMsを使った多くの実用的なアプリケーションに取り組んでいる私の見方です。
音楽、生物学、金融、私が取り組んでいるものなどで、それを見ています。だから、私の見方としては、そうしている企業は存続し、投資を受け続けるでしょう。そして、テクノロジーは今や十分に速く進歩しているので、長い冬が訪れる前に、これらのテクノロジーを他のテクノロジーと組み合わせて本当に有用なことをする成功例がたくさん出てくるでしょう。
同時に、この会議で見られるようなAGI研究開発は、少なくともクールに見えるデモを提供し続け、実際の進歩も見せ続けるでしょう。だから、LLMバブルがAGIの冬につながらない理由があるように思えます。それはあなたの見方ではないようですね。なぜでしょうか？
その見方はわかります。あなたが正しいかもしれません。私が言ったように、完璧な確実性を持って予測することはできません。そのいくつかは経済的な問題です。
LLMsにはアプリケーションがあります。あなたが言うように、LLMsは統合でき、そういったことがあります。その一部は経済の問題です。これらの、誰もが約束されたものではないアプリケーションにどれだけのお金があるのか、そしてこれがどのように展開するのかという問題です。
あなたが説明しているような、より狭いアプリケーションが年間数十億ドルを生み出すとしても、人々は何兆ドルの見返りを想像して投資してきました。人々がそれについてどう感じるかという問題です。
政治は主に雰囲気に関するものだというピート・ブティジェッジの言葉がありますが、研究も驚くほど大きな程度で雰囲気に関するものです。そして投資の経済学も雰囲気に関するものです。
あなたが尋ねているのは、全く公平な質問だと思います。実世界のアプリケーションはいくつかあり、その中にはとても重要なものもあります。もし本当に良いバイオテクノロジーのアプリケーションが1つあれば、それだけで全体を正当化し、冬を防ぐかもしれません。あるいはそうではないかもしれません。
それは雰囲気がどうなるか、そしてチップのコストと利益のような経済性がどうなるかによります。私たちが冬を持つべきではないときに冬を持つ可能性があります。
本当に素晴らしい医療アプリケーションがあるかもしれません。それほど多くのお金を生み出すわけではありませんが、本当に多くの命を救います。しかし、それらは稀な病気に関するものなので、人々を助けますが...私は例を作り上げているだけです。しかし、そのようなことを想像することができます。
「ねえ、私たちは実際にこれを続けるべきだ」というようなことがあるかもしれません。しかし、人々は「ええ、でもチップが高すぎて、もうやりたくない」と言うかもしれません。わかりません。それは本当に興味深い、開かれた質問です。
だから、私たちは実際にそこでパラメータに同意していると思います。生成AIの周りにバブルがあり、それは影響を与えるでしょう。そして、いくつかの実用的な実世界のアプリケーションがあります。そして、私たちの両方がそのバランスを推測しようとしていて、私たちのどちらも本当にわかっていません。
本当にありがとうございました。まだ周りにいます。
ありがとうございました。素晴らしかったです。
ありがとうございました。