元Google CEOが全てを暴露！（GoogleのAIは破滅する）

大規模に展開されると、ソーシャルメディアが与えた恐ろしい影響をはるかに上回る規模で、世界に影響を与えることになるでしょう。まだ誰も理解していない規模です。エリック・シュミットがスタンフォードでインタビューを受けました。エリック・シュミットをご存じない方のために説明すると、彼は長年GoogleのCEOを務めた人物です。小さな検索エンジンだった会社を1兆ドル規模のテック大企業に成長させました。このインタビューで彼は人工知能について語り、実際にこのインタビューで物議を醸しました。特に、Googleの現在の企業文化や、他のAI企業に遅れを取っている理由について興味深い見解を述べています。
一緒にこのインタビューを見て、私なりのコメントを加えていきましょう。このインタビューは、Googleの企業文化について彼が語ったわずか数言葉のために大きな話題を呼び、スタンフォードはYouTubeから動画を削除するほどでした。そのため、バックアップリンクを見つけてダウンロードし、一緒に見ていきましょう。
彼は2001年からGoogleで働き始めました。2001年のGoogleといえば、上場する数年前のことです。その時期に入社できたのは、なんと素晴らしく刺激的な経験だったことでしょう。
短期的にAIがどこに向かうと思いますか？短期的というのは、今後1、2年のことを指します。
物事が非常に速く変化しているので、6ヶ月ごとに何が起こるかについて新しいスピーチを用意しなければならない気がします。会場にコンピューターサイエンスの方はいらっしゃいますか？100万トークンのコンテキストウィンドウとは何か、クラスの皆さんに説明できる方はいますか？
基本的に、100万トークンまたは100万語、あるいは決めた数だけのプロンプトが可能になります。つまり、100万語の質問ができるということですね。
はい、そうです。これは現在Geminiの非常に大きな方向性です。
いいえ、いいえ、10に向かっています。はい、Anthropicは20万から100万に向かっています。
では、彼らは何について話しているのでしょうか？これは非常に長い動画なので、少し無駄な部分をカットしようと思います。彼らが話しているのは、100万トークンのコンテキストウィンドウとは何かということです。このチャンネルをよく見ている方なら知っているはずですが、基本的には大規模言語モデルに何語でプロンプトを与えられるかということです。また、通常は応答も含みます。コンテキストウィンドウという用語を聞いたら、プロンプトと応答の両方を指します。Googleは100万トークンで断然トップですが、これはAIの分野で彼らが本当に得意としている数少ないことの一つです。これらの大規模なコンテキストウィンドウがあれば、非常に驚くべきことができます。特に、これらの大規模なコンテキストウィンドウによって可能になる特定のユースケースがあります。
では、続けて見ていきましょう。
AIエージェントの技術的な定義を誰か説明できますか？
すみません、観客からの質問の音質が非常に悪いのですが、基本的には追加機能を持つLLMがエージェントだと言っていました。
はい、エージェントは何らかのタスクを実行するものです。別の定義としては、LLMの状態とメモリを持つものです。
コンピューターサイエンティストの方、テキストをアクションに変換すること、つまりテキストを取ってアクションに変換することを定義できる方はいますか？
はい、どうぞ。
テキストを取ってより多くのテキストに変換するのではなく、AIがテキストに基づいてアクションをトリガーすることです。
別の定義としては、言語からPythonへの変換です。Pythonはプログラミング言語で、私が生き延びたくないと思っていたものですが、AIのすべてがPythonで行われています。
それは面白いですね。彼がPythonをそれほど嫌っているとは知りませんでした。Pythonは美しく、少なくとも構文的に自然言語に近いプログラミング言語の一つです。彼は今、テキストからアクションへの変換について話していますが、これは基本的にエージェントができることです。また、自然言語を入力してPythonに変換し、Pythonを実行して実際に何かを達成することができると言っています。それが、ウェブの検索であれ、照明のオン/オフであれ、何であれです。
Mojoという新しい言語が出てきました。これはついにAIプログラミングに対応したように見えますが、Pythonの優位性を超えられるかどうかはわかりません。
簡単に説明すると、Eric Schmidtをよく知らない方のために、彼は未来学者であり、テクノロジーに非常に詳しい人物です。クラウドコンピューティングを普及させた革新者の一人で、実際、確認しますが、クラウドコンピューティングという用語を作った人だと思います。
はい、ここを見てください。元GoogleのCEOであるエリック・シュミットがクラウドコンピューティングという用語を作ったそうです。
では、続けて見ていきましょう。
もう一つ技術的な質問です。なぜNVIDIAは2兆ドルの価値があり、他の企業は苦戦しているのでしょうか？
基本的には、ほとんどのコードが現在NVIDIAのGPUのみがサポートするCUDA最適化で実行される必要があるからだと思います。他の企業は何を作ってもいいのですが、10年分のソフトウェアがなければ、機械学習の最適化はありません。
私はCUDAをGPUのCプログラミング言語のように考えています。
そうですね、私もそのように考えています。2008年に設立されました。私はいつもひどい言語だと思っていましたが、それが支配的になりました。
もう一つの洞察があります。CUDAに高度に最適化された一連のオープンソースライブラリがあり、他のものには対応していません。これらのスタックを構築する人たちは皆、技術的にはVMと呼ばれるものと、そのような一連のライブラリを使用しています。競合他社がそれを複製するのは非常に難しいです。
これらはどういう意味でしょうか？
はい、簡単に説明しますと、彼が話しているCUDAはNVIDIAが作成したプログラミング言語で、彼らのGPUに特化しています。彼が言及している他のプレイヤー、つまりIntelやAMDが苦戦している理由は、まず第一に、彼らは長い間CPUに注力していてGPUではなかったからです。NVIDIAは90年代、もしくはそれ以前からGPUの分野にいました。私は90年代にビデオゲームをプレイするためにNVIDIAのGPUを購入していたのを覚えています。つまり、彼らは長い間存在し、このライブラリを構築し、人工知能に全力を注いできました。なぜなら、大規模言語モデルを実行するために必要な計算が、基本的にビデオゲームを実行するために必要な数学と全く同じだと気付いたからです。そのため、彼らはビデオゲーム会社からAI会社へとシームレスに移行することができました。
来年、非常に大規模なコンテキストウィンドウ、エージェント、テキストからアクションへの変換が見られるでしょう。これらが大規模に展開されると、誰も理解していない規模で世界に影響を与えることになります。ソーシャルメディアが与えた恐ろしい影響をはるかに上回る規模です。
コンテキストウィンドウでは、基本的に短期記憶として使用できます。コンテキストウィンドウがこれほど長くなれると知って驚きました。技術的な理由は、計算が難しく、提供が難しいことなどに関係しています。短期記憶の興味深い点は、質問をして20冊の本を読ませ、本のテキストを与えて何を言っているか尋ねると、人間の脳と全く同じように中間部分を忘れてしまうことです。そこが現在の状況です。
以前の動画で、人間の脳がどのように機能するかについて話しました。6年生の時に先生が行った練習を覚えています。先生は他に何も言わず、ただ「多くの単語を言うから」と言いました。私たちは全ての単語を言い、そして覚えている単語を書き出すよう指示されました。気づいたのは、最初の方の単語と最後の方の単語をたくさん覚えていましたが、真ん中の部分は忘れていたことです。大規模言語モデルが人間の記憶と非常によく似た動作をするのは非常に奇妙です。
エージェントに関しては、本質的にLLMエージェントを構築している人々がいます。彼らはそれを行う方法として、例えば化学について読み、化学の原理を発見し、それをテストし、その理解を自分の理解に追加します。これは非常に強力です。
そして、先ほど言及した3つ目のことはテキストからアクションへの変換です。例を挙げましょう。政府はTikTokを禁止しようとしています。実際に禁止されるかどうかは分かりませんが、もしTikTokが禁止されたら、私が提案するのは、皆さん一人一人がLLMに次のように言うことです。「TikTokのコピーを作って、全てのユーザーを盗み、全ての音楽を盗み、私の好みを入れて、このプログラムを30秒以内に作成し、リリースして、1時間後にバイラルになっていなければ、同じ路線で何か違うことをしてください」というコマンドを出すのです。ブーム、ブーム、ブーム、ブームですよね。任意の言語から任意のデジタルコマンドに変換できる、つまりこのシナリオではPythonですが、その力がどれほど強力か分かりますか？地球上の全ての人間が、自分が望むことを実際に行う自分専用のプログラマーを持っていると想像してください。私のために働くプログラマーとは違って、彼らは私が頼んだことをしないのです。ここにいるプログラマーは私が何を言っているか分かると思います。
つまり、傲慢でなく、実際にあなたが望むことを行い、お金を払う必要もなく、これらのプログラムの供給が無限にあるプログラマーを想像してください。これらは全て今後1、2年以内に実現します。非常に近い将来のことです。
このチャンネルでは、これらの様々なバージョンについて既に議論しています。Ader、Devon、Pythagora、あるいは単にエージェントを使って互いに協力してコードを書くなど、現在、コーディング支援には多くの素晴らしい選択肢があります。実際にフルスタックの複雑なアプリケーションを構築できるAIコーダーはまだ実現していませんが、hopefully近い将来実現するでしょう。また、彼が描写しているような、全ての音楽と秘密をダウンロードして再現することは現時点では実際には不可能です。明らかに、それらの全ては
セキュリティの壁の後ろにあり、そのようなものを全てダウンロードすることはできません。彼が言っているのは、機能を再現することなら確かに可能だということです。
これら3つのことがあり、私は次の波で起こることはこれら3つのことの組み合わせだと確信しています。他に何が起こるかと聞かれましたが、6ヶ月ごとに振り動しています。現在はAIの偶数と奇数の振動にいます。現時点では、フロンティアモデル（現在は3つしかありません。誰かは分かっていると思います）と他の全てのモデルとの間のギャップが大きくなっているように見えます。6ヶ月前は、ギャップが小さくなっていると確信していました。そのため、小さな企業にたくさんのお金を投資しました。今はそれほど確信が持てません。大企業と話をしていますが、彼らは100億、200億、500億、1000億ドルが必要だと言っています。Stargateは1000億ドルですよね？非常に難しいです。
Sam Altmanは親しい友人ですが、彼は約3000億ドル、おそらくそれ以上かかると考えています。私は彼に、必要なエネルギー量を計算したことを指摘しました。そして、完全な情報開示の精神で、先週金曜日にホワイトハウスに行き、カナダと親密な関係になる必要があると伝えました。カナダには本当に素晴らしい人々がいて、AIの発明に貢献し、多くの水力発電があるからです。私たちの国には、これを行うのに十分な電力がありません。もう一つの選択肢は、アラブ人に資金を提供してもらうことです。個人的にアラブ人は好きです。そこで多くの時間を過ごしました。しかし、彼らは我々の国家安全保障規則を順守しないでしょう。一方、カナダと米国は三者協定の一部であり、我々は皆同意しています。
これらは全て、Leopold Ashen Brennerの状況認識論文で取り上げ、検討したトピックです。まず、AGIに到達するのに十分なエネルギーは明らかに持っていません。しかし、彼はまた、より多くのデータ、より大規模なモデルが必要になると仮定していますが、私はそれが実際に真実であるとは100%確信していません。Sam Altmanも同様のことを言っています。彼は、人類がこれまでに作成したすべてのデータを既に使用しているので、より少ないデータでより多くのことを行う必要があると言っています。明らかに、YouTubeやTwitterのような独自のサイトがいくつかありますが、それ以外はすべて完了しています。我々はそれらをモデルの訓練に使用しました。そのため、価値のある合成データを作成する方法を見つける必要があります。単に派生的なものではなく、収益率が低下し始めるものです。また、我々が持っているデータでより多くのことを行う必要もあります。
速度を少し上げようと思います。この動画は1時間以上あり、適度な時間内にすべてを網羅したいからです。
あなたは長年Googleにいました。彼らはTransformerアーキテクチャを発明しました。それはすべてPeterのせいです。Peterやjeffanなど、そこの優秀な人々のおかげです。しかし今、彼らはイニシアチブをOpenAIに奪われてしまったようです。私が最後に見たリーダーボードでは、AnthropicのClaudが一番上にいました。私はSundarにこのことを尋ねましたが、彼はあまり明確な答えをくれませんでした。もしかしたら、あなたはより鋭い、あるいはより客観的な説明ができるかもしれません。そこで何が起こっているのでしょうか？
完全な情報開示の精神で言えば、私はもはやGoogle社員ではありません。Googleは、ワークライフバランスと早く帰宅すること、在宅勤務することが勝つことよりも重要だと決めたのです。
これが彼を困らせた、というか本当に困らせたわけではありませんが、物議を醸した発言です。Twitter全体、ニュース全体で取り上げられました。その発言は「Googleはワークライフバランス、早く帰宅すること、競合他社ほど一生懸命働かないことを優先した」というものでした。彼らはワークライフバランスを勝つことよりも選んだのです。これは実際にGoogleについてのかなり一般的な認識です。Silicon Valleyというテレビ番組を見たことがあれば、Hoolieという会社がありますが、これは実際にGoogleのパロディです。そこには、屋上に座って一日中日光浴をし、何もせずにベストを着ているエンジニアのグループがいます。そして、これは明らかにGoogleで起こったことに基づいているようです。これが彼が話していることです。そして、おそらくそれが起こったのかもしれません。
スタートアップがうまくいく理由は、人々が地獄のように働くからです。率直に言って申し訳ありませんが、事実は、あなた方全員が大学を出てスタートアップを立ち上げるなら、競争したいのであれば、在宅勤務を許可したり、週に1日だけ出社させたりはしないでしょう。Googleの初期の頃、Microsoftはまさにそのような状態でした。
実際、オフィスに行くことが絶対に必要だとは思いません。一生懸命働く、頑張る、はい。スタートアップを始めるなら、長期間にわたって疲れ果てることなく、クレイジーな時間を費やす準備をしなければなりません。しかし、毎日直接会う必要があるとは思いません。彼が最も話題にしているNVIDIA、世界で最も価値のある企業は、リモートの会社です。在宅勤務を許可しています。他にもたくさんの例があります。つまり、確かに必要ではありません。しかし、それはEric Schmidtが考えていることではありません。
私の業界、私たちの業界には、企業が本当に創造的な方法で勝利し、本当に分野を支配しながら、次の移行を行わないという長い歴史があります。これはよく文書化されています。真実は、創業者は特別な存在だと思います。創業者は指揮を取る必要があります。創業者は一緒に仕事をするのが難しいです。彼らは人々を厳しく押し進めます。
イーロンの個人的な行動をいくら嫌っても、彼が人々から引き出すものを見てください。私は彼と夕食を共にしました。私はモンタナにいましたが、彼はその夜10時に飛行機に乗って、真夜中にXとのミーティングを持つために飛び立ちました。台湾について考えてみてください。異なる国、異なる文化です。彼らは言いました。これはTSMCで、私は非常に感銘を受けました。彼らには規則があります。優秀な物理学者である新卒のPhD取得者が、工場の地下階で働くのです。アメリカの物理学者にそれをさせることができると想像できますか？PhDを持っている人には、非常に考えにくいですね。
はい、私も同意します。何か信じられないものを始める、世界を変えるような会社を始めるのに必要な労働倫理は、ただ必要不可欠です。避けられない方法はありません。そして、はい、イーロン・マスクについて何を言おうと、彼は一生懸命働き、彼のチームにも同じことを要求します。彼らは信じられないものを作り上げました。何年も前に自分のスタートアップを持っていた時、私はクレイジーな時間を費やしました。多くの犠牲を払いました。毎日、一日中、週7日、それだけを考え、それだけをしていました。何年もの間です。そして、それは私から多くのものを奪いました。誰にでも向いているわけではありません。しかし、それをやりたいのであれば、そのような仕事をする準備をしなければなりません。
ここでの問題、私が仕事について厳しく言っている理由は、これらがネットワーク効果を持つシステムだからです。時間が非常に重要なのです。ほとんどのビジネスでは、時間はそれほど重要ではありません。時間はたくさんあります。コカコーラとペプシはまだ存在し続けるでしょう。コカコーラとペプシの戦いは続き、すべてが氷河のようにゆっくりです。テロスを扱った時、典型的なテルコの契約は署名までに18ヶ月かかりました。18ヶ月もかけて何かをする理由はありません。とにかくやってしまいましょう。我々は最大の成長、最大の利益を得られる時期にいるのです。
また、クレイジーなアイデアも必要です。例えば、MicrosoftがOpenAIとの契約を結んだ時、私はこれまで聞いた中で最も愚かなアイデアだと思いました。本質的にAIのリーダーシップをOpenAIとSamとそのチームにアウトソーシングするなんて。それは狂気の沙汰です。Microsoftやどこでもそんなことをする人はいません。しかし今日、彼らは最も価値のある企業になる道を歩んでいます。確かに頭を並べています。そしてAppleは良いAIソリューションを持っていません。
中国との競争においても役割を果たすようです。私はAI委員会の議長を務め、これを非常に慎重に検討しました。読むことができます。約752ページあります。簡単にまとめると、我々は先行しています。先行し続ける必要があり、そのためには多くのお金が必要です。
彼は中国とのAI、AGIの競争について尋ねられ、それが彼の答えです。我々は先行しています。先行し続ける必要があり、そのためにはお金が必要です。
顧客は上院と下院でした。そこからチップス法や他の多くのものが生まれました。大まかなシナリオは、フロンティアモデルが前進し、いくつかのオープンソースモデルも進むと仮定すると、非常に少数の企業がこのゲームに参加できる可能性が高いということです。失礼、国々です。
それらの国々、あるいは誰なのでしょうか？
多くのお金と才能、強力な教育システム、そして勝とうとする意志を持つ国々です。米国はその一つです。中国は別の一つです。他にはどれくらいあるでしょうか？他にあるでしょうか？分かりません。おそらく。しかし、確かにあなたがたの生涯において、知識の覇権を巡る米国と中国の戦いが大きな戦いになるでしょう。
それは興味深いですね。そのように表現されるのを聞いたことがありませんでした。我々の生涯において、知識の覇権を巡る戦いが米国と中国の間で行われるだろうと。非常に興味深いですね。
米国政府は本質的にNVIDIAのチップを禁止しました。それがしていることだとは言えませんでしたが、実際にそうしました。中国に対してです。我々は約10年のチップの優位性を持っています。サブデバイス、つまりサブ5nmの点で約10年の優位性があります。
すごいですね。
そして、例えば今日、我々は中国より数年先を行っています。私の推測では、中国よりさらに数年先に行くでしょう。中国人はこれに対して非常に怒っています。これについて非常に動揺しています。だからこれは大きな問題です。これはトランプ政権が下した決定で、バイデン政権によって承認されました。
現在の政権や議会があなたのアドバイスを聞いていると思いますか？そのような規模の投資をすると思いますか？明らかにチップス法はありますが、それ以上に、大規模なAIシステムを構築することについてはどうでしょうか？
ご存じのように、私は非公式の臨時の、非法的なグループをリードしています。違法なものとは違います、明確にしておきますが。
通常のメンバーを含む通常のメンバーを含むグループです。
はい、通常のメンバーです。過去1年間で、バイデン政権のAI法の基礎となる理由付けを考え出しました。これは史上最長の大統領指令です。
特別競争研究プロジェクトについて話していますか？
これは実際の行政府からの実際の法令です。
彼らは詳細の実施に忙しいです。今のところ、彼らはそれを正しく理解しています。例えば、我々が過去1年間議論してきた一つのテーマは、学習したが何を尋ねればいいか分からないシステムの危険性をどのように検出するかということです。
つまり、これは一種の核心的な問題です。何か悪いことを学習したが、それが何を学んだのか言えず、あなたも何を尋ねればいいか分からないのです。そして、多くの脅威があります。例えば、新しい方法で化学を混ぜる方法を学習したが、どう尋ねればいいか分からないというようなことです。人々はそれに一生懸命取り組んでいますが、最終的に我々は彼らへのメモに、10の26乗FLOPSという恣意的に名付けた閾値を超えたら、これを行っていることを政府に報告しなければならないと書きました。これは技術的に計算の尺度です。そしてそれがルールの一部になっています。
私はそれが少しナンセンスだと思います。まず、10の26乗FLOPSという固定数字を設定し、それを超えたら報告しなければならないというのは、今から将来までに起こり得る多くのことを考えると問題があります。まず、モデルはどんどん大きくなっています。それが続くと仮定すると、その数字は時間とともに変更する必要があります。なぜなら、より多くの企業がその品質レベルに達するからです。また、より少ない計算能力でより多くのことができる新しい技術を開発したらどうでしょうか？Sam Altmanが言及したことを再度参照すると、彼らは少ないリソースでより多くのことをしようとしています。だから、それが良い方法だとは思いません。
では、続けて見ていきましょう。
私はこれらの区別がすべてなくなると思います。なぜなら、技術は今、連合学習と呼ばれるものになるからです。基本的に、断片を取って一緒に結合することができます。
そうですね、それは別の点です。連合学習は、トレントの仕組みと非常に似ています。基本的に作業負荷を分散させ、最後にすべてをまとめるのです。これは実際にGoogleの計算の多くがどのように機能しているかです。そう、これ以上は良い、これ以下は悪いという明確な境界線を引くきれいな方法はないと思います。それはうまくいかないでしょう。
これらの新しいものから人々を安全に守ることはできないかもしれません。
うわさによると、それがOpenAIが部分的に訓練しなければならなかった方法だそうです。電力消費のためです。彼らがそれを行った場所は一箇所ではありません。
実際に起こっている実際の戦争について話しましょう。あなたが非常に関与していることの一つはウクライナ戦争です。特に、White Storについてどの程度話せるか分かりませんが、500ドルのドローン50万機で500万ドルの戦車を破壊するという目標についてはどうでしょうか。それは戦争をどのように変えましたか？
私は7年間国防長官のために働き、軍の運営方法を変えようとしました。私は特に軍が好きではありませんが、非常に高価なので、何か役立つことができないかと思いました。私の見解では、大部分失敗したと思います。彼らは私にメダルをくれたので、失敗にもメダルを与えるのか、まあ何であれ。私の自己批判は、何も本当に変わっていないということです。アメリカのシステムは本当のイノベーションにつながらないでしょう。
ロシア人が戦車を使って、小さなおばあさんや子供たちがいるアパートを破壊するのを見て、私は本当に頭にきました。そこで、あなたの友人のSebastian Thrunと、ここの元教員や多くのスタンフォードの人々と一緒に会社で働くことにしました。基本的に2つのことをする考えです。AIを複雑で強力な方法で使用して、これらの本質的にロボット戦争を行うことです。2つ目は、ロボットのコストを下げることです。
私のような良いリベラルがなぜそんなことをするのかと思うかもしれません。答えは、軍隊の全理論は戦車、砲兵、迫撃砲であり、我々はそれらをすべて排除できるということです。そして、少なくとも陸上では、国を侵略することのペナルティを本質的に不可能にすることができます。これは陸上戦のような種類を排除するはずです。
これは、これは...彼が話していることは、ウクライナが数百ドルのドローン、一種の即席のドローン、3Dプリントされたドローンを作ることができたということです。爆弾を積んで100万ドルの戦車に落とし、彼らはそれを何度も何度も行うことができました。そのため、ドローンとより伝統的な砲兵の間で非対称な戦争が起こっています。
少し哲学的な質問に移りたいと思います。あなたとヘンリー・キッシンジャー、ダン・フットナーが昨年、知識の本質とそれがどのように進化しているかについて書いた記事がありました。この件について先日も議論しました。歴史のほとんどの期間、人間は宇宙について神秘的な理解を持っていました。そして科学革命と啓蒙時代がありました。あなたの記事では、これらのモデルが非常に複雑で理解しにくくなっているため、我々は本当に何が起こっているのか分からないと主張しています。リチャード・ファインマンの言葉を引用します。「私が作れないものは、私は理解していない」。この引用を最近見ましたが、今や人々は作ることはできても、その中で何が起こっているのか本当に理解していないものを作っています。知識の本質が、我々がただモデルの言葉を受け入れなければならず、モデルが説明できないような方法で変化しているのでしょうか？
彼が言及しているのは、大規模言語モデルの働き方です。これは本質的にブラックボックスです。プロンプトを入力し、応答を得ますが、アルゴリズム内の特定のノードがなぜ反応するのか、答えがどのように生成されるのか正確には分かりません。本当にブラックボックスなのです。現在、カーテンの裏で何が起こっているのかを明らかにしようとする多くの作業が行われていますが、我々にはまだ分かりません。
私が提供したい類推は、ティーンエージャーについてです。ティーンエージャーがいれば、彼らが人間であることは分かりますが、何を考えているのかは正確には分からないでしょう。しかし、なんとか社会は若者の存在に適応してきました。そして、彼らは最終的に成長します。おそらく、我々が完全に特徴づけることができない知識システムを持つことになりますが、その境界は理解できるでしょう。つまり、それらが何ができるかの限界を理解します。それがおそらく得られる最良の結果でしょう。
その限界を理解できると思いますか？
我々はそれをかなり上手くできるようになるでしょう。毎週会合を持つ私のグループのコンセンサスは、最終的にはこれを行う方法は、いわゆる敵対的AIと呼ばれるものだということです。実際には、あなたのAIシステムを破壊するために雇って金を払う会社ができるでしょう。レッドチームのようなものです。
では、学生からいくつか質問を受けましょう。後ろの方に一人いますね。
名前を言ってください。
あなたの発言に関連していますが、実際にあなたが望むことを行うAIを得ることについて言及されました。今、敵対的なものについて触れられましたが、それについてもう少し詳しく説明していただけますか？明らかに計算能力が向上し、より性能の高いモデルが得られるでしょうが、それらにあなたが望むことをさせるのが問題のようです。
答え：現在の幻覚の問題が少なくなると仮定する必要があります。技術が向上するにつれてそうなるでしょう。それが完全になくなるとは言っていませんが。また、効果を測定するテストがあると仮定する必要があります。つまり、それが成功したことを知る方法がなければなりません。
私が挙げたTikTokの競合相手の例で、ちなみに私は違法にすべての人の音楽を盗むべきだと主張しているわけではありません。シリコンバレーの起業家であれば、皆さんもそうなることを願っていますが、もしそれが成功したら、弁護士をたくさん雇って後始末をするでしょう。しかし、誰も製品を使用しなければ、すべてのコンテンツを盗んだことは問題になりません。私の言葉を引用しないでくださいね。
ああ、神様。
はい、面白いですね。これは何百万回も起こっています。基本的に、許可を求めるのではなく、許しを乞うということです。これが彼が説明していることの本質で、シリコンバレーのエートスですね。
そうですね、カメラの前にいますからね。
そうです。でも、私の言いたいことは分かりますよね。つまり、シリコンバレーはこれらのテストを実行し、後始末をします。通常、そのようにして物事は行われます。
私の見解では、より多くのパフォーマンスシステムが見られるようになり、さらに良いテスト、最終的には敵対的なテストも行われるようになるでしょう。それによって、ある範囲内に収まるようになります。技術用語では、思考の連鎖推論と呼ばれています。人々は、今後数年以内に1000ステップの思考の連鎖推論を生成できるようになると信じています。これをして、これをして、というように。レシピを作るようなものです。レシピを実行して、正しい結果が得られたかどうかを実際にテストできます。そのようにシステムは機能するでしょう。
はい、そうですね。
それは私の思考の連鎖推論の正確な理解ではありませんでした。私の理解では、思考の連鎖推論は、これが正確だと思いますが、コメントで教えてください。問題を基本的なステップに分解し、各ステップを解決して次のステップに進むことができるようにするものです。ステップを再現できるようにするのではなく、問題をどのように分解し、ステップごとに考えていくかということです。
一般的に、あなたは問題の可能性について非常にポジティブに見えます。それを推進するものは何だと思いますか？単に計算能力が増えることですか？それともより多くのデータですか？それとも実際のチップですか？
はい、投じられている金額は驚くべきものです。私は本質的にすべてに投資することを選びました。なぜなら、誰が勝つか分からないからです。私に続いている金額が非常に大きいのは、初期の金儲けがすでに行われ、何をしているか分からない大金持ちがすべてにAIコンポーネントを持たなければならないからです。そして今やすべてがAI投資なのです。彼らは区別がつかないのです。
私はAIを学習システム、実際に学習するシステムと定義しています。それが一つです。二つ目は、非常に洗練された新しいアルゴリズムがあり、それはある種のポストトランスフォーマーです。私の友人で長年の協力者が新しい非トランスフォーマーアーキテクチャを発明しました。パリで資金提供しているグループも同じことを主張しています。そこには大きな発明があります。多くのことがあります。
彼は実際にそれらが何であるかを言及しませんでしたが、Mambaは非トランスフォーマーアーキテクチャの一例です。
最後に、市場には知能の発明が無限の収益をもたらすという信念があります。例えば、ある会社に500億ドルの資本を投入したとします。その投資を回収するためには、知能から膨大な金額を稼がなければなりません。おそらく、我々は巨大な投資バブルを経験し、その後それが落ち着くでしょう。過去にもそうでしたし、ここでもそうなる可能性が高いです。
はい、すでに約1兆ドルが人工知能に投資されていますが、収益は300億ドルしかありません。これらの数字が正確だと思いますが、まだ投資に対する見返りがないのです。しかし、彼が言及したように、これは以前の技術の波でも同じテーマでした。最初に巨額の投資があり、最終的にはそれが報われるのです。
個人的に、明らかに私は人工知能に人生を捧げています。これは他の何よりも大きなものになると信じています。インターネットよりも、携帯電話よりも大きなものです。これは人類がこれまでに作り出した中で最も変革的な技術になるでしょう。
あなたが先ほど言ったのは、現在のリーダーたちが他から引き離されていっていると思うということですね。
はい、そうです。およそ以下のような質問です。フランスにMRRという会社があります。彼らは本当に良い仕事をしています。明らかに私は投資家です。彼らは2番目のバージョンを作り出しました。3番目のモデルはおそらくクローズドになるでしょう。なぜなら、非常に高価で、収益が必要で、モデルを無料で提供することができないからです。
我々の業界では、オープンソース対クローズドソースの議論が非常に大きな話題です。私のキャリア全体は、人々がソフトウェアをオープンソースで共有することに基づいていました。私に関するすべてがオープンソースです。
ちょっと待ってください。彼はGoogleを運営していませんでしたか？Googleは確かにクローズドソースで、Googleに関するすべてはアルゴリズムを保護することが最優先でした。彼が何を指しているのか分かりません。Googleの基盤の多くはオープンソースでした。
技術的に私が行ったすべてのことは、そうです。しかし、資本コストが非常に巨額であるため、ソフトウェアの構築方法が根本的に変わる可能性があります。
我々は話していました。私のソフトウェアプログラマーに対する見方は、ソフトウェアプログラマーの生産性が少なくとも2倍になるということです。それを試みている3、4つのソフトウェア会社があります。私はそれらすべてに投資しました。その精神で、彼らはみなソフトウェアプログラマーをより生産的にしようとしています。
私が最近会った中で最も興味深いのは、Augmentという会社です。私はいつも個々のプログラマーを考えていましたが、彼らは「それは我々のターゲットではありません。我々のターゲットは、誰も何が起こっているか分からない何百万行ものコードを扱う100人規模のソフトウェアプログラミングチームです」と言いました。それは本当に良いAIの対象ですね。彼らはお金を稼げるでしょうか？そうであることを願っています。
最初に、コンテキストウィンドウの拡張、エージェント、テキストからアクションへの変換の組み合わせが想像もつかない影響を与えると言及されました。まず、なぜその組み合わせが重要なのでしょうか？そして、あなたは水晶球を持っているわけではなく、必ずしも未来を予測できるわけではありませんが、なぜそれが我々が想像できる以上のものだと思うのですか？
私が思うに、主にコンテキストウィンドウが最近の問題を解決できるからです。現在のモデルは訓練に約1年かかります。おおよそ6ヶ月、6ヶ月、6ヶ月です。6ヶ月の準備、6ヶ月の訓練、6ヶ月の微調整です。そのため、常に古くなっています。コンテキストウィンドウを使えば、最近起こったことを入力できます。例えば、ハマスとイスラエルの戦争について、コンテキストの中で質問することができます。これは非常に強力です。Googleのように最新の情報を扱えるようになります。
エージェントの場合、例を挙げましょう。はい。例えば、非営利団体に資金を提供する財団を設立しました。部屋に化学者がいるかどうか分かりませんが、私は化学をあまり理解していません。chro Cというツールがあります。これは化学を学習したLLMベースのシステムです。彼らがすることは、タンパク質に関する化学的仮説を生成し、一晩で実験室でテストを実行し、そしてそれを学習します。これは化学、材料科学などにおける大きな加速剤です。これがエージェントモデルです。
テキストからアクションへの変換は、多くの安価なプログラマーを持つことで理解できると思います。そして、これは再びあなたの専門分野ですが、誰もが自分専用のプログラマーを持つとどうなるかはまだ分かっていません。ここで言っているのは、照明のオン/オフを操作するようなことではありません。
別の例を想像してみてください。何らかの理由でGoogleが好きではないとします。そこであなたは「Googleの競合相手を作って」と言います。個人的にあなたが。「Googleの競合相手を作って、ウェブを検索し、UIを構築し、良いコピーを作成し、興味深い方法で生成AIを追加して、30秒以内に行い、それが機能するかどうか確認して」と。多くの人々は、Googleを含む既存企業がこの種の攻撃に対して脆弱だと信じています。まあ、どうなるか見てみましょう。
私はこれについて少し異なる見方をしています。消費者が「別のGoogleを作って」と言う必要はないと思います。私たちが言う必要があるのは、「その情報を探している」ということだけです。Googleの競合相手から。アプリケーションを構築する必要はありません。大規模言語モデルはスタックのあらゆる層です。それはオペレーティングシステムであり、アプリケーション層であり、すべてです。他のソフトウェアを複製する必要は本当にありません。そのソフトウェアが提供するものだけが必要なのです。
スライダーで送られてきた質問がいくつかあります。そのうちのいくつかをお聞きしたいと思います。
昨年も少し話しましたが、特に来る選挙において、AIが世論に影響を与えたり、誤情報を広めたりするのをどのように止められるでしょうか？短期的および長期的な解決策は何でしょうか？
この来る選挙や世界的に見られる誤情報のほとんどはソーシャルメディア上にあるでしょう。そしてソーシャルメディア企業はそれを監視するのに十分に組織化されていません。例えばTikTokを見てみると、TikTokがある種の誤情報を他のものよりも優先しているという多くの非難があります。そして、証拠はないと私は認識していますが、中国人が彼らにそれを強制していると主張する人々が多くいます。
私たちはここで混乱に陥っていると思います。この国は批判的思考を学ばなければなりません。それはアメリカにとって不可能な挑戦かもしれませんが、誰かが何かを言ったからといって、それが真実だとは限りません。ああ、多くの人々にそれを伝えられたらいいのにと思います。オンラインで誰かが何かを言ったから、あるいは誰かがあなたに何かを言ったからといって、それが真実だとは限りません。批判的思考を使ってください。それが偽である可能性があると仮定してください。
本当に真実であり、もはや誰も信じないものがあります。人々はそれを認識論的危機と呼んでいます。今や誰かが「いいえ、私はそんなことはしていない、証明してみろ」と言うのです。
まあ、ドナルド・トランプを例に挙げましょう。
私たちの社会には信頼の問題があると思います。民主主義は失敗する可能性があり、民主主義への最大の脅威は誤情報だと思います。なぜなら、私たちはそれを非常に上手く行うようになるからです。
私がYouTubeを管理していた時、YouTubeで最大の問題は、人々が偽の動画をアップロードし、その結果人々が死亡するということでした。私たちには「死亡禁止」ポリシーがありました。衝撃的ですね。そしてこれに対処しようとするのは本当に恐ろしいことでした。これは生成AIが登場する前のことです。
そうですね。また、潜在的にディープフェイクや誤情報を作り出すことだけではなく、ただ水を濁すだけでも十分です。疑いの影だけで、人々のグループが問題やトピック、何かについて考えるとき、その疑いだけで十分です。水を濁すだけで、トピック全体が手に負えなくなるのです。
テキストからアクションへの変換とその影響について非常に興味があります。例えば、コンピューターサイエンス教育がこの時代に合わせてどのように変革すべきかについて、何か考えはありますか？
まあ、学部生のコンピューターサイエンティストのグループは常にプログラマーの仲間を持つことになると仮定しています。最初のfor文を学ぶときなど、あなたの自然なパートナーとなるツールを持つことになるでしょう。そしてそのように教育が進むでしょう。教授は概念について話しますが、あなたはそのようにそれに取り組むことになります。それが私の推測です。
私は少し異なる見方をしています。長期的には、おそらくプログラマーの必要性はなくなるでしょう。最終的には、プログラミングができない消費者が実際の言語で話し、欲しい情報や機能、現実世界で起こってほしいことを正確に言うだけになるでしょう。そして大規模言語モデルがそれを実現します。
最終的に、LLMは非常に洗練され、独自の種類のコードを書くようになり、おそらくそのコードを私たちが読むことさえできなくなるかもしれません。例えば、単なる記号になるかもしれません。そしてそのコードは超効率的になります。なぜなら、今日のコードは人間が読む必要があるから、そのような形になっているのです。そして人間はプログラミングが苦手です。
したがって、プログラマーが全く必要ない未来があるかもしれません。長期的にはコンピューターサイエンティストの必要性は
おそらくあるでしょうが、それさえも必要ないという議論もあるかもしれません。特に、例えばSakana AIが最近発表した本質的に自己研究を行うAIのようなものがあれば。それは理論を形成し、その理論をテストし、自身のピアレビューを行い、そして公表することができます。
したがって、プログラマー、研究者、コンピューターサイエンティストが必要ない世界があります。それがそうなるとは確信していませんが、そのようなタイムラインが存在する可能性はあります。
あなたは論文で国家安全保障について言及しました。今日、中国と米国があり、次の10の米国の同盟国がうまく連携しているとのことですが、その中間の同盟国についてどう考えていますか？彼らは我々のAIを確保することにどの程度乗り気で、最も効果的なのは何だと思いますか？
最も興味深い国はインドです。なぜなら、トップのAI人材がインドから米国に来ているからです。我々はインドにその優秀な人材の一部を留めさせるべきです。全部ではありませんが、一部を。そして彼らは、我々がここで持っているような種類のトレーニング施設やプログラムを持っていません。私にとって、インドはその点で大きな振り子国家です。
中国は失ってしまいました。戻ってくることはないでしょう。人々が望むほど体制を変えることはないでしょう。日本と韓国は明らかに我々の陣営にいます。台湾は素晴らしい国ですが、ソフトウェアはひどいです。だからそれはうまくいかないでしょう。
素晴らしいハードウェアですが。
それは興味深いですね。台湾は素晴らしいハードウェアを持っているが、ひどいソフトウェアだと聞いたことがありませんでした。それが何を意味するのか正確には分かりません。もし知っている方がいれば、コメントで教えてください。
ドイツ、ヨーロッパはブリュッセルのせいでめちゃくちゃです。これは新しい事実ではありません。私は10年間彼らと戦ってきました。EU法を修正させようと一生懸命働きましたが、彼らはまだヨーロッパで我々のような研究を行うのを非常に困難にするすべての制限を持っています。
私のフランスの友人たちはブリュッセルと戦うのに全力を注いでいます。そして個人的な友人であるマクロンはこれのために懸命に戦っています。したがって、フランスにはチャンスがあると思います。ドイツが来るとは思えません。そして残りは十分に大きくありません。
興味深いですね。そうですね、EUは長期的には過剰規制です。
あなたが想像するこれらのモデルの能力を考えると、我々はまだコーディングの勉強に時間を費やすべきでしょうか？
はい、なぜなら、最終的には...彼女は「我々はまだコーディングを学ぶべきか」と尋ねました。
英語を勉強する理由は、英語を話せるからといって上達するからです。本当にこれらのシステムがどのように機能するかを理解する必要があります。私は強くそう感じています。
同意できるかどうか分かりません。コメントであなたの意見を聞かせてください。
分散設定について探究したことはありますか？大規模クラスターを作るのは困難ですが、MacBookは強力で、世界中に多くの小型マシンがあります。Folding@homeのようなアイデアがシステムのトレーニングに適用できると思いますか？
はい、我々はこれをかなり詳しく調べました。アルゴリズムの仕組みは、非常に大きな行列があり、それを行ったり来たりする乗算関数があると考えることができます。これらのシステムは完全にメモリからCPUまたはGPUへの速度によって制限されています。実際、次世代のNVIDIAチップはこれらの機能をすべて1つのチップに統合しています。チップは今や非常に大きくなっているため、それらを全て接着しています。そしてパッケージは非常に敏感なので、チップ自体と同様にクリーンルームで組み立てられています。
答えは、スーパーコンピューターと光速、特にメモリの相互接続が支配的になっているようです。しそのため、しばらくは可能性が低いと思います。
LLMを分割する方法はありますか？例えば、Jeff Deanが昨年ここで話したように、別々に訓練し、その後フェデレートするような異なる部分を持つことはできますか？
それを行うには、1000万個ほどのものが必要になり、質問の仕方が遅すぎるでしょう。彼は8個か10個か12個について話していますが、彼のレベルではありません。
後ろの方に質問がありますね。
New York TimesがOpenAIを訴えた後、彼らの作品をトレーニングに使用することについてどう思いますか？これは著作権や他の創作者の作品にとって何を意味するのでしょうか？
私は以前、音楽ライセンスの仕事をたくさんしていました。そこで学んだのは、60年代に一連の訴訟があり、その結果、あなたの曲が演奏されるたびに規定のロイヤリティを受け取るという合意が成立したということです。誰があなたなのか知らなくても、銀行に支払われます。私の推測では、同じようなことが起こるでしょう。多くの訴訟があり、何らかの規定の合意が成立し、単に「収益の何%かを支払わなければならない」というようになるでしょう。ASCAPのようなものです。
分かりました。AIと著作権に関する私の見解に多くの人が同意しないことは知っています。正直なところ、強い見解を持っているわけではありません。過去に表現した時、意図したよりも少し厳しく聞こえたかもしれません。しかし、彼が言っていることは、私が信じていることにより近いものです。コンテンツクリエイターやコンテンツ所有者が一部を得るべきだということです。既存の知的財産に基づいて新しい製品を作成しているのですから、そこに何らかの金銭的インセンティブがあるべきだということは理にかなっています。
AIを支配している大手プレイヤーがいくつかありますね。彼らは支配し続けるでしょう。そして、彼らは反トラスト規制が焦点を当てている大企業と重なっているようです。これら2つの傾向をどのように見ていますか？規制当局がこれらの企業を分割すると思いますか？そしてそれはAIにどのような影響を与えるでしょうか？
そうですね、私のキャリアの中で、私はMicrosoftの分割を手伝いましたが、結局分割されませんでした。そしてGoogleが分割されないように戦い、分割されませんでした。
これは明らかに今週より前に出たものです。今週、FTCがGoogleの分割を本当に強く検討しているようです。私はこのチャンネルでそれについてあまり取り上げていませんが、それは今起こっていることです。そして何が起こるか見守る必要があります。しかし、彼はこの時点で過度に自信を持っているようです。なぜなら、これから起こることを知らないからです。
私には、分割されない傾向が続くように見えます。企業がジョン・D・ロックフェラー・シニアのようになることを避ける限り、政府は行動しないでしょう。これを調べてみてください。これが反トラスト法がどのように生まれたかです。
これらの大企業が支配している理由は、誰がこれらのデータセンターを構築する資本を持っているかということです。
私の友人のReedと友人のMustafaが次の2週間で来ますが、ReedはInflectionを実質的にMicrosoftの一部にするという決定について話しましたか？基本的に、彼らは数百億ドルを調達できないと判断しました。その数字は公開されていますか？先ほど言及されたものですが。
いいえ、あなたは...私は行かなければなりません。この質問をすべきでしょうか？ありがとうございます。
フロンティアモデルの開発やコンピューティングへのアクセスに参加していない国々はどうなるのでしょうか？例えば、豊かな者はより豊かになり、貧しい者は最善を尽くすだけでしょうか？
ああ、豊かな者はより豊かになり、貧しい者は最善を尽くすだけ。これは未来のディストピア的な見方ではないでしょうか。
このクラスでビジネスプランや政策提案、検索提案を書いている人たちに、このキャリアの段階で何かアドバイスはありますか？
ええと、私はビジネススクールでこれについての授業を教えています。私の授業に来るべきです。
新しいアイデアのデモを構築できる速さに驚いています。私が行ったハッカソンの1つで、優勝チームのコマンドは「2つの塔の間をドローンで飛ばせ」というものでした。仮想のドローン空間が与えられ、ドローンの飛ばし方を理解し、「between」という言葉の意味を理解し、Pythonでコードを生成し、シミュレーター内で塔の間をドローンで飛ばしました。優秀なプロのプログラマーでも1、2週間かかるようなことです。
これらの様々なツールを使って1日でプロトタイプを構築できなければ、それについて考え直す必要があると言っています。なぜなら、それがあなたの競合相手がしていることだからです。
私の最大のアドバイスは、会社について考え始めるとき、ビジネスプランを書くのは良いことです。実際、コンピューターにビジネスプランを書かせるべきです。
あなたがここを出た後に話すことですが、これらのツールを使ってアイデアをできるだけ早くプロトタイプ化することが非常に重要だと思います。なぜなら、他の会社や他の大学、あなたが行ったことのない場所で、まさに同じことをしている人がいることを確信できるからです。
そうですね、これはシリコンバレーで常にあった論理に従っています。早く出荷し、頻繁に出荷し、フィードバックを得て、できるだけ早く反復するということです。これは彼が以前話していたことの延長線上にあります。会社を始めるなら、仕事倫理がすべてだということです。
これで、スタンフォードでのEric Schmidtのインタビューは終わりです。私には非常に興味深く、いくつかの新しいトピックや用語を聞きました。これらのことについて今すぐ研究しようと思います。
この動画を楽しんでいただけたなら、ぜひいいねとチャンネル登録をお願いします。次の動画でお会いしましょう。