ファイアサイド - エリック・シュミット

16,489 文字

エリック・シュミット博士、特別競争研究プロジェクトの議長をお迎えして、ジーン・マイザーさんとのファイアサイドチャットを行います。マイザーさんは特別競争研究プロジェクトのNatK Techポッドキャストの司会者です。
シュミット博士: ありがとうございます。また来れて嬉しいです。ちょっとイリーを褒めようと思ってたんですが、皆さんに15分しか食事時間をあげへんかったって気づいてしもて...
マイザー: 二度目におかわりできますよ。
シュミット: そうですね。でも、私の言葉に夢中になって、皆さん席を立たへんかもしれません。食べ物の方がええと思いますけどね。イリーと全チームの皆さんに感謝したいと思います。イリー、あなたの努力と、キッシンジャーがSCSPでやったことを研究したおかげで、本当にええ構造ができました。私が気に入ってるのは、それが繰り返し可能でスケーラブルな構造やということです。AIやエネルギーなど、すべてについてそう考えるべきですからね。よくやってくれました、イリーとチームの皆さん、ありがとう。
MITテクノロジーレビューが数ヶ月前に「AIはエネルギー食い」っていうキャッチーなタイトルの記事を出してました。その難問については後で話しますが、まずはAIとその利点について話したいと思います。コストと課題については後ほど触れます。
2年後のAIはどんな感じになると思いますか? 今我々が手にしているものと比べて。
まず、AIについてよく言われていることをざっと言いますと、医療の大幅な改善、教育の大幅な改善、科学の大幅な改善があります。民主主義を台無しにするような誤情報の問題は別として、AIの最大のインパクトを見ると、科学、エネルギーシステム、材料システムなどの根本的な加速が驚くべきものであり、これは続くでしょう。
皆さんが知ってるAIの考え方としては、言語から言語への変換と考えてください。質問すると答えが返ってきて、質問すると今では코드も書けます。モデルはマルチモーダルなので、例えば写真を撮って「この写真に何が写ってる?」って聞けます。技術的には、OpenAIやGemini、AnthropicなどのAPIを呼び出して写真の分類などができるAPIがあります。これらはすべて、基礎となるシステムの知能を高めるための戦術です。
今年起こっている3つの興味深いことがあります。2年以内ということですが、それよりも短い期間で起こっています。
1つ目は無限コンテキストウィンドウと呼ばれるものです。これは、答えを質問として繰り返し入力できるので、段階的な計画を立てられます。例えば、「家を建てるにはどうすればいい?」って聞くと、「まず請負業者を見つける必要がある」って答えが返ってきます。「請負業者を見つけた、次は何を話す?」「建築家が必要だ」「建築家はどうやって見つける?」「建築家に何を伝える?」「家の設計をしてもらう」っていう具合に、一連のステップを踏めるわけです。
2つ目はエージェントです。エージェントは一般的に使われすぎている用語ですが、ほとんどの人はエージェントを本質的にメモリーソースとして機能すると考えています。エージェントは何かを見ていて、それを見たときに行動を起こすと理解できます。見たものに基づいて何をすべきか知っているからです。エージェントの仕様は業界で完全に未定義です。主要企業は自社のエージェントを持ちたがっていて、エージェント同士の相互作用を望んでいません。明らかな理由でコントロールしたいからです。多くの人は、アプリのようにエージェントストアができて、そこからダウンロードすることになると考えていますが、今年はそうはならないでしょう。
3つ目はテキストからコードへの変換です。私は40年以上プログラミングをし、プログラマーを管理してきましたが、彼らは決して私の望むようにはしてくれません。コンピューターに「これこれのプログラムを書いて」と言って、実際にコードを書いてくれることを想像できますか? 例えば、「すべての文献を検索して、エネルギー政策に取り組んでいる人、技術的なバックグラウンドを持つ人、または技術的に識字能力が必要な役割を持つ人を見つけ、それらの人々を特定し、ランク付けし、我々の目標に基づいてスコアリングし、自動的に招待状を送り、承諾したら祝福し、断ったら理由を聞いて、合成音声で電話をかけて、来ないのは馬鹿げていると伝える」というようなプログラムです。これが私なら書くようなプログラムですが、ありがたいことに私はそんなことはしません。でも、タスクを自動化するのがいかに簡単かがわかりますよね。
これが最初のステップだと思います。次のステップはそれほど明確ではありません。現在、想像を絶するスケールで巨大な競争が繰り広げられています。米国の3大企業、Amazonと提携しているAnthropic、GoogleのGemini、MicrosoftのOpenAIがあります。彼らが本当にうまくいくと仮定しましょう。うまくいっているように見えます。彼らの問題点について話すこともできますが、基本的にはうまくいっています。
Facebookはオープンソースのパスを選び、4000億のモデルを採用しました。これには多くの戦略的意味合いがあります。これらすべてが、最高の推論、最高の回答、最高の予測分析、最高の画像分類器、最高のマルチモーダルを競っています。そしてその技術は、より専門的なモデルに普及していきます。技術用語では「蒸留」と呼ばれます。これが今後1〜2年で見られるアクションだと思います。
人工知能一般についてはお話しされませんでしたね。まず、AI分野にそれほど詳しくない人のために、人工知能一般とは何で、現在どの段階にあるのかを教えていただけますか?
AGI(人工知能一般)には複数の定義がありますが、基本的な考え方は15年前からあります。人間のような柔軟性を持つ知能システムを実現する時点はどこかということです。今日の理解の仕方としては、これらは狭いAIアプローチと呼ばれていますが、決して狭くはありません。基本的に人間によって開始されるわけですが、ある時点で、コンピューターが自身の目的関数、つまり目標を生成できるようになるのか、そしてそれがどのように現れるのかという問いがあります。
私が「サンフランシスコ学派」と呼んでいるものがあります。彼らは全員サンフランシスコにいて、お互いに話をしていて、システムの2〜3回の改良で(1回の改良は約18ヶ月)AGIに到達すると自分たちを納得させています。彼らはAGIを人間の知能の総和を超える知能と定義しています。個人的には、それは可能性があると思いますが、3年以内ではないでしょう。
時間枠はどのくらいだと思いますか?
分かりません。最近の私の研究を見ると、これらの事象は波として起こり、最終的にその波が連結されるように見えます。つまり、組み合わせ型のイノベーションです。私にとって最も興味深い例は数学です。後で説明しますが、みんな他のことに注目していますが、数学が重要な理由はこうです。
「lean」という標準があります。私もその資金提供者の一人です。基本的に、仮説を生成し、それを証明できる言語です。leanで生成し、leanから証明するわけです。コンピューターが仮説を生成し、新しい数学を生成し始め、他のコンピューターがそれを証明できるという状況は、非常に大きなブレークスルーです。なぜなら、それが知能の本当に柔軟な部分の最初のものだからです。そこから他のことに移っていくわけです。
短い答えを言うと、AGIは火曜日にやってくるわけではありません。こっそりと近づいてきて、突然システムがより自動化され、より柔軟になるのです。例えば、私のお気に入りの例はTikTokです。私は年齢的にTikTokのファンではありませんが、重要なのは、人間がビデオを作るのに膨大な時間を費やし、どうすればバイラルになるかを考えようとしていることです。しかし、コンピューターは自身のバイラル性を理解しているはずです。なぜそれを自動化できないのでしょうか?
私は最近、自分のすることすべてに対して、なぜコンピューターが自動的にこれをやってくれないのかと考えるようになりました。それがアシスタンスの概念だと思います。「フライトを予約してください」というような一般的なものよりもずっと強力です。本当に「今日をどう過ごすか」「システムをどう動かすか」「ここからどう移動するか」などを全部アレンジしてくれて、私が考える必要がないようなものです。
今日の講演者の何人かが、AIが米国経済に与える影響について話していました。また、米国の安全保障についても触れていました。両方についてあなたの考えを聞かせてください。
まず、アメリカのシステムにおいて、AIは企業をより効率的にします。人々は経済学をあまりよく理解していませんが、企業をより効率的にすると、通常、より高給の仕事が増えます。失われる仕事は、より簡単に置き換えられるものです。ソフトウェア関係の人々が去っていくという記事がたくさんありますが、実際には、これらのツールがあっても、ソフトウェアの仕事はもっと増えるように見えます。
でも、低賃金の遠い国のコールセンターで働いてるんやったら、本当に仕事のことを心配せなあかんでしょうね。これらのシステムは今や非常に優れていて、話しかけると返事をするだけでなく、コールセンターの誰かよりもずっとええ体験を提供します。ジュディ・デンチの声を使えるからです。
みんなが心配してる仕事の置き換えは、基本的に間違ってます。単に正しくないんです。10年間ずっとそれを聞いてきて、もう飽き飽きしてます。歴史的に見ても証明されていません。証拠によると、一般的な形での自動化は、最も危険で不快な仕事、そして高次の作業が最も少ない仕事を排除します。
例えば、警備員は置き換えられるべきです。彼らはとてもいい人たちですが、より自動化された警備システムに仕事を奪われるべきです。でも、その人たちにはソフトウェアエンジニアになるトレーニングがありません。これがアメリカってことです。これは新しいことじゃありません。仕事の変化は膨大にあります。
5年前、トラック運転手がみんな仕事を失うって覚えてますか? 今、最も埋めるのが難しい仕事はトラック運転手です。なぜなら、トラック運転の仕事は非常に難しく、複雑で、ロボットで置き換えるのが非常に難しいからです。ショッキングですよね、ちょっと考えてみてください。今日ここに自動運転車で来た人は何人いますか? おそらくゼロか1人でしょう。この技術は30年前からあるんです。
国家安全保障に話を戻すと、米国は非常に強い立場にあります。これは、国を築いたすべての人々、収益も計画もない製品に何十億ドルも投資しようとする銀行家たち、私のような、でももっと若い狂った人たちに敬意を表します。そのシステムは誰もが羨むものです。大学、教授陣、リスクを取る資本、ベンチャーキャピタル、私たちはみんなこれに協力しています。
DCが中国に取り憑かれているのは興味深いですが、私はそうではありません。中国を見ると、国として必要とするコアな部分でうまくいっていない国に見えます。AIへの投資の評価額は5分の1に下がっています。他の国からの外国投資も今は得られません。みんな神経質になっています。私はトラック2の対話に参加していますが、彼らはリードしていません。習近平国家主席がこの分野でリードすると言っても、実際にはかなり遅れをとっています。私の会社でもそう言いますが、実際にそれを実現するための計画が必要です。
習主席にアドバイスをしようとしているわけじゃありませんが...それはあかんアイデアですね。でも、トランプ政権とバイデン政権がチップの制限について下した決定を見ると、中国の進歩に悪影響を与えています。多くの回避策がありますが。中国ではまだA100が一定数使われています。制限を回避する方法もいろいろありますし、もちろん自国での研究開発を加速させています。
5年前、みんなAIはデータに関するものだと確信していました。そうじゃないんです。中国には膨大なデータがあるから大きな優位性があるって言われてました。プライバシールールもないし。でもそれは正しくありません。正しいのは、AIは物理学者、生物学者、数学者など、非常に高度なSTEM人材をこの問題に投入できるスピードに関するものだということです。この分野は難しいです。コンピューターサイエンティストとして言いますが、これらのアルゴリズムの中にはコンピューターサイエンティストには難しすぎるものがあります。数学者が必要なほど高度なんです。そこがアメリカの最大の強みです。
心配なのは、中国もこういった人材を大量に輩出していることです。DCでは、なぜそういった人材を全員アメリカに呼び寄せないのかという議論が常にあります。でも決着がつきません。この聴衆に言う必要もないでしょうが、世界で最も頭のいい人たちをビザを発行しないからという理由で追い出すなんて、DCの長いリストの中でも最も愚かな政策です。私たちの産業には、高度なスキルを持つ移民が必要です。そして、アメリカ人のSTEM教育にも大きな焦点を当てる必要があります。
中国に対するあなたの見方が変わったとおっしゃいましたが、何か特定の瞬間や出来事がきっかけだったのでしょうか?
キッシンジャー博士と私は昨年、彼の死の直前に中国を訪れました。明らかな理由で彼と一緒に行ったんですが、上級幹部たちと話をしました。その雰囲気を感じ取ることができました。基本的にはポストコロナの状況でした。国には...私は中国の市民が好きなんですが、彼らはとても賢い人たちで、とても一生懸命働きます。いいところがたくさんあります。でも、こういったマクロな問題が本当に問題なんです。
今、彼らは世界中でダンピングをしています。なぜなら、製造業市場で実際にコストを下げて、世界最低のコストで製品を販売しているからです。そういったことがすべて起こっています。
今、AIとエネルギーに関して重要なのは、これは私たちが勝つべきものだということです。ちなみに、この部屋にいる人たちの中にも理解している人がいるかもしれませんが、中国には核融合に関する巨大なプログラムがあります。核融合の研究もしています。中国がこれを理解していると考えるべき理由はたくさんあります。
データセンターを見ると面白いことがわかります。データセンターには常にベースロード電力が必要です。米国では、これは大体電力使用量の3%くらいです。今後5〜10年で7〜8%に増えるという予測があります。そこまで多くならないかもしれませんが、方向性としては正しいです。中国はこの種の成長に備えています。ここにいる人たちは統計とスケールを知っていますよね。
今日のトピックはエネルギーとAIですね。現時点で、米国のAI開発を阻害しているのはエネルギーでしょうか? それとも、近い将来そうなると予想されますか?
私は毎週、すべてのAI企業のトップとの電話会議をしています。これはかなりショッキングなことです。この電話会議では問題のランク付けをします。会社の非公開の話はできませんが、共通の問題については話せます。エネルギーは1番か2番の問題です。もう1つはワシントンの警告です。そしてもちろん、それらは相互に関連しています。
ワシントンに関する不満は、これらの企業が、誰かが役に立とうとして不適切に遅らせることで彼らを妨げようとしていないことを確認する必要があるということです。こんなに強力なものを発明するとき、私たちは監督を求めますが、その監督が規制に変わってほしくありません。
例を挙げましょう。10年前、Googleはカリフォルニア州と自動運転車について多くの時間を費やして話し合うことにしました。その結果、カリフォルニア州は自動運転車を禁止しました。私たちは社内で、これが良いアイデアかどうか議論しました。最終的に、私たちがやっていることを人々に伝えて禁止される方が、そうしないよりもいいと決めました。そして最終的に禁止は解除されました。「あなたたちは間違っている」と言って、最終的に正しいことが起こりました。これは、いかに難しいかを示す例です。
でも、選択肢はありません。私たち業界は集団的に政府と協力しなければなりません。Googleはその時正しい決断をしました。今も正しい決断をしています。
エネルギーに関しては、現在の考えでは、米国の電力は約4年でなくなると言われています。人々はさまざまな方法でこの数字にたどり着きますが、すべて近似値です。こんな感じです。
今のチップの利用可能性を見ると、H100とその競合品は容易に入手可能です。みんなB200に興奮していますが、その理由の一部は、NVIDIAがほとんどの指標でより少ない電力を使う巨大なチップを作ったからです。本当に驚くべき成果です。この巨大なチップは1キロワット以上の出力を出します。
2つのチップとGPU CPUを本質的に組み合わせたパッケージバージョン（彼らの場合はARMチップ）は、液冷が必要です。これによりデータセンターはアップグレードが必要になり、それは些細な出費ではありません。重要なのは、B200とB200aに基づいて計算し、コスト学習曲線を仮定すると、計算あたりのエネルギー効率が大幅に向上するということです。
問題は、彼らがそれで何をしたいかを見ると、それらは10倍高価だということです。大まかな数字で、正確ではありませんが、Google検索が1だとすると、基本的に同等のLLM検索は計算量が10倍になります。これはCPUを一定に保った場合のエネルギーに変換されます。
つまり、物理学者たちが私たちにもたらしているこの巨大な利益があります。より大きなチップは、最新のチップを使いたいということを意味します。最新のチップは総じてより多くの電力を使用します。なぜなら、それだけ多くのことをしたいからです。これがトレードオフです。
ワシントンを考えると、この業界に必要な電力容量を必要な時間枠で構築できるでしょうか?
米国で送電線を要求してから、許可を得て承認されるまでにどれくらいの時間がかかると思いますか?
10年以上ですね。
答えは18年です。私の年齢では、その頃には死んでいる可能性を心配しています。真面目な話ですよ。皆さんにはこの問題に取り組む時間がもっとあるでしょう。
1年に1回か18年に1回の学習機会しかないフレキシブルな電力網を運用することはできません。私の業界での学習サイクルは週単位か月単位です。この継続的な学習がこういったことを可能にするのです。
米国をもう少し批判させてもらうと、私はペンタゴンでかなりの時間を過ごしましたが、調達サイクルが長すぎて、反復的な学習の可能性がありません。OTAと呼ばれる特殊なモデルのみがあり、OTAはさまざまな面で複雑な特殊性を持っています。
政府が急速な変化に対応できるように組織されていないため、法律や規制が素早く動くことを非常に難しくしています。選択肢を見てみましょう。新しい太陽光発電と新しい風力発電は、新しいガス発電よりもかなり安価です。しかし、風が吹かない2週間のためにガスピアプラントを設置しなければなりません。
これらすべてについて、この部屋にいる皆さんは「AIがより良いバッテリーを作るべきだ」と言うでしょう。AIは、より良い材料科学の形でそうするでしょう。でも、AIの研究室からより良いバッテリーができるまでにどれくらいかかると思いますか? 5年、6年、7年でしょうか。学習サイクルが遅すぎるんです。人々はバッテリーに一生懸命取り組んでいます。そこにはたくさんのお金があります。
大規模な蓄電池を作ることができたとしても、最終的にはそれらのバッテリーの材料が枯渇します。需要があまりに大きいのです。
そして、その材料の多くは中国から来ています。
そうですね。希少金属の多くは、ボリビアやコンゴなどの変わった国々から来ています。
私が今すぐできる最も重要なことは、人々がそれらを使用する場所でより多くのエネルギーを生産することについて、戦時体制に入ることだと思います。エネルギーはたくさんありますが、間違った場所にあるのです。
ネットワーキングの専門家として言わせてもらうと、なぜこれがコンピューターで処理できるネットワークスイッチングの問題ではないのでしょうか? 昔、ネットワークを構築していたとき、モデムのプログラミングを学ばなければなりませんでした。AT09コマンドを覚えました。古参の人は覚えているでしょう。これは今では完全に忘れられています。なぜならモデムを再プログラムする必要がなくなったからです。システムが自動的にやってくれます。
公共事業の管理方法を見ると、基本的に一定の60サイクル電力を維持するように管理されていて、エラーバーがあります。その問題は、それらのネットワークの中央集権的な制御によってかなりうまく解決できるはずです。
再生可能ポートフォリオ基準を見ましたが、問題はこうです。RPSが仮定する数字に応じて、アメリカの計画の20%か30%だとしても、それでも70%は従来の発電所に残ります。大量の石炭を建設する気がない限り、そしてより多くのガスを建設する気がある限り、再生可能エネルギーで50%以上に達する方法が見当たりません。つまり、常に2つの間の断続性の問題があるということです。これは私の意見です。その問題を解決しなければなりません。
政府に言うなら、そのテストビットを行い、今年中にそれを実証することです。きっとできるはずです。
OpenAIは国際的なアプローチを取り、世界中にデータセンターを建設することを検討していますね。それについてのあなたの反応と、それが安全保障上のリスクをもたらすかどうかについて教えてください。
私はアラブ諸国、サウジアラビア、カタール、UAEとの多くの議論に関わっています。OpenAIについて具体的には話しませんが、彼らは興味深いです。なぜなら、彼らには大量の電力、大量の日光があり、物事を建設するのが好きだからです。私たちは物を作ることを忘れてしまいました。彼らはこういったものをとても素早く建設します。空き地もたくさんあります。
私は数ヶ月後に彼らとの会議に参加しますが、彼らの計画は大規模です。500億ドル、700億ドル、1000億ドルです。そのお金が投入され、データセンターが建設されるでしょう。彼らは再生可能エネルギーにも大きくコミットしています。だから、私たちがどうすべきかのかなりいいテストベッドになるかもしれません。これは彼らを称賛する意味で言っています。本当に賢い人たちがたくさんのお金を使っていて、米国のトップ企業もそのお金の恩恵を受けることになるでしょう。
トレーニングをどこで行い、推論をどこで行うかという問題については、例を挙げましょう。少なくともアラブ世界は、ヨーロッパにとって唯一のトレーニングセンターになるでしょう。なぜなら、皆さんご存知の理由で、ヨーロッパのエネルギー価格が非常に高いからです。ヨーロッパでトレーニングを行うのは意味がありません。
私はフランスでマクロン大統領らと一緒にこの問題に取り組みました。EDFという電力会社に電話をかけると、特別な契約を交渉できます。その特別な契約でも、まだ米国やアラブ世界でのトレーニングコストよりも高いんです。これは良いことですが、残念ながらまだ高すぎます。
だから、事実上すべてのヨーロッパのモデルは他の場所、通常は米国でトレーニングされています。それは悪いことではありません。
中国では、おそらく60万から70万のGPUクラスターがあります。おそらくMicrosoftに数個、Googleに数個あるでしょう。これは私の意見です。明らかにMetaに1つ以上あります。明らかにAnthropicに1つあります。WeChat社のTencentがマレーシアに1つ持っています。他にもいくつか建設中のものがあります。
私なら、それらがどこに建設されているかを注視して、本当の力がどこにあるかを理解しようとするでしょう。米国と中国、あるいはマレーシアで建設されているなら、それがアクションの中心地になることを示しています。
国家安全保障の観点から見ると、国家安全保障委員会の一つの方法は...私はこの件について議論してきましたが、私の意見を言わせてください。トップ5は「Five Eyes」（五か国情報同盟）です。議論のために、フランスとドイツ、そして日本や韓国など数カ国を信頼できると仮定しましょう。そういったリストを作ってみましょう。私は専門家ではありませんが、おそらく8カ国くらいでしょうか。
おそらく、私たちが好きだけれども完全には信頼できない国々のもう一つのセットがあるでしょう。良い例はインドです。私たちはインドがとても好きですが、皆さんご存知の理由で、彼らは私たちと完全には一致していません。
アラブ諸国もそのレベルに入ってくると思います。つまり、彼らの仕事がどれほど安全かという問題や、悪い人たちに浸透されている可能性はあるのかといった問題があります。知るのは難しいですが、願わくはそうではないでしょう。
この問題を解決する一つの方法は、安全なトレーニングロードはFive Eyesで行い、それ以外のものはどこでも行うというものです。モデルのセキュリティに関しては全く別の問題がありますが、セキュリティの問題はトレーニングを行う場所に関わらず存在します。サイバー攻撃や生物学的攻撃が可能かどうかという問題です。これはトレーニングの問題ではなく、ガバナンスの問題です。
再生可能エネルギーについてはかなり話しましたね。石炭についてもちらっと触れました。原子力についてはどうですか? 原子力オプションについてはあまり触れていませんでしたが。
マイクロソフトは...申し訳ありません、昨日のあの核オプションではなく、もう一つの核オプションについてです。
完璧に機能している核分裂プラントを閉鎖するというドイツの決定は、ひどいアイデアだと思います。一般的に理解されているように、原子力プラントを停止すべきではありませんでした。カリフォルニアのディアブロキャニオン原子力発電所は完璧に機能していて、もっと長く稼働できたはずです。再開すべきです。絶対に再開すべきです。
これらのシステムはかなり成熟していて、非常に安全です。今年、原子力反応で何人死にましたか? 基本的にゼロです。今年、世界の石炭生産で何人死ぬでしょうか? その数は50万人に近いです。なぜなら、石炭は本当に悪いからです。
すべての懸念は理解していますが、これは飢えた世界であり、どちらにせよエネルギーを作り出すでしょう。
グロルム長官は、テクノロジー企業が協力して、例えばモジュール式原子力発電所を発注すれば、成功の可能性が高まるのではないかと発言していました。
今日、私の発注書を出しましょう。議論のために、見積もりは20億ドルだとしましょう。みんな100億ドルになることは分かっていますが、私は2基分の注文を出します。それは銀行に説得してもらえるお金の量だからです。誰に注文すればいいでしょうか?
ウェスティングハウスはサウスカロライナから撤退しました。最高のSMR（小型モジュール炉）は基本的に韓国にあります。ここでは完全には認証されていません。
30年前に規則を書いたとき、原子力の安全基準は絶対的でなければならず、自然放射線との相対的なものではありませんでした。その問題のために、システムが過剰に設計されているんです。それが非常に高価になる理由です。
個人的には、まず誰に発注すればいいのか分かりません。次に、米国での新しい原子炉の典型的な承認レートは11〜13年です。これは速いと考えられています。ここでも、学習サイクルの可能性はありません。
いくつかの核融合プラントを建設すると仮定しています。それは良いことです。将来は核融合になるでしょう。私はそのうちの1つに関わっています。ビリーと彼のチームは核融合タスクフォース全体を設置しました。核融合は10年以内に利用可能になると感じていますが、それでもこの問題には間に合いません。
シュミット博士は聴衆からの質問にも答えると言っていましたね。率直に言わせていただいて申し訳ありませんが、こういう会話を長年してきたわけですからね。これらの問題を解決する理由はあるんです。国家安全保障に関わる巨大な需要があるんです。アメリカにとって重要なことです。これをうまくやれば...だからこの会議がこんなに重要なんです。皆さんがやっていることがとても重要なんです。だから私はこんなに強く押しているんです。申し訳ありません。
いいえ、大丈夫です。質問はありますか? マイクを持った人が何人かいるようですね。ここに一人いますね。マイクをそちらに回せますか? よろしければ、お名前と所属を教えていただけますか? そして、質問は簡潔にお願いします。たくさんの質問があると思います。
こんにちは、シュミット博士。ビル・ビーマンです。国務省のフェローをしています。
はい、こんにちは。
ここに来ていただき、ありがとうございます。ヨーロッパ向けのトレーニングがアラブ諸国で行われるとおっしゃいましたが、それは推論のためのデータセンターもヨーロッパにあるということでしょうか? 都市中心部に近いところにあるのでしょうか? それとも、データセンターについて少し話していただけますか?
私は光ファイバーの大ファンで、アラブ世界とヨーロッパの間にそれほど大きな遅延はないと思っています。リアルタイムシステムを提供する上で、他にも多くの遅延があります。間違っているかもしれませんが。
一般的に、Googleを使うとき、サーバーがどこにあるか分かりません。世界中を旅行すると、自分の国にあると思いがちですが、滅多にそうではありません。通常は隣国にあります。
この問題を考えるとき、トレーニングと推論を区別するのではなく、総エネルギーコストと電気代を考えます。業界では、トレーニングと推論の割合がどうなるかという議論もあります。
それはこんな感じです。トレーニングをしたい人たちは、専門家モデルの混合と18ヶ月ごとに行う役割が、基本的に推論が取り込めるよりも速く新しいシステムを発明すると考えています。つまり、バックエンドが速すぎて、推論に重きを置きすぎるべきではないということです。
一方で、そうはならないと考え、世界の負荷の大部分が推論に向かうと考える人もいます。それがより良いモデルをトレーニングするために使われるということです。理由が分かりますか? この質問の答えは分かりません。
私の仮定は、間違っているかもしれませんが、トレーニングと推論は同じ場所で行われるだろうということです。一部には、ハードウェアの再利用があるからです。特にこれらすべてを購入すると、信じられないほど高価です。
GPUは完全に負担すると5万ドルです。ペタバイトのストレージは今では約5万ドルです。これも完全に負担した場合の話です。10万個のGPUがあれば、50億ドルになります。そして、サイクルが2年ごとなので、2年で減価償却する必要があります。
2年で減価償却すると、おそらく集中化したほうが理にかなっていると思います。もう一つの理由は、光速の問題のため、これらのシステムはどんどん小さく、密になっていっているからです。
メモリの使用方法とアルゴリズムの動作方法により、本質的に非常に大量のDRAMを取り、それを行ったり来たりするだけです。これは勾配降下と呼ばれます。そして、これらのメモリユニットは、トレーニングに物理的に非常に近い場所にある必要があります。
ここに別の質問がありますね。
こんにちは。防衛航空宇宙レポートのヴェブ・マラディです。ジーン、素晴らしい仕事です。先生、お会いできて光栄です。素晴らしいイベントですね。
私たちがやっていることは、それが意味があるからではなく、ただやっているからやっているんです。ペンタゴンで大きな問題について考える方法、議会、エネルギーグリッド、その他のところでも、ほとんどすべての場所でこれに直面します。
この非常に競争の激しい時代に、針を動かすには何が必要でしょうか? あなたのような人々が1年や10年、15年ではなく、何十年も前からこのことを話してきたのに、私たちは氷山に当たり続け、グレーのサイに当たり続けています。どんな比喩を使いたいかは別として、これらのことで実際に針を動かすには何が必要なのでしょうか?
驚くべきことに、議会との対話では多くの成功を収めています。人々はエネルギーについて基本的な理解をしているからです。エネルギーが何をするのか、なぜ必要なのかを理解しています。そして、グラフを見せると理解してくれます。
ここでの問題は、単一の運営機関がないことです。ご存知の通り、3つのグリッドがあります。東海岸のグリッド、西海岸のグリッド、テキサスのグリッドです。テキサスのグリッドが最良に見えましたが、雪嵐で電力不足になるなど、さまざまな問題がありました。つまり、めちゃくちゃなんです。
私の一般的なアドバイスは、グリッド側で、業界全体として、6年間でエネルギーの3%から8%に増やすための提案をすることです。それには何が必要でしょうか? 場所の選定と送電線を示すだけです。
Googleで私はこれをすべて行いました。電力がすでにあったので、かなり迅速に行えました。アイオワとオハイオを交換するようなものでした。結局、両方に建設しましたが。それらを交換し、競争に全員を集中させ、余分な送電線を設置し、文字通り今、これらの信じられないほど強力な高圧送電線のすぐ隣にデータセンターを置きます。
そして、そのうちどれだけが再生可能エネルギーで、どれだけが原子力や非再生可能エネルギーかについて合意を交わします。そういったことすべてに取り組むんです。Googleが持っている（そして他の企業も持っているはずの）チーム全体が必要です。
マイクロソフトがウィスコンシン州にGoogleのデータセンターの合計よりも大きなデータセンターを建設するという記事を読みましたが、真偽のほどは分かりません。それに幸運を!ですね。電力量と立地、我々がやったことは基本的に、すべての土地を買収し、1つのパッドを建設してデータセンターを置き、最初のデータセンターにハードウェアが入っていく間に2つ目のパッドを建設するということでした。そうすることで、常に建物が準備できている状態にしたんです。それが必要なことです。
私にとって、国家計画とは、必要なものを特定し、適切な州の管理協定、補助金などを伴って、これらのものを実行できる明確な地域を指定し、そして単に建設させることです。今、企業側にこれを行うためのお金がどれだけあるかは驚異的です。私が扱っていたものと比べると無限です。
ここにもう一つ質問がありますね。
こんにちは。私の名前はジェイミー・カーです。欧州連合の米国代表部でエネルギー政策に取り組んでいます。この会話に感謝します。でも、一日を通して気づいたのは、AIとエネルギーのサミットなのに、一方向的な話ばかりで、AIにどれだけのエネルギーが必要で、それをどう構築するかということだけでした。
逆方向の話、つまりAIを使ってどのように既存および将来のエネルギー需要を削減できるかについて話していただけますか? データセンターだけでなく、電力網全体、我々が使用するデバイス、建物やシステム、個人が電気を消費する方法など、潜在的に自身のニーズを相殺できる方法について、「より良いバッテリーを作る」という簡単な言及以外に議論を聞いていません。
昔、ビル・ゲイツとアンディ・グローブとの夕食会で、彼らが大喧嘩をしたことがありました。何年も前の話です。そこで言われたのは、「グローブが与え、ゲイツが奪う」というものでした。ハードウェア側の人々は改良を重ね、本当に良い仕事をします。そしてソフトウェア側の人々はただもっと必要とするだけです。
AIのこの段階でも同じことが言えると信じるに足る理由があります。グローブとゲイツではなく、他の人々になるでしょうが、需要は無限大だということです。あなたの質問に含まれるすべてのことを仮定しても、そうなのです。
まず、すでに議論したように、バッテリーのより良い材料があります。それには時間がかかりますが、重要です。直流送電線に移行して、より良い送電損失制御などを行います。それらを構築するには時間がかかります。
電力の配送に関しては、送電線の損失に取り組みます。先ほど説明したように、大きな送電線のすぐ隣にデータセンターを置きます。そして建築的には、トランザクションあたりのコスト効率を大幅に改善できます。
これらすべてが、この新しい技術の巨大なニーズに飲み込まれてしまうでしょう。これは普遍的な技術であり、エイリアンの知性の到来のようなものだからです。私たちには理解できないものです。使用方法に関して間違いを犯すかもしれませんが、保守を通じてそこに到達することはないと断言できます。それが重要なポイントです。
経済がそれを推進するでしょう。大企業は誰も巨額の電気代を望みません。私が話した人々のほとんどは、電気代が経費の非常に大きな部分を占めるようになったと言っています。
AIのエネルギーニーズを、気候目標を完全に吹き飛ばすことなく満たせると思いますか?
それは...まず、米国は今、5年前や10年前よりも電力使用量が少なく、悪い種類のCO2の排出量も少なくなっています。産業界と規制構造が、パーセンテージベースでの削減に取り組んでいるわけです。
つまり、ガソリン排出量の改善や電気自動車など、皆さんがご存知のすべてのことと、この新しいものとの競争のようなものです。それはますます良くなっています。よくやっています。そして、この分野でのニーズは問題になるでしょう。
私の意見では、私たちはいずれにせよ気候目標を達成しないでしょう。なぜなら、そのように組織されていないからです。それを行う方法は、今我々が話していることと同じです。はい、この分野でのニーズは問題になるでしょうが、AIに問題を解決させる方に賭けたいと思います。それを制限して問題を抱えるよりもね。
時間がなくなってきましたが、あなたの意見で、今すぐ取るべき上位3つのアクションステップは何ですか?
まず第一に、業界は信じられないほど懸命にこれに取り組んでいます。業界が皆さんに求めているのは、より予測可能で、ベースロードまたはそれに相当するものである、より多くの電力をできるだけ早く提供することです。より多くの立地場所が必要です。より多くの建設方法が必要です。そしてより多くの接続方法が必要です。
皆さんの良い仕事の見返りとして、私は皆さんのシステム、特に発電システムを少なくとも15%改善すると約束します。そして、それは公共事業にとっては大きな金額です。
なぜ15%と言うかというと、DeepMindで、世界最高のエンジニアによって美しく手作りされた我々のデータセンターに対して同じことをしたとき、我々が作ったこの厄介な小さなシステムが、最高のエンジニアたちを15%上回る総エネルギー効率を達成したからです。50%の改善が見られたケースもありました。
AIシステムは人間には見えないものを見るからです。負荷の変化、予測可能性などです。これは強化学習の問題であり、効率的に行うことができます。
我々にはこれができると強く感じています。そして最後に言わせてください。ジーン、いつものようにこの分野をリードしてくれてありがとう。イリー、これを主催してくれてありがとう。そして皆さん、来てくれてありがとう。今年取り組むべきプロジェクトとして、これ以上のものは考えられません。もう一度ありがとう。
マイザー: ありがとうございました。