テスラが証明：AGIへの道のりにはエネルギーがある

8,875 文字

AIに関する本「なぜ機械は学ぶのか」の著者は、素晴らしいインタビューの中で、現在の人工知能が人間の脳と比べてエネルギー効率が桁違いに悪いという事実を指摘してはります。人間の脳は約20ワットで動作しとるんですけど、ここで機械学習と人間の学習の違いについて、また、テスラが主導するエッジAIコンピューティングが、人々が考えてるよりもはるかに電力効率がええっていう反論をさせていただきたいと思います。
はい、Dr. Know-It-Allです。Machine Learning Street TalkでのAnil Ananthaswamyさん（発音が正確かどうか分かりませんが）との対談から短い部分を抜き出したいと思います。彼は最近「なぜ機械は学ぶのか」という本を書かれた方です。人工知能が実際にどれだけ電力を消費し、電力効率が悪いかについて話してる部分を取り上げたいと思います。
もちろん、動画全体へのリンクは説明欄に置いておきます。約2時間の動画ですけど、1.5倍速で見ていただくのをお勧めします。非常に価値のある内容です。私はほんの一部分だけを取り上げますので、残りも是非聞いていただきたいですね。
1時間35分あたりのこの部分を聞いてて、こんなことを考えました。ほとんどの人が、機械学習は人間の脳より桁違いに効率が悪いっていう考えに同意してます。確かに人間の脳は約20ワットで動作しますが、AIデータセンターはメガワット単位、つまり何百万ワットものエネルギーを使うんです。
人間の脳と比べて桁違いに非効率なわけですね。そして一般的な見方としては、AIは人間と競争できるレベルには絶対に到達できへんっていうものです。なぜかというと、私たちの知性はエネルギー効率が非常に良くて、脳には約100兆のニューロン結合があり、物事を考える方法も潜在的にはもっとたくさんあるかもしれません。
一方で、最先端の機械学習モデルでは、比較的単純な結合が約1兆程度しかありません。現在の最先端の機械学習から人間の脳のレベルまでには、まだ数桁の差があるわけです。
まずはクリップを見ていただいて、その後で私の反論と、特にテスラがなぜこれが思われているほど真実ではないということを示す上で主導的な役割を果たしているかについてお話ししたいと思います。
Neural Networkの結合数と人間の脳の結合数を比較されましたが、この比較には意味があると思われますか？
現在の大規模な言語モデルの結合数は恐らく約1兆で、5000億から1兆、あるいはもっと多いかもしれません。人間の脳のシナプス数を単純に数えると、約100兆あります。つまり、最大の言語モデルでも、人間の脳にあると考えられる結合数の約2桁下ということになります。
これは大きな差ですが、人間の脳の結合について語る時、私たちは他の複雑さを考慮に入れていません。例えば、神経伝達物質やニューロモジュレーターについては触れていませんし、ニューロンに入力を送るデンドライトで行われている計算の全体についても触れていません。
単一のニューロン内で行われている計算の種類も完全には理解できていません。つまり、人間の脳には、単に結合数から推測できる以上の、おそらく何桁も複雑さがあるということです。
その意味では、大規模言語モデルは人間の脳の複雑さを捉えるにはまだまだ遠く及びません。しかし、逆の見方もできます。大規模言語モデルは人間の脳の複雑さと比べると桁違いに単純なのに、すでにかなり驚くべきことができているんです。
人工システムを生物系の複雑さのレベルまでスケールアップできる状況を想像してみてください。単にスケールアップするだけでなく、何らかの方法でエネルギー効率を良くすることもできると。現時点では非常に難しいことですが、スケールアップしても法外な電力を消費しないようにできると仮定しましょう。
つまり、人間の脳の複雑さに近づきつつあり、かつエネルギー効率も向上している人工システムがあるとします。そこに、これらの人工システムがほぼすべての情報にアクセスできるという事実を加えてください。人間の脳にはそういった能力はありません。あなたも私も、情報へのアクセスは限られています。
シリコンの力、これらの機械に与えることができるメモリの量、そして人間の脳の複雑さまでスケールアップする能力を考えると、私たちはAIについてはまだ始まったばかりだと考えざるを得ません。
秋になって日が短くなってきてますね。そんな時期だからこそ、健康に焦点を当てることが重要です。だからこそ、今日もそして毎日、私はag1を使って健康的なライフスタイルを維持しています。今日のスポンサーです。
家で忙しい時も旅行中も、ag1の基礎的な栄養で最高の状態を維持できることを信頼しています。体と心の両面で。加工糖を減らしてag1を毎日飲むようになって、正直に言って何年も若返ったように感じます。
体重も減り、関節の痛みもなくなり、以前よりもずっとエネルギッシュになりました。日常活動にも良いですし、運動好きな子供たちについていけるようになりました。ag1は、体に不足しているかもしれない基礎的な栄養を提供します。
ag1は、75種類の高品質なビタミン、ミネラル、プレバイオティクス、プロバイオティクス、アダプトゲンを科学的に配合しています。ag1は体が求める基礎的な栄養を提供し、プロバイオティクスとプレバイオティクスが消化システムを正常に保つのを助けてくれます。
どんなものを食べても大丈夫です。ag1は加糖なしで甘みがあって美味しいです。運動中でも、今のように仕事中でも、いつでも飲めます。どちらにしても美味しくて、日常的な習慣に取り入れやすく、フィットネスの目標達成にag1が本当に役立っているのを実感しています。
これは変えたくない日課の一つです。現在ag1では、定期購入すると通常のウェルカムキットに加えて、限定特典をプレゼントしています。期間限定なので、drink.a1.com/knowitallにアクセスするか、QRコードをスキャンして始めましょう。ag1には今回のビデオのスポンサーとなっていただき、ありがとうございます。
ご視聴ありがとうございます。では本題に戻りましょう。
さて、ここでAnilが話していることには、たくさんの要素が詰まっています。まず一つ目は、最先端のニューラルネットワークは人間の脳と比べて約2桁ほど複雑さが低いということです。これは人間の脳を単純化して見た場合の話で、1兆のパラメータと10兆ではなく、100兆のパラメータを比較しているわけです。
二つ目の論点は、これらが非常にエネルギー効率が悪いということです。人間の脳の複雑さの1%しかないのに、人間の脳の6桁ほど多いエネルギーを消費しています。つまり、人間の脳の20ワットに対して、メガワット規模のエネルギーを使用しているわけです。
これは現在の人工知能の状態に対する厳しい批判のように見えます。特に有用なもの、あるいはAGI（汎用人工知能）や人工超知能には決して到達できないように思えます。
しかし、Anilも自身で反論しているように、人間の脳の複雑さの1%しかないにもかかわらず、驚くべきことができているという見方もできます。桁の大きさについて細かい議論はしませんが、人間の脳より2桁ほど単純だとしても、言語でのコミュニケーション、画像の理解、画像の生成ができ、動画や音楽の生成も始めています。
知的な工学的側面だけでなく、コーディングもそこそこできます。完璧ではありませんが、まあまあです。つまり、人間と比べて1%の複雑さしかない「トカゲの脳」みたいなものなのに、人間が非常に高度で複雑だと考える技術的にも創造的にも難しいことができているわけです。
これは人間とは根本的に異なるものです。トカゲは美しい交響曲を作曲することはできません。トカゲはPythonのコードを書くこともできません。少なくとも私の知る限りでは。まあ、GEICOのヤモリならできるかもしれませんが、あれはCGレンダリングであって本物じゃありませんからね。
その観点から見ると、これらの大規模言語モデルや生成モデル全般が、人間の心と比べてとても単純なのに、信じられないようなことができているわけです。ただし、非常に電力を消費するという大きな問題があります。
この電力消費の問題は非常に深刻で、企業はAIセンターを比較的人口の少ない場所に移転しています。完全に無人というわけではなく、都市はありますが、あまり近接して設置したり、すでに周辺の発電所から大量の電力を使用している大都市に設置したりはしません。
これは国内や世界中でエネルギー使用を分散させようとしているからです。そうすることで、その電力はデータセンターだけに専用に使用され、他の誰にも使われません。つまり、原子力発電所全体ではないにしても、1基分の電力をAIデータセンター用に使用するということです。
それくらいの電力を使用しているわけです。皆さんは「ジョン、あなたは頭がおかしい」と思うかもしれません。1%の知能しかないものが、2桁の成長が必要で、エネルギー効率は6桁も悪い。これらを掛け合わせると、ほぼ10億倍、つまり1億の複雑さを電力で割った数字になります。
これが現在の位置と人間の脳の複雑さとの間にある距離なんです。もちろん、最初の反論としては、コンピュータは人間の脳ではないということです。人間の脳ほど複雑である必要はないかもしれません。
人間のように効果的に機能するには、2兆か5兆、あるいは10兆のパラメータだけで十分かもしれません。それは到達するまで分かりません。しかし、このパズルのもう一つのピースは、これを巻き戻してみることです。
私はF Leの素晴らしい本「The Worlds We See」を読んでいます。その詳細については、こちらの私のビデオをご覧ください。その本の中で、彼女は2012年のAlexNetについて多く語っています。現代の最初の有名なディープニューラルネットワークですね。
当時としては最大級のそのニューラルネットワークは、数百万のパラメータを持っていました。わずか12年強の間に、私たちは数百万のパラメータから数十億、そして約1兆へと進化させました。つまり、12年間で6桁の成長を遂げたわけです。
あと2桁増やすことが、そんなに難しいでしょうか？1兆から100兆に行くことは、5年から10年のスパンでそんなに困難なことでしょうか？私はそうは思いません。
明らかに、現在のハードウェアに詰め込めるパラメータには限界があるので、ある種の漸近的な減速は起こるでしょう。しかし人間は本当に賢く、GPUだけでなく、TPU（テンソル処理ユニット）や、これら専用に設計された巨大なデータセンターで、すべての要素間で通信するための大きな帯域幅を使うなど、かなり驚くべき工夫をしてきました。
2030年初頭までに、つまり今から5〜10年後くらいに100兆パラメータのモデルに到達することは、十分可能だと思います。複雑さをさらに2桁上げることは、本当に大きな課題とは思えません。
実際、MicrosoftやOpenAI、X、Google等の人々は、すでにそのくらいの規模のものを実験しているでしょう。例えば、GPT-4のプレビューがどれくらい大きいのかは正確には分かりませんが、おそらく専門家の混合モデルで、一つの巨大なモノリシックモデルではなく、複数の小さなモデルの組み合わせでしょう。
しかし、それらを合わせると、おそらく1.5兆から2兆のパラメータくらいになるでしょう。すでにかなりの数字に達しています。これらの巨大な計算クラスターの構築に投資される金額を考えれば、さらなる成長に制限はないでしょう。
これが問題の一つ目、つまり人間の脳にほぼ匹敵するようにパラメータ空間、複雑性空間を増やすという課題への対処です。ここでも近似的な話をしていますが。
しかし、この問題の二つ目の半分、つまりエネルギー使用の問題は、もっと手に負えないように見えます。これらがメガワット単位で動作するとなると、人間の脳のレベルまで下げることは私たちの能力を超えているように思えます。
2桁の差ではなく、人間の脳の使用量まで下げるには約6桁の差があるということです。しかし、ここでテスラが登場します。正直なところ、AppleもiPhoneやラップトップなどで同じことをしています。テスラは車だけでなく、Optimusボットでも同じです。
Figure Robotics、Sanctuary Robotics、そして多くの中国企業がヒューマノイドロボットを作っていますが、AIを二つの部分で考える必要があります。一つは訓練の部分で、もう一つは推論の部分です。
訓練は、少なくとも予見可能な将来において、例外なく大量のエネルギーを必要とするでしょう。巨大なデータセンターと、それを動かすための原子力発電所が必要になります。しかし、それはシステムの訓練のためであって、システムの実行のためではありません。
いったん訓練が終わると、それを圧縮し、蒸留し、量子化するなどして、スマートフォンやラップトップ、車、ヒューマノイドロボットで動作できるモデルにすることができます。この時点で、使用電力は20ワットから200〜300ワット程度になります。
つまり、人間の脳とほぼ同じか、1桁程度多いエネルギー使用量になるわけです。例えば、テスラのハードウェア4は、完全自動運転スタックを実行する際に約200ワットの使用量です。正確な数字は分かりませんが、そのくらいのオーダーです。
これは人間の脳より約10倍効率が悪いですが、人間の脳より100万倍効率が悪かったものが10倍まで下がったと考えると、そんなに悪くないように思えます。
ここで起きているのは、推論側、つまり実際の運用側で、バッテリーで動作しなければならないものに関してです。私が挙げた例がすべてバッテリーで動作することに注目してください。ヒューマノイドロボット、ラップトップ、スマートフォン、車、これらはすべて比較的限られた電力の範囲内で動作する必要があります。
また、メモリの制限もあります。なぜなら、スマートフォンや車など、それぞれが個別のコンピュータボードを持っているだけだからです。10万台のGPUが動作する巨大なデータセンターの話ではありません。
テスラは完全自動運転を実現しようとする中で、巨大な機械で訓練されたモデルの知能を、100〜150〜200ワットの電力で動作し、なおかつミスを起こさないものに蒸留する必要がありました。完全自動運転はミッションクリティカルで、エラーは許されないからです。
これは非常に困難な課題で、テスラがここまで時間がかかっている大きな理由の一つです。もしギガテキサスのデータセンターのような10万台のGPUクラスター全体を車の後部に積んで走り回ることができれば、常に完璧な判断を下すでしょう。
このようなことを心配する必要はありません。問題は、非常に小さなボードで、限られたメモリしかなく、特定の熱と電力の範囲内でしか動作できないものを使って、すべてをリアルタイムで秒間36フレームで実行しようとしていることです。
これらすべてが、テスラの完全自動運転ボード、Optimusボード（現在使用しているAI4やAI5と同じもの）、Appleのラップトップ、Androidのラップトップ、あるいはバッテリーで動作する何であれ、効率を追求することになります。
限られた電力の範囲内で動作する必要があり、それは大規模なデータクラスターで動作する大規模言語モデルについてAnilが話していたものよりもずっと効率的になることを意味します。
大規模言語モデルだけを見ると、「でも見てください、どれだけ電力効率が悪いか。メガワット規模のデータセンターで動作して、私が姪に物語を語ってくださいとお願いするだけなのに」と思うかもしれません。
しかし、これらの頭脳が同時に数万から100万の顧客にサービスを提供している可能性があることを忘れないでください。もし一人の人間がそれらの質問すべてに答えなければならないとしたら、突然そのメガワット規模の電力はそれほど悪くないように見えます。
なぜなら、同時にすべての質問に答えるには多くの人間が必要で、それはかなりの電力を必要とするからです。おそらく人間よりもまだ効率は悪いでしょう。一対一の比較をするのは難しいですが、以前考えていたほど悪くはありません。
つまり、私たちが考えているほどエネルギー集約的ではないのです。しかし、バッテリーで動作し、非常に限られた電力の範囲内で動作しなければならないものは、より効率的です。なぜなら、それはハードウェアにもアルゴリズムにも組み込まれているからです。
これは人間と人工知能の根本的な違いをもたらします。私はこれを「償却の問題」と呼びたいと思います。人間の場合、一人一人が、私を含めて、生まれてから自分で学ばなければならないすべてのことを学んできました。
もちろん、世界中の人々の助けを借りてですが、すべてを吸収し、できる限り多くのことを脳に詰め込み、スキルを学ばなければなりません。それは一度だけ起こり、また別の人が生まれ、その人のためにも同じことが起こり、さらに別の人が生まれ、その人のためにも同じことが起こります。
もちろん、私たちはそれぞれ少しずつ異なる方法で学びます。それは素晴らしいことで、多様な世界を作り出します。しかし、私たち一人一人がそれをしなければなりません。人間の知能の償却は極めて低く、それは一種の残念なことです。
アインシュタインのような人の脳を保持し、永遠に生き続けることができれば、本当に素晴らしい発見を続けることができたでしょう。しかし、コンピュータの場合は逆です。
これらのモデルを訓練するには膨大なエネルギーが必要です。ギガワット規模のエネルギーが訓練に必要ですが、いったん訓練が終われば、それを推論に使用する何百万もの機器に償却、つまり分散することができます。
それは車かもしれませんし、最終的にはヒューマノイドロボット、スマートフォン、ラップトップかもしれません。これらすべての機器に、このニューラルネットワークの正確なコピーを組み込むことができ、すべてが同じ程度の知能で動作することができます。
確かに、これは世界の多様性を減少させます。現時点では、完全自動運転コンピュータに個性があるとは思いません。いつか持つかもしれませんが、今は期待していません。なぜなら、他のすべてのものと同じになるからです。
多様性は失われますが、データセンターでのすべてのエネルギー効率の悪さ、使用されるすべての訓練用電力は、比較的低電力の機器全体に分散されます。あるいは、大規模言語モデルの推論時には、同時に数万人の顧客に推論を提供しています。
つまり、その巨大なデータセンターを、同時に質問に答える多くの人々に償却しているわけです。どちらの視点から見ても、私たちが考えているほど多くの電力を使用しているわけではありません。
確かに、これらを動作させるには都市規模の電力が必要で、とんでもない量です。しかし、一人一人がChat GPTを使うために10メガワットの発電所が必要というわけではありません。
1つのChat GPTで、時間をかければ何百万人もの人々にサービスを提供できます。同時ではありませんが、24時間の間に何百万人もの人が質問をすることができます。
あるいは、私のスマートフォンは確かに比較的限られたAIで、今のところそれほど優れてはいません。また、約200ワットの電力の範囲で動作する車は、完全自動運転を実行できます。現在人間が必要とする作業を実行でき、人間と協力して人間よりも優れた性能を発揮できます。統計がそれを示しています。もしそのビデオをまだ見ていない方は、こちらでぜひご覧ください。
全体として、私たちは大量の電力について話していますし、電力網への影響などの問題を無視することはできません。しかし、考えているほど悪くはないのです。
これらの機械は、少なくとも脳の結合数と最先端モデルの結合数を比較すると、人間よりも約2桁知能が低いだけです。電力に関しては、低い方では人間の脳よりも1桁程度効率が悪いだけです。
つまり、全体として複雑さと電力効率の間で、約3桁の差しかありません。これは、先ほど話していた8桁の差ほど手に負えないようには聞こえません。
これは今後5〜10年で解決できそうな課題に聞こえます。そして実際にそれは非常にエキサイティングです。そして前述したように、テスラや他の企業は、非常に知的な機械を持ちながら、電力効率を良くすることにおいて、間違いなく先導的な役割を果たしています。
はい、以上です。コメント欄で、これらすべてについてどう思うか、私が頭がおかしいと思うか、あるいは人工知能の電力使用について異なる見方をしていると思うか、ぜひ教えてください。
どちらにしても、皆さんの考えを知りたいと思います。そして、もちろんコメント欄にいらっしゃる間に、良ければいいねと登録をお願いします。チャンネルの成長に本当に役立ちます。
1月下旬の私の誕生日までに10万登録者に到達したいと思っています。ご協力いただけると嬉しいです。本当にありがとうございます。
最後に、今回のビデオのスポンサーとなっていただいたag1に改めて感謝申し上げます。説明欄のリンクをクリックして、ウェルカムキットに加えて無料の限定特典をゲットしてください。では、次のビデオでお会いしましょう。