AIは進化し続けることはない

もしかしたら、私たちはAIのプラトーに達したのかもしれません。まだ完全には達していませんが、急速に近づいていると思います。これはありえないと思われるかもしれません。新しいモデルや、それらを使って行える驚くべきことを見ると、ChatGPT 2から3、3.5、4への改善、突然現れて非常に優秀なClaudeの登場、LlamaやMistralのようなオープンソースモデルの登場を考えると、プラトーに達したというのは狂気の沙汰に思えるでしょう。
しかし、このようなパターンを示すものは多くあります。興味深い話題から始めましょう。ムーアの法則について話したいと思います。ご存じない方のために説明すると、ムーアの法則はプログラミング界の古い概念です。実際の法則ではなく、70年代のデベロッパーとハードウェア愛好家による推測です。
彼はパフォーマンスの向上がいかに速いかに気づきました。彼の観察によると、マイクロチップ上のトランジスタの数はおよそ2年ごとに倍増し、同じ期間でコストは半分になるというものでした。例えば、4つのトランジスタを持つチップがあったとすると、2年以内にチップの製造方法の進歩により、8つのトランジスタを搭載し、より安価になるというものです。
これを繰り返し行い、マシンのパフォーマンスが大幅に向上するのを目の当たりにしました。しばらくの間、これは現実的でした。ベストバイで買ったコンピューターを2年から4年待って新しいものを買うと、プロセッサーの速度が2倍になることもありました。
今では、2020年のApple M1コンピューターと2024年の最新のハイエンドマシンを比較しても、パフォーマンスの差はそれほど大きくありません。しかし、昔は年々驚異的な改善が見られました。
しかし、物理的な壁にぶつかり始めました。シリコンの微細化には限界があり、製造上の問題が発生し始めることに気づきました。現在、多くの製造プロセスは非常に複雑で、期待される小さなサイズで製造できる企業は1社か2社しかありません。
最も効率的なチップを作りたい場合、可能な限り多くのトランジスタをダイに詰め込むには、TSMCのような企業を通じて行う必要があります。彼らは世界でそのような製造ができる唯一の場所の一つだからです。Intel、Apple、NVIDIAなどの企業は、すべてTSMCという1つの製造業者に依存しています。
TSMCでさえ、ムーアの法則の目標には到達していませんが、かろうじて近づいている唯一の企業です。私たちは事実上、物理的な理由によりムーアの法則がもはや真実ではないことを受け入れています。
ある研究から、ムーアの法則に代わる新しい法則が提案されています。青い線がムーアの法則、オレンジの線が彼らの代替法則、そして緑の線がパフォーマンスを示しています。70年代から2000年代、さらには2015年頃まで、パフォーマンスは着実に上昇していました。しかし、上の方でかなり平坦化し始めていることに気づくでしょう。
残念ながら、2020年以降はさらに悪化しています。これは恐ろしいことです。もちろん、これに同意しない企業もあります。NVIDIAの図では、CPUのパフォーマンスがかなり平坦化していることを認めています。以前は複数の大きな勝利から年間1.5倍のペースだったものが、今では年間1.1倍程度に低下しています。
私は現在、2020年に発売された10700Kを搭載したPCでストリーミングをしています。これはハイエンドモデルではありませんが、別の部屋に新しく買ったトップスペックのコンピューターとそれほど性能差がありません。年々のパフォーマンス向上は大幅に悪化しています。
技術はまだ進歩し、製造においても大きな進歩を遂げており、IntelとAMDの競争も激しいですが、以前のような大きな勝利は見られなくなりました。
これにはメリットもあります。古いプロセッサーをはるかに安く買っても、かなり良いパフォーマンスが得られます。以前2000ドルで買ったMacBook Air M1を、今ではウォルマートで中古400ドルで買えます。これは素晴らしいことです。
人々は、これはパフォーマンスではなくトランジスタ数に関するものだと主張しています。私たちはトランジスタの数をプロセッサーの進歩を測る方法として使ってきました。歴史的に、製造プロセスに大きな進歩があれば、例えば10ナノメートルのトランジスタから4ナノメートルに縮小すれば、大きな勝利が見られました。
これは大まかな話です。明らかにNVIDIAは自社のことを主張していて、GPUの計算性能は成長し続けていると言っています。グラフィックカードの面白いところは、コアが共有する複雑さが異なるモデルを持っていないことです。GPUのコアは大幅に単純化されているため、異なる抽象化が可能です。つまり、パフォーマンスを向上させるために、より多くのGPUを互いに貼り付けることができるのです。
結果として、GPUはもはやコンピューターに差し込む小さなものではなく、巨大な部屋いっぱいのものになるかもしれません。チップのアーキテクチャの方法により、それでも1つのGPUとなります。しかし、NVIDIAがこのようなパフォーマンスの向上を継続的に見るための唯一の方法は、実際のアーキテクチャにより多くのチップを追加することです。
これは一種のごまかしですが、現実は、今日私たちが使用している従来のCPU製造技術は、改善可能な物理的な壁に突き当たっています。理論的に抜け出す唯一の方法は、全く異なるアーキテクチャと計算機の構築方法です。
このモデルに依存するものは、これらの進歩からあまり恩恵を受けませんが、このモデルで動作できるものは理論的には成長を続けることができます。
ちなみに、GPUは必ずしもAI作業に最適な方法ではありません。ここで少し関連付けをしたいと思います。IBMがアナログAIチップの研究をしているのは興味深いと思います。これは、以前ビットコインで見られたものと似ています。
以前は、ASICが作られる前は、GPUでビットコインをマイニングしていました。ASICは、ビットコインマイニングをできるだけ効率的に行うための専用コンピューターです。AIに関しても同様の研究が始まっています。これは興奮させられることです。
おそらく、GPUはAIに適切なアーキテクチャではなく、これらのチップが機能し始めれば、CPUやGPUよりも大幅に速く進歩する可能性があります。
なぜこれらすべてのことを話しているのでしょうか？なぜモデルについて話しているのでしょうか？Mistralに関する非常に興味深い投稿を見ました。MistralはLlamaとともに、2つの大きなオープンソースAIビジネスの1つです。面白いことに、MetaはFacebookで、Llamaに取り組んでいます。これは技術的にはオープンソースではありませんが、モデルを取得して好きなように使用できます。
Mistralも同じことをしており、彼らは最近Mistral Large 2をリリースしました。これは彼らのフラッグシップモデルの新世代です。以前のMistralと比較して、Large 2はコード生成、数学、推論においてかなり優れた能力を持っています。また、多言語サポートと関数呼び出しの機能も強化されています。
ここで重要なのは、「large enough（十分に大きい）」という点です。これは、私たちが達しつつあるプラトーについて考え始めさせました。そして、私だけがこのことを考えているわけではありません。
Yann LeCunのツイートを見てみましょう。彼はFacebookとMetaのAIとLLM研究の責任者で、Llamaの創造に最も直接的に関わっている人物の一人です。彼は次のように述べています。「次世代のAIシステムの構築に興味がある学生の方々へ。LLMに取り組まないでください。」
LLMは、これらすべてのものがどのように機能するかを示しています。これを言い換えてみましょう。「次世代のコンピューターの構築に興味がある学生の方々へ。CPUに取り組まないでください。」あるいは「Intelで働かないでください。」
数字を見れば明らかですが、CPUの反復は、年々の大幅なパフォーマンス向上や大幅な計算能力の向上を見ることができる場所ではありません。異なるアーキテクチャを発明し、反復する必要があります。
Appleは、これをあらゆる興味深い方法で行っています。Appleが発明した驚くべきことの一つは、異なる役割を持つ異なるコアを持つというアイデアでした。つまり、簡単なことを行うために可能な限り少ない電力を使用しようとする効率コアと、はるかに多くの電力を使用するが、かなり強力なパフォーマンスコアがあります。
彼らはまた、ビデオ処理やビデオエンコーディングチップなど、H.264やH.265のデコーディングやエンコーディングをはるかに効率的に行うチップを埋め込み始めました。Appleは、CPUだけでなく、GPUだけでもない特定のことを最適化するためのものをプロセッサーに追加し始めました。これにより、大幅なパフォーマンスの向上を継続的に実現できました。
私は、これがAIの未来でもあると考えています。同じように、CPUでできることの上限に達しつつあるように、LLMでできることの上限にも達しつつあります。
OpenAIのような企業は、より多くの計算能力に焦点を当てることで、依然として大きな利益をもたらす可能性があることを示しています。ムーアの法則の警告にもかかわらず、計算能力は今後数十年でいくつかの桁上がり続けると予想されています。必ずしも同意はしません。
現在、ハイプは明らかにムーアの法則を上回っています。以下の画像をご覧ください。その結果、AIは深刻な環境フットプリントを生み出すリスクがあり、研究はますます計算能力に支払う余裕のある大企業に限られるようになっています。これは昨年の厳しい教訓です。
これは面白いチャートです。ムーアの法則対AIの人気ですが、繰り返しますが、ムーアの法則は平坦化しており、AIは現在ムーアの法則が可能にするよりもはるかに人気があります。そのため、私たちはGPUに数十億ドルを費やしています。
驚くほど良いチャートをGartnerから見つけました。信じられないかもしれませんが、人工知能のハイプサイクルです。ハイプサイクルは非常に一般的です。このチャートは特に、スタートアップのハイプサイクルを示しています。
アイデアが生まれ、興奮のスパイクがあり、最初の「死の谷」が訪れます。そこでこれが難しいことに気づきます。そして頑張り、本当に頑張り、期待が膨らみ、非理性的な熱狂が起こり、そして痛みが訪れます。あなたは「幻滅の谷」と呼ばれるものに陥り、すべてに確信が持てなくなります。
その後、現実の傾斜がゆっくりと始まり、あなたが実際に何ができるのか、あなたの製品、会社、ビジョンが実際に何を解決できるのかを理解し始めます。そして最終的に、実際の会社と実際の価値に到達します。
Gartnerのチャートに戻りましょう。面白いことに、彼らはここにたくさんの例を挙げています。第一原理AI、マルチエージェントシステム、ニューロシンボリックAIなど、より多くのことが起こっています。そして生成AIに入り、そして大きなポイントに達します。
より最適化が必要だと気づきました。合成データ、より良いモデル最適化、エッジでのAI（つまり、サーバーではなく私たちの携帯電話で動作するAI）、ナレッジグラフなどです。しかし、これらの事は面白くないため、下降線を描いていることに気づきます。これらの事は退屈で、必要不可欠なものです。
次に、AI制作キットや教育キットが登場し、人々に実際に学んでもらおうとしました。自動運転車も登場しましたが、これは非常に困難で、今でもそうです。自動で運転する車は、まだ十分に機能していません。
しかし今、私たちの生活に実際に利益をもたらすAIを確実に実現するためのより多くのものが見られるようになっています。ただし、私たちの期待を現実的に設定する必要があります。毎年の指数関数的な成長ではなく、これらの機能を実際に私たちの日々の生活に適用して利益を得る方法に焦点を当てるべきです。
正直なところ、モデルが数年ごとに2倍良くなると人々が偽装することに苛立ちを感じています。なぜなら、私たちはその段階を既に経験したからです。それは明らかに終わりました。もはやそのようなレベルアップは見られません。
代わりに、私たちが現在モデルを使用していない分野で大きな進歩が見られると予想しています。例えば、ビデオ生成が注目を集め始めており、そこに到達するのに時間がかかっていますが、ChatGPTが急速に改善したのと同様に、そこでも急速な成長が見られると思います。
しかし、それもプラトーに達するでしょう。そして、このようなプラトーがより多くの分野で見られるようになると思います。解決策は魔法のように改善することではなく、全く異なるモデルやハイブリッドになるでしょう。
手書きのコードや人間が調整したものとAIを組み合わせて活用するようになるでしょう。CPUとGPUが作業を交互に行うのと同じように、それぞれが得意とすることに応じて、手書きのコードとAIコードが同様のことを行うことには大きな可能性があります。
これがAIの未来だと思います。なぜなら、これは平坦化、プラトーです。これは終わりに近づいているのであって、始まりではありません。
Mistralが彼らのモデルが「large enough（十分に大きい）」と言っているなら、私はそれに同意したいと思います。特に、ここの数字を見ると、これらのモデルがほぼ同等になりつつあることがわかります。
もはや、あるモデルが他のモデルよりもはるかに優れているという勝利ではありません。勝利は効率性、パフォーマンス、応答速度になるでしょう。そして次の勝利は、これらのものを新しくてユニークな方法で使用する方法になるでしょう。
これは実際に非常に興味深いリンクです。Arc賞と呼ばれるプロジェクトがチャットからリンクされました。AGI（人工汎用知能）の進歩は停滞しており、新しいアイデアが必要とされています。これは、ARC AGIベンチマークのオープンソース解決策を上回るための100万ドルの公開コンペティションです。
ほとんどのAIベンチマークはスキルを測定しますが、スキルは知能ではありません。汎用知能は、新しいスキルを効率的に獲得する能力です。François Cholletの2019年の「Abstraction and Reasoning Corpus for Artificial General Intelligence」は、まだ破られていない唯一の正式なAGIベンチマークです。これは人間には簡単ですが、AIには難しいものです。
これは面白いです。これはキャプションのようなものになりそうです。パターンがあり、入力と出力があります。ここで何をするかは明確です。出力グリッドを設定し、濃い青をここ、ここ、ここ、ここに置きます。提出して完了です。
ここでのポイントは、これらは私たちが直感的に理解できるタイプのパズルだということです。パターンを見て、そのパターンが何であるかを素早く学習できます。これらの場合、薄い青は無視され、赤は外側のパターンを持ち、濃い青はT字型のようなパターンを持っています。
しかし、AIは歴史的にこのタイプの問題を解くのが非常に苦手です。ここにARC AGIの進捗がありますが、他のAIベンチマークを見ると、以前見たH-SWAG、ImageNetなどの多くのものは、信じられないほどの速さで改善しているように見えます。
しかし、このようなベンチマークを通じて汎用知能を見ると、AIは酷いパフォーマンスを示しています。人工汎用知能に向けての進歩は停滞しています。LLMは想像を絶する膨大な量のデータで訓練されていますが、訓練されていない単純な問題に適応したり、新しい発明をしたりする能力はありません。
強力な市場インセンティブがフロンティアAI研究をクローズドソースに押し進めており、研究の注目と資源が行き詰まりに向けられています。あなたはそれを変えることができます。
彼らがAGIの一般的な定義が間違っていると指摘しているのが気に入りました。AGIは経済的に価値のある仕事の大部分を自動化できるシステムだと言われていますが、実際にはAGIは新しいスキルを効率的に獲得し、オープンエンドの問題を解決できるシステムです。
はい、それがAGIの「General（汎用）」が意味することです。この指摘に完全に同意します。定義は重要です。なぜなら、私たちはそれをAIに向けての進歩を測定するためのベンチマークに変えるからです。
私はこれに完全に同意します。Nat Friedmanがアドバイザーの一人であることが気に入りました。彼は元GitHubのCEOです。また、長年にわたってソフトウェア開発とAIのあらゆる分野に関わってきたMike Knobbという絶対的なレジェンドもいます。
はい、私はこれが大好きです。そして、これがAIで本当に改善と勝利を見る唯一の方法だと思います。LLMは限界に達しつつあり、ここで見たように、このような一般的なベンチマークでは本当に勝利していません。
確かに、皆が大好きな派手なベンチマークはありますが、それらでさえ平坦化とプラトーが見られ始めています。私たちはLLM革命の終わりに近づいているかもしれません。
AIの能力を成長させ、進歩させ続けたいのなら、CPUを置き去りにし始めているのと同じように、LLMを置き去りにしなければならないかもしれません。未来は「より速いLLM」ではありません。
AIを未来にしたいのなら、それは異なるタイプのAIでなければなりません。
皆さんはどう思いますか？私が間違っている点をすべて教えてください。
それでは、次回まで。平和を、ナード達よ。