課題を「物量で解決する」という発想

テクノロジーのトレンドをみると、ディープラーニング以降、課題の解決策は「物量」であるというのが色濃くなってきた。

Googleの開発した囲碁プログラム「AlphaGo」は、2016年に韓国のプロ棋士、イ・セドルを、2017年には、人類最強とも呼び声の高かった中国の天才棋士、柯潔（カ・ケツ）を打ち破ったが、その際にGoogleは圧倒的な物量を用いて、この囲碁アルゴリズムを開発・運用したことが知られている。

例えば、このアルゴリズムのトレーニング時には、自身との対局を数千万回も繰り返している。

人間が設定した評価経験則に従うのではなく、人間の棋譜のデータを元に、コンピューターが自分自身との対戦を数千万回にわたり繰り返すことで強化していきます。この際モンテカルロ木探索と呼ばれる探索アルゴリズムを組み合わせたこともAlphaGoの特徴の一つです。

データの時間「【徹底解説：AIとボードゲーム】AlphaGoって何がスゴいの？AIが人知を超えるまで」より

また、こうしてトレーニングしたプログラムを実際の対局で稼働させる際には、1,000台以上のプロセッサーをクラウドで稼働させている。

AlphaGoは、もちろんパソコン1台でそんな性能を発揮したわけではない。1000台以上のプロセッサを束ねたクラウドサーバの上で動作した。

IT Media News「AlphaGoの運用料金は30億円以上？」より

つまり、圧倒的な物量を投入すれば、稀代の天才棋士さえ打ち破れてしまうということだ。

そして、2023年以降、ChatGPTが世間を騒がせた。当時このChatGPTの裏側で動いていた大規模自然言語モデル（LLM）は「GPT-3」だが、これはTransformerという既存のLLMモデルをベースにしている。しかし、従来のモデルと違ったのは、その圧倒的な「物量」だった。

アーキテクチャは、デコーダのみのTransformerネットワークで、2048トークン長のコンテキストと、1750億個のパラメータという前例のないサイズを持ち、保存するのに800 GBを必要とした。

Wikipedia「GPT-3」より

つまり、乱暴に言ってしまえば、圧倒的に多くの情報をつっこんで、圧倒的に多くのパラメータを持ち、圧倒的に多くの試行回数をこなすことで、コンピューターはだいたい何でも出来てしまうというのが、最近のトレンドである。

そして、こうした大きなトレンドは10年程度で終わるものではないので、今後も続くと考える。