AIブームの裏側：インターネットとGPUが支えた意外な歴史

お疲れ様です。

私は日々、ChatGPTをはじめとするLLM（大規模言語モデル）と対話を繰り返していますが、そもそもAIがどのように発展してきたのか気になり、少し調べてみました。

LLMブームの発端としてよく知られているのは、2017年に登場したTransformerアーキテクチャです。

しかし、AIの歴史を広い視点で振り返ってみると、現代のAIブームの真の始まりは、2012年に発表された画像認識モデル「AlexNet」であることがわかります。AlexNetは、深層学習の持つ大きなポテンシャルを世に示し、AI技術への関心を一気に高めました。

この流れは多くの人が知っていますが、さらに歴史を遡ると、深層学習の基礎となるアイデアは1989年にまでさかのぼります。

1989年、ジェフリー・ヒントンがニューラルネットワークをバックプロパゲーションという手法で学習させることを提案しました。

しかし当時は「勾配消失問題」があり、深層ネットワークを効果的に学習させることは困難でした。また、計算処理能力が限られ、大規模なデータを集める手段も不足していたため、このアイデアは一時的に停滞しました。

1989年から約20年間は深層学習技術の潜伏期でしたが、2011年にRelu関数の導入によって勾配消失問題が解決され、バックプロパゲーションが再び注目され、これがAlexNetの成功に繋がりました。

興味深いのは、深層学習が再び注目されるまでの1990年代から2012年までの間に、計算処理能力やデータの蓄積技術も偶然にも進化していた点です。

1990年代後半からインターネットが急速に普及し、大量のデータが容易に集められるようになりました。また、動画やゲームの処理に用いられていたGPU（半導体チップ）の進歩により、計算処理能力も飛躍的に向上しました。

これらのデータ蓄積とGPUの進化が深層学習の基盤を強化し、現在のAIブームを支える大きな要因となったのです。

まとめると、バックプロパゲーションという手法は1989年に提案されたものの、技術的課題やリソースの制約から実用化には至りませんでした。しかし、2011年にRelu関数の導入によりその課題が解決され、2012年のAlexNetによって深層学習が再び注目されるようになりました。

そして、インターネットの普及やGPUの進化といった他分野の技術進歩が、意図せずに深層学習の発展を支えたことも重要だと感じています。

一見無関係に見える技術の進歩（インターネット・GPU）が、予期せぬ形で別の分野（深層学習）の発展に大きく寄与することがあるのは、とても興味深いですね。

最後までお読みいただき、ありがとうございました。