見出し画像

Transformerとは汎用訓練コンピュータの登場

ai300lab

今週、心に残った言葉は「汎用訓練コンピュータ」です。


生成AIの進化の歴史

生成AIの進化の歴史は以下の通り：

  • 神経ネットワークの発明

  • GPU利用開始

  • Transformerの発明

脳に近い神経ネットワークを構成して問題を解くという発想は1980年代からありました。もともとAIはシンボル主義（シンボルを中心に推論システムを作る）とニューラル主義（関係性を中心に推論システムを作る）の2つがせめぎあって発展してきました。
万能近似定理が出て、線形関数はいくらでも近似できるということは理論的には最初からわかっていました ([wikipedia])。残念ながら計算資源がない時代には十分な近似をする計算ができませんでした。
2012年にニューラルネット学習へのGPU利用が始まりました([cvml-expertguide])。ニューラルネットで画期的な成果を出したトロント大学のAlexNetでGPUを使い始めたのがIlya Sutskeverです。IlyaはAI界のスーパースターになり、OpenAIでChatGPTを作り出し、今はSafe Superintelligenceの創業者です。
2017年にGoogleがAttention is All You Needという論文でTransformerという並列計算可能なアーキテクチャを発表しました[AshishVaswani]。これが現在の生成AIブームのベースになっています。Transformerは並列学習を加入にすることによって大量のGPUを利用して大量のデータを学習することを可能にしました。

汎用訓練コンピュータの登場

TeslaとOpenAIに在籍していたAndrej Karpathyは平易に生成AIを解説できるエキスパートです。Andrej KarpathyがTransformerは汎用訓練コンピュータの誕生だと言っています。同じアルゴリズム、同じデータでも計算機資源を投入すればどんどんAI学習の精度があがる。GPUを投入すればどんどんいい結果が投入される時代が来たというわけです。
単なる研究の1ステップではなく、全く新しい時代が来たという認識が新鮮でした。
汎用訓練コンピュータですから、これをどう使うかが問題になるわけです。1万人のAIエンジニアがいるGoogleが100人しかいなかったOpenAIの後塵を拝したのも、GoogleではTransformerよりもっといいアーキテクチャを研究しようとしていたとのに対して、OpenAIはエンジニアの数が足りないのでTransformerによる学習に賭けることができたからではないかと思います。

むすび

Transformerで世界が変わったというのは汎用訓練コンピュータが登場したからです。コンピュータの歴史が変わったといってもいいかもしれません。Transformerの画期的位置に合点がいった今週でした。
噂ではOpenAIのコードネームStrawberryも今月中に出るようですがどうなるかが楽しみです。

参考文献

いいなと思ったら応援しよう！