
生成AI時代の天の時と地の利
どこでもイノベーションが起こりそうで起こらない生成AIの今後を展望します。
巨大なギャップ
実現しない生成AI万能時代
生成AIの利用自体は広く広がっています。大企業で業務で生成AIを利用していないところのほうが少数派でしょう。
しかし、産業革命以上と言われるような変化は怒っていません。
革命というには次のような変化が起こると思っていました:
生成AIに預金を預けると毎月増やしてくれる
営業代行生成AIの会社が主流になり企業から営業機能がアウトソースされる
ソフトウェア開発会社は生成AIエージェントで開発をするようになる
いずれも現実化していません。
生成AIで空前の利益を享受しているのはつるはしを売っているNVIDIAとその関連企業です。
これは生成AIが完全なバブルであるか、さもなければ、非常に黎明期であることを示しています。
技術の進展
では生成AI技術が進展していないかというとそんなことはありません。
OpenAIのo1-previewの推論能力は従来の生成AIを凌ぐものであり、さらに Deepseek-r1-previewなどが追撃しています。
OpenAIのGPT-4o miniのAPIコストは最初に出たころの1/100になっています。その他の周辺コストのほうが効いてくることを考えれば、これは経済学的にいえば無料になったみたいなものです。
基礎的な分野で2024年に驚いた進歩といえば:
Transformerが任意の論理計算ができることが示された(ただの機械学習メカニズムではなかった)([li]) Transformerがチューリング完全であることが示された(どんな計算でも実現可能)([qiu])
Infini-attentionが発表された(無限のメモリを扱えるようになる可能性が示された)([munkhdalai])
o1-previewが発表された(推論時に計算量を積めば精度はいくらでもあがる可能性が出た)([[openai])
推論時訓練が示された(推論過程で例を考え、モデルを最適化する可能性が示された)(][Akyürek] )
Soraや Advanced Voice Modeなど実世界理解できる生成AIが発表された
Microsoft Ignite 2024で示されたように、a) マルチモーダルユーザインタフェース、b) 推論、c) メモリ、の3領域で格段の進化が進んでいます([microsoft])。
巨大なギャップがビジネスチャンス
技術は2024年1月が始まったときに予想していたのをはるかに超える進化が起こっています。
同時に世の中やビジネス社会はそれほど変わっていません。
TikTokのCEO Zhang Yimingは正しい時、正しい場所(The right time, the right place) にいることが何より重要と言っています。イノベーションに出くわすことが他の起業要素(アイディア、金、人脈、・・・)より重要だということです。
この意味では、安価で世界中どこからでもアクセスできる生成AIが提供されている現在は、人類80億人の多くが「正しい時、正しい場所」にいることになります。
日本風にいえば「天の時と地の利」が誰にも平等にあるとも言えます。
むすび
大規模言語モデルは巨大なパラメータを除けばプログラミングは数百行に過ぎません。パラメータが数百億もあるとはいえ、プログラミング的にはさほど難しくないものがこれほど能力を発揮するのは驚きです。
ビジネスチャンスと書きましたが、この大チャンスに何を考えればいいのか、正直申し上げて私もわかりません。すべての人が空前の大チャンスの前で茫然としているというのが現実なのかもしれません。誰も気が付いていない、実現すればだれもがあっというアイディアは何なのか、考えても悩みは尽きません。
ChatGPTがリリースされたとき、松尾豊先生が生成AIのすごいのは技術イノベーションではなく、社会イノベーションだ、と言っていました。生成AIの社会イノベーションとは何なのか、それがどう起こるのかを興味深く見守っています。
参考文献
[Akyürek] Ekin Akyürek, Mehul Damani, Linlu Qiu, Han Guo, Yoon Kim, Jacob Andreas, The Surprising Effectiveness of Test-Time Training for Abstract Reasoning, https://arxiv.org/abs/2411.07279 2024年
[li] Zhiyuan Li, Hong Liu, Denny Zhou, and Tengyu Ma.Chain of thought empowers Transformers to solve inherently serial problems.In The Twelfth International Conference on Learning Representations, 2024. https://arxiv.org/abs/2402.12875 2024年
[microsoft] Full Keynote: Satya Nadella at Microsoft Ignite 2024 https://www.youtube.com/watch?v=3YiB2OvK6sY Microsoft 1h16m19s 2024年
[munkhdalai] Tsendsuren Munkhdalai, Manaal Faruqui, Siddharth Gopal: Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention https://arxiv.org/abs/2404.07143 2024年
[openai] Learning to Reason with LLMs https://openai.com/index/learning-to-reason-with-llms/ 2024年
[qiu] Ask, and it shall be given: Turing completeness of prompting Ruizhong Qiu, Zhe Xu, Wenxuan Bao, Hanghang Tong https://arxiv.org/abs/2411.01992 2024年