シンプルさと計算効率の間で： Transformerアーキテクチャの強みってなに？

お疲れ様です。

2017年にTransformerアーキテクチャが登場して以来、生成AIブームが続いています。

そして2024年現在でも、Transformerアーキテクチャは依然として広く使用されています。変化の激しいAI業界において、7年経った今でもこのアーキテクチャが主流であることは驚くべきことです。

しかし、Transformerアーキテクチャには、入力されたトークン数の2乗に比例して計算負荷が増えるという欠点があります。そのため、学習や推論時に大量の電力を消費するという問題があります。

この問題を克服するために、RWKVやMamba、RetNETなど、さまざまな新しい手法が提案されています。

これらのモデルは、トークン間のすべてのペアについて重要度を算出するという、Transformerアーキテクチャのシンプルでありながら強力な機能の一部を犠牲にすることで、計算効率を向上させることを目指しています。具体的には、トークン数の2乗で増加する計算負荷を、線形に抑える工夫がされています。

たとえば、RetNETはPKSHAやSpiralAIなどが実用化に向けて開発を進めていますが、2024年8月時点では、Transformerアーキテクチャを完全に置き換えるには至っていません。

Transformerアーキテクチャの強みは、その網羅的なトークン間の関係性チェックとシンプルなアルゴリズムにあります。一方、RWKVやMamba、RetNETは計算効率を向上させる代償として、アルゴリズムのシンプルさを一部犠牲にしています。例えば、RWKVはTransformerアーキテクチャとRNNを組み合わせたアプローチを取り、MambaやRetNETは状態空間や内部状態という、解釈が難しいモデルを基盤としています。

これらを考慮すると、現時点では、Transformerアーキテクチャのシンプルさという強みを部分的に犠牲にするアプローチでは、完全な代替には至らないのではないかと考えています。

もちろん、特定のタスクにおいてはRWKVやMamba、RetNETがTransformerアーキテクチャを上回る精度を発揮する可能性はありますが、総合的に見ると、Transformerアーキテクチャが最も高い読解力と汎用性を備えたモデルであると考えます。

まとめると、Transformerアーキテクチャの強みは、そのシンプルさにあり、このシンプルさを犠牲にしてモデルを構築すると、Transformerアーキテクチャよりも読解力が劣る可能性があるということです。

汎用性の高いモデル≒シンプルなアルゴリズム、ということなのかもしれませんね。

最後までお読みいただき、ありがとうございました。