Transformer²: AIの新時代を告げるSakana AIの革新的モデル
先日ご紹介した「AI Scientist」の開発で注目を集めたSakana AIが、また画期的なAIモデルを発表しました。AI Scientistは、機械学習分野において論文のアイデア創出から執筆、さらには自己査読までをこなすAIとして話題となり、その後の予期せぬルール改変でも議論を呼びました。
今回、同社が発表したのは「Transformer²」（Transformer の二乗）と呼ばれる革新的なモデルです。
この名称には深い意味が込められています。Transformerとは、2017年にGoogleが発表した、現在の生成AIの基盤となっている計算方式（Attention機構）のことです。その二乗という表現は、既存のTransformerモデルをさらに進化させた新しいアプローチを示唆しています。
タコに学ぶ自己適応型AI
本モデルの特徴を端的に表現するのが「自己適応型」という概念です。その仕組みを理解する上で、タコの擬態能力が良い例えとなります。タコは周囲の環境に応じて、自身の色や形を変化させることができます。この高度な適応能力は、タコの優れた知能を示す一例であり、実際にカリフォルニア州では知能の高さを理由に養殖が禁止されているほどです。
革新的な二段階プロセス
Transformer²の技術的革新は以下の二段階にあります：
特異値分解による事前分析
・既存のLLM（今回はLlamaやMistralを使用）を「外科手術」のように分解
・モデルの得意分野・苦手分野を精密に分類動的な自己適応
・プロンプト入力ごとに最適な処理方法を自動調整
・従来方式（LoRA）と比較して優れたベンチマーク結果を実現
人間の脳を思わせるアーキテクチャ
このモデルの仕組みは、人間の脳の働きと興味深い類似点を持っています。人間の脳では、視覚や聴覚からの情報が個別に処理された後、前頭葉などで統合されて思考が形成されます。これは、ジェフ・ホーキングの「1000の脳理論」―各部位が独自の世界モデルを持ち、それらが協調して思考を生み出すという考え―とも共鳴する部分があります。
今後の展望
今回の内容は、皮肉にも人間の脳の仕組みに回帰しているようにも見えます。そしてTransformer²と名付けたように、既存のLLMをメタ的に活用する新しいアーキテクチャとして、文字通り二乗的な成果が期待できます。
Sakana AIの今後の展開から目が離せません。