”More Agent”はLLMの見えない壁を超えるか？
今の生成AI、もっと言えばLLM（大規模言語モデル）は、言語など時系列データに強いTransformerという技法から花が咲いたといっても過言ではないです。
その中でも、従来切り捨てていた過去情報をうまくつなげる”Attention”という仕組みが中核にあります。今でも元論文は誰でも見ることはできます。
GPTをはじめとして、今のメジャーな生成AIサービスは多かれ少なかれこのAttention機構を応用しています。
結果、従来の機械学習の常識を破る「スケーリング則」が発見されて、最強をガンガン超えていくインフレ状態です。関連記事を添えておきます。
この「スケーリング則」が永久に続くかといえば、賛否両論です。
そんな中、今新しい方法で「スケーリング則」、もっといえばLLMのパフォーマンスを高められるというアイデアが話題です。
その論文はこちら。
Attention論文のオマージュ（？）なのか、あえて同フォーマットのタイトルにしています。
砕いて書くと、
「Agentをうまく増やしてもスケーリングするよ」
という話です。
AIに要約してもらいます。
- 大規模言語モデル（LLM）のパフォーマンスは、エージェントの数（アンサンブルサイズ）を単に増やすことで向上できることが、さまざまなLLMとタスクをまたがるスケーリングを通じて示されました。この改善は、サンプリングと投票の技術を用いて実現されます。
- この方法は、LLMを強化するための既存の複雑な手法と補完的であり、タスクの難易度が高いほど効果が大きくなることがわかります。
- より小さなLLMの大きなアンサンブルを使用することで、より少ない大きなモデルを使用する場合と同等またはそれ以上のパフォーマンスが得られることが実験で確認されました。
- この方法は、問題解決タスクでの難易度が増す場合に、Chain-of-Thoughtプロンプティングなど他の方法と組み合わせることでパフォーマンスをさらに向上させる可能性も示しています。
- 公開されているコードと多様なデータセットでの包括的なテストにより、このアプローチがLLMの出力を強化するための簡単で効果的な戦略であることが検証されています。
複雑なタスクにおいてその効力を発揮するようですね。
「投票」というのが分かにくいので補足すると、エージェント群に何度も回答させて、他のエージェントとの類似率が最も高いものを選ぶ、というステップを踏みます。
昔、Web2.0が流行ったころに「多数の声は自分よりかしこい(We Are Smarter than Me)」という言葉がはやったのを思い出します。
もう１つ連想したのは、我々の脳内での知的な処理プロセスです。
まだ仮説の域を出ませんが、ジェフ・ホーキンスが提示した「千の脳理論」です。１つ１つのニューロンがLLMに相当し、それらが予選を勝ち抜いて選抜されたものが統合されて、思考など高度な知的活動を実現します。
以前にも紹介したので、興味を持った方は覗いてみてください。
と書いていくと、我々の人間の社会的・還元的な動作との類似性が散見されます。
このあたりのアナロジーは、それこそ「そうあってほしい」という脳のバイアスかもしれませんが、興味深いのでまた追求してみたいですね。
いずれにしても、このエージェント論文に基づくLLMが出てきたらまた紹介してみたいと思います。