【論文瞬読】LLMの集団学習：マルチエージェントファインチューニングによる性能向上の新手法
こんにちは！株式会社AI Nestです。大規模言語モデル（LLM）の性能向上において、ファインチューニングは重要な技術です。しかし、従来の単一モデルによる自己改善手法では、数回の反復で性能向上が頭打ちになるという課題がありました。また、GPT-4のような最先端の商用モデルを教師として使用する方法も、高いコストや法的制約から現実的ではありません。
本日は、これらの課題に対する革新的なアプローチを提案する論文を紹介します。研究チームは、複数のLLMを協調させることで、持続的な性能向上を実現する新しいファインチューニング手法を開発しました。
タイトル：Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains
URL：https://arxiv.org/abs/2501.05707
所属：MIT CSAIL, Harvard University, Stanford University, Google Deepmind
著者：Vighnesh Subramaniam, Yilun Du, Joshua B. Tenenbaum, Antonio Torralba, Shuang Li, Igor Mordatch
図2は本手法の全体像を示しています。同じベースモデルから始まる複数のLLMを、異なる役割に特化させることで、互いに高め合いながら学習を進めていく様子が分かります。
マルチエージェントファインチューニングの仕組み
基本概念と特徴
本手法の最大の特徴は、複数のLLMを「生成エージェント」と「批評エージェント」という異なる役割に専門化させる点にあります。これは人間の学習過程にも似ています。例えば、あるメンバーが解答を提案し、別のメンバーがそれを批評・改善するというグループ学習の形態と類似しているのです。
生成エージェントは入力に対する初期回答を生成する役割を担います。各生成エージェントは、独自の推論方法や視点を持つように訓練されます。これにより、単一の「正解」だけでなく、複数の異なるアプローチが維持される仕組みになっています。
一方、批評エージェントは他のエージェントの出力を評価し、改善提案を行います。重要なのは、批評エージェントも単なる評価者ではなく、より良い解決方法を提案する建設的な役割を果たすという点です。
学習の循環プロセス
システムの学習プロセスは、以下のような循環的な構造を持っています：
まず生成フェーズでは、複数の生成エージェントが独立して回答を生成します。各エージェントは、自身の専門性に基づいて問題にアプローチします。
次の批評フェーズでは、批評エージェントが生成された回答を評価します。ここでの評価は単純な正誤判定ではなく、回答の論理性、効率性、実現可能性など、多角的な観点から行われます。また、改善のための具体的な提案も行われます。
統合フェーズでは、多数決により最終的な回答が決定されます。しかし、これは単純な投票ではなく、各エージェントの専門性や過去の成功率なども考慮された重み付けされた決定プロセスとなっています。
最後の学習フェーズでは、各エージェントが自身の担当領域のデータでファインチューニングされます。このとき、他のエージェントの成功例や失敗例も学習データとして活用されます。
図1は、従来の単一モデルによる手法（Single-agent FT）と本手法（Multiagent FT）の性能比較を示しています。従来手法では3-4回の反復で性能が頭打ちになるのに対し、本手法では反復を重ねても着実な性能向上が継続していることが分かります。
実験による検証
包括的な評価設計
研究チームは、手法の有効性を実証するために、様々な規模と種類のモデルで実験を行いました：
商用モデルとしては GPT-3.5 を、オープンソースモデルとしては Phi-3 (4B)、Mistral (7B)、LLaMA-3 (8B) を使用しています。これらのモデルは、パラメータ数や事前学習データの特性が異なり、手法の汎用性を検証する上で適切な選択といえます。
表1が示すように、すべてのモデルで本手法は従来手法を上回る性能を示しました。特に注目すべきは、モデルの規模や種類に関わらず、一貫した改善が見られた点です。
多様性の維持と分析
本手法のもう一つの重要な特徴は、性能向上と同時に推論の多様性を維持できる点です。研究チームは、この多様性を複数の指標で評価しています：
応答の埋め込み類似度による分析では、各エージェントが異なる推論パターンを維持していることが確認されました。また、KLダイバージェンスを用いた分析では、エージェント間の出力分布の違いが、学習を重ねても維持されることが示されています。
このような多様性の維持は、単に異なる回答を生成するということではありません。各エージェントが異なる推論アプローチや問題解決戦略を持つことで、より柔軟で堅牢なシステムが実現されているのです。
実装とリソース要件
本手法の実装には、かなりのコンピューティングリソースが必要です：
4台のH100 GPUまたは4台のA100 GPU
120GB-240GBのGPUメモリ
推論時間：12-24時間（複数GPU使用）
これらの要件は、本手法の実用化における現時点での主な課題といえます。ただし、研究チームは将来的な改善の方向性として、モデル間での重み共有や量子化による効率化を提案しています。
まとめと展望
本研究は、LLMの性能向上に関する新しいパラダイムを提示しています。マルチエージェントアプローチにより、単一モデルでは実現が難しかった持続的な性能向上と多様性の維持を両立させました。
特筆すべき成果として：
反復を重ねても性能向上が継続する持続的な学習の実現
生成と批評の役割分担による効果的な学習メカニズムの確立
多様性を維持しながらの改善を可能にする新しいアーキテクチャの提案
が挙げられます。
今後の課題としては：
計算コストの削減
推論時間の短縮
より効率的なモデル共有方法の開発
スケーラビリティの向上
などが残されています。
しかし、これらの課題は技術の進歩とともに解決されていく可能性が高く、本手法はLLMの性能向上に関する研究に新しい方向性を示すものといえます。特に、人間の学習過程に似た「協調的な学習」という視点は、今後のAI研究において重要な示唆を与えるものと考えられます。
本手法の発展により、より効率的で効果的なLLMの学習手法が確立されることが期待されます。また、この研究で示された「協調による学習」という考え方は、AI分野に限らず、人間の学習や組織学習にも示唆を与える可能性があり、今後の展開が注目されます。