FedPEAT: Convergence of Federated Learning, Parameter-Efficient Fine Tuning, and Emulator Assisted Tuning for Artificial Intelligence Foundation Models with Mobile Edge Computing
本研究の学術的背景、研究課題の核心をなす学術的「問い」は、「大規模な言語モデルやコンピュータビジョンモデルの展開と微調整は、困難な課題をはらんでおり、その解決は重要である」ということです。具体的には、協力的なトレーニング、モデルの所有権、計算上の制約などの問題が取り上げられています。
本研究の目的は、Emulator-Assisted Tuning (EAT)とParameter-Efficient Fine Tuning (PEFT)を組み合わせて、Parameter-Efficient Emulator-Assisted Tuning (PEAT)を提案することです。さらに、PEATをFederated Learning (FL)に拡張し、Federated Parameter-Efficient Emulator-Assisted Tuning (FedPEAT)フレームワークとして提案しています。このフレームワークは、モデルのプライバシーを向上させ、メモリ効率の良いダウンストリームの微調整を容易にすることを目指しています。
本研究の着想は、大規模な言語モデルとその展開に関連する問題意識から生まれました。モデルの所有者が外部のデバイスと協力したり、モデルの一部を安全に分配したりするメカニズムを開発する必要性があるためです。また、言語モデルの微調整には計算リソースが必要であり、リソース制約のある環境では普及が制約されることも問題となっています。
本研究では、Emulator-Assisted Tuning (EAT)とParameter-Efficient Fine-Tuning (PEFT)を組み合わせたParameter-Efficient Emulator-Assisted Tuning (PEAT)を提案しています。さらに、PEATをFederated Learning (FL)に拡張したFederated Parameter-Efficient Emulator-Assisted Tuning (FedPEAT)フレームワークを提案しています。これにより、モデルのプライバシーを向上させつつ、メモリ効率と計算効率を向上させた協力的な微調整が可能となります。
本研究では、実験評価を通じてFedPEATフレームワークの実用性と効果を検証しています。具体的には、サーバ側がデータを所有し、協力的なフェデレーテッドモデルの微調整プロセスに参加する場合の特殊なケースを考慮しました。これにより、本研究のアプローチの実際的な適用性と有効性を示すことを目指しています。