Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は、Federated Learning（FL）を使用して、大規模言語モデル（LLMs）の効率的なトレーニングと効果的なフィードバックを実現する方法はあるか、というものです。

2. 本研究の目的は、LLMsのトレーニングプロセスにおけるパラメータの更新量を効率的に制御し、より効果的なFLを実現することです。独自性と創造性は、効率的なパラメータ調整方法（Prompt tuning）と適応的最適化手法（Adaptive Optimization）の組み合わせにあります。

3. 本研究の着想は、分散データを扱うためのFederated Learning（FL）の可能性と、大規模言語モデル（LLMs）の効率的なトレーニングに関する関連研究から得られました。関連する研究動向は、FLやLLMsに関する最新の研究成果や応用例を調査し、その中で本研究の位置づけを見出しました。

4. 本研究では、FedPepTAOと呼ばれる手法を提案しました。具体的には、効率的なパラメータフレーズ調整手法と適応的最適化手法の組み合わせにより、LLMsのFLにおける効率的なトレーニングと効果的なモデル更新を実現しました。10のデータセットを使用した評価実験に基づいて、FedPepTAOの優れた性能と効率性を示しました。

5. 本研究の有効性は、10のデータセットを使用した広範な実験によって検証されました。FedPepTAOは、他の9つのベースライン手法と比較して、精度（最大60.8％向上）と効率性（最大97.59％高速）の面で優れた結果を示しました。