Split-and-Denoise: Protect large language model inference with local differential privacy
本研究の学術的背景は、大規模言語モデル（LLM）が自然言語理解の能力を持ち、テキストの埋め込み値に隠れた意味を捉えることができることです。しかし、テキストをサーバーに直接送信することは、個人情報の漏洩のリスクを大きくしています。そこで、本研究ではモデルを分割して、トークン埋め込み層をクライアント側で実行する方法を提案しました。
本研究の目的は、プライバシーの保護を最適化しながら、LLMアーキテクチャと異なる下流タスクの間のトレードオフを向上させることです。私たちのアプローチは、LLMの推論段階において動作し、モデルのパラメータを変更する必要がないため、独自性と創造性があります。
本研究は、オンラインLLMサービスのプライバシーの懸念に関連しており、関連する国内外の研究動向は、暗号化やノイズの注入などの方法を使用してプライバシーを保護するための試みを行っています。特に、分散学習やノイズの注入によるプライバシー保護を行う研究がありますが、本研究はモデルの分割とノイズの注入を組み合わせることで、プライバシーとユーティリティのトレードオフを最適化する新しいアプローチです。
本研究では、SnDフレームワークの有効性を実証するために、さまざまなLLMアーキテクチャと異なる下流タスクにおいて実験を行いました。実験結果は、ベースラインと比較して同じプライバシーバジェットの下で大幅なパフォーマンス向上を示し、クライアントに対してプライバシー保護のソリューションを提供することを示しています。
本研究では、SnDフレームワークの有効性を実験によって検証しました。実験では、さまざまな下流タスクにおける埋め込みのユーティリティを評価しました。結果は、SnDがプライバシーとユーティリティのトレードオフを最適化することができることを示しています。