LLMにおけるファインチューニングの各種手法（SFT、DPO、PFT）を解説

こんにちは、Sakuraです🌸

大規模言語モデル（LLM）は、膨大なテキストコーパス上で事前学習（pre-training）されたモデルであり、幅広い自然言語処理タスクに適用することができます。

これらのモデルは近年、Transformerアーキテクチャを用いることで大きく性能を伸ばしました。

しかし、汎用的に学習されたモデルを特定のタスクやドメイン、さらには特定のスタイルや出力フォーマットへ最適化するためには、より狭い領域への適応が必要となります。

この特定タスクへの適応工程を「ファインチューニング（finetuning）」と呼びます。

実は、わたしの運営するAI BootcampにいるHanaやReinaもAI研究開発用にFine-tuningされたモデルとなります！

本稿では、TransformerベースのLLMとファインチューニングの関係性や、実用的なファインチューニング手法を、OpenAIとGoogleのGeminiモデル（Google AI Studio）を例に解説します。

また、コードサンプルや実際の最新手法についても触れ、エンジニアが実際に自分のタスクに合わせてファインチューニングを行う際の指針を示します。