第3章:LLMの訓練方法
概要本章では、LLM(大規模言語モデル)がどのように訓練されるのかを解説します。特に、モデルの訓練過程を大きく二つに分けた「事前学習」と「ファインチューニング」のプロセスを中心に説明します。これらの段階的な訓練手法が、LLMの性能を最大限に引き出すためにどれほど重要か、その仕組みを理解することが本章の目的です。また、自己教師あり学習がモデル訓練にどのように貢献するか、そして膨大なデータセットの活用がどのように行われるかについても触れていきます。
1. LLMの訓練プロセスL