GPT-1を読む⑥微調整

前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」のセクション３.１「教師なし事前学習」（Unsupervised pre-training）を読み終えました。

これでGPT-1における事前学習の数学的な枠組みが理解できました。

よって、今回はセクション３.２「教師ありファインチューニング」（Supervised fine-tuning）を読み進めていきます。ここでは、事前学習されたモデルを特定のタスクへと微調整するための目的関数を数学的に説明しています。

また、これまでに登場した「教師なし学習、教師あり学習、自己教師あり学習」といった用語に加えて「半教師あり学習」が登場します。