GPT-1を読む⑦入力変換

前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」のセクション３.２「教師ありファインチューニング」（Supervised fine-tuning）を読み終えました。

これによって、事前学習されたモデルを特定のタスクへと微調整するための目的関数を数学的に理解しました。

よって、これまでに、事前学習とファインチューニングの枠組みがわかったのですが、より具体的な言語タスクに対するイメージは、まだ湧わいてきません。

例えば、２つの入力文があるようなタスクに対してどのように対応できるのでしょうか。

そこで、今回はセクション３.３「タスク特有の入力変換」（Task-specific input transformations）を読み進めていきます。事前学習されたモデルを微調整するためのタスク特有の入力の仕方について解説しています。

下図の右側が今回フォーカスされる部分となります。

論文図１

今回のセクションでは、モデル自体を大幅に変更することなく、特有の言語タスクに対応できることが理解できます。