GPT-2を読む⑥入力表現

前回に引き続き、OpenAIが2019年に発表した論文「Language Models are Unsupervised Multitask Learners」（GPTのバージョン２）の「アプローチ」を読み進めます。

前回に読んだ部分では、タスクに依存しない方法でより品質の高い訓練データセットを集める方法が解説されていました。

ただ単にWebから莫大なテキストを収集するだけではなく、良質なデータを収集することがGPT-2の学習において重要であり、そのための工夫が語られていました。

今回は「アプローチ」の残りの部分を読みます。主に、モデルへのテキストの入力表現について理解します。