GPT-2を読む⑤訓練データセット

前回に引き続き、OpenAIが2019年に発表した論文「Language Models are Unsupervised Multitask Learners」（GPTのバージョン２）の「アプローチ」を読み進めます。

GPT-2のアプローチの概要は分かりましたが、具体的にどのように訓練データセットを準備するのかがまだはっきりとしていません。