GPT-2を読む⑧各タスクの結果

前回までに、GPT-２の「実験」のセクションの前半を読み、実験の設定などの概要を理解しました。

今回は、「実験」の続きを読んで、各タスクの結果を確認します。

さて、GPT-2の論文のタイトルは「Language Models are Unsupervised Multitask Learners」であり、日本語にするならば「言語モデルは教師なしマルチタスク学習者」でした。

このタイトルが意味するのは、（大容量の）言語モデルに対して教師なし学習を行うことで、ファインチューニングなしでもさまざまなタスク（マルチタスク）に対応できるようになるというアプローチです。

いよいよ、このタイトルが目指す成果を実験で確認する段階に来ました。

ここでは、一字一句読むことはせず、タスクの理解とGPT-2の４つのバージョンが出した結果をまとめることに徹します。ただし、深い考察などがある場合は、いつものように英文に立ち返り注意深く読む進めていきます。

特に、どのようにしてGPT-2を異なるタスクに対してゼロショットで適用したのかを見ていきます。