GPT-1を読む⑤事前２

前回は、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」の「３ Framework」（セクション３「フレームワーク」）を読み始めました。

特に、セクション３.１「教師なしの事前学習」で登場する目的関数を中心に解説しました。今回は、この続きで登場するトランスフォーマーのデコーダなどを中心に読み進めていきます。

ここでやっと下図の左側の仕組みについて触れることになります。

論文図１

次に来るトークンを予測する事前学習の続きを読み進めます。