GPT-3を読む④導入（その２）

前回は、OpenAIが2020年に発表した論文「Language Models are Few-Shot Learners」（GPT-３）の「導入」の前半を読みました。

特に、「事前学習＋微調整」の台頭と限界が議論の中心になっていました。どちらかというと問題点が指摘されており、解決のアプローチには触れられていません。また、「メタ学習」や「文脈内学習」といったキーワードもまだ登場していません。

では、「導入」の中盤を読み進めていきましょう。