SF作家「野崎まど」の小説をGPT-2の1558Mモデルで学習させてみた話

はじめにGPT-2は、イーロン・マスク氏が設立に関わったOpen AI社が開発しました。GPT-2は、データセットでトレーニングされた15億個のパラメーターを持つ大規模なトランスベースの言語モデルです。 （引用：OpenAI）https://openai.com/blog/better-language-models/　 簡単に説明すると、GPT-2は、前の単語を踏まえて次に来る単語を予測します。つまり、歌詞や、小説なども、データを流し込めば、膨大なパラメーターによって、