Stabilizing Transformers for Reinforcement Learning Emilio

タイトル
『Stabilizing Transformers for Reinforcement Learning Emilio』(ICML 2020)
(URL:https://arxiv.org/abs/1910.06764) 

著者
Emilio Parisotto, H. Francis Song, Jack W. Rae, Razvan Pascanu, Caglar Gulcehre, Siddhant M. Jayakumar, Max Jaderberg, Raphael Lopez Kaufman, Aidan Clark, Seb Noury, Matthew M. Botvinick, Nicolas Heess, Raia Hadsell

概要
Transformerを強化学習に融合させたモデル"Gated Transformer-XL(GTrXL)"についての論文。
長いタイムステップを扱ったり部分観測なタスクに対して上手く機能する事を予想しているが、Transformerの学習の難しさなどが課題。
本論文ではそれらを改善、強化学習にフィットする様子に改良する事でオリジナルのTransformerよりも学習率が早く、安定したモデルになる事を示した。