言語AIの進化史⑯GRU（Gated Recurrent Unit）

前回は、長期の依存関係の学習により適した再帰型ニューラルネットワーク（RNN）である Long Short-Term Memory（LSTM）を紹介しました。また、LSTMには、勾配消失と勾配爆発の問題も軽減されているという利点がありました。そのため、RNNの主流はLSTMになっていきました。

しかし、LSTMの構造は複雑であり、計算コストが高いところが改善の余地ありと考えられました。そこで、LSTMの構造を簡略化し、より軽量で効率的な代替として提案されたのが GRU（Gated Recurrent Unit）です。

今回は、RNN、LSTM、GRUを比較しながら、GRUによる効率化の仕組みを解説します。