言語AIの進化史⑭BPTT（Backpropagation Through Time）

前回は、再帰型ニューラルネットワークを一般化した形で解説しました。

主に以下のRNNの構成パターンを紹介しました。

• 回帰・分類：最後の隠れ状態から予測を行う

• 時系列処理：各ステップから予測を出力する

• Seq２Seq：エンコーダ・デコーダ機械翻訳

• 積み重ねる：多層化による複雑な特徴量抽出

RNNでは、これらの組み合わせが可能であり、複雑にもなりがちですが、同時に非常にフレキシブルになっています。

そこで今回紹介するのは、すべてのRNNの構成パターンにおける学習を支える仕組BPTT(Backpropagation Through Time、時間軸に沿った誤差逆伝播法)です。

前回のように図と式を使いながら、RNNでの誤差逆伝播法がどのような手順で処理されるのかを解説します。

関連記事の紹介

なお、今回はベクトルによる微分や誤差逆伝播の基本的な理解を必要とします。必要に応じて、以下の記事も参考にしてください。