言語AIの進化史⑫ジョーダン・ネットワークとエルマン・ネットワーク

前回は、ホップフィールド・ネットワークの紹介をしました。

ホップフィールド・ネットワークは、すべてのニューロンが互いに結びついた全結合型のニューラルネットワークで、内部に「状態」を保持し、反復的な処理を通してその状態を更新していきます。この仕組みにより、与えられた入力パターンに最も近い記憶されたパターンを見つけ出し、欠損部分を補完することができます。こうした機能は連想記憶と呼びます。

順伝播型ニューラルネットワーク（Feedforward Neural Network、FNN）とは異なり、ホップフィールド・ネットワークは内部に保持した情報を繰り返し更新する「反復的な構造」を持っています。ただし、この更新は、エネルギー最小化を通じてパターンを安定させるもので、シーケンス内の順序や時間依存のデータ処理とは異なります。

再帰型ニューラルネットワーク（Recurrent Neural Network、RNN）も、内部状態を保持しながら繰り返し処理を行う点でホップフィールド・ネットワークと似ていますが、RNNは時系列データや言語処理などのシーケンスデータの処理に特化したモデルです。

今回は、初期のRNNであるジョーダン・ネットワークとエルマン・ネットワークを解説します。