言語AIの進化史⑪ホップフィールド・ネットワーク

前回は、隠れマルコフモデル（HMM）を解説しました。

HMMは、時間的な依存関係を状態遷移行列を使ってモデル化する仕組みです。例として、音声認識を取り上げました。その中で、HMMが各音素の時系列パターンを捉える方法を紹介しました。ただし、隠れ状態を予測するために混合ガウスモデル（GMM）が使われ、後には、深層ニューラルネットワーク（DNN）が使われるようになりました。

やがて、エンドツーエンド（End-to-end）で動作する音声認識モデルが登場します。すべてを統合されたニューラルネットワークで処理するものです。これによって、システムがシンプルになり処理速度が速くなりました。また、音声からテキストへの変換全体を直接的に最適化できるので学習効率も高くなりました。

このニューラルネットワークの部分では、再帰型ニューラルネットワーク（Recurrent Neural Network、RNN）が活躍しました。RNNは、時系列データやシーケンスデータのモデリングのためのニューラルネットワークです。

ただし、RNNの発展は、音声認識での応用よりもずっと前に始まっています。

初期のRNNに影響を与えたモデルとして、ホップフィールド・ネットワーク（Hopfield Network）があります。ニューロンが相互接続する全結合型のニューラルネットワークとして提案されました。

今回は、このホップフィールド・ネットワークを紹介します。