2024年ノーベル物理学賞（補足）：ヒントンの発明品
2024年ノーベル物理学賞の補足です。
前回は、ホップフィールド氏の物理学的な側面での業績にしぼったので、今回はヒントン氏の業績に絞ります。公式サイトを参考にしています。
ヒントン氏はANN（人工ニューラルネットワーク）の開発に長年携わりました。
ホップフィールド氏の連想記憶モデルで採用されたエネルギー最小化を踏襲し、その計算方法に別の統計物理学を持ち込みます。
ボルツマンマシンと呼ばれます。ネットワークを構成する各ノードの確率を、エネルギーが最小になるように再帰的に計算します。
ただ、このやり方は膨大な計算量を必要とするため、同じ階層同士は接続させない制限付きボルツマンマシン（以下RBMと略記）を開発します。
ただ、これでもまだブレークスルーまでには及びません。
上記をさらに洗練させる仕組みとして、バックプロパゲーション（誤差逆伝播法）という方法を発明しました。これにはヒントン氏の弟子で、今でも現役で活躍中のヤン・ルカンとヨシュア・ベンジオが貢献しています。興味ある方は過去記事を。
この発明ですが、要は、出力結果の誤差を逆引きしてノード間の重みづけを補正するやり方です。
今までの２つの発明でANNモデルは洗練しましたが、それでもまだAIの能力としては十分ではありませんでした。特に課題だったのは、多層化されたANNを事前学習させる方法です。上記の技法が活躍する前段階の処理です。
最後の壁が敗れたのは、2000年に発明されたオートエンコーダー（自己符号化）と呼ばれる仕組みです。
従来は、答えを照合する「教師あり学習」が主流でしたが、この技法はなんと答えを与えず、単に出力した結果を次の入力にするという、正直意味のなさそうな処理です。
ところが、この事前処理を丹念に行った後に従来の技法を行うと、目覚ましく性能が向上します。
これらを組み合わせた技法をDeepBrief Networkと題して2006年に論文で発表したのが、今の第三次AIブームのトリガーとなります。（世に知られたのは2012年の国際画像認識コンテストですが）
途中でヒントン氏の弟子も載せましたが、ほかにも上記の基礎理論に貢献した人は多くいます。
なかでも日本人の貢献は無視できず、特にバックプロパゲーションの源流には甘利俊一氏と福島邦彦氏の基礎研究があります。（参考リソースの引用にも登場）
今年は、ノーベル平和賞を日本の団体が受賞しました。ぜひ来年は自然科学分野での受賞も期待したいところです。