ディープラーニングの生みの親ヒントン教授らがノーベル物理学賞を受賞
10月9日、スウェーデン王立科学アカデミーが2024年のノーベル物理学賞をカナダ・トロント大学のジェフリー・ヒントン教授と米国プリンストン大学のジョン・ホップフィールド教授に授与することを決定しました。授賞理由は、「人工ニューラルネットワークを用いた機械学習を可能にする基礎的な発見と発明」です。
公式サイトに掲載されていた今回の受賞の「科学的背景」に関する文書が面白かったので、日本語に翻訳して紹介したいと思います。
Popular science background:
They used physics to find patterns in information (pdf)
“For foundational discoveries and inventions that enable machine learning with artificial neural networks” (pdf)
2024年のノーベル物理学賞
今年の受賞者たちは、今日の強力な機械学習の基礎を築くのに役立つ方法を、物理学のツールを使って構築しました。ジョン・ホップフィールドは、情報を保存し再構築できる構造を作り出しました。ジェフリー・ヒントンは、データ内の特性を独自に発見する方法を発明し、現在使用されている大規模な人工ニューラルネットワークにおいて重要な役割を果たしています。
Popular science background:
They used physics to find patterns in information (pdf)
彼らは物理学を使って情報のパターンを発見した
多くの人々が、コンピューターが言語間の翻訳を行ったり、画像を解釈したり、さらには合理的な会話をすることさえできることを経験しています。このような技術が、膨大なデータの整理や分析など、長い間研究にとって重要であったことは、あまり知られていないかもしれません。過去15年から20年で機械学習の発展は爆発的に進み、人工ニューラルネットワークと呼ばれる構造が活用されています。今日では、人工知能について語る際、しばしばこの技術のことを指します。
コンピューターは考えることができませんが、機械は今や記憶や学習といった機能を模倣できるようになっています。今年の物理学賞の受賞者たちは、それを可能にする助けとなりました。彼らは物理学の基本的な概念と方法を用いて、ネットワークの構造を使って情報を処理する技術を開発しました。
機械学習は、従来のソフトウェアとは異なります。従来のソフトウェアは、ある種のレシピのように機能します。データを受け取り、それを明確な手順に従って処理し、結果を出します。これは、誰かが材料を集めてレシピに従って処理し、ケーキを作るのに似ています。それに対して機械学習では、コンピューターが例をもとに学び、段階的な指示では対処できない曖昧で複雑な問題にも取り組むことができます。その一例が、画像を解釈してその中にある物体を識別することです。
脳を模倣する
人工ニューラルネットワークは、ネットワーク全体の構造を使って情報を処理します。この発想は、もともと脳がどのように機能するかを理解したいという欲求から生まれました。1940年代、研究者たちは脳内のニューロンとシナプスのネットワークを支える数学的な原理を考え始めました。さらに、神経科学者ドナルド・ヘッブの「ニューロンが協力して働くと、それらの間の結びつきが強化され、学習が行われる」という仮説が心理学から加わり、パズルのもう一つのピースがはめ込まれました。
その後、これらの考えをもとに、脳のネットワークがどのように機能しているかを再現しようと、コンピューター上で人工ニューラルネットワークをシミュレーションする試みが始まりました。これらのネットワークでは、脳のニューロンを異なる値を持つノードで模倣し、シナプスをノード間の強化や弱化が可能な接続として表現しています。ドナルド・ヘッブの仮説は、現在でも「訓練」と呼ばれるプロセスを通じて人工ネットワークを更新するための基本的なルールの一つとして使われています。
1960年代末、理論的な結果に失望した多くの研究者たちは、これらのニューラルネットワークが実際に役に立つことはないだろうと疑い始めました。しかし、1980年代にいくつかの重要なアイデアが影響を与え、この分野への関心が再び高まりました。その中には、今年のノーベル賞受賞者たちの研究も含まれていました。
連想記憶
たとえば、映画館や講義ホールによくある傾斜のついた床を指す、普段あまり使わない単語を思い出そうとしているとしましょう。記憶をたどり、「ランプのような…ラッド…イヤル？」いや、それではない。「レーキ、そうだ！」という具合に、似たような言葉を探しながら正しい単語を見つけるプロセスは、物理学者ジョン・ホップフィールドが1982年に発見した連想記憶を思わせます。ホップフィールドのネットワークはパターンを記憶し、それを再現する方法を持っています。ネットワークに不完全な、あるいは少し歪んだパターンが与えられた場合、この方法は保存されている最も近いパターンを見つけ出すことができます。
ホップフィールドはそれ以前、物理学の背景を活かして分子生物学の理論的な問題を探求していましたが、神経科学に関する会議に招かれた際、脳の構造に関する研究に触れました。彼はこの研究に魅了され、単純なニューラルネットワークの動態について考え始めました。ニューロンが協力して働くと、ネットワークの個々の要素だけを見ているだけでは分からない、新しく強力な特性が生まれることがあります。
1980年、ホップフィールドはプリンストン大学での職を離れ、物理学の同僚たちとは異なる研究分野に進み、アメリカ大陸を横断して移動しました。彼はカリフォルニア州南部パサデナにあるカリフォルニア工科大学（Caltech）で化学と生物学の教授職を受け入れました。そこで彼は、無料で使えるコンピュータ資源にアクセスし、ニューラルネットワークに関する自分のアイデアを自由に実験し発展させることができました。
しかし、物理学の基盤を放棄したわけではありませんでした。彼は、多くの小さな構成要素が協力するシステムがどのようにして新しい興味深い現象を生み出すのかを理解するためのインスピレーションを物理学から得ていました。特に、彼が学んだ磁性材料の特性から大きな恩恵を受けました。これらの材料は原子スピンのおかげで特別な特性を持っており、各原子が小さな磁石のような役割を果たします。隣接する原子のスピンが互いに影響を与え、それによりスピンが同じ方向を向く領域を形成することができます。ホップフィールドは、スピンが互いに影響を与えながら物質が発展する過程を記述する物理学を用いて、ノードと接続を持つモデルネットワークを作成することに成功しました。
ネットワークは風景の中に画像を保存する
ホップフィールドが構築したネットワークには、さまざまな強さで結ばれたノードが存在します。各ノードは個別の値を保存することができ、ホップフィールドの最初の研究では、その値は0または1、つまり白黒画像のピクセルのようなものでした。
ホップフィールドは、物理学で見られるスピンシステムのエネルギーに相当する特性を用いて、ネットワーク全体の状態を記述しました。エネルギーは、すべてのノードの値と、それらの間の接続の強さを用いた公式で計算されます。ホップフィールドネットワークは、黒（0）か白（1）の値を持つ画像をノードに与えることでプログラムされます。その後、エネルギー公式を使ってネットワークの接続が調整され、保存された画像が低エネルギーの状態になります。別のパターンがネットワークに与えられると、ノードの値を変更した際にエネルギーが低下するかどうかを確認するため、ノードを一つずつ調べるルールが適用されます。もし黒いピクセルが白になることでエネルギーが下がる場合、色が変わります。このプロセスは、これ以上の改善が見つからないところまで続きます。最終的に、ネットワークはトレーニングされた元の画像を再現することが多いです。
これが一つのパターンだけを保存する場合には、それほど驚くべきことではないかもしれません。おそらく「画像自体を保存して、別のテスト画像と比較すればよいのでは？」と思うかもしれません。しかし、ホップフィールドの方法が特別なのは、複数の画像を同時に保存できる点であり、ネットワークが通常それらを区別できることです。
ホップフィールドは、保存された状態をネットワーク内で検索することを、摩擦で動きが遅くなるボールを山や谷のある風景の中で転がすことに例えました。ボールを特定の場所に落とすと、それは最も近い谷に向かって転がり、そこで止まります。同様に、ネットワークに保存されたパターンに近いパターンが与えられると、それはエネルギーの風景の谷底に向かって進み続け、最も近い記憶されたパターンを見つけることになります。
ホップフィールドネットワークは、ノイズが含まれたデータや部分的に消去されたデータを再現するために使用することができます。
ホップフィールドや他の研究者たちは、ホップフィールドネットワークの機能をさらに発展させ続け、ノードが0や1だけでなく任意の値を保存できるようにしました。ノードを画像のピクセルとして考えると、それは白や黒だけでなく、さまざまな色を持つことができます。改良された手法によって、より多くの画像を保存し、それらが非常に似ている場合でも区別することが可能になりました。また、データポイントが多く含まれている限り、どのような情報でも識別や再構築が可能です。
19世紀の物理学を用いた分類
イメージを記憶することと、それが何を表しているのかを解釈することは、少し異なる段階を要するものです。
非常に幼い子供でも、さまざまな動物を指して自信を持って「これは犬だ」「これは猫だ」「これはリスだ」と言うことができます。時々間違えることもありますが、比較的早く、ほとんどの場合正解するようになります。子供は、種や哺乳類といった概念を図解や説明なしでも学ぶことができます。各種の動物の例にいくつか出会うと、子供の頭の中でそれぞれのカテゴリーが自然と整理されます。人々は、猫を認識したり、言葉を理解したり、部屋に入って何かが変わったことに気づいたりするのは、周囲の環境を体験することで学んでいくのです。
ホップフィールドが連想記憶に関する論文を発表したころ、ジェフリー・ヒントンはアメリカのピッツバーグにあるカーネギーメロン大学で働いていました。彼はそれまでにイギリスとスコットランドで実験心理学と人工知能を学んでおり、機械が人間と同じようにパターンを処理し、自ら情報を整理し解釈するためのカテゴリを見つけることができるかどうかに興味を持っていました。ヒントンは同僚のテレンス・セイノウスキーと共に、ホップフィールドネットワークを基に新しいものを構築し、統計物理学のアイデアを取り入れました。
統計物理学は、気体中の分子のように多くの類似した要素から成るシステムを記述します。気体中のすべての分子を個別に追跡することは困難または不可能ですが、それらを全体として捉えることで、気体の圧力や温度のような全体的な性質を判断することができます。気体の分子がそれぞれ異なる速度で広がっていても、同じ集団的性質を生み出す可能性のある状態は多く存在します。
これらの要素が共同で存在できる状態は統計物理学を用いて分析でき、その発生確率を計算することができます。一部の状態は他の状態よりも発生しやすく、これは利用可能なエネルギー量に依存しています。このエネルギーの関係を表す方程式を19世紀の物理学者ルートヴィッヒ・ボルツマンが導き出しました。ヒントンのネットワークはこの方程式を利用し、その手法は1985年に「ボルツマンマシン」という印象的な名前で発表されました。
同じタイプの新しい例を認識する
ボルツマンマシンは、一般的に2種類のノードを使用します。情報は「可視ノード」と呼ばれる一群に入力され、もう一つのノード群が隠れ層を形成します。隠れノードの値や接続も、ネットワーク全体のエネルギーに影響を与えます。
このマシンは、ノードの値を1つずつ更新するためのルールを適用して動作します。最終的に、ノードのパターンは変わる可能性がありますが、ネットワーク全体の性質は同じままである状態に到達します。それぞれの可能なパターンには、ボルツマンの方程式に基づいたネットワークのエネルギーによって決定される特定の確率が存在します。マシンが停止すると、新しいパターンが生成されるため、ボルツマンマシンは生成モデルの初期の例として挙げられます。
ボルツマンマシンは、指示ではなく、与えられた例から学習します。訓練は、可視ノードに入力された例のパターンが、マシンを実行したときに最も高い確率で現れるように、ネットワークの接続値を更新することで行われます。同じパターンが訓練中に何度も繰り返されると、そのパターンの確率はさらに高くなります。また、訓練された例に似た新しいパターンが出力される確率も訓練によって影響を受けます。
訓練されたボルツマンマシンは、それまで見たことのない情報にも馴染みのある特徴を認識することができます。例えば、友人の兄弟に会ったとき、すぐに彼らが親戚であると感じるようなものです。ボルツマンマシンも同様に、訓練データに含まれるカテゴリに属する新しい例を認識し、異なるデータとは区別することができます。
ボルツマンマシンは、元々は効率があまり良くなく、解を見つけるのに時間がかかるものでした。しかし、様々な方法で改良が加えられると、より興味深いものになります。ヒントンはこの領域での探求を続け、後のバージョンでは、一部のユニット間の接続が削除され、ネットワークがより効率的になることが分かりました。
1990年代、人工ニューラルネットワークに対する研究者の関心は低下しましたが、ヒントンはその分野で研究を続けた人物の一人でした。彼は新たなブレイクスルーのきっかけにもなりました。2006年に彼は、サイモン・オシンデロ、イー・ワイ・テー、ルスラン・サラフディノフとともに、ボルツマンマシンを層ごとに積み重ねたネットワークを事前に訓練する方法を開発しました。この事前訓練により、ネットワーク内の接続がより良いスタート地点を得て、画像内の要素を認識するための訓練が最適化されました。
ボルツマンマシンは、通常、より大きなネットワークの一部として使用されます。例えば、視聴者の好みに基づいて映画やテレビシリーズを推薦するために使われることもあります。
機械学習 – 今日と未来
1980年代以降のジョン・ホップフィールドとジェフリー・ヒントンの研究のおかげで、2010年頃に始まった機械学習革命の基盤が築かれました。
現在目にしている発展は、ネットワークの訓練に利用できる膨大なデータと、計算能力の飛躍的な向上によって可能となっています。今日の人工ニューラルネットワークは、多層構造で非常に大規模です。これらはディープニューラルネットワークと呼ばれ、その訓練方法はディープラーニングと呼ばれます。
1982年にホップフィールドが発表した連想記憶に関する論文をさっと見るだけでも、この発展の背景が垣間見えます。当時彼は30個のノードを持つネットワークを使用しており、すべてのノードが互いに接続されると435の接続がありました。ノードにはそれぞれ値があり、接続には異なる強さがあり、追跡すべきパラメータは500未満です。また、彼は100個のノードを持つネットワークも試しましたが、当時のコンピュータでは複雑すぎました。これを今日の大規模言語モデルと比較すると、これらは1兆個以上のパラメータ（一兆＝百万の百万）を含むネットワークとして構築されています。
現在、多くの研究者が機械学習の応用分野を開発しています。どの分野が最も有望かはまだ不明ですが、この技術の開発と使用に伴う倫理的な問題についても広く議論されています。
物理学が機械学習の発展にツールを提供してきたため、物理学という研究分野自体が人工ニューラルネットワークから利益を得ている様子は興味深いものです。機械学習は、過去のノーベル物理学賞でも知られる分野で長く活用されてきました。例えば、ヒッグス粒子の発見に必要な膨大なデータをふるいにかけ処理するために機械学習が使用されています。他の応用例として、衝突するブラックホールからの重力波の測定におけるノイズの低減や、太陽系外惑星の探索があります。
近年では、分子や材料の性質を計算・予測する際にもこの技術が利用され始めています。たとえば、タンパク質分子の構造（その機能を決定するもの）の計算や、より効率的な太陽電池に適した新しい材料の特性を探るために利用されています。
Scientific background
2024年10月8日
2024年ノーベル物理学賞に関する科学的背景
「人工ニューラルネットワークを用いた機械学習を可能にする基礎的な発見と発明に対して」
ノーベル物理学賞委員会
スウェーデン王立科学アカデミーは、2024年のノーベル物理学賞をジョン・J・ホップフィールド氏とジェフリー・E・ヒントン氏に共同で授与することを決定しました。
序論
人工ニューラルネットワーク（ANN）に基づく機械学習は、1940年代にその根源を持ち、過去30年にわたり、日常的な用途から高度な科学的応用に至るまで、汎用性の高い強力なツールへと発展してきました。ANNを用いることで、物理学の境界は生命現象や計算にまで広がっています。
ANNは脳内の生物学的ニューロンに着想を得たもので、多数の「ニューロン」またはノードが「シナプス」または重み付けされた結合によってつながり、特定のタスクを実行するよう訓練される仕組みです。事前に決められた一連の指示を実行するのではなく、訓練によって学習します。その基本構造は、磁性や合金理論に応用される統計物理学のスピンモデルと非常に似ています。
今年のノーベル物理学賞は、この関連性を活用し、ANN分野における画期的な方法論的進歩をもたらした研究を評価しています。
歴史的背景
1940年代に、最初の電子ベースのコンピューターが登場し、軍事および科学目的のために発明されました。これらのコンピューターは、人間にとって煩雑で時間のかかる計算を実行するために設計されていました。1950年代には、逆のニーズ、つまり人間や他の哺乳類が得意とするパターン認識をコンピューターに行わせる必要性が生じました。
この人工知能に関連する目的は、最初は数学者やコンピューター科学者によって取り組まれ、論理ルールに基づいたプログラムが開発されました。このアプローチは1980年代まで続けられましたが、例えば画像の正確な分類のために必要な計算資源は莫大なものとなり、実用的ではありませんでした。
並行して、生物学的システムがどのようにパターン認識の問題を解決しているかを探る努力が始まりました。早くも1943年に、神経科学者のウォーレン・マカロックと論理学者のウォルター・ピッツ【1】が、脳内のニューロンがどのように協力するかについてのモデルを提案しました。彼らのモデルでは、ニューロンは他のニューロンからの二進法信号の重み付け和を形成し、それに基づいて出力信号を決定します。彼らの研究は、後の生物学的および人工ニューラルネットワークの研究の出発点となりました。
もう一つの初期の重要な貢献は、心理学者ドナルド・ヘッブ【2】によるもので、1949年にヘッブは学習と記憶のメカニズムを提案しました。彼の理論によれば、2つのニューロンが同時に繰り返し活性化されると、その間のシナプスの強度が増加するというものです。
ANN分野では、相互接続されたノードのシステムに対して、「リカレントネットワーク」と「フィードフォワードネットワーク」という2つのアーキテクチャが探求されました。リカレントネットワークはフィードバック相互作用を許容するもので、フィードフォワードネットワークは入力層と出力層を持ち、その間に隠れ層のノードを含む場合があります。
1957年、フランク・ローゼンブラットは画像解釈のためのフィードフォワードネットワークを提案し、これがコンピューターハードウェアとしても実装されました【3】。このネットワークは3層構造で、調整可能な重みは中間層と出力層の間のみであり、その重みは体系的に決定されました。
ローゼンブラットのシステムは大きな注目を集めましたが、非線形問題に対しては限界がありました。その単純な例が「一方または他方だが、両方ではない」というXOR問題です。この限界は、1969年にマーヴィン・ミンスキーとシーモア・ペーパートによって発行された影響力のある本【4】で指摘され、これによりANN研究の資金調達が一時停止することになりました。
並行して、磁性系からのインスピレーションを受けた発展があり、リカレントニューラルネットワークのモデルを作成し、それらの集団的特性を調査する研究が行われました【5-10】。
図1. 2値ノード$${s_i}$$（0または1）からなるN個のリカレントネットワークで、接続重み $${w_{ij}}$$があります。
（左）ホップフィールドモデル。
（中央）ボルツマンマシン。ノードは2つのグループ、可視ノード（空の円）と隠れノード（灰色）に分かれています。ネットワークは、与えられた可視パターンの確率分布を近似するように訓練されます。訓練が完了すると、ネットワークは学習した分布から新しいインスタンスを生成するために使用できます。
（右）制限付きボルツマンマシン（RBM）。ボルツマンマシンと同様ですが、可視層内または隠れノード間の結合はありません。このバリアントは、深層ネットワークの層ごとの事前訓練に使用できます。
1980年代
1980年代には、リカレントニューラルネットワークとフィードフォワードニューラルネットワークの両方の分野で大きな進展があり、ANN（人工ニューラルネットワーク）分野の急速な拡大が進みました。
ジョン・ホップフィールドは、理論物理学者であり、生物物理学における重要人物です。彼の1970年代の画期的な研究は、生体分子間の電子移動【11】や、生化学反応におけるエラー修正（キネティックプルーフリーディング）【12】を検討しました。
1982年、ホップフィールドは、単純なリカレントニューラルネットワークに基づいた連想記憶の動的モデルを発表しました【13】。物理系では、磁性系のドメインや流体の渦など、集団現象がよく発生します。ホップフィールドは、大規模なニューロンの集まりにおいて、これらの新たな集団現象が「計算」能力を生み出す可能性があるかを問いました。
多くの物理系における集団的特性がモデルの詳細な変化に対して頑強であることに着目し、彼は2値ノード$${s_i}$$（0または1）を持つニューラルネットワークを用いてこの問いに取り組みました。このダイナミクスは非同期であり、各ノードはランダムなタイミングで個別に閾値更新されました。ノード$${s_i}$$の新しい値は、他のすべてのノードの重み付け和によって決定されました。
$${h_i = \sum_{j \neq i} w_{ij} s_j}$$
そして、$${h_i>0}$$の場合は$${s_i=1}$$、それ以外の場合は $${s_i=0}$$に設定されました（閾値はゼロに設定）。結合$${ w_{ij}}$$は対称であると仮定され、記憶に保存されたノード間のペア間相関を反映するとされました。これは「ヘブ則」と呼ばれるものです。重みの対称性は、安定したダイナミクスを保証します。定常状態は記憶として識別され、これは N個のノードにわたる非局所的な形で保存されます。さらに、ネットワークには次のようにエネルギーEが割り当てられました。
$${E = -\sum_{i < j} w_{ij} s_i s_j}$$
これはネットワークのダイナミクスの下で単調減少する関数です。注目すべきは、1980年代に定義された物理学の世界と人工ニューラルネットワーク（ANN）との関連が、これら2つの方程式からすでに明らかであったことです。最初の方程式は、フランスの物理学者ピエール・ワイスにちなんだワイス分子場を表すのに使用でき、これは固体中の原子磁気モーメントがどのように整列するかを記述します。そして、後者の方程式は、磁性体のエネルギー、例えば強磁性体のエネルギーを評価するために使用されます。ホップフィールドは、これらの方程式が磁性材料を記述するためにどのように使用されるかをよく理解していました。
比喩的に言えば、ダイナミクスは、N個のノードを持つシステムをN次元エネルギー地形の谷に導き、そこに定常状態が存在します。定常状態は、ヘブ則によって学習された記憶を表します。最初、ホップフィールドの動的モデルに保存できる記憶の数は限られていましたが、この問題を軽減する方法がその後の研究で開発されました【14】。
ホップフィールドは、自分のモデルを連想記憶として、またはエラー修正やパターン補完の方法として使用しました。誤ったパターン、たとえばスペルミスがある単語で初期化されたシステムは、彼のモデルの中で最も近い局所エネルギー最小値に引き寄せられ、その結果、修正が行われます。このモデルは、基本的な特性、例えば記憶容量が、スピングラス理論の手法を用いて解析的に理解できることが明らかになると、さらに注目を集めました【15,16】。
当時の正当な疑問として、このモデルの特性が粗い2値構造の副産物ではないかというものがありました。ホップフィールドは、この疑問に対し、アナログ版のモデルを作成することで答えました【17】。このモデルでは、電子回路の運動方程式によって記述される連続時間ダイナミクスを用いています。彼のアナログモデルの解析は、2値ノードがアナログノードに置き換えられても、元のモデルの新たな集団的特性を失わないことを示しました。
アナログモデルの定常状態は、効果的な調整可能な温度での2値システムの平均場解に対応し、低温では2値モデルの定常状態に近づきます。このアナログモデルと2値モデルの密接な対応関係は、ホップフィールドとデビッド・タンクによって【18,19】、アナログモデルの連続時間ダイナミクスに基づいて、困難な離散最適化問題を解く方法の開発に利用されました。ここで、解決すべき最適化問題（制約を含む）は、ネットワークの相互作用パラメーター（重み）に符号化されます。彼らは、アナログモデルのダイナミクスを使用し、より「柔らかい」エネルギー地形を作り出すことで、探索を容易にしました。アナログシステムの上述の効果的な温度は、シミュレーテッドアニーリングによるグローバル最適化のように、徐々に減少しました【20】。最適化は、電子回路の運動方程式を積分することで行われ、この間、ノードは中央ユニットからの指示なしで進化します。このアプローチは、動的システムを使用して困難な離散最適化問題を解決する先駆的な例を示しています【21】。最近の例としては、量子アニーリングがあります【22】。
ホップフィールドは、上記の物理学に基づく動的モデル、特に画期的な連想記憶モデルやその後のモデルを作成し探求することで、ニューラルネットワークの計算能力に対する理解に基礎的な貢献をしました。
1983年から1985年にかけて、ジェフリー・ヒントンはテレンス・セジノウスキーや他の研究者と共に、1982年のホップフィールドモデルの確率的拡張であるボルツマンマシンを開発しました【23,24】。ここでは、ネットワークの各状態$${s=(s_1,\dots,s_N)}$$に対してボルツマン分布によって確率が割り当てられます。
$${P(s) \propto e^{-E/T}\quad E = -\sum_{i < j} w_{ij} s_i s_j - \sum_i \theta_i s_i}$$
ここで、Tは仮想的な温度、$${θ_i}$$はバイアスまたは局所場です。
ボルツマンマシンは生成モデルです。ホップフィールドモデルとは異なり、個々のパターンではなく、パターンの統計分布に焦点を当てます。ボルツマンマシンには、学習すべきパターンに対応する可視ノードと、より一般的な確率分布をモデル化できるようにするための追加の隠れノードが含まれています。
図2. 入力層と出力層の間に2つの隠れ層を持つフィードフォワードネットワーク。
ネットワークのエネルギーEを定義する重みとバイアスのパラメーターは、モデルが生成する可視パターンの統計分布が与えられた訓練パターンの統計分布から最小限しか逸脱しないように決定されます。ヒントンと彼の同僚たちは、このパラメーター決定のための形式的に優れた勾配ベースの学習アルゴリズムを開発しました【24】。しかし、このアルゴリズムの各ステップには、2つの異なるアンサンブルに対して時間のかかる平衡シミュレーションが必要です。
理論的には興味深いものの、ボルツマンマシンは実用上では当初、利用が限られていました。しかし、より少ない重みを持つ「制限付きボルツマンマシン」と呼ばれる簡素化バージョンが、汎用的なツールとして発展しました（次のセクションを参照）。
ホップフィールドモデルとボルツマンマシンはどちらもリカレントニューラルネットワークです。1980年代にはフィードフォワードネットワークでも重要な進展がありました。1986年にデビッド・ルメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズが1つ以上の隠れ層を持つアーキテクチャが、バックプロパゲーションと呼ばれるアルゴリズムを用いて分類のために訓練できることを示したことが重要な進歩でした【25】。ここでの目的は、ネットワークの出力と訓練データとの間の平均二乗偏差Dを勾配降下法によって最小化することです。これには、ネットワーク内のすべての重みに関するDの偏微分を計算する必要があります。ルメルハート、ヒントン、ウィリアムズは、他の研究者によって関連問題に適用されていたこの方法を再発明しました【26,27】。さらに重要な点として、彼らは、隠れ層を持つネットワークが、この方法で訓練されると、隠れ層がないと解けないことが知られているタスクを実行できることを示しました。加えて、隠れノードの役割についても解明しました。
ディープラーニングへの道
1980年代の方法論的なブレイクスルーの後、画像、言語、臨床データにおけるパターン認識を含む成功した応用が続きました。重要な手法の一つは、ヤン・ルカンとヨシュア・ベンジオによって進化させられた、バックプロパゲーションで訓練された多層畳み込みニューラルネットワーク（CNN）でした【28,29】。CNNのアーキテクチャは、福島邦彦によって開発されたネオコグニトロン手法にその根を持ちます【30】。福島は、1981年にノーベル生理学・医学賞を受賞したデイヴィッド・ヒューベルとトルステン・ウィーセルの研究に着想を得ました。ルカンと彼の同僚が発展させたCNNアプローチは、1990年代半ばからアメリカのいくつかの銀行で、小切手に書かれた手書きの数字を分類するために使用されました。この時期のもう一つの成功例は、セップ・ホクリターとユルゲン・シュミットフーバーが開発した長短期記憶（LSTM）法です【31】。これは、音声や言語のような連続データを処理するためのリカレントネットワークであり、時間を展開することで多層ネットワークにマッピングできます。
1990年代にいくつかの多層アーキテクチャが成功を収めた一方で、連続する層の間に多くの接続を持つ深層多層ネットワークを訓練することは依然として課題でした。多くの研究者にとって、密な多層ネットワークの訓練は困難だと思われていました。しかし、2000年代に状況が変わり、ブレイクスルーを導いた主要な人物がヒントンでした。重要なツールは制限付きボルツマンマシン（RBM）でした。
RBMネットワークでは、可視ノードと隠れノードの間にのみ重みがあり、同じタイプのノード間には重みが存在しません。ヒントンは、RBMのために「コントラスト・ダイバージェンス」と呼ばれる効率的な近似学習アルゴリズムを開発しました【32】。これは、ボルツマンマシン全体に対するアルゴリズムよりもはるかに高速でした【24】。その後、サイモン・オシンデロとイー・ワイ・テーと共に、RBMを使って層ごとに一つずつ訓練する、多層ネットワークの事前訓練手法を開発しました【33】。このアプローチの初期の応用例は、次元削減のためのオートエンコーダーネットワークでした【34,35】。事前訓練の後、バックプロパゲーションアルゴリズムを使用して、全体のパラメーターの微調整を行うことが可能になりました。RBMによる事前訓練は、画像の角のようなデータ中の構造をラベル付けなしで取得しました。これらの構造が見つかると、バックプロパゲーションでそれらをラベル付けすることは比較的簡単な作業となりました。
このように事前訓練された層を連結することにより、ヒントンは深層かつ密なネットワークの実装に成功し、これが現在「ディープラーニング」として知られているものへの重要な一歩となりました。その後、RBMベースの事前訓練は他の方法に置き換えられ、同等の性能を持つ深層かつ密なANNを実現できるようになりました。
物理学および他の科学分野における強力なツールとしてのANN
これまでの議論の多くは、物理学が人工ニューラルネットワーク（ANN）の発明と発展の背後にある推進力としてどのように機能してきたかに焦点を当てています。一方で、ANNはほぼすべての物理学分野で、モデル化や分析のための強力なツールとして重要な役割を果たすようになっています。
いくつかの応用では、ANNは関数近似器として使用されます【36】。つまり、ANNは対象となる物理モデルの「模倣者」として機能します。これにより、必要な計算資源が大幅に削減され、より大規模なシステムを高解像度で調査できるようになります。この方法で顕著な進展が達成されており、例えば量子力学の多体系問題などがあります【37-39】。ここでは、ディープラーニングのアーキテクチャが、物質の相のエネルギーや原子間力の形状と強度を再現するように訓練され、その精度は第一原理の量子力学モデルに匹敵します。これらのANNによって訓練された原子モデルを使用することで、相の安定性や新しい材料の動態をはるかに高速で決定できるようになります。これらの手法の成功例として、新しい太陽光発電材料の予測が挙げられます。
また、これらのモデルを使用して相転移【40】や水の熱力学的特性【41】を研究することも可能です。同様に、ANNの表現の発展により、物理に基づく気候モデルの解像度を高めることが可能となり【42,43】、追加の計算力を必要としません。
1990年代には、ANNはますます複雑化する素粒子物理学実験の標準的なデータ解析ツールとなりました。ヒッグス粒子のような基本粒子は、高エネルギー衝突で生成された後、ほんの一瞬しか存在しません（例えば、ヒッグス粒子の場合～$${10^{-22}}$$秒）。その存在は、大型電子検出器でのトラッキング情報やエネルギー堆積から推定する必要があります。しばしば予測される検出器のシグネチャーは非常に稀であり、より一般的な背景プロセスによって模倣される可能性があります。粒子崩壊を特定し、解析の効率を高めるため、ANNは大量の検出器データの中から特定のパターンを識別するように訓練されました。
ANNは、1990年代のCERN大型電子陽電子衝突型加速器（LEP）におけるヒッグス粒子探索の感度を向上させ【44】、2012年にCERN大型ハドロン衝突型加速器での発見に至ったデータ解析にも使用されました【45】。また、フェルミ研究所でのトップクォークの研究でもANNが使用されました【46】。
天体物理学や天文学においても、ANNは標準的なデータ解析ツールとなっています。最近の例としては、南極のアイスキューブニュートリノ検出器からのデータをANNを用いて解析し、天の川のニュートリノイメージを生成したものがあります【47】。ケプラーミッションでは、ANNを使用してエキソプラネットのトランジットが特定されました【48】。また、天の川の中心にあるブラックホールのイベントホライズン望遠鏡画像にもANNがデータ処理に使用されました【49】。
これまでのところ、ディープラーニングANN手法を使用した最も注目すべき科学的ブレイクスルーは、アミノ酸配列から三次元タンパク質構造を予測するためのAlphaFoldツールです【50】。工業物理学や化学のモデリングにおいても、ANNはますます重要な役割を果たしています。
日常生活におけるANN
ANNに基づく日常生活で使用されているアプリケーションのリストは非常に長いです。これらのネットワークは、画像認識や言語生成など、私たちがコンピュータで行うほとんどすべての作業の背後に存在しています。
医療における意思決定支援もANNのよく確立された応用例です。例えば、最近のマンモグラフィ検診画像を用いた前向き無作為化研究では、乳がんの検出率を向上させるために機械学習を使用することが明確に有益であることが示されました【51】。もう一つの最近の例としては、磁気共鳴画像法（MRI）スキャンの動き補正があります【52】。
結論
ホップフィールドとヒントンによって開発された先駆的な方法や概念は、ANN（人工ニューラルネットワーク）分野の形成に大きく貢献しました。さらに、ヒントンはこれらの方法を深層かつ密なANNに拡張する取り組みで主導的な役割を果たしました。
彼らの物理科学に基づく画期的な業績により、私たちはコンピューターを使って多くの社会的課題に取り組むための全く新しい方法を示されました。簡単に言えば、彼らの研究のおかげで、人類は新たなツールを手に入れ、それを善き目的のために活用できるようになったのです。ANNに基づく機械学習は、現在、科学、工学、日常生活において革命を起こしています。この分野はすでに、持続可能な社会の構築に向けた画期的な発見を可能にしつつあり、例えば、新しい機能性材料の発見に役立っています。今後、ANNによるディープラーニングがどのように使われるかは、すでに多くの場面で存在するこの強力なツールを、私たち人間がどのように使うかにかかっています。
参考文献（省略）
情報幾何学の甘利俊一教授、ネオコグニトロンの福島邦彦教授、量子アニーリングの西森秀稔教授など6人の日本人の名前が含まれています。
o1-previewに聞いたジェフリー・ヒントン教授の業績
ジェフリー・ヒントン教授は、人工知能（AI）と機械学習の分野で世界的に著名な研究者であり、特にディープラーニングとニューラルネットワークの研究で知られています。彼の業績は多岐にわたり、以下に主要なものを挙げます。
バックプロパゲーションの普及: ヒントン教授は、ニューラルネットワークの学習アルゴリズムであるバックプロパゲーションの研究を進め、その有効性を示しました。これにより、深いニューラルネットワークの訓練が可能となりました。
制限付きボルツマンマシン（RBM）とDeep Belief Networks（DBN）の開発: 彼はRBMとDBNを提案し、これらはディープラーニングの基礎を築く重要なモデルとなりました。
画像認識の革新: 2012年、彼の研究チームはImageNet Large Scale Visual Recognition Challenge（ILSVRC）で従来の手法を大幅に上回る性能を達成しました。これにより、ディープラーニングがコンピュータビジョン分野で主流となる道を開きました。
チューリング賞の受賞: 2018年、ヒントン教授はYoshua Bengio、Yann LeCunと共に「ディープラーニングの理論と応用における先駆的な業績」に対してコンピュータ科学の最高栄誉であるチューリング賞を受賞しました。
教師なし学習と生成モデルの研究: 彼は教師なし学習の分野でも重要な貢献をしており、生成モデルの開発に携わっています。
AIの倫理と安全性への関与: ヒントン教授は、AIの発展に伴う倫理的・社会的影響についても積極的に議論し、AIの安全な開発と利用を促進しています。
彼の研究は、音声認識、自然言語処理、医療診断など、多岐にわたる分野で応用されており、現代のAI技術の発展に不可欠な役割を果たしています。
o1-previewに聞いたジョン・ホップフィールド教授の業績
ジョン・ホップフィールド（John J. Hopfield）教授は、アメリカの物理学者・生物学者であり、計算神経科学およびニューラルネットワークの分野で世界的に著名な研究者です。彼の業績は以下の通りです。
ホップフィールド・ネットワークの提案:
1982年に、彼は「ホップフィールド・ネットワーク」と呼ばれる再帰型ニューラルネットワークモデルを提案しました。このモデルは、エネルギー最小化の概念を利用して情報を記憶・再生するもので、連想メモリや組合せ最適化問題の解法に広く応用されています。計算神経科学への貢献:
ホップフィールド教授は、生物学的な神経回路の計算原理を理解するための理論的枠組みを構築しました。彼の研究は、神経細胞の集団がどのように情報を処理し、認知機能を実現しているかを解明する上で重要な役割を果たしています。物理学と生物学の融合:
彼は物理学の手法を生物学的システムに適用し、特にタンパク質の折りたたみ問題や生物の自己組織化現象の理解に貢献しました。これにより、生物物理学の分野で新たな研究の道を切り開きました。教育と指導:
プリンストン大学やカリフォルニア工科大学（Caltech）などの名門校で教授職を務め、多くの優秀な学生や研究者を育成しました。受賞歴と栄誉:
アメリカ国家科学アカデミー会員: 科学分野での卓越した貢献が認められ、会員に選出されました。
アメリカ芸術科学アカデミー会員: 学際的な業績が評価され、会員となりました。
Oliver E. Buckley Condensed Matter Prize（オリバー・E・バックリー凝縮物質賞）: 物性物理学の分野での顕著な業績に対して受賞しました。
IEEEニューロンネットワーク先駆者賞: ニューラルネットワークの研究における先駆的な貢献が認められました。
生物学的計算モデルの研究:
ホップフィールド教授は、生物学的システムがどのように情報処理を行っているかを理解するための計算モデルを開発し、生物学と情報科学の橋渡しを行いました。
彼の研究は、人工知能、最適化アルゴリズム、計算神経科学など、多くの分野に深い影響を与えています。ホップフィールド教授の提案したモデルや理論は、現在も研究や実用化の場で重要な役割を果たしており、彼の業績は現代科学における重要な柱の一つとなっています。
この記事が気に入ったらサポートをしてみませんか？