創発、ダイナミクス、行動 - ジョン・ホップフィールド

10,431 文字

おはようございます。シンポジウムの2日目へようこそ。2日目の口火を切るのに、ジョン・ホップフィールドさんをご紹介できて光栄です。みなさんもご存知やと思いますが、ホップフィールドさんは世界屈指の物理学者、生物学者、計算論的神経科学者で、これらの分野に素晴らしい貢献をされてきはりました。
ホップフィールドさんは、プリンストン大学を含むさまざまな場所でキャリアを積んできはって、現在はプリンストン大学におられます。また、カリフォルニア工科大学でデイビッド・マッケイの指導教官も務められました。今日はホップフィールドさんをお迎えできて嬉しいです。
ほな、音声チェックをしましょか。のどを痛めてるんで、音声チェックをさせてもらえたら助かります。後ろの席の方、手を挙げて「聞こえます」か「全然聞こえません」って教えてもらえますか?
ちょっと音量上げましょか。これでどうですか? 親指立ててもらえますか? よろしいですね。昨晩のホールで話すよりは楽ですわ。
デイビッド・マッケイとの30年前のやりとりに関する2つの話から始めさせてもらいます。
デイビッドは新設された計算・神経システム (CNS) の大学院プログラムに入学するため、カリフォルニア工科大学にやってきました。当時のカリフォルニア工科大学の教育は5つの独立した部門で管理されていて、主要な学位プログラムはそれぞれ1つの部門に属していました。時々2つの部門にまたがるプログラムもありましたが、あまり上手くいってなかったんです。
CNSという学位オプションを作るのに4年もの大学の政治的な動きが必要でした。物理学、生物学、工学・応用科学の3つの部門にまたがる教育要件を持つプログラムやったんです。その経緯はC.P.スノーの小説みたいな話なんですが、長くて複雑すぎて今日は省略させてもらいます。
要するに、多くのカリフォルニア工科大の教授陣はこのプログラムを助けようとせず、CNSの学生は能力が低くてプログラムは潰れるやろうと思ってたんです。デイビッドみたいに、このプログラムに知的な意味があると信じて勇気を持って登録した学生は数人しかおらへんかったんです。
3年後、CNSプログラムはほぼ全ての教授陣から支持されるようになりました。教授たちは、CNSの学生が従来のプログラムで入学した学生よりも面白くて創造的やということに気づいたんです。
デイビッドは、彼の知的な強さ、その強さを他の学生や教授陣と共有する能力、そしてそれを熱意を持ってやってのけたことで、教授陣の見方を変えるのに大きく貢献しました。デイビッド自身は初期のCNSで果たした重要な役割についてあまり考えてへんやろうけど、私は確かに覚えてます。
デイビッドとの最初の会話で覚えてるのは、リラックスのために走りに行ったカリフォルニア工科大のトラック近くのユーカリの木の下でのことです。話題は、物理科学と人間の脳機能の理解との関係についてでした。
物理科学者として、デイビッドは全ての生物学が既知のミクロな物理法則の結果であり、生物学的物質の現在の状態から未来の状態を生み出すという考えを受け入れていました。
それでも、心や人間の行動という現象が脳によって生み出されるのを理解するのに、新しい物理学が必要かもしれへんという議論をしたんです。我々は、その視点から「新しい物理学」が何を意味するのかを理解しようと苦心してました。
デイビッドはその時、博士論文のテーマを考えてる最中で、最終的には我々の哲学的な議論からはかけ離れた道を選びました。惜しい機会やったかもしれません。
ニールス・ボーアは1932年の有名な講演「光と生命」で似たような問題に取り組みました。ボーアは、「生命」という言葉で表される多様で一見目的を持った複雑な現象が、生命のない物理学からどのように生まれるのかを理解しようとしてたんです。
ボーアの講演は若い理論物理学者のマックス・デルブリュックに強い印象を与え、デルブリュックは物理学を離れて生物学に転向し、最終的に生理学・医学のノーベル賞を受賞しました。デルブリュックは、ニールス・ボーアが期待した新しい物理学を見つけられなかったことに失望してたんです。
80年後の今、物理学では「創発的」と呼ばれる現象や振る舞いがどのように生じるかについて、少し理解が進んでいます。1972年のノーベル物理学賞受賞者P.W.アンダーソンは「より多くは異なる」というタイトルの論文を書きました。今でもみなさんに読んでもらいたい論文です。
この講演の残りの部分は、脳と計算の関係について1988年にデイビッドと交わした会話を再考する小さな一歩を表してます。
完全に理解できる現象の例から始めましょう。飛行機の翼の設計について、揚力、抗力、超音速、失速、渦などの概念を使って定量的に議論したいと思います。空気力学の物理的基礎はニュートンの法則 F=ma で、約10の28乗個の原子や分子が単純な力で相互作用してます。
しかし、この記述は飛行機の設計を議論するのに役立つ語彙とは簡単には関係づけられません。代わりに、空気を圧縮性流体として扱い、翼の表面を境界条件とするナビエ・ストークス方程式を使います。この方程式では原子や分子の概念は完全に消えてしまってます。
これらの方程式は飛行機の設計に必要な語彙とよく関係づけられます。ナビエ・ストークス方程式は空気力学の創発的な記述なんです。我々はこの創発を理解できます。なぜなら、有用な創発方程式をミクロな基礎から導き出せるからです。
人間の心理学と行動に目を向けると、選択、目標、移動、食べ物、恐れ、学習、知覚、思考といった言葉が心理学を議論するのに使いたい語彙です。一方で、底辺には神経細胞、シナプス電流、活動電位、物理的刺激があります。
我々は、予測を行い、人間の思考や行動の言語的記述を確実に根付かせるための、ナビエ・ストークス方程式のような創発的な数学が欲しいんです。神経生物学の基礎から意識の頂点に至るまでには、間違いなく複数の創発レベルがあるでしょう。
この講演では、神経細胞の基本的な部品から1段階上の創発現象へと進み、神経細胞の集合がどのように有用な計算を実行できるかを例示したいと思います。
まず、特定の計算について話します。これは多くの課題に存在するものです。例えば、話し言葉を聞いたり、顔を見て読唇したりして素早く認識することです。また、50ヤード先にいる特定の友人を、顔や体の細部ではなく、歩き方で視覚的に認識することもあります。
このような刺激を動的パターンと呼び、写真のような静的パターンと区別します。我々の行動世界は、認識する必要のある動的パターンで溢れています。ほとんどの自然な動的パターンは固定のペースでクロックされているわけではなく、持続時間と内部のリズムにかなりの変動があります。
このリズムの変動性は、感覚刺激を保存されたテンプレートとマッチングすることが良い認識アルゴリズムではないことを意味します。エンジニアとしては、すぐに隠れマルコフモデルに目を向けてこの問題を解決しようとしますが、神経生物学が隠れマルコフモデルを実装していると示唆した人はいません。
では、神経細胞の集合がどのようにこの問題を素早く、労せずに解決できるのでしょうか? リズムの問題を解決する創発的な座標の集団運動の方法を説明します。特定の例として、話し言葉の単語の認識を使います。
これから説明するシステムの最も適切な物理的なアナログは... その前にもう少し神経生物学について話しましょう。神経系には規模に応じて分岐点があります。
小さな神経系は、個々の構成要素の働きと、それらが特定のパターンで組織化されている方法によって機能します。32個の神経細胞を持つ線虫は、非常に精密に作られたマイクロプロセッサのようなものです。
一方、10の11乗個の神経細胞と10の14乗個のシナプスを持つ人間の場合、あなたの神経細胞と私の神経細胞の間に一対一の対応関係はありません。したがって、その動作原理は線虫の動作原理とはかなり異なるはずです。
私はこの大規模な限界にとどまり、講演の一般的な趣旨は、行動の法則はマクロスコピックであり、大規模な物理系は堅牢な創発的特性を持つ傾向があるということです。例えば、ナビエ・ストークス方程式のようなものです。
私の知る限り、堅牢な創発的特性を持つという考えの唯一の例外は、実際にはデジタルコンピュータです。エンジニアリングが意図的に全ての集団的特性を抑制しているからです。
コンピュータは、生物学的なものであれエンジニアリングされたものであれ、アナログであれデジタルであれ、動的システムです。将来何が起こるかは現在何が起こっているかに依存します。機械のパターンがどのように時間とともに発展するかを記述する運動方程式があります。
私は、大規模な神経系の堅牢な動力学が生物学によって良い計算行動を生み出すのに使用できる例を作成しようとしています。
エンジニアリングでは、約40年前に興味深いことが追求されました。それは私が今日お話ししたいことと一定の関係があります。エンジニアリングのスライドを1枚だけお見せしましょう。
カラーパッチは、磁性材料を持つガーネットの薄いスライスの写真を示しています。適切な状況下では、主に一方向に磁化されていますが、逆向きの磁場の小さな液滴を持つことができます。非常に巧妙な光学により、結晶内のこの方向とあの方向の磁化を区別できるため、磁気バブルと呼ばれる小さなものが見えます。
これらの磁気バブルは安定した実体で、実際35年前には不揮発性ストレージの選択肢の1つとして磁気バブルメモリが使用されていました。磁気バブルの興味深い点は、一度作成すると安定していて、動かすことができることです。
実際、情報をここからそこへ移動させたい場合、ここでバブルを破壊してそこでバブルを作成するのではなく、磁場勾配によってバブルを実際に移動させます。一方で、バブルは動きますが原子は動きません。原子は固定されていて、磁化だけがこのバブル的な振る舞いをします。
1次元または多次元の神経細胞の集合で非常に似たものを作ることができます。短距離の興奮性相互作用（一つが他を活性化する傾向がある）と長距離の抑制性相互作用（これがあれをオフにする）を持つ1次元に配置された神経細胞の集合を取ります。
これは磁気バブルシステムと非常によく似たシステムになります。この神経細胞の線上では、興奮のバブルを安定した実体として置くことができます。神経細胞の線のどこにでも置くことができ、実際、線のどこかに置いて動かすこともできます。
これは全く架空の神経生物学ではありません。今日お話しする種類のシステムの候補が神経生物学にはあります。ラットの頭部方向細胞ネットワークでは、細胞の活動が頭が向いている方向によって決定されます。または、海馬の場所細胞システムでは、特定の環境とタスク内で、バブルメモリのバブル活動に非常によく似た2次元の活動バブルがあるかもしれません。
前に進むために、短距離興奮性と長距離抑制性の結合を使って1次元のバンプアトラクタを作ることから始めます。これらのバンプは安定していますが、弱い力で動かすことができます。力にはさまざまな源があります。神経細胞への入力、結合の非対称性、発火率やシナプスの適応などです。
重要なポイントは、バブルを安定した実体として考え、どの神経細胞が活性化されているかを詳細に見るのではなく、バブルを動かすという観点で何が起こっているかを説明することです。バブルの位置が、どの神経細胞が活性化されているかを実際に記述しています。
動的パターン認識を行うために、安定したバブルを持つように結合された神経細胞の線を取り、各神経細胞にシナプスを作る入力線を持たせます。入力は弱いので、結果として入力はバブルを動かすことはできますが、バブルを作ることはできません。
非常に簡単な神経細胞モデルを使います。神経細胞は入力電流の関数として発火率を持つアナログシステムとして扱い、それは飽和する形を持ちます。シナプス特性も単純で、仮想的な活動電位が来ると、少しの間続いて消える電流が発生します。これが神経細胞の特性の全てです。非常に単純な神経細胞の動力学です。
回路が行える興味深いことは、神経細胞の特性ではなく回路構造によるものです。先ほど述べたように、音声パターンを扱います。「3」と言う3人の話者のリズムの違いを示すために、システムを設計しています。
スライドの上部は、誰かが「3」と言ったときの典型的なソノグラムを偽色で示しています。約200Hzから約5000Hzまでの20の異なる周波数帯域があり、各周波数帯域のパワーが時間とともに水平に広がっています。これは話し言葉の典型的なソノグラムです。
私は単に、これらの入力線に沿って入ってくる音声パワースペクトルに関する情報を使い、さまざまな神経細胞に接続を作ります。合理的な知能を持つシステムを設計すれば、話された「3」を認識するシステムを設計できます。
ここに示されているのは、神経細胞の数です。神経細胞1は線の左端、神経細胞90は線の右端にあります。水平方向に示されているのは、時間の関数としての神経細胞の活動です。この神経細胞はしばらくオフで、次にオンになり、再びオフになります。
始めは、音声が出る前に、神経細胞0から15がオンになっています。バンプは線の左端にあります。他の神経細胞は全てオフです。時間の終わりには、バンプは線の右端に移動し、神経細胞70から90がオンになり、他の全ての神経細胞がオフになっています。
認識は、単に線の右端のこれらの神経細胞が活性化されたときに行われると見なします。つまり、入ってくる音が、この場合、バンプを線の左端から右端に移動させました。バンプを何も言われていない場所から「3」が言われた場所に移動させたのです。
これはどのように行われるのでしょうか?それは、さまざまな神経細胞への時間の関数として巧妙に工夫された入力を持つことで行われます。この領域の神経細胞は「3」の始まりによって駆動され、この領域の神経細胞は「3」の終わりによって駆動されます。その間には、「r」のような音によって駆動される神経細胞があります。
うまく工夫すれば、時間の関数として様々な神経細胞への入力のピークが線の左端から右端に移動するのが見えます。これがクランプを動かすものです。
別の話者が別のリズムで「3」と言った場合、入力のパターンは少し異なりますが、それでも一方の端から他方の端へと移動する谷や山があり、それがバンプを一方の端から他方の端へと引っ張ります。これは、リズムが全く異なっていても「3」として認識されることを意味します。
「0」の場合、「3」検出器の神経細胞は「e」によって線の右端に向かって強く駆動されることがわかっています。ここで時間の関数として偽色の入力で見ることができます。「0」の早い段階で「e」が非常に強いです。
では、なぜバンプは「e」によって強く駆動される線の端に移動しないのでしょうか?答えは非常に簡単です。そこに到達する経路がないからです。これらの神経細胞は強く活性化されますが、決して活性化されません。なぜなら、それらを活性化する唯一の方法はバンプを移動させることですが、バンプは近くにないからです。
これが「0」が認識されない理由であり、「3」が認識される理由です。システムへの信号入力は弱い入力です。特定の神経細胞を時間の関数として見ると、バンプを維持している領域内の回路からの入力と、感覚信号からの入力があります。感覚信号からの入力は、リバーバレント接続の回路からの入力と比べて小さいです。
したがって、信号入力は弱く、システムへの支配的な入力は信号入力ではなく、フィードバック接続からのものです。これに関連して、例えば一次視覚皮質を思い出させます。感覚システムからの入力が来る層を見ると、ほとんどのシナプスは実際には感覚システムからのものではありません。感覚信号が到着する領域のほとんどの入力は、実際には他の部分からのフィードバック接続からのものです。
つまり、視覚皮質での感覚信号は、ここでのモデルと同様に、実際には信号の弱い部分なのです。
これは単により多くの認識を示しています。これは楽しみのためにやってみましょう。「1」の部分を認識することに成功しました。「0」の部分ではなく、これら2つの音声信号が全く同じ話者の声で正確に一緒に来ているにもかかわらずです。
これは従来の音声処理方法で混乱を引き起こすような種類のものですが、ここでは一方の端から他方の端へとバンプを引っ張る素敵な道筋があり、これは適切に認識されるでしょう。
数学をやらないと約束したので、数学はしませんが、重要なのは、バンプの運動の集団的な振る舞いを記述する単一の方程式があるということです。信号への応答があり、バンプの動きを理解するには2つの方法があります。
100個の神経細胞の活動に対する運動方程式を正確に解くか、創発的な座標を表す単一の方程式を使うかです。これら2つの異なるバンプ運動の計算方法は非常によく一致します。
要するに、集団運動はシステムの動作の本質のほとんどを捉えています。
最後の数分間は、2つのバンプと2次元を持つ少し複雑なシステムに目を向けます。これは海馬システムに関連していますが、神経細胞の基本に戻ることはせず、我々が理解できる創発的な記述があるという事実を使います。
ほとんどの方がすでにご存知だと思いますが、ラットの海馬には場所細胞があります。特定の場所細胞は、ラットが1つの場所にいるときに活性化され、その場所から遠く離れているときは不活性です。
ラットの海馬で現在アクティブな細胞を見ると、その黒い線が海馬の輪郭だとすると、特定の細胞のサブセットが強くアクティブです。1秒後には別のサブセットが、さらに1秒後には別のサブセットがアクティブになります。ラットが移動しているからです。
これらのサブセットは、海馬内のこの細胞がどこにあるかによって意味を持つわけではありません。しかし、活動を空間マップ上の受容野の中心、つまり場所フィールドにプロットすると、活動の塊が見えるはずです。
このように表示すると、先ほど示したものと同じものが、空間内のラットの動きに従う細胞の活動の塊として見えるでしょう。
ここで、活動のバンプを安定化させた2次元システムがあると仮定してください。活動のバンプは最初、そのシステムのどこにでも置くことができます。システムに入力を入れたり、接続に非対称性を加えたりすることで、活動のバンプがどこにでも安定するのではなく、実際に動くように駆動されるシステムを作ることができます。
得られるパターンの1つは、活動が空間内の特定の点に向かって動くパターンです。これは、ラットがどこかにいて、その中心点に移動したいという考えの表現と考えることができます。
このようなシステムを作ると、海馬の知識にすでに存在するアイデアを使って、ラットが目を開けて活動の塊を活性化し、目を閉じると活動の塊が目標に向かって移動するシステムを作ることができます。
これは、ラットが目標に到達することを想像できるという意味で想像上のプロセスです。しかし、もちろんラットは物理的に目標に到達したいのです。では、どのようにして精神空間での活動の塊の動きを物理的な活動に結びつけることができるのでしょうか?
生物学でこれが明らかに起こっている簡単な例があります。最も単純なのは、黒い背景に1つの光点を置いて両目で見る場合です。始めは2つの点が見えます。その理由は、目が協調していないからです。右眼の網膜と左眼の網膜からの光点の位置が皮質で重ね合わせられていないのです。
そこで、輻輳運動を行い、2つの活動の塊が協調するようにします。したがって、神経生物学には、2つの塊を取り、それらの塊をより重ね合わせるようにする筋肉コマンドを生成する単純な回路が存在するはずです。
これが目標指向行動に基本的に必要なものです。2つの活動の塊を持つ必要があります。1つは実際にいる場所を中心とする感覚的な塊で、もう1つは目標に向かってその塊を動かす力を生み出すシナプス非対称性を持つ精神的な塊です。
それらの間に接続を追加する必要があります。必要な2つのことは、感覚的な塊から精神的な神経細胞への入力で、感覚的な塊を実際の位置の近くに制約することと、目標の位置と現在の位置の差に基づく運動コマンドです。
これらの2つがあれば、基本的な物理学を組み合わせることができます。これは基本的に物理的な位置と精神的な位置です。精神的な位置は目標に引き寄せられていますが、同時に物理的な位置にも引き寄せられています。
物理的な位置は2種類の力によって変化します。1つは運動コマンドによる力で、もう1つは地形や物理的世界の現実による摩擦力です。
これにより、目標指向行動が可能な全体的なシステムが得られます。例えば、ラットを動かしてシステムを撹乱すると、物理的な位置が動き、精神的な位置も動きますが、精神的な位置はまだ目標に引き寄せられ、あらゆる種類の撹乱にもかかわらず目標を達成するシステムになります。
これは素晴らしいフィードバックシステムですが、基本的なアイデアは、相互作用する2つの塊が必要だということです。1つは精神空間で目標に引き寄せられるものを表し、もう1つは現在の位置を表します。そして、これら2つの差に基づいて運動コマンドを生成します。
ちょっと声が出にくくなってきたので、おそらく皆さんの方が私が説明するよりもこれらをよく読めると思います。しかし、これが基本的な要約です。
モデルシステムでは、これらのものが堅牢な計算行動と運動行動を生み出すことを容易に示すことができます。問題は、このような創発現象を探すことが実際に進化が行ったことであり、したがって人間の神経生物学で重要になっているかどうかということです。
もう1つの未解決の問題は、このようなものがエンジニアリングの文脈で実際に有用かどうかです。これが神経生物学が正確に行っていることかどうかは別として。
デイビッド、あんまり進歩してへんのがわかると思いますが、まだ同じテーマに取り組んでるんです。これは永遠に続くでしょうな。ありがとうございました。
質問の時間がありますね。実は私から質問があります。ジョン、目標はどのように表現されているんでしょうか? 接続パターンで表現されているのか、それとも別の活動の塊で表現されているのでしょうか?
目標を表現する最も簡単な方法は、シナプス結合に少し非対称性があれば、バンプがどこかにあるとき、その接続の非対称性によって決定された場所に自然に移動します。つまり、活動の目標は、以前の学習によって接続に存在しているということです。
はい、そうですね。マイクを回しましょう。
線虫の例が気に入りました。線虫は小さな神経系に多くの計算能力を詰め込んでいて、神経系のサイズが大きくなるにつれて個々の計算能力が低下すると主張されました。より大きな神経系を作ることで何が得られるのでしょうか? 個々の神経細胞の計算能力を犠牲にして柔軟性を獲得しているのでしょうか? それとも、2つのものの興味深い組み合わせがあるのでしょうか? 哺乳類の個々の神経細胞が単純な実体であり、線虫の神経細胞がより洗練されているというのは本当なのでしょうか?
哺乳類の神経細胞は単純な実体ではありません。集団的な振る舞いに関連することを駆動しようとするために、精巧な特性も持っています。モデル神経細胞を実際の神経生物学の神経細胞よりもはるかに単純に保っています。
集団的な振る舞いから得られるものは、自然な堅牢性です。空気中で分子の衝突の法則を少し変えても、空気力学には何も起こりません。神経系で確実に欲しいものの1つは、損傷やノイズに対する堅牢性です。創発現象から得られるのであれば、設計する必要はありません。
あなたのモデル神経細胞、「3」などの数字を認識するモデルで、そのモデルネットワークをどのように訓練したのですか? 情報はどこに入ったのでしょうか?
音声に関しては、実際に適切なパターンを手作業で配線しました。与えられたモデルテンプレートを知っていて、そのモデルテンプレートは時間的にどのように歪められても機能するだろうと。学習できるはずですが、この種のネットワークの学習手順を書き下ろすことはしていません。それはまだ行う必要があります。
講演の冒頭で、誰も隠れマルコフモデルを実装しようとしたことがないと言われましたが、マーの小脳モデルを思い出しました。そこでは並列繊維が時間次元を小脳上の動きに変換しています。これはあなたのバブルで行っているのと同じ種類の動きを行う別の方法です。
プルキンエ細胞との接続に抑制性シナプスを通じて学習することで、隠れマルコフモデルに少し似たものを想像できます。もちろん小脳では活動電位と活動電位のタイミングが非常に重要になると思います。
集団変数と創発、そして活動電位に関して何かできればいいのですが、数学的にも物理的にもあまりにも鋭くないので、まだできていません。これらすべてにおける活動電位の役割を理解したいのですが。
わかりました。では、ジョン・ホップフィールドさんにもう一度感謝の拍手をお願いします。