ニューロンネットワークの集合的特性

14,953 文字

ジョン・ジェイ・ホップフィールドは、カリフォルニア工科大学の化学・生物学のディキンソン教授であり、物理学の教授でもあります。ホップフィールドは1980年にプリンストン大学からカルテックに移りました。プリンストンでは16年間物理学の教授を務めていました。1958年にコーネル大学で博士号を取得し、ベル電話研究所の技術スタッフとしても勤務し、プリンストンに移る前はUCバークレーの教員でした。
ホップフィールドは全米科学アカデミーとアメリカ芸術科学アカデミーの会員です。1969年には、固体と光の相互作用に関する研究で、アメリカ物理学会のオリバー・E・バックリー賞を受賞しました。1983年にはマッカーサー財団のフェローシップ賞を受賞しています。
現在の研究は、生物学システムにおける構造と機能の関係を理解しようとする試みで、彼はこれを元々の専門分野である固体物理学の一部と考えています。今日の講演は、ニューロンネットワークの集合的特性に関するものです。
ありがとう、テッド。大学院生の時にあなたと長い間ブリッジをしてきたので、あなたの声が「試み」という言葉を強調するときの調子がよくわかります。なぜなら、特定の時点では、生物学のすべてを原理的に物理学で説明できるとしても、取り組みたい多くのことが実際には複雑すぎるからです。
また、多くの生物学的な問題に対して、物理学の観点から始めるのは単に割に合わないのです。私は現在、コンピュータサイエンスの一部と神経生物学の一部を結びつけようとする適切な時期だと考えています。そして、その結びつきを試みる上で最も役立つのは、凝縮系物理学と統計物理学の一部から得られる洞察だと思います。
本日は、この3つの分野の接点にある側面をいくつか説明したいと思います。まず最初のスライドをお願いします。はい、ここから始めましょう。
これは私がカルテックで最もよく使う2台のコンピュータです。1台は私の部門長で、もう1台は机の上にあるものです。これらはそれぞれ、より大きなマシンにつながっています。1台はVAXに、もう1台は学長につながっています。これらはどちらもコンピュータです。ハードウェアは特定の方法で組み立てられ、ソフトウェアの多くは製造ラインから出てきたときの状態で組み込まれています。
それでも、新しいプログラムを入れることができ、データを入力すれば決定が出力されます。私は、これらがどの程度同じ原理で動作するかを問いかけ、この問題を少し追求したいと思います。
物理学の観点から何かがどのように機能するかを尋ねる従来の方法は、微視的な詳細を調べることでした。だから、この方向に向かう傾向がありますね。箱のカバーを外すわけです。ハリーはあまり協力的ではありませんでしたが、これは始め方としてはベストではないかもしれません。
計算の観点からすると、現代のコンピュータのカバーを外せば、あらゆる種類のハードウェアが見えるでしょう。1950年代後半のIBM 703などのカバーを外せば、まったく異なるハードウェアのセットが見つかるでしょう。そして、一方を詳細に追求すれば真空管を研究することになり、他方を詳細に追求すればシリコンを研究することになります。
しかし、これらが基本的に同じ方法で計算を行うことは知っています。だから、物事が同じか異なるかを尋ねるのにはるかに興味深い方法は、タスクの観点から追求することです。ここに2つの計算タスクがあります。上の方は掛け算の問題で、かなり難しいものです。私はもう長い間やり方を忘れてしまいました。
人間の脳のサイクル時間を合理的に考えても、デジタルマシンと比べて驚くほど悪い性能しか出せません。2番目の問題は、実際にベイリー・ユーリッシュの研究から取られたものです。これは別の問題で、問題を説明する必要さえありません。そのパターンが表示されるとすぐに、文字Lの海の中央にあるCの中央にプラス記号があることがすぐにわかりました。
あなたはそれを速くできるだけでなく、小さなマイクロコンピュータはそれをとてもゆっくりとしかできません。また、あなたはそのタスクを異なる方法で行います。マイクロコンピュータでこれを行いたい場合、1つのオブジェクトを見て、次のオブジェクトを見て、さらに次のオブジェクトを見ていきます。そして、そのプラス記号を見つけるのにかかる時間は、基本的に写真の中にある邪魔なLの数に比例して増加します。
一方、あなたはプラス記号を見つけるのに、Lの数が半分であろうと2倍であろうと、本質的に同じ時間で見つけることができます。ハードウェアとタスクの間には本当に関係があるのです。デジタルコンピュータは掛け算の問題を行うように作られており、一方であなたは明らかに別の種類の問題を行うように作られているようです。
他にも違いがあります。1つは、コンピュータが特定のコンポーネントに依存していることです。コンピュータを設計する際には、目的なしにコンポーネントを入れない傾向があります。もちろん、これは奇妙には聞こえませんよね。コストがかかりますからね。一方、生物学には一般的にこの目的の概念がありません。
発達の過程で、全体的にシステムをより良く機能させるものがあれば、それを追加する傾向があります。進化はそれを維持する傾向があります。結果として、生物学的な計算は、デジタルコンピュータでの計算よりもはるかにホリスティックな方法で行われなければなりません。
これは特に重要です。なぜなら、生物学的コンピュータは、脳の規模に達すると、精密に作られているわけではないのに、機能しなければならないからです。だから、問題について考えると、人間の脳のこのソフトな側面、人間の脳の並列性、そしてそれが行わなければならないホリスティックな種類の計算があります。これらは、通常のデジタルコンピュータが機能する方法とはかなり異なっています。
もう1つの違いは、関与する基本的な数値に関するものです。人間の脳には、10の10乗から10の11乗の間のニューロンまたは神経細胞があり、それぞれが約1000の接続を他のニューロンとしています。マイクロコンピュータを見ると、それははるかに小さく、100万ゲート程度の規模です。そして、もう1つ非常に目立つのは、ゲートあたりの接続数が非常に少ない傾向があることです。
生物学的システムでは、接続自体が計算要素である傾向があります。その結果、これら2つのシステムの規模は全く異なっています。さて、コンピュータの規模が大きくなるにつれて、少し複雑に見え始めます。これは現代のマイクロプロセッサチップの典型的なものです。実際にはカルテックの学生の1人が設計した小さなものです。
しかし、もしこのシステムの回路図を完全な詳細で与え、システムがどのように設計されたかを教えなければ、入力をシステムに与え、出力を取り、ビットのシーケンスを入れてプログラムを開始する方法は膨大にあります。そのようなものを使用する方法を理解するのはほと�不可能になります。指示セットをほとんど与えられなければ、完全な回路図を知っているだけでは本質的に不十分になります。
これは生物学的コンピュータにアプローチする際に問題を引き起こします。なぜなら、回路図を詳細に知ることは決してないからです。その結果、どのように進歩するかを尋ねなければなりません。1つの答えは「ゆっくりと」です。もう1つは、そうでなければ主な問題となるものを長所にしようとすることです。システムの大きさを長所にしようとするのです。
フィル・アンダーソンは数年前に「物理学の今日」という雑誌に「より多くは異なる」というすばらしい記事を書きました。それは単に、物理学のあらゆる側面と人生のあらゆる場面で、大量のオブジェクトを持つシステムを得たとき、それらのオブジェクトが2つ、3つ、4つでどのように振る舞うかを理解した後でも、通常はそれらのオブジェクトの大きな累乗を持つシステムでは、新しい物理学が生まれ、新しい科学が生まれ、新しい現象が生まれるという結果になることを思い出させるものでした。
これは分子衝突から全てのものに当てはまります。典型的な例として、大きな箱に2つの分子の衝突を研究することができます。しばらくするとそれに飽きて、大きな箱に3つの分子を入れます。2つや3つの衝突には、10の20乗の分子をその箱に入れると音波が物理現象になるということを直接示唆するものは何もありません。
音波は衝突に依存してその存在がありますが、ある意味でその本質は少数の分子の物理学では捉えられません。他の分野でも、集合的現象の古典的な例があります。なぜ一部のサッカーの試合で暴動が起きるのに、カルテックのサッカーの試合では起きないのかを知りたければ、それは単に規模の問題です。10人では暴動を起こせません。
さて、神経モデリングについて話そうと思います。私が作ろうとしているニューロンのモデルは、多くの詳細において実際には間違っているでしょう。全ての詳細を入れることは単にできません。それらが知られていないだけでなく、非常に複雑だからです。状況の本質を捉えようとしたいのです。
集合的現象の考えの重要な側面の1つは、集合的現象が入力される一部の事柄の詳細に比較的独立している傾向があるという事実です。例えば、音波は分子間の衝突に依存してその存在がありますが、物理学の授業でチェックする音速の公式には、それらの衝突の描写さえ含まれていません。
本質的に現象は衝突を含んでいますが、詳細はあまり重要ではありません。本質的にすべての固体は液体に溶けます。融点、融解エントロピーなどは詳細に依存しますが、融解現象があるという事実は普遍的であり、実際には分子間相互作用の詳細な性質には依存しません。
同じ意味で、神経システムで集合的特性を探しているなら、モデルの一部の詳細が必然的に間違っているという事実を超えて、洞察の堅牢性を期待することができます。したがって、神経システムには集合的効果があるはずだという考えを追求しようと思います。神経システムは計算システムです。そうすると、集合的効果が計算的に興味深いものであるかどうか疑問に思うでしょう。
そしてそれを調査するために、特定の計算問題である記憶の問題を追求しようと思います。生物学で最も印象的なことの1つは、記憶が実体を持っているということです。記憶には粘着性があります。このキャプションには「モートン、この件についてアドバイスしたいのですが、古い頭の中には元ガールフレンドの電話番号以外何も残っていないようです」と書かれています。
彼は多くの桁を持つ電話番号を持っており、おそらく顔や名前も覚えているでしょう。彼のCPUの機能が低下している状態でも、それらの記憶は一緒に保持されています。従来のコンピュータアーキテクチャでは、これは問題ではありません。従来のコンピュータアーキテクチャは、基本的にこのようなアナロジーで記憶を保存します。
巨大な建物があり、巨大な図書館のようなものがあります。ある事柄について保持したいすべてのデータを、ある意味で1つの場所に置きます。簡単にするために、それをその場所にまとめて置く傾向があります。記憶が混ざり合う問題はまったくありません。なぜなら、あるものに関する情報は特定の場所に置かれ、他のものに関する情報は別の場所に置かれるからです。
一方で、この種のアーキテクチャは、情報を取り出すために情報が保存されているアドレスを知る必要があります。これはまた、情報の局所的な保存です。特定の場所が特定のものを保存するのに使われるという意味で局所的です。そして、コンピュータの特定の場所を破壊すれば、特定のものが忘れられてしまいます。
生物学的記憶はもう少しホログラフィックな性質を持っているだろうと疑われます。ハードウェアの他の部分がおそらく複数の記憶に参加しているという意味で、そして記憶は実際にハードウェア内で重複する傾向があるという意味でホログラフィックです。これは記憶をどのように分離しておくかという問題を引き起こします。
また、内容アドレス可能性の問題も主要な問題です。内容アドレス可能性の考え、つまり連想記憶の考えは非常に単純です。多くの情報ブロックを含む記憶を持っているとします。あなたの記憶がどのように機能するかというと、特定の経験があった場合、その一つの側面を思い出させれば、他のすべての側面を思い出すことができます。
そして、どの側面を選んで思い出させても、まだ記憶全体を再構築できます。つまり、記憶は内容によってアドレス可能であり、場所によってアドレス可能ではありません。このような種類のものはコンピュータハードウェアやソフトウェアで構築することができますが、それを行うのはかなり面倒です。
困難さは、例えば人々に関する情報を保存したい場合、小さなリストを作成し、それを本やカタログに何らかの方法で保存します。アルファベット順に保存すれば、名前で人々を思い出そうとするときは非常に簡単に見つけることができます。しかし、他の情報で思い出そうとする場合は、何らかの索引を持つ必要があります。
そして、それらの項目の約3つを使って、それぞれが非常に柔らかく弱い項目である情報で思い出そうとする場合、1万人のリストからこの人を見つけるための索引を作成しようとすると、索引作成の問題が絶対に手に負えなくなります。特に、必ずしも正確でない入力手がかりを扱うことができる記憶を作ろうとすると、指数関数的に増大します。
内容アドレス可能性の考えは、コンピュータサイエンスに直接向かっているように聞こえますが、ここで内容アドレス可能記憶の本質的な考えが、物理システムが計画なしに自然に持っているものであることを指摘したいと思います。
それを示すために、数学の観点から内容アドレス可能性の本質を指摘したいと思います。2文字の組み合わせを覚えようとしたとします。各軸にアルファベットを書き、特定の2文字の組み合わせはその空間の1点になります。そして、HEとAMという2つの記憶を持つことができます。これらはその空間の2つの点です。そして、これらが覚えたいものだと言えます。
内容アドレス可能な記憶を持っている場合、Hという手がかりが与えられると、システムはE点に到達し、その記憶に関する情報を得ることができます。あるいは、GFのようなもっとあいまいな文字の組み合わせが与えられた場合、内容アドレス可能な記憶はそれがHEよりもAMに近いことを認識し、初期の手がかりであるGF座標から始めて、近くの記憶点であるHEに移動し、その記憶を生成するはずです。
これを続けると、抽象的な意味で、内容アドレス可能記憶の本質は、ある動的性を持つシステムであることがわかります。状態空間での時間変化を記述できるシステムで、流れを持つものとして記述できます。そして、Xがある状態空間にある点を記憶として考えると、それらは流れの安定点です。局所的に流れはその領域に向かいます。
その結果、記憶がどこにあるかについて部分的な情報から始めると、システムはその記憶を正確に再構築します。一方、部分的な情報が他の記憶により似ている場合は、この他の記憶を再構築します。しかし、内容アドレス可能記憶の考えはそのような図に含まれています。
多くの物理システムが多安定点を持つことを知っているので、つまり動的性において多くの安定点を持つことを知っているので、内容アドレス可能記憶として機能する可能性のある単純な物理システムがあるはずだとわかります。そして、これらの内容アドレス可能記憶は、本当に持ちたいと思うものです。
例えば、人工知能の多くの研究者は、大規模な内容アドレス可能記憶を作ることができれば、人工知能でもっと進歩できると主張するでしょう。人間のタスクを行わせようとしている場合、人間が主に頼っているのは、連想記憶または内容アドレス可能記憶の大きな集まりです。
これをさらに進めるには、ニューロンがどのようなものかという問題に戻る必要があります。ニューロンが計算を行ったり、特定のアクションを行ったりするときの数学的または物理的な本質を捉えようとしなければなりません。
まず、ニューロンはかなり厳しい姿をしています。これは約90年前にカハールが作成した図面からのスライドです。脳組織の切片を、基本的に細胞の約1%を完全に染色する染料で染めることができます。そうすると、細胞体とその突起、そしてこの細胞と接続している他の多くの細胞を見ることができます。すべての配線のようなものが見えるのは、相互接続ネットワークです。
集積回路と同様に、脳は自然に配線で埋まる傾向があります。これが見えるのは、ほとんどの細胞が染色されていないからです。そして、高い接続性がどのように維持されているかがわかります。また、名目上同じ動物の切片を作るたびに、発生的に異なるものが見つかることもわかります。実際のハードウェアを知ることは決してないでしょう。しかし、これがハードウェアの大まかな姿です。
機能的には、これらの細胞の1つに電極を挿入し、内部と外部の電位差を測定する電気生理学的測定を行います。次のスライドは、猫の大脳皮質の特定の細胞で記録された時間の関数としての電位差を示しています。
この特定の細胞は、猫の唇の触覚センサーに間接的に接続されている感覚皮質の細胞です。時間の関数として電位を見ると、ノイズレベルがあり、時々これらのスパイクの1つが現れます。これらのスパイクは約1ミリ秒の期間続きます。唇を特に刺激していない場合、これらのスパイクの背景レベルが得られます。
唇を優しく刺激すると、突然これらのスパイクの密な茂みが得られます。これは別の刺激で、単位時間あたりのスパイクの数が比較的少ないものから、より多くのスパイクに移行するのがわかります。
多くの目的のために、これが表す種類の行動を近似しようとすることができます。特定のニューロンは本質的に入力-出力関係を持っていると言えます。これを次のように描写できるかもしれません。Y軸に沿って、細胞の短期的な平均発火率、つまり平均スパイク生成率を出力の尺度として取ります。そして、膜を保持している電位、つまり平均電位を入力のレベルとして取ります。
細胞は一方で、電位が大きく負の場合、単に出力を生成しません。そして飽和出力に至ります。そして、この黒い曲線のような曲線をたどります。これはスパイキング行動のすべての詳細を抑制し、平均的な行動に置き換えています。これは近似的にのみ有効です。量子化されたシステムを見ているが、より古典的な表現を見てみようと言っているようなものです。
これを入力-出力関係として取るなら、次に何をしたいかを知る必要があります。2つの明らかな近似があります。1つは線形的な方法で近似することで、もう1つは2つの閾値レベル間を行き来するステップとして近似することです。
線形的な方法は、おそらく最も有用な方法ではありません。部屋の明かりを突然消して、「最寄りの出口に向かってください」と言ったとします。そして、あなたが座っている場所から見て、右に1つ、左に1つ出口があるとします。線形システムは壁の中央をまっすぐに歩いていくでしょう。線形システムは平均を取ります。
計算の本質は、曖昧さがあるときに決定を下すことです。古いガールフレンドの電話番号の平均を思い出したくはありません。1つか他のどちらかを思い出したいのです。だから、このオン/オフの特性を取ることにします。より現実的な特性でもいくつかのモデリングを行いましたが、今はそれには立ち入りません。
次に入れなければならないのは、ダイナミクスに関するものです。システムの本質は状態空間における流れとして記述されたので、時間のダイナミクスを持つ必要があります。このシステムに対して私が持つアルゴリズム全体は実際に非常に単純です。
それは、特定のニューロンが現時点でオフかオンか、あるいは出力の低い値か高い値かのいずれかであると言います。そして、その状態は、まず入力によって制御されます。他のニューロンからそれに対して行われるすべての接続の和として記述される入力があります。これは他のニューロンがオフかオンかによって0か1かーにならない値のVJを掛けたものです。
これが特定のニューロンへの入力です。そして、アルゴリズム、時間アルゴリズムは、各ニューロンが確率的に時間とともにその状態を調整し、オンになるかオフになるかを決定するというものです。ランダムな時間に頭を上げて、オンになるべきかオフになるべきかを尋ね、再調整します。
そして、単に閾値法則に従って、それへの総入力が0より大きいか小さいかによって、これを行います。そして、異なるニューロンが非同期的に処理を進めます。これは、接続の記述がすでにある限り、ニューロンがどのように状態を変化させるかを見ることができるアルゴリズムを記述しています。
知りたい最初のことの1つは、このアルゴリズムが安定点を持つ良好な流れを持つ種類のものなのか、それともずっと役に立たない流れを持つのかということです。カオス的な流れを持つのか、あるいは巨大な極限サイクルに入るのか。そして、多くの広範な状況下で、アルゴリズムは実際にこの種の流れを持ち、安定した極限点に向かって動くことがわかります。
次に知りたいのはなぜかということです。最も単純な説明は、スピングラスの考えから来ます。皆さんは強磁性体が何かを覚えていますね。スピン間に交換相互作用があり、その結果スピンは平行になりたがります。非常に安定した低温で磁気相転移という集合現象があります。
あるいは、符号が負の交換を持つことができ、安定した反強磁性構造を持つことができます。あるいは、ここ12年ほど研究されている主題では、スピングラスを持つことができます。これは、異なるスピン間の交換相互作用がはるかにランダムな性質を持つシステムです。
このシステムは温度が下がると安定した磁気状態を持ちますが、強磁性体とは異なり、磁性を向ける安定した方向が少ししかない傾向があるのに対し、スピングラスは膨大な数の安定した基底状態を持つことがわかります。
フラストレーションとして知られる現象がそのシステムで起こります。これは、どんなに頑張っても、システムのエネルギーを最小化しようとするときに、すべてのスピン間の交換を満足させることができないということです。
この種の考えと、ニューロンについて私が説明したアルゴリズムとの間には変換があることがわかります。そのため、私が持っていたモデルニューロンシステムが安定状態を持つ本質的な理由は、スピングラスが安定状態を持つという事実と非常に関係しています。
そして、これは、ニューロン状態を変更するアルゴリズムが本質的に、このエネルギーを常に下降させるアルゴリズムを提供しているからです。そのため、常に下降し、収束する理由がこれなのです。
このシステムには...ちょっと、すでに示したフローマップの背後には実際にエネルギーの地形があることを説明させてください。システムが収束する理由は、このエネルギー地形の中で下降しようとしているからです。
もっと抽象的に、あるいはより具体的に考えるかによって、特定の記憶を持つモデルを取ることができます。接続を選択するアルゴリズムがあり、特定のものが保存されるようにします。そのアルゴリズムをすぐに示しますが、このニューロンシステムは実際にいくつかの記憶を持っています。
空白の場所には0があり、Xがある場所には1があります。5つのそのようなパターンが保存されていました。そして、この特定の状態から始めると、それは名目上保存されています。接続自体に保存されているのであって、状態自体に保存されているのではありませんが、接続パターンまたはtij行列に保存されています。
これを名目上の状態で取り、システムをその状態で開始する代わりに、状態を取って一部のビットを反転させると、これに似た状態になりますが、かなりの間違いがあります。そうすると、アルゴリズムは時間とともに進行し、システムは最終的に、この開始状態が移動した実際の状態に平衡状態に達します。
もしくは、これをより具体的に行いたい場合、同じ種類のネットワークを取り、ビットに電話番号をコード化したシステムがあります。ここで、記憶されている特定の電話番号の1つを取り、3つの任意の桁をこれらの電話番号の1つと一致させ、他の任意の桁をここで任意に選択すると、これは十分な情報です。
システムがこの状態から始まり、自由に動作させると、その電話番号に収束します。そこには選択すべき情報がなかったはずです。
ここまで説明したシステムは強制選択システムですが、強制選択システムである必要はありません。システムで他のこともできます。2つの異なる状況下で行うことの明確な区別の1つは、強制選択かどうかに関係しています。
例えば、「difficulties」という言葉を話すとき、私が英語で恐ろしいアクセントを持っていたとしても、あなたは私が本当に「difficulty」という言葉を話したことを理解するでしょう。ただ、アクセントを間違った場所に置いただけです。
一方、現時点であなたは実際に「diffuculty」を言葉として拒否したでしょう。なぜなら、私が正しく発音すると期待していたからです。
状態空間の流れでは、私が説明したシステムは状態空間を持ち、流れは次のように分割されています。どこから始めても、システムにすでにある記憶の1つに強制的に向かいます。どんな入力状態でも取り、すでに持っている記憶の1つに分類しようとします。
英語の例で説明したように、このような体制で英語を操作できます。言葉に十分似た音から始めれば、その言葉が話されたと信じるでしょう。しかし、ここで表現されている言葉の状態空間からあまりにも遠い音から始めた場合、最も似ている言葉を見つけることはなく、単にそれを言葉として拒否するでしょう。
適切な一致があるものを選び出し、他のものを見慣れないものとして拒否するこの体制で操作することと、ゼロの閾値ではなく有限の閾値でシステムを実行することの違いは、実際にはすでに説明したシステムを取り、単純な問題です。
このシステムに記憶を入れる方法について説明すると約束しました。これは今、アイジングスピンの観点で書かれています。物理学の観点から何が起こっているかを理解しようとするには、これが最も簡単な方法だからです。
すでにいくつかのものを記憶しているシステムを持ち、別の記憶をシステムに導入できるようにしたいとします。システムに別の記憶を導入する正しい処方は、ニューロンiとニューロンj間の接続強度を、新しい記憶の中のニューロンiの状態とニューロンjの状態の積の値に従って変更することです。
単純にTijをこのように増加させると、この操作は新しい状態をシステムの新しい安定状態にするのに良い仕事をし、同時に存在していた古い記憶状態を破壊しません。
この考えを連続学習に取り入れようとすることができます。ダイナミクスをもう少し豊かにしようとして、実際に学習するシステム、外部からの入力を持つシステム、またはアイジングスピンの例で考えるなら、バイアス場を持つシステムを持つことができます。
そして、Tij接続行列自体が連続的に時間とともに変化する可能性があります。このような方法で...ちなみに、Tij行列が様々な方法で飽和するのを防ぐために何かをする必要がありますが、これを行えば、この性質の変化を生み出すでしょう。
これは、外部から入ってくる新しいものを覚えるためにしなければならない種類のことです。このような種類のことを行おうとするとすぐに、このシステムが持つ能力の1つは、カテゴリーを教えられることを覚える能力です。
例えば、顔を覚えようとしているとします。その入力がしばらくの間1つの顔のように見え、次に非常に異なる顔のように見え、そして次に非常に異なる顔のように見える場合、各々がしばらくの間続くとすると、このモデルは実際にそのような方法で増加し、個々の顔が記憶されるでしょう。
これは1つの顔で、今は顔が変わって、これは別の顔だと教える必要はありません。一方、しばらくの間かなり似たものが起こる場合、例えば顔があってそれが少し動いているような場合、このアルゴリズムは自発的に行列を変更し、その結果として実際にカテゴリーのようなものを構築します。外部世界が変化する方法の結果としてです。
さて、このようなシステムでの学習について約1年半研究していますが、学習を制御することに関連するいくつかの問題があります。感覚遮断の存在下で、このようなシステムには自分自身を見て「ああ、私は可能な限り最高の内部状態にある」と言い、その状態を徹底的に学習し、他のすべての記憶を押し出してしまう大きな傾向があります。要するに、感覚遮断はこれらのネットワークにとっても悪いのです。
これを確率的アルゴリズムの観点で、擬似ニューロンハードウェアの観点で説明しましたが、このシステムが実際にこのような方法で機能するようにする理由はありません。JPLのジョン・ラムは実際に、ニューロン用の演算増幅器を使用した小さな回路を作りました。確率性は全くなく、Tij行列にはリードが使われています。
このようなシステムは、スピンシステムの多安定状態がそのネットワークから決定されたのと同じ方法で、抵抗ネットワークによって決定される多安定状態を持っています。このようなシステムは、完全にアナログシステムとして実行されると、これらのオペアンプの一部が記憶の1つのように設定されていても、他のものが矛盾する方法で設定されている場合、システムは自由に実行されると間違って設定されたオペアンプを修正します。
つまり、システムは完全にアナログな方法で、内容アドレス可能な記憶として正しく動作します。このようなものを実際のハードウェアで作ろうとするのは良いでしょう。
必要なのは、2つのリードに入る電圧差の時間履歴の結果として変更可能な抵抗要素です。高いバイアスをかけると可逆的に抵抗を変更し、低電圧領域でこの全回路を実行することでニューロンの状態を読み取る抵抗要素が欲しいのです。
ちなみに、このシステムに記憶を書き込むのが原理的にいかに簡単かに注目してください。このシステムに記憶を書き込むことは、並列で大規模に行うことはできません。書き込むには、これらのラインに1またはマイナス1の電圧を保持し、これらのラインにも同様に行います。
そうすると、これらの各交差点には、自身を再調整する方法を知るために必要な情報があります。なぜなら、新しい記憶のためのこれらの再調整の各々は、そのニューロンの値とそのニューロンのリセットにのみ依存していたからです。
要するに、記憶をインストールする方法を理解するために、記憶について何かグローバルなことを知る必要はありません。記憶が局所的にインストールされていないという事実にもかかわらずです。そして、私は記憶が局所的にインストールされていないと言いました。各記憶は実際に接続の全行列にわたって広がっています。
冗長性は、これらの接続の5%を取り除いても、つまり5%の接続を単に撃ち抜いても、記憶を決定しようとするときにもう少しノイズがあるだけで、特定の記憶が失敗することはないほどです。
だから、このシステムは実際に、コンピュータ上のこれらのシュートアウト実験で見ることができるように、全体的で非局所的な方法で動作し、自発的にこのフェイルソフトモードを持っています。
さて、生物学に関して要約しようとすると、状況はおおよそこのようなものです。この箱には理論が入っていて、こちらには証明が入っています。一方で、生物学に関しては、2つのニューロンのシステムのように不正確に作られ、ノイズの多い機能を持つシステムがどのように機能するかを、集合的な振る舞いを利用しようとしなければ見ることは非常に難しいです。
なぜなら、少なくともモデルでは、これらの集合的な振る舞いが非常に単純な方法で現れるのを見ることができるからです。モデルの詳細をあまり必要とせずに生み出すことができ、最初から設計しなければならないと思っていた性質、つまり内容アドレス可能な記憶を、このごく単純なシステムが自発的に持っていることがわかります。
そして、同じ種類のハードウェアを使って他の生物学的タスクにアプローチすることができます。できる他のことの中には、安定状態だけでなく時間シーケンスを学習することもあります。
また、私が言及したように、このテクノロジーをシリコンのようなシステムで使用して、豊富に相互接続された大規模な内容アドレス可能な記憶を作ることができると思います。これは並列で書き込み可能で、独自のカテゴリーを見つけることができる種類のものです。
しかし、最終的に私は、より高度な認知行動の側面が、細胞の大量の数と大量の接続性のために、細胞の単純な性質から直接現れると信じています。そして、そのような性質は丹念に計画される必要はありません。
最後に、従来のコンピュータと神経生物学の両方が、互いの観点から知られていることを考慮することで多くを得ることができ、その間の橋渡しは実際に統計物理学とスピングラスだと思います。
ありがとうございました。
[拍手]
質問はありますか？
（質問者）：多くのモデリングをVAXで行いました。1000個のニューロンまでのシステムで...集合的な特性が現れ始め、物事を支配し始めるためには、30個のフリップフロップまたは演算増幅器相当のニューロンと、それらの間に1000個程度の接続が必要です。
その規模を超えると、集合的特性がとてもうまく表示され、すべてのシミュレーションで現れます。アナログシステムでも、10個程度のニューロンで集合的効果が見え始めます。しかし、本当の利点は、より大きなシステムを作ろうとするときに現れます。
なぜなら、並列性がすべて味方につき、接続がすべて正しくある必要がないという耐障害性の性質もあるからです。また、特定の状況下では...
（質問者）：行列が対称的である場合、システムは必ず安定点に収束しますか？
そうですね。システムがそうでなくなるように作ると、はるかに豊かな種類の振る舞いを得ることができます。シーケンス生成を含む、リミットサイクルやカオス的な振る舞いも含みます。そこにはトレードオフがあります。非対称行列に向かって動けば動くほど、より面白いことが起こり、状況の統計的制御を失っていきます。
（質問者）：このシステムでは、すべての記憶が接続行列、つまりTijに埋め込まれているのですね？
はい、おそらく3種類の記憶があります。非常に短期の記憶があり、これは一種の電気的な反響のようなものです。頭を軽く叩かれると、最後の数秒の活動を失うような種類のものです。これは電気的なものです。
次に、より短期のものとより長期の変化があり、これらはおそらく接続の変化だと考えられています。私はTijがどのように変化するかのメカニズムについては説明していません。中期記憶と長期記憶の両方が、それらのTijに埋め込まれているとみなされます。そして、本当の短期記憶については取り組んでいません。
（質問者）：大きく広がったニューロンに焦点を当て、それらの間の接続またはシナプスをゲートと呼ぶと、互いに十分近いゲートが一緒にパルス伝播を開始するかしないかを定義します。このようにして定義されたゲートの接続性は、電子コンピュータで見られるものとそれほど違いはありませんか？
誰も実際にこの樹状突起の配線の中での信号伝播を見ることはできていません。木構造があり、ここに接続があり、そこに接続があり、あそこに接続があります。特定の接続がその細胞全体を駆動すると考えられているわけではありません。
数十の接続が必要だと信じられていますが、樹状突起の中を見ると、数が10程度かもしれません。しかし、システムは統計的な観点から見ると明らかに非常にノイズが多くなります。そのようなレベルまで下がると、実際にはそれよりも大きな数に依存している可能性があります。単に統計を取る必要があるからです。しかし、これはわかっていません。