樹状突起: なぜ生物学的ニューロンは深層ニューラルネットワークなのか

8,972 文字

去年の2022年は、簡単にニューラルネットワークの年と呼べるでしょうな。結局のところ、驚くほどええ感じのエッセイを書いてくれる言語モデルや、AIアートジェネレーター、はたまた任意の画像をアニメ風に変換するプラットフォームまで登場しましたからな。こういうもんが全部可能になったんは、人工ニューラルネットワークの発展のおかげやねん。これは、相互接続されたノードのネットワークとしてモデル化された計算システムの一種で、トレーニングデータに隠れたパターンを認識することで問題解決を学習できるんや。
ネットで「人工ニューラルネットワーク」って検索したら、「脳とほぼ同じように機能する」みたいな説明によう出くわすと思うねんけど、そういう主張は魅力的やけど、ちょっと誤解を招くかもしれへんな。実際のところ、生物学的なニューロンは、これまで考えられてたよりもずっとパワフルなんや。
この動画では、脳内の個々のニューロンが、本質的に完全なニューラルネットワークのように機能してて、めっちゃすごい情報処理能力を持ってることを見ていくで。それに加えて、この計算の複雑さを担ってる生理学的なメカニズムについても触れていくわ。興味あるなら、最後まで見てってな。
始める前に注意しておきたいんやけど、この動画は人工ニューラルネットワークそのものについてはあんまり詳しく説明せえへんで。バックプロパゲーションとか勾配降下法とかの詳細には触れへんけど、生物学的ニューロンとの関係や、現代の神経科学への応用については話すつもりや。でも、それはまた後でな。
初期のニューラルネットワークは、当時正確やと思われてた生物学的ニューロンの説明に触発されたんや。実際、今日の機械学習の誕生は1943年までさかのぼれる。そのときウォルター・ピッツとウォーレン・マカロックが「パーセプトロン」という概念を導入したんや。
派手な名前やけど、アイデアはめっちゃシンプルやねん。パーセプトロンは、個々の神経細胞みたいに機能するように作られたんや。この理論では、ニューロンは単純な加算器と比較器みたいに働くんや。つまり、一連の数字を入力として受け取って、それぞれに係数（重みとも呼ばれる）をかけて、全部足し合わせて、その結果をしきい値と比較するんや。
結果の値がしきい値を超えたら、パーセプトロンは1っていう数字を出力として隣接するやつに送るんや。こういうパーセプトロンをたくさん相互接続して、一つの出力が次のパーセプトロンの入力になるようにして、入力層と出力層を加えたら、はい、ニューラルネットワークの完成や。
そして、このネットワークを訓練するっちゅうんは、入力を正しい出力に対応させるために、なんとかしてこれらの入力の重みを調整することなんや。でも、その時点で機械学習と神経生物学の分野はほぼ分かれてしもてん。
何年もかけて、人々はいろんな活性化関数を発明したり、ニューロンをさまざまなネットワーク構造に組織化したり、重みを効率的に変更するアルゴリズムを考え出したりして、もっともっと進化させてきたんや。でも、そういうネットワークのノードをまだ「ニューロン」って呼んでるから、多くの人が生物学的なニューロンが脳の中で、パーセプトロンと全く同じように機能してると思ってるんやな。
この動画の主な目的は、生物学的ニューロンの名誉を回復して、単一の細胞が思ってるよりもずっと計算能力が高くて洗練されてることを示すことなんや。でも、ニューロンの計算の複雑さを理解するには、神経計算の背景にある基本的な生物学を思い出すのが役立つで。
神経科学の教科書を開いたら、最初に目にするのは典型的なニューロンの構造やな。普通、樹状突起、細胞体（ソーマ）、軸索からなってるんや。樹状突起は後で重要な役割を果たすから、今はちょっと置いといてな。
ニューロンの重要な特性は、電気的に興奮する細胞やってことやろ。つまり、他のニューロンとの通信の基礎となる短い電気パルスを生成する能力があるんや。生物学的システムでは、電荷はナトリウム、カリウム、塩化物、カルシウムなどのイオンによって運ばれるんや。これらのイオンは細胞の内外に異なる割合で浮遊してるんやな。
細胞は脂質膜によって外界から隔離されてて、通常はイオンを通さへん障壁になってるんやけど、ニューロンには特殊なタンパク質があって、特定のイオンが膜を通過できるチャネルを形成してるんや。このチャネルはいろんなメカニズムで開閉できるんやけど、それについては後で見ていくで。
つまり、細胞はイオンの流れを制御することで、電荷のバランスをコントロールし、膜電圧を制御できるんや。具体的には、正のイオンが細胞内に流入すると、膜を脱分極させて電圧を上げ、電位をより正にするんや。逆に、負のイオンの場合はその逆やな。
イオンチャネルの大群の中でも、特に興味深いのは電位依存性チャネルやな。これらは膜電位の値に応じて開閉できるんや。学校では、電位依存性チャネルについて、主に活動電位の生成という文脈で学ぶと思うわ。
ちょっと思い出してもらうと、活動電位はニューロンの通信単位やて言われることが多くて、しばしばニューロンのオール・オア・ナッシング出力と呼ばれるんや。簡単に説明すると、活動電位は軸索の起始部で生成されるんや。そこには特殊なナトリウムチャネルがたくさんあって、膜電圧が一定のしきい値を超えると開くんや。
ナトリウムは正に帯電したイオンやから、細胞内に流入すると膜がさらに脱分極して、もっと多くのナトリウムチャネルが開くようになるんや。これはポジティブフィードバックループみたいなもんやな。このナトリウムチャネルが開く波は軸索に沿って伝わって、シナプス伝達によって間接的に他のニューロンに伝えられるんや。
でも、ナトリウムチャネルは永遠に開いてるわけやあらへん。最終的には閉じて、別のタイプのチャネルが開くんや。これによって、カリウム（これも正に帯電したイオンや）が細胞から出ていって、膜電圧を元の静止レベルに戻すんや。
はい、これで活動電位を生成して、下流のニューロンに1ビットの情報を送ったわけや。もう既に、ニューロンをパーセプトロンとして記述した初期の説明がなぜ妥当に思えたかがわかるかもしれへんな。結局、電位依存性チャネルを通じてしきい値関数がニューロンに実装されてるのを見たわけやからな。その部分は正確やな。
確かに、パーセプトロンの主な問題は、出力ではなく入力にあるんや。さあ、ずっと後回しにしてた樹状突起に戻って、入力情報の計算にどう寄与してるか見ていこか。
よく説明されるのは（そして私もそう教えられたんやけど）、樹状突起は情報の受動的な受信機として機能するっちゅうことや。２つの細胞間で信号が伝達されるのは、一方のニューロンの活動電位が、もう一方のニューロンの樹状突起と特別なつながり、つまりシナプスを形成するときやねん。
送信側（シナプス前）ニューロンの活動電位が起こると、一連の化学反応が引き起こされて、最終的に信号分子が放出されるんや。これが受信側（シナプス後）ニューロンの膜にある神経伝達物質依存性イオンチャネルを開かせるんや。
このイオンの流れがシナプス後細胞の膜を脱分極させて、その信号が樹状突起樹全体に伝わるんや。で、受動的な膜での電気信号の伝播は、従来ケーブル理論で説明されてきたんや。
このパラダイムでは、樹状突起はただのケーブルで、唯一の仕事は電気信号を細胞体に伝えることだけなんや。もっと詳しく知りたい人のために言うと、樹状突起は実際には不完全な漏れのあるケーブルとして扱われるんや。
樹状突起の一部分は、容量性の特性を持つ脂質膜のパッチとして記述されて、抵抗成分は受動的に常時開いてるイオンチャネルを通るイオンの漏れに対応するんや。結果として、脱分極のレベルは樹状突起に沿って伝わるにつれて減衰するんや。
言い換えると、樹状突起の機能は、入力信号を足し合わせることに縮小されるんや。シナプス入力の重みは、受容体の数と、シナプスが細胞体からどれだけ離れてるかで決まるんや。
細胞体でのしきい値と合わせて考えると、これがパーセプトロンモデルの生物学的基礎を与えてくれるんや。でも、神経科学者がより詳しく細胞を研究するにつれて、樹状突起が決して受動的なケーブルではないことが明らかになってきたんや。
その理由は、漏れやすい特性を与える常時開いてる受動的なイオンチャネル以外に、樹状突起は電位依存性イオンチャネルの群れに覆われてて、これが樹状突起樹に強力な情報処理能力を与えてるんや。細胞体自体よりもっと強力やねんで。
例えば、樹状突起には軸索にあるのと似たような電位依存性ナトリウムチャネルが含まれてるんや。これらは活動電位が逆方向に伝わることを可能にして、シナプス後部位に影響を与えるんや。これは逆伝播って呼ばれて、シナプス可塑性、つまり入力の重みを調整するのに重要な役割を果たすんや。
高速ナトリウムチャネルは、樹状突起に独自の小さな活動電位様の脱分極を生成する能力も与えるんや。これによって、シナプス入力を一時的に増幅できるんやな。
もう一つ重要なタイプのチャネルは、NMDAレセプターや。これは十分な膜脱分極と神経伝達物質の存在の両方を必要とするんや。だから、一種の同時性検出器として機能するんやな。
NMDAチャネルはカチオンに対して非選択的で、カルシウムとナトリウムの両方が細胞内に流入することを可能にするんや。これはシナプス可塑性なんかに大きな影響があるんやで。この脱分極イベントはしばしばNMDAスパイクって呼ばれるんや。
純粋なナトリウムスパイクレットとは違って、これらはカルシウムの流入によっても生成されて、数百ミリ秒という非常に長い時間スケールが特徴やねん。我々の議論にとって重要なのは、NMDAチャネルが樹状突起に入力情報の非線形的な統合を行う能力を与えることや。これによって、樹状突起に膨大な計算の複雑さが与えられるんや。
例えば、樹状突起は入力活動電位の順序を識別できるんや。これは、大脳皮質錐体ニューロンの樹状突起上のシナプスのグループを取ったとして、一方向での順次活性化が、逆方向での活性化とは根本的に異なる電気的および化学的反応を生み出すっちゅうことやねん。そして、これは順序だけでなく、活性化の速度にも敏感なんや。つまり、単一のニューロンが時間的なパターンを処理して、順序に選択的な出力を生成するメカニズムを持ってるってことやな。
NMDAスパイクは、覚醒した動物の視覚皮質での刺激選択性を高めることも示されてるんや。つまり、正常な脳での行動に関連する神経計算に貢献してるってことやな。このペーパーとその主要な結果についてもっと知りたいなら、パトロンサポーター向けに専用のショートクリップを用意してるで。
チャンネルをサポートしたり、動画トピックに投票したり、ボーナスコンテンツを楽しみたいなら、説明欄のリンクから詳細を確認してな。でも今日は、ちょっと違うことに焦点を当てたいんや。
人間の大脳皮質の特定のニューロンが、これまで多層ニューラルネットワークが必要やと思われてた種類の計算を実行できるって言うたらどう思う？
実際、2020年にマシュー・ラルカムが率いる研究室のグループが、「ヒト2-3層皮質ニューロンにおける樹状突起活動電位と計算」っていう論文を発表したんや。そこで、ヒトの錐体ニューロンのユニークな特性を示したんやな。
具体的には、細胞体と樹状突起での電気活動を同時に記録して、十分に強い興奮性入力によって樹状突起で開始される新しいタイプの電気反応を発見したんや。この波形は樹状突起カルシウム活動電位って名付けられたんやけど、名前が示すように、こういう電気的イベントはカルシウムイオンの流入によって引き起こされるんや。でも、NMDAスパイクと比べると短い時間スケールなんやな。
驚くべきことに、他の哺乳類種では記述されてへんこれらのカルシウムスパイクは、特定の入力強度に対して高度に選択的なんや。つまり、弱すぎる電流でニューロンを刺激したら、膜電圧はカルシウムチャネルを開くためのしきい値以下に留まるから、樹状突起スパイクは観察されへんのや。
逆に、電流を強くしすぎても、スパイクは観察されへん。樹状突起にちょうどええ強さの刺激を与えて初めてスパイクが引き起こされるんやな。
これ、一見大したことないように思えるかもしれへんけど、神経計算にとってめっちゃ重要なんや。生物学的ニューロンをどう扱うべきかについて、改めて考えさせられるわな。
これが神経計算に対して何を意味するのか、もっとよく理解するために、論理演算について話そか。
おそらく知ってると思うけど、今見てるデバイスは情報をビットで保存してるんや。これは0と1の2つの状態しかない2進単位やな。ちなみに、この後の話では0と1、そして偽と真っていう言葉を交互に使うけど、同じ意味やで。
2進データで計算を行うために、コンピューターはビット単位演算っていうのを使うんや。これは加算や乗算みたいなもんやけど、2進の世界では論理ゲートによって実行されるんや。論理ゲートはすべてのデジタルハードウェアの基本要素やねん。
個々の論理ゲートは、おそらく聞いたことあるやろうブール演算っていう簡単な操作を実行するんや。最も一般的なのは「AND」と「OR」やな。
例えば、ANDゲートは2つの入力を受け取って、両方の入力が1の場合にのみ1を出力するんや。一方、ORゲートは少なくとも1つの入力が1の場合に1を出力するんや。これは包括的OR（インクルーシブOR）としても知られてて、両方の入力が真の場合も出力が真になるんや。
入力をベン図で見ると、交差部分が含まれてるわけやな。もう一つ便利な操作があって、これは排他的OR、略してXORって呼ばれるんや。名前が示すように、XORゲートは入力の1つだけが真で、両方が真ではない場合に真を出力するんや。
ちなみに、これは「コーヒーか紅茶どっちがええ？」みたいに、日常的に「or」って言葉を使うときの解釈と一致してるんやな。普通、「or」は排他的な意味で理解されるわけや。
コンピューターでは、XORは2つの数字を比較するのに使われたりするんや。今日の議論に重要なのは、XORが線形分離不可能な関数って呼ばれるもんやってことや。これは簡単に言うと、2次元なら線、3次元なら平面、n次元なら超平面で、異なる出力クラスを分離できひんってことなんや。
例えば、ANDゲートを視覚化すると、真と偽の出力を分離する線が引けるのが簡単にわかるやろ。だから、パーセプトロンはANDゲートとして機能できるし、しきい値を下げるだけでORゲートに変えることもできるんや。
でも、XORゲートは違うんや。0の出力と1の出力を分離する線がないことに注目してな。これが線形分離不可能な関数って呼ばれる理由やねん。だからこそ、XOR操作を実行するには多層ネットワークが必要やと考えられてきたし、生物学的なニューロンでも同じやと思われてたんや。
少なくとも、さっきの論文が出るまではな。
覚えてるか？彼らは樹状突起スパイクが刺激の強さに対して顕著な細胞活動を示すって記述したんやで。例えば、ニューロンにAとBっていう2つのシナプスセットがあるとしよう。どちらか一方のセットが活性化されると、興奮が十分に大きくなって樹状突起スパイクを引き起こし、それが細胞体に伝播して活動電位を引き起こすんや。
でも、両方のシナプスセットが同時に活性化されると、入力電流の強さが樹状突起スパイクの生成に最適な値を超えてしまって、そういうイベントは観察されへんのや。言い換えると、樹状突起はAとB入力に対してXOR演算を実行したってことやな。めっちゃすごいやろ？
こういう感度の生物物理学的メカニズムに興味ある人のために言うと、これはまだ完全には解明されてへんのや。でも、コンピューターシミュレーションを通じて、著者らは樹状突起活動電位のこの特性が、既知の電位依存性カルシウムチャネルと、電圧とカルシウム濃度の両方に感受性のある特殊なカリウムチャネルの組み合わせで説明できることを示したんやで。
でも、生物学的ニューロンがそれ自体で相当に複雑な計算デバイスやとしたら、これは単純化しすぎた仮定に基づいて開発された既存のニューラルネットワークの図式にどう適合するんやろ？全部捨てて一からやり直すべきなんかな？
いや、むしろ逆やと思うんや。現代の神経科学と深層学習のアイデアを統合する未来は明るいと思うで。特に、この動画の最後に「単一の皮質ニューロンを深層人工ニューラルネットワークとして」っていうめっちゃエレガントな論文について議論したいと思うんや。
著者らは面白い質問をしたんや。深層ニューラルネットワークは、脳内の単一ニューロンの複雑な情報処理を正確に捉えられるんやろうか？そして、もしそうなら、この等価なネットワークはどんな形をしてるべきなんやろうか？
答えを見つけるために、彼らはまず、再構築された形態を使って、単一の皮質ニューロンの詳細な生物物理学的に現実的なモデルを作ったんや。そこに、膜電圧のダイナミクス、さまざまなタイプのイオンチャネルの開閉、膜を横切るイオンの流れなどを記述するあらゆる種類の微分方程式を詰め込んだんやで。
この詳細な空間モデルに一連の入力を与えて、細胞体での電圧の軌跡を出力として記録したんや。そして、著者らは層数の異なる深層畳み込みニューラルネットワークを訓練して、生物物理学的モデルの複雑な入出力関係を学習できるかどうかを確かめたんや。ネットワークは生物物理学的モデルと同じ一連のシナプス入力を受け取るんやで。
結果として、詳細なモデルのスパイク出力と電圧値を正確に予測するには、5〜8層が必要やってことがわかったんや。面白いことに、モデルからNMDAチャネルを取り除くと、等価なネットワークの複雑さが大幅に減少して、たった1つの隠れ層で出力を予測できるようになったんや。
これは、樹状突起の非線形性、特にNMDAチャネルが、ニューロンに膨大な計算の複雑さを与える重要性を示してるんやな。そして驚くべきことに、ランダムに散らばったシナプス入力だけで訓練された深層ニューラルネットワークは、一般化することができて、空間的に集中して同期的に活性化されたシナプス（これは訓練時には見たことがなかったもんや）に対しても、出力を忠実に予測できたんや。
つまり、ある意味で、明示的に指定されてへんニューロンの基本的な生物物理学を把握できたってことやな。
これらのことから何がわかるんやろか？まず第一に、この研究は、非線形的な樹状突起統合特性を持つ単一の皮質ニューロンが、実際に洗練された計算ユニットであることを示唆してるんや。そして、この計算は多層の畳み込みネットワークに匹敵するものなんやで。単一の細胞がこれをやってのけるなんて、考えたらめっちゃ驚くべきことやと思わへん？
これは、個々のニューロンをより効率的にモデル化する実用的な利点も提供してるんや。8層の深層ニューラルネットワークでさえ、膨大な偏微分方程式を解く必要がある詳細なモデルを実行するよりも2000倍速いからな。
ここで議論したトピック、例えばニューラルネットワークや微分方程式についてもっと学びたいけど、どこから始めたらええかわからへんって人おるやろ？そんな場合は、今日のスポンサーである brilliant.org が絶対おすすめやで。
これは革新的な教育プラットフォームで、楽しくて魅力的な方法でSTEM分野を進歩させることができるんや。Brilliantの主な特徴は、インタラクティブなデモを探索したり、途中で問題を解いたりしながら、学習できることなんや。これによって、最も複雑な概念でさえ確実に理解できるんやで。
Brilliantは、数学やコンピューターサイエンスの基礎から、ベクトル解析や計算生物学のようなものまで、さまざまな難易度のレッスンを何千も提供してるんや。そして毎月新しいのが追加されてるんやで。
例えば、この動画を楽しんでもらえたなら、人工ニューラルネットワークのコースに興味があるかもしれへんな。これは、パーセプトロンモデルや線形分離可能性、畳み込みネットワークなど、今見た多くの概念をより深く掘り下げながら、高度なネットワークアーキテクチャのような、もっと複雑なトピックにも踏み込んでるんや。
ためらわずにBrilliantを試して、少しずつ知識ベースを成長させていってな。1日15分だけ指定するだけでええんやで。説明欄のリンクをクリックして無料で始められるし、最初の200人には、Brilliantのプレミアム年間メンバーシップが20%オフになるんや。
さあ、まとめていこか。この動画では、電位依存性イオンチャネルの存在が、樹状突起を単なる電気の受動的な伝導体から、能動的な計算ユニットに変えることを見てきたんや。さらに、個々の樹状突起の枝が、入力に対して排他的論理和（XOR）演算を実行する能力を持ってることもわかったな。これは、以前は多層ネットワークが必要やと考えられてた種類の計算やねん。
最後に、生物学的ニューロン内での複雑な入出力情報変換には、畳み込み深層ニューラルネットワーク全体の計算能力が必要やということも見てきたわ。
だから、単一の細胞レベルでさえ、脳がめっちゃ複雑で魅力的やってことを納得してもらえたと思うわ。次に「個々のニューロンは本質的に線形加算器として機能する」みたいな主張を聞いたら、ちょっと疑ってかかってもええと思うで。
もしこの動画が気に入ったら、友達にシェアしてな。まだやったらチャンネル登録して、いいねボタンも押してくれたらうれしいわ。これからもおもろいトピックがどんどん来るから、楽しみにしててな。
じゃあな、脳に興味持ってくれてありがとう！