AIと生命の連続性と周東のランニングメモ
ピーマンの果実の肥大、ブドウの新梢の伸長、ナスの茎の成長——それぞれの作物が描く生長曲線の軌跡には、ある種の共通した律動が宿っている。
生育データの数値を時系列でプロットしていくと、そこには普遍的なパターンが浮かび上がってくる。発芽直後の緩やかな成長、その後訪れる爆発的な生長期、そして徐々に緩慢となっていく成熟過程——この曲線は、まるで生命そのものの運動を表現しているかのようだ。
シグモイド関数——その数式が描く曲線は、まるで生命そのものの運動を表現しているかのようだ。緩やかな立ち上がりから、急激な成長期を経て、やがて漸近的に安定する様は、生物の成長過程のみならず、あらゆる生命的現象に遍在する普遍的なパターンを示している。この関数は、単なる数学的道具を超えて、生命の本質を捉える存在論的なメタファーとして機能するのではないだろうか。
私たちの脳内では、神経細胞（ニューロン）が電気信号を受け取り、その入力が一定の閾値を超えると発火して次の細胞へと信号を伝えていく。この「入力信号の強さに応じて発火するかしないかを決める」という神経細胞の振る舞いが、シグモイド関数によって数学的に表現できることが発見された。
シグモイド関数の特徴的な振る舞いは、入力信号が弱い間は0付近でゆっくりと増加し、ある閾値を超えると急激に数値を上げ、そして最後は1付近で再び緩やかに推移するという点にある。これは一見すると信号を送信するか否かという単純な二者択一の判断に見えるが、実際には極めて有機的でアナログな判断を可能にする数学的特性を持っているのである。
人工知能の研究者たちは、このシグモイド関数を「活性化関数」として採用し、人工的なニューラルネットワークを構築した。ニューラルネットワークの各層において、入力された数値がシグモイド関数を通過する際、その値が大きければ「発火」して次の層へと信号が伝わり、小さければ信号は減衰する。この数学的な仕組みにより、脳内での情報処理を模倣した計算が可能となったのである。
シグモイド関数が持つ「非線形性」と「連続性」という二つの本質的特徴は、生物的な情報処理の在り方と深く共鳴する。
しかし、現代の深層学習においては、このシグモイド関数は徐々にその座を追われ、ReLUなどの関数に取って代わられつつある。この置換は、単なる技術的な効率性の追求を超えて、我々の「知性」や「学習」に対する理解の変容を示唆しているのではないだろうか。生命的な滑らかさよりも、計算効率と収束性が優先される現代の人工知能研究の趨勢は、ある種の存在論的転回として読み解くことができるだろう。それは、効率性や最適化という現代的な価値観を超えて、生命と知性の本質的な在り方を問い直す契機となるかもしれない。
シグモイド関数が描く滑らかな曲線の本質は、その微分可能性にある。無限に細かな変化の連続として表現される曲線は、あらゆる点において「次にどうなるか」という可能性の勾配を内包している。それは、まさに私が日々観察している作物の生長過程と同型的な構造を持っている。今日のブドウの新梢の伸長は、昨日までの成長の履歴を内包しながら、明日の可能性へと開かれている。この「過去」と「未来」の連続的な媒介こそが、シグモイド関数の本質的特徴であった。
しかし、この連続性は同時に、ある種の「贅沢」を内包している。シグモイド関数における各点の値は、その前後の無限小の変化との関係性の中でしか定まらない。それは、生命がその一瞬一瞬の状態を、過去からの連続的な変化の蓄積として、そして未来への可能性として保持しているのと同じ構造を持っている。しかし、この「贅沢」な連続性は、計算機による実装において重大な問題を引き起こす。各点における勾配の計算は、その前後の無限小の変化を考慮しなければならず、それは計算資源の著しい消費を意味する。
そこで登場したのが、ReLU（Rectified Linear Unit）という、ある意味で暴力的な単純さを秘めた関数である（ように文系の筆者の目には映る）。
それは負の入力を完全に遮断し、正の入力に対しては直線的に反応する。x=0の地点に作られている角は、この瞬間の微分不可能性を表しており、とてもデジタルデジタルしぃ様相を呈する。この関数は、シグモイド関数が持っていた生命的な曖昧さを完全に排除し、二つの直線による屈折した応答へと還元する。ここには、もはや「躊躇」も「迷い」も存在しない。あるのは、ゼロを境界とした明確な「決断」だけである。
ピーマンの果実の肥大化を観察しながら考える。確かに、その成長過程には明確な閾値が存在する。ある温度を下回れば成長は止まり、適温であれば一定の割合で成長は進む。しかしReLUは、この生命現象における「閾値」と「線形性」という二つの側面を、極めて純化された形で表現しているとも言える。
この純化された表現は、同時に大きな代償を伴う。シグモイド関数が表現していた生命的な「連続性」は完全に失われ、代わりに機械的な「効率性」が獲得された。
だが興味深いことに、この極端な単純化は、やがて新たな複雑さを要請することとなる。ReLUの問題は、文字通りその「死角」にある。負の入力を完全に遮断することは、時として重要な情報の損失を引き起こす。それは、あたかも生命が持つ「否定性」の契機を完全に排除してしまうようなものだ。生命の成長は、促進要因と抑制要因の微妙なバランスの上に成り立っている。この否定性の契機を完全に排除することは、生命的な制御の可能性を失うことを意味する。
しかし人間というのはまことに素晴らしいもので、ここにアナログな生命性を獲得させることに成功している。今我々が使い倒しているTransformerモデルなどで使用されている(らしい)GELU（Gaussian Error Linear Unit）の登場である。
GELUは、ReLUが導入した「閾値による決定」という原理を保持しながらも、そこに確率的な揺らぎを導入する。ソフトバンクホークスの周東のベースランニングを思わせるその曲線は、かつてシグモイド関数が持っていた「生命的な曖昧さ」を、新たな形で再構築する試みとも言える。
内野手の動きに応じたベーラン軌道の確率的な変更は、もはや単純な直線運動でも滑らかな曲線でもない、より洗練された「知的な」運動性を獲得している。それは、シグモイド関数が持っていた生命的な曖昧さを、より戦略的な不確定性として再構築しているのだ。
確率的な揺らぎを組み込んだGELUは、生命現象のより本質的な側面を捉えているのかもしれない。私が日々観察している作物の成長も、単純な閾値反応ではなく、環境条件の確率的な変動に対する適応的な応答として理解できる。GELUは、ReLUが切り捨てた生命的な複雑さを、確率論という新たな装置を通じて再導入しているのだ。
人工知能の研究から得られる知見の面白さは、それが実際の生物や社会現象の理解へと還元されていく可能性にある。シグモイド関数的な滑らかな生長を我々や植物に強いるのではなく、GELUが示すような「戦略的な不連続性」を含んだ成長曲線に、新たな可能性を見出せないだろうか。氾濫による攪乱が生態系を豊かにするように、あえて「非連続」や「揺らぎ」を導入することで、より最適な生命的運動を引き出せる可能性を示唆している。人工知能における活性化関数の進化は、こうした農業技術のさらなる可能性を示唆しているのかもしれない。