積分の日

まえがき

微積分はニュートンが先かライプニッツが先か争いがあるところだが、どちらでも、あまり興味がないがこの積分記号の使い勝手では、ニュートンよりもライプニッツのほうが直感的に仕えるので、ライプニッツびいきにはなってしまってはいる。
それで、積分の日は、ライプニッツについて書いてみようということになっている。そこで昨今発展が喧しいLLM（大規模言語モデル）にライプニッツが与えた影響について書いてみる。

ライプニッツ

ライプニッツの偉業

上記のnoteで書いた通り概観を許さない人物だ。
まぁどんな人も概観なんて許さないのだが、実に多岐に知的活動を行っているのである。なので、LLMに与えた影響に絞ってお伝えするのであるが、
まずは、普遍言語運動について書いてみよう

普遍言語運動

17世紀に複数のヨーロッパ知識人の間でその運動は発生した。

Au XVIIe siècle, le mouvement pour une langue universelle a connu son apogée avec les travaux de plusieurs intellectuels européens, notamment Leibniz. Cette période était marquée par une quête intense d'une langue qui pourrait transcender les barrières linguistiques et culturelles.
Leibniz a développé le concept de "characteristica universalis", une langue formelle et universelle capable d'exprimer toutes les pensées humaines, qu'elles soient mathématiques, scientifiques ou métaphysiques. Cette langue devait servir de base à un "calculus ratiocinator", permettant de résoudre tous les problèmes par un calcul logique.
D'autres penseurs de l'époque, comme Francis Lodwick, George Dalgarno et John Wilkins, ont également proposé leurs versions d'une langue philosophique universelle. Ces projets partageaient l'ambition de créer un système de communication rationnel et universel

いわばバベルの塔だ。数学、科学、形而上学的なすべての人間の思考を表現できる新しい普遍的な言語である　characteristica universalis
これはどういう発想から出てきたかといえば、世界中の知識人たちは、同じような研究を違う言語でやっていたりする。共有するのは結構大変なのである。ライプニッツは共有言語であるラテン語にさえ満足しなかった。それよりもラディカルに文字から考えだした。なぜ既存の言語に満足しなかったといえば、曖昧であるからである。数学の記号のように明確な意味を持つ記号を利用すれば、複雑な考え方でも正確に表現できると考えた。それは曖昧さがなく、誰でも理解できる（もちろんこの記号の習得コストはかかるが・・・）この言語を使えば文化や言語を超えて理解が可能である。
そして、さらに突き進んだ。
もしこの言語であれば、論理的な推論は自動化できる。記号を使って論理演算を行うのだ。calculus ratiocinator
ライプニッツは2進法の発明者でもあるので、この時代に半導体があれば、コンピュータができていたことになる。記号を使って論理的な計算をするということは、数学の計算のように決まったルールで推論を進める、それは正確で論理的な結論を導く。そして新しい概念もどんどん生まれてくることになるのだ。

Cette quête d'une langue universelle était intimement liée à l'esprit des Lumières, cherchant à établir une méthode rationnelle pour unifier le savoir humain. Leibniz croyait qu'une telle langue permettrait de résoudre les disputes philosophiques par le simple calcul, en disant "Calculons!" au lieu de discuter

この普遍言語の追求は、人類の知識を統一する合理的な方法を確立せんとする啓蒙思想家の精神と直接にそして密接に結びついてた。計算しましょうというだけで哲学的な論争を解決できるとしたのだ。これだけでもまるで、
そのまんまAIなのである。

Bien que ces projets n'aient pas abouti à une langue universelle pratique, ils ont contribué au développement de la logique moderne et influencé la création ultérieure des langues artificielles comme l'espéranto

残念ながら、普遍言語の実現はならなかった、しかし、現代論理学の発展、エスペラントのような人工言語の創造に大いに影響を与える考え方だったのである。

普遍記号論の本質と現代的意義

ライプニッツの普遍記号論は、単なる記号体系の構築を目指したものではなく、人間の思考そのものを形式化し、機械的操作によって新たな知見を導出することを企図した壮大な構想であった。この構想の核心は、以下の三つの要素に集約される

La conception par Leibniz d'une "characteristica universalis" représente une vision précoce de ce que nous pourrions considérer comme les ancêtres des LLM modernes. Cette langue universelle visait à exprimer toutes les pensées et connaissances humaines à travers des symboles et des formules mathématiques.
Cette vision se manifeste dans les LLM modernes de plusieurs façons :
La formalisation du savoir
Les opérations logiques
L'universalité de l'application

La Conception des Machines à Calculer
L'invention par Leibniz de la machine à calculer mécanique représente plus qu'un simple dispositif de calcul. Il envisageait déjà la possibilité d'automatiser le raisonnement logique à travers des machines.
Le Système Binaire
L'invention du système binaire par Leibniz constitue le fondement de l'informatique moderne. Cette contribution est essentielle pour les LLM car :
La représentation numérique du langage
Les calculs efficaces
La compression des données
La Logique Symbolique

1. 思考の形式化と計算可能性

ライプニッツは、人間のあらゆる思考を基本的な要素に分解し、それらを記号として表現することで、思考の過程を計算として扱うことが可能になると考えた。この発想は、現代のLLMにおける言語の数値ベクトル化と深い親和性を持つ。LLMは自然言語を高次元空間における数値ベクトルとして表現し、それらの演算によって言語理解と生成を実現している。

2. 普遍的推論エンジンの構想

ライプニッツの普遍記号論は、単なる記号体系ではなく、記号間の関係性を操作することで新たな真理を導き出す「推論エンジン」としての機能を備えることを目指していた。この構想は、現代のLLMにおける推論機能の先駆的視座を提供している。transformerアーキテクチャに基づくLLMの注意機構（attention mechanism）は、文脈における単語間の関係性を数学的に捉え、それを基に推論を行うという点で、ライプニッツの構想と本質的な共通性を持つ。

3. 知識の統合的理解

ライプニッツは、個別の学問分野を超えた知識の統合的理解を目指した。この視点は、現代のLLMが示す分野横断的な知識統合能力と深く共鳴する。LLMは、専門分野の壁を超えて知識を結び付け、新たな洞察を生み出す可能性を有している。

さきほど、2進法について掠ったが、ライプニッツはフィージビリティに優れた現代的な発想をしていた。それは、彼の唱えたモナド論である。
世の中がどのようにして成り立っているかを鋭く捉えていたのである。

モナド論とニューラルネットワークの類比

ライプニッツのモナド論は、現代のニューラルネットワークの構造と驚くべき類似性を示している。モナドは、世界を構成する最小単位であり、それぞれが全体を表現する「小宇宙」として機能する。この考え方は、以下の点でニューラルネットワークの特性と対応関係にある。

1. 分散表現と相互関係性

モナドが互いに影響を及ぼし合いながら全体を形成するという考え方は、ニューラルネットワークにおける分散表現の概念と類似している。LLMの隠れ層におけるニューロンは、相互に影響を及ぼし合いながら、言語の意味を分散的に表現している。

2. 階層的構造と表現力

モナド論における存在の階層的構造は、深層ニューラルネットワークの層状構造と類比的な関係にある。低次の特徴から高次の抽象概念へと至る表現の階層性は、両者に共通する本質的特徴である。

モナド論と原子論はともに世の中の成り立ちをあらわしているが、モナド論はモナドとモナドの、つまりは粒と粒との関係について、見事に表現しているのだ。すべてはつながっているという考え方がなければ、ニューラルネットワークは構成できない。

確率論的アプローチ

いまでは、天気予報で晴れの確率が80％と数値で判断することに慣れてきているが、当時はそうではなかったのだ。ものの白黒（これも2進法だ）を決めるのにはっきり決まるような事項は実は少ないことは、ライプニッツはわかっていたというより、身の回りのことは、おそらく、かなり、たぶん・・・こうした曖昧さにあふれている。これを数学的に判断したいと考えたのであろう。神の存在証明について、完全なる証明の困難さもあっただろう。白黒でケリがつかなくても確率なら表せると考えたのかも知れない。
とにかく、定量的に捉えるだけでなく、定性的な区別を重視し、質的な順序付けを重視した。法学や、医学など実践的な分野で確率の応用を考えたのだ。　
実は古代懐疑論の影響があると言われている。古代懐疑論では、完全な確実性は得られない。すべての判断には疑いの余地がある。絶対的なものはあまりないと考える。物事の判断はすべて確からしいことを表す
・とても確からしい
・まぁまぁ確からしい
・少し確からしい
・あまり確からしくない
意外にも日常使うこうした言葉に置き換えることをライプニッツは考えたのである。それは、先程もいったように、経験から学んだこと、先人から学んだ知恵などを数値化できないと考えたのかもしれない。そして何より、数値化する論理を考えるよりも早くこの計算機を使いたかったので日常生活とのマッピングをしたのかもしれない。このあたりは今後研究してみよう。
しかしながら、このことは、ベイズ確率論の萌芽であると言えるのである。
ベイズ確率論の
・確率を確信の度合いと捉えること
・個人の知識や信念を確率として表現すること
・新しい情報が得られると確率を更新すること
という特徴をもつ、ライプニッツも確率は確からしさの度合いと考え、完全な確実性と不確実性のグラデーションを表現しようとした。そして経験や知識に基づいて判断が更新できるところはベイズそのものの考え方で、まさにベイズ確率論の重要な要素を先取りしていると言える。

　細かい違いがあるにせよ、計算機の演算を通じて、人間の思考過程の一部を機械化できると考えたこの発想は現代のAIの機械学習の基本的前例となっているのである。LLMは大規模なデータセットから統計的パターンを学習ことで、人間の言語使用の一側面を機械的に模倣することに成功したのである。
ライプニッツの夢がかなったということである。

ライプニッツの思想とLLMの理論的基盤との間には、深い思想的連関が存在する。普遍記号論から現代のLLMに至る系譜を辿ることは、人工知能の本質と可能性を理解する上で重要な視座を提供する。同時に、ライプニッツの思想は、LLMの発展が直面する本質的な課題に対しても重要な示唆を与えている。今後のAI研究において、この思想的遺産を再評価し、より深い理解を目指すことが求められるのである。

あとがき

ライプニッツについて、実は情報理論で伝えていることは少ない
それよりも、クロード・シャノン、ハバート・ヨッキーなどお歴々が登場するがもちろん、こうした人たちの功績は大きい　だがライプニッツは啓蒙思想家たちの原動力とも言える強大なパワーを持つように感じる
これからも積分的にこの話題について、書いてみようと思うのである。