いま「新しい数学」が必要だ。助けて数学者!
最初に言っておくが、僕は数学は全く苦手だ。数学が得意な人から見たらかなり的外れなことを言ってるのかもしれないが、僕にとっては切実な悩みなのである。「そんなのは簡単だよ」という人がいたらどうか教えて欲しい。
点がある。
これを0次元と言う。
点が横に並行移動して伸びて線になる。この線は無限大の長さまで伸びることができる。これを一次元という。
任意の長さ1の線が縦に1だけ動く、正方形になる。これを二次元と言う。
正方形を長さ1だけ今度は奥行方向に伸ばす。立方体になる。これを三次元という。
ここまでに「3つの方向」が出てきた。横、縦、奥行。
そのどれでもない四つ目の方向を考える。ただしこれは「時間軸」ではない。自由に行き来できる縦、横、奥行、ではない四つ目の「方向」だ。
立方体をそっち側の方向に動かす。これを超立方体といい、この空間を4次元という。
この長立方体をさらに「べつの方向」に動かす。これを五次元という。
これを繰り返していけば、いくらでも「高次元の超立方体」を作ることができる。
ただ、話はそう簡単ではない。
たとえば、0次元には移動という概念がない。
1次元には移動という概念が生まれるが、回転という概念がない。
2次元には回転という概念が生まれるが、回転軸は1軸しかない。
3次元の回転は「任意の回転軸」と「回転角度」で表現可能だが、それを数式で表現するには相異なる三つの虚数単位からなる複素数、いわゆる四元数が必要になる。
三次元の回転を表現するのに四次元の概念が必要になるということを考えて欲しい。実は二次元のベクトルの外積は三次元になる。
四次元になると回転軸が二つになる。もう直感的には理解できない世界になる。
人工知能のClaude-3に聞いてみた。
Q:4次元で起きて3次元で起きない現象は?
4次元空間で起こり、3次元空間では起こらない現象を想像することは難しいですが、数学的な理論に基づいていくつかの可能性を考えることができます。高次元の結び目：4次元空間では、3次元空間では不可能な結び目（例えば、トライフォイルノット）を解くことができると考えられています。
4次元立体の切断：4次元立体を3次元空間で切断すると、切断面が時間とともに変化する3次元立体が現れます。これは3次元空間では観察できない現象です。
4次元空間内の立体の内部の可視化：4次元空間内の立体は、3次元空間内のどの角度からも内部を見ることができると考えられています。これは3次元空間では不可能です。
4次元空間内の立体の自己交差：4次元空間内の立体は、自己交差することができますが、3次元空間内の立体では自己交差は不可能です。
4次元空間内の光の伝播：4次元空間内では、光が3次元空間とは異なる方法で伝播する可能性があります。
これらの現象は、主に数学的な理論に基づいており、実際の4次元空間（もしそれが存在するなら）でこれらの現象が起こるかどうかは不明です。また、私たち人間が4次元空間を直接経験することは困難であるため、これらの現象を観察することは現時点では不可能です。
では五次元はどうなるか
Q. 5次元で起きて4次元で起きないこと
5次元空間で起こり、4次元空間では起こらない現象を想像することは、4次元と3次元の比較よりもさらに難しくなります。しかし、数学的な理論に基づいて、いくつかの可能性を考えることができます。
5次元空間内の結び目：5次元空間内では、4次元空間では不可能な結び目を解くことができると考えられています。
5次元立体の切断：5次元立体を4次元空間で切断すると、切断面が時間とともに変化する4次元立体が現れます。これは4次元空間では観察できない現象です。
5次元空間内の立体の内部の可視化：5次元空間内の立体は、4次元空間内のどの角度からも内部を見ることができると考えられています。これは4次元空間では不可能です。
5次元空間内の立体の自己交差：5次元空間内の立体は、自己交差することができますが、4次元空間内の立体では自己交差は不可能です。
5次元空間内の光の伝播：5次元空間内では、光が4次元空間とは異なる方法で伝播する可能性があります。
これらの現象は、非常に抽象的で理論的なものであり、実際の5次元空間（もしそれが存在するなら）でこれらの現象が起こるかどうかは不明です。また、私たち人間が5次元空間を直接経験することは現時点では不可能であり、これらの現象を観察することは極めて困難です。高次元空間の性質は、主に数学的な理論と想像力に基づいて探求されています。
実は現代物理学では11次元くらいまでは扱う。
だから11次元くらいまではその空間的性質がある程度知られている。
Q. 11次元で初めて現れる性質
11次元空間は、10次元空間よりもさらに抽象的で複雑な数学的対象です。以下に、11次元空間特有の性質をいくつか説明します。回転軸の数：11次元空間では、55個の独立した回転軸が存在します。これは、11次元空間の回転が10次元空間よりもさらに複雑であることを示しています。
高次元の特殊な回転：11次元空間では、9つの独立した平面で同時に回転が行われる特殊な回転が存在します。このような高次元の特殊な回転は、10次元空間以下では観察されません。
回転群：11次元空間の回転群はSO(11)と呼ばれ、10次元球面（10-sphere）上の点に作用します。SO(11)は、SO(10)よりも複雑な構造を持っています。
M理論：11次元空間は、M理論において重要な役割を果たしています。M理論は、11次元時空内の膜（ブレーン）の振動を用いて、超弦理論の異なる定式化を統一的に記述しようとする理論です。
特殊ホロノミー：11次元空間では、新たな特殊ホロノミー群が存在する可能性があります。これらのホロノミー群は、11次元リーマン多様体上の平行移動に関する対称性を表しています。
高次の結び目と絡み目：11次元空間内では、10次元空間では実現不可能な高次の結び目や絡み目が存在する可能性があります。これらの結び目や絡み目は、11次元空間の位相的性質を反映しています。
超重力理論：11次元空間は、超重力理論の最も自然な定式化の舞台となっています。超重力理論は、一般相対性理論と超対称性を組み合わせた理論であり、重力と物質を統一的に記述しようとしています。
11次元空間の性質は、現代数学と理論物理学の最先端の研究対象となっています。11次元空間は、M理論や超重力理論などの理論物理学において重要な役割を果たしていますが、その性質の多くは数学的な観点から研究されています。11次元以上の高次元空間の研究は、数学と物理学の融合領域であり、将来の理論物理学の発展に大きく貢献すると期待されています。しかし、これらの高次元空間の性質を直接観測することは現在の技術では不可能であり、主に数学的な理論と計算に基づいて研究が進められています。
さて、ここまでは数学に詳しい方なら特に説明の必要はないだろう。
問題はこの先にある。
今現在、AIが扱うのは1万次元以上の空間である。
しかし、AI研究者は高次元の数学の性質についてほとんどケアしていない。ようやく最近、四元数を取り込み始めた程度なのだ。
というのも、次元が一つ増えるだけで考えたこともないことが起きるのが常で、おそらく11次元までの空間のこともまだ全てはわかってないに違いない。
でも我々が扱うのは1万次元以上、大規模言語モデルではトークンで4万次元、生成される結果は4096トークンなら1億6千4百万次元ということになる。
Q. 1億6千万次元と3次元の違い
1億6千万次元空間と3次元空間の違いは、極めて大きく、私たちが直感的に理解できる範囲を大きく超えています。以下に、両者の主な違いを示します。
・自由度の数：3次元空間では、物体の位置や運動を記述するために、3つの座標（x, y, z）が必要です。一方、1億6千万次元空間では、1億6千万個の座標が必要になります。これは、1億6千万次元空間内の物体やシステムが、3次元空間と比べて桁違いに多くの自由度を持つことを意味します。
・距離と幾何学：3次元空間では、2点間の距離はユークリッド距離で定義されます。しかし、1億6千万次元空間では、距離の概念がより複雑になります。超高次元空間では、距離や幾何学的な性質が直感的に理解しにくくなります。
・可視化の困難さ：3次元空間は、私たちが日常的に目にする空間であり、その構造を視覚的に理解することができます。一方、1億6千万次元空間は、人間の視覚的な理解の範疇を超えており、その構造を直接可視化することは不可能です。
・位相的性質：3次元空間では、結び目やねじれなどの位相的性質が存在します。しかし、1億6千万次元空間では、これらの性質がより複雑になり、新しい位相的構造が現れる可能性があります。
・物理法則の適用：3次元空間では、私たちが知っている物理法則（重力、電磁気力など）が適用されます。しかし、1億6千万次元空間では、これらの物理法則がどのように適用されるのか、あるいは新しい物理法則が存在するのかは不明です。
・数学的構造：3次元空間は、ベクトル空間、多様体、群論などの数学的構造を用いて記述することができます。一方、1億6千万次元空間では、これらの数学的構造がより複雑になり、新しい数学的概念が必要になる可能性があります。
1億6千万次元空間と3次元空間の違いは、単なる次元数の違いだけではなく、空間の構造、性質、そして私たちの理解の限界を反映しています。超高次元空間の研究は、数学と物理学の新しい地平を切り開く可能性がありますが、同時に、現在の理論や概念の限界を大きく超えた領域に踏み込むことになります。これらの空間の理解には、新たな数学的・物理学的洞察が必要であり、長い時間と多くの課題が待ち受けています。
特に数学的性質の違いについて聞いてみる
Q.特に数学的な性質の違いについて教えてください
数学的な観点から見ると、1億6千万次元空間と3次元空間の性質には大きな違いがあります。以下に、その主な違いをいくつか説明します。
・ベクトル空間の構造：3次元空間は、3つの基底ベクトルを持つベクトル空間として表現できます。一方、1億6千万次元空間は、1億6千万個の基底ベクトルを持つベクトル空間となります。これは、1億6千万次元空間内のベクトルや行列の操作が、3次元空間と比べて桁違いに複雑になることを意味します。
・線形変換と固有値：3次元空間における線形変換は、3×3の行列で表現できます。また、固有値や固有ベクトルの概念が重要な役割を果たします。しかし、1億6千万次元空間では、線形変換が1億6千万×1億6千万の行列で表現され、固有値や固有ベクトルの計算が極めて複雑になります。
・多様体の次元：3次元空間内の多様体は、曲面（2次元）や曲線（1次元）として現れます。一方、1億6千万次元空間内の多様体は、その次元が3次元空間とは比べ物にならないほど高くなる可能性があります。
・微分形式とベクトル解析：3次元空間では、勾配、発散、回転などのベクトル解析の概念が重要な役割を果たします。これらの概念は、微分形式を用いて一般化することができます。しかし、1億6千万次元空間では、微分形式やベクトル解析の概念がより複雑になり、新しい数学的ツールが必要になる可能性があります。
・幾何学的構造：3次元空間では、ユークリッド幾何学、球面幾何学、双曲幾何学などの異なる幾何学的構造が存在します。しかし、1億6千万次元空間では、これらの幾何学的構造がより複雑になり、新しい幾何学的概念が必要になる可能性があります。
・位相的性質：3次元空間の位相的性質は、結び目理論や3次元多様体の分類などの分野で研究されています。一方、1億6千万次元空間では、位相的性質がより複雑になり、新しい位相的不変量や分類定理が必要になる可能性があります。
・関数空間と汎関数解析：3次元空間上の関数は、通常の関数空間（例えば、連続関数空間やLp空間）の枠組みで扱うことができます。しかし、1億6千万次元空間上の関数は、超高次元の関数空間となり、汎関数解析の新しい概念や手法が必要になる可能性があります。
これらの数学的な違いは、1億6千万次元空間の構造と性質が、3次元空間とは大きく異なることを示しています。超高次元空間の研究には、現在の数学の枠組みを超えた新しい概念や手法が必要になると考えられます。同時に、超高次元空間の数学的理解は、数学のさまざまな分野に新しい洞察をもたらす可能性があります。
こういう、次元が増えるほど話がややこしく複雑になっていくのを「次元の呪い」と言ったりするらしい。
ちなみに1億6千万次元ベクトルの類似度をどうやって測るか聞いてみた。
1億6千万次元のような超高次元ベクトルの類似度を測るには、次元の呪いと呼ばれる問題に直面します。これは、次元数が増加するにつれて、ベクトル間の距離の差が小さくなり、類似度の判別が困難になる現象です。しかし、いくつかの手法を用いることで、この問題に対処することができます。
1.コサイン類似度：コサイン類似度は、ベクトルの方向に基づいて類似度を測る尺度です。2つのベクトル a と b のコサイン類似度は、以下の式で定義されます。 cosine_similarity(a, b) = (a · b) / (||a|| * ||b||) ここで、· はドット積、||a|| と ||b|| はそれぞれベクトル a と b のノルムを表します。コサイン類似度は、ベクトルの長さではなく方向に依存するため、高次元空間で有効です。
2.ジャカード類似度：ジャカード類似度は、2つのベクトルの要素の重なりに基づいて類似度を測る尺度です。ベクトルの要素が二値（0または1）の場合に適しています。2つのベクトル a と b のジャカード類似度は、以下の式で定義されます。 jaccard_similarity(a, b) = (a ∩ b) / (a ∪ b) ここで、∩ は要素の共通部分、∪ は要素の和集合を表します。
3.局所感受性ハッシュ（LSH）：LSHは、高次元ベクトルを低次元の二値ベクトルに変換することで、類似度の計算を高速化する手法です。LSHでは、ベクトルをハッシュ関数で複数のバケットに分割し、同じバケットに属するベクトルを類似していると見なします。
4.t-SNEやUMAPによる次元削減：t-SNEやUMAPなどの次元削減アルゴリズムを用いて、高次元ベクトルを低次元空間に埋め込むことができます。これにより、次元の呪いを回避しつつ、ベクトル間の類似度を可視化したり、クラスタリングしたりすることが可能になります。
5.ドメイン固有の類似度尺度：ベクトルが表す対象やデータの性質に基づいて、ドメイン固有の類似度尺度を定義することができます。例えば、画像の類似度を測る場合、構造的類似度（SSIM）や知覚的類似度（LPIPS）などの尺度が利用できます。
これらの手法は、超高次元ベクトルの類似度を測るための一般的なアプローチですが、具体的な問題設定やデータの性質に応じて、最適な手法は異なります。また、次元削減や特徴選択などの前処理を行うことで、類似度計算の精度や効率を改善することもできます。
僕もLSHやt-SNEは使ったことがある。けど、次元削減は必ずしも有効な方法とは思えない。次元削減は鳥肌実と僕を「日本人」「男性」という尺度で「類似性が高い」と見做すのとあまり変わらない。
何が言いたいかというと、我々は高次元の性質についてほとんど完全に無知である。しかし、無知のままではいられないということ。
しかし、大規模言語モデルでは、超高次元を誰でも普通に扱うことが要求される。今後、文章や画像だけではなく動画や音声も扱うようになると次元数はどんどん上がり、「次元の呪い」は益々強まっていく。
次元が一つ上がるたびに複雑さは増していく。
もちろん長らくn次元(高次元)の研究はされているが、誰も直感的に5次元以上の世界をイメージできないだろう(それはたぶん人間の能力を超えてしまう)。
数学者は数式によって解き明かそうとするが、次元が1億を超えたらいちいちそこで出現する新しい現象を見つけることは難しい。
つまり何が言いたいかというと、もはやこれは人知を超えた研究なのではないかということだ。
「n次元にはベクトルがある」「n次元のベクトルは内積(cos)をとることができる」「n次元ベクトル同士はユークリッド距離を測ったり足したり引いたりできる」「n次元では回転ができる」「n次元ではトーリック多様体が存在する」は正でも、「n次元で起きることはあれとこれとそれが全てである」は正である保証はない。誰もそんな次元での操作を見たことも聞いたこともなければ想像することさえ難しいからだ。
人知を超えたことは、人ならざるAIにやらせるしかないではないか。
AIに一次元から十次元までの間にわかっていることを全て教えて、そのあと、AIがAI自身の発見によって仮説と理論を補完し、新しい理論を構築し、それを1億6千万次元まで繰り返していくと、もしかすると我々にとって全く未知の概念、つまり二次元の生物には想像さえできない「三次元的な回転」や「ねじれの位置」といった関係性が、1億6千万次元までに10億個以上発見されてもおかしくない。それは結局人知を越える。1億もの事柄を理解することは普通の人間には不可能だ。
「名詞を100個挙げて」という問いには大抵の人は答えることができる。すごく賢い人なら「1万個挙げて」もできるかもしれない。でも「1億個」は無理だ。そもそも1億とか数えたことない。一秒に一回名詞を思いつくとすると、寝ずにやっても1億まで数えるには3年かかる。
「回転」くらい基本的な操作が1億種類もあったらそれを同時に人間の頭が処理することはできない。俺たちは最終的に「なんとなくAIを使う」ことしかできないのだ。
だから「高次元」という厄介な問題を扱うもっと別の方法が必要になるはずなのである。
僕は数学に詳しくないので今知ってることだけで想像するしかないのだが、「高次元を理解するAI」の開発と、「高次元を理解せずに人間が扱うもっとマシな方法」の研究はもっと活発になされるべきなのだ。
もう計算資源では日本は世界に全く対抗できないので、数学の研究にもっと力(助成金?啓蒙活動?わかんないけど)を入れるべきだ。
賢さというのは唯一、財力や生まれ持っての境遇に対抗しうる手段なのだから。
たぶんAI以後の世界で最も価値を持つのは「数学者」である。しかも「高次元幾何学」ないし、それを上回るくらいの概念を発明する数学者だろう。
それこそが心理歴史学なのかもしれないが。