「学習する数式」としての知能

人工知能の技術的な進化が注目されています。

人工知能はプログラムで実現されていますが、通常のプログラムによる情報処理技術と根本的に異なる点は、機械学習というアプローチを採用している点です。

プログラムは、いわば数式の塊です。

通常のプログラムは、人間のエンジニアが情報処理の規則を設計します。つまりプログラム内の数式を全て設計します。

一方で、機械学習をするプログラムは、人間のエンジニアは情報処理の規則は設計しません。その代わりに、トレーニングや学習と呼ばれる処理の中で、プログラム自身が情報処理の規則を変化させながら最適な規則に近づけていきます。

これはプログラムが内部の一部の数式を変化させていくことを意味します。この変化を、望ましい情報処理の規則に近づくようにすることが、機械学習です。

従って、そこには学習する数式が存在することを意味します。この記事では「学習する数式」としての知能について、考えていきます。

■進化する数式の世界

前回の記事では、自然界は複雑化する数式の世界であり、その中には進化する数式の世界が内包されていることを説明しました。

簡潔に振り返ると、物理法則はシンプルな不変の数式で表現できますが、それがどうして複雑で秩序のあるマクロな現象を生み出すのかという話でした。

三体問題のように要素が相互作用するケースでは、不変の数式で表現はできても、解析的には解くことができないことが証明されています。

このため、解析的に解くことを考えると、計算式はloop(x=f(x,y), y=f(y,x), Δt)のように時間に対して反復するアルゴリズムとして表現することになります。

この反復を意味するloopを展開した数式が実際の数式だと考えると、経過時間に応じて数式は不変でなく複雑化していくことがわかります。それが複雑さが自然界に現れる理由です。

また、このloopの数式を多数の要素に適用すると、結果の予測は困難でも統計的に一定の分布に収束したり、Δtよりも長い周期的なパターンが見られることがわかります。これが、要素数と時間に対してマクロ的な秩序が現れる理由です。

■ニューラルネットワーク：学習する数式

機械学習の代表的な手法は、ニューラルネットワークです。

ニューラルネットワークは、数式として考えると、物理法則のloop(x=f(x,y), y=f(y,x), Δt)といくつかの類似点と、異なる点があります。

類似点は、同じようなシンプルな数式の反復により構成されている点と、それぞれのシンプルな数式の入力と出力の両方関係がＮ対Ｍの関係になっている点です。

反復の中の中間値は、その前段の多数の中間値を入力として算出できます。そして、同じ計算段階にある別の中間値も、同じ入力を共有しています。

異なる点は、単純なニューラルネットワークは、時間Δtに従って無制限に反復するわけではないという点と、各シンプルな数式は完全に同じ数式ではなく、中間値ごとに固有のパラメーターを持つことができる点です。

この固有のパラメーターが、プログラムによって変化する数式を実現するためのポイントです。数式の形状が一定であっても、パラメーターを変化させることで、望ましい情報処理の規則に近づけていくことができます。

■ニューラルネットワークの中にある反復

基本的なニューラルネットワークをもう少し詳細に考えてみます。

基本的なニューラルネットワークは、レイヤーと呼ばれる単位の中に、ノードと呼ばれる要素が複数配置されている、という構造を取ります。ニューラルネットワークにレイヤーも複数存在します。

ノード数はレイヤーごとに変える事もできますが、説明のシンプル化のためにここではレイヤー内のノード数は一定だと仮定します。レイヤーごとのノード数をＮ、レイヤーの数をＬとすると、ニューラルネットワーク内の合計ノード数はＮ×Ｌになります。

各ノードの値は、１つ前のレイヤーの全てのノードを入力とした数式で求めることができる構造になっています。従って、前のレイヤーのノード数分のシンプルな計算の反復により、一つのノードの値が計算できます。これを当該レイヤー内のノード数分計算する必要がありますので、ここでもノード数分のシンプルな計算の反復があります。

従って、１つのレイヤーの全ノードの計算をするためには、シンプルな数式がＮ×Ｎ回繰り返されることになります。

これを全レイヤーに渡って計算するため、基本的なニューラルネットワーク全体では、Ｎ×Ｎ×Ｌ回分のシンプルな数式の反復があります。従って、パラメーターの数も、概ねこの数式の数に比例した数になります。

■ニューラルネットワーク全体の反復

さらに、リカレントニューラルネットワークや、チャットAIの基礎技術である大規模言語モデルと呼ばれるニューラルネットワークでは、この基本的なニューラルネットワーク全体を反復するということが行われます。

ニューラルネットワークの中の反復では、各反復に対して異なるパラメータがあり、それを変化させることで機械学習が行われるという仕組みでした。一方で、ニューラルネットワーク自体の反復では、パラメータの数は増加しません。同じパラメータを持つ基本的なニューラルネットワークを、反復するためです。

仮にＲ回反復するとすれば、シンプルな数式の反復回数はＮ×Ｎ×Ｌ×Ｒ回になりますが、パラメーターの数はＮ×Ｎ×Ｌに比例した数に留まります。

ニューラルネットワーク全体の反復では、反復回数は基本的には無制限です。これは自然界の反復により複雑化する数式や進化する数式の場合と同様です。従って、ニューラルネットワーク全体の反復は、同様に複雑化する数式や進化する数式の性質を内包していることになります。

自然界との違いは、シンプルな数式が多数のパラメータを伴い、個々に異なるという点と、この数式が学習する数式であるという点です。

従って、反復するニューラルネットワークは、複雑化し、進化し、そして学習する数式という性質を持っていることになります。

■ニューラルネットワークによる自然界の学習

この解釈は、自然界が複雑化と進化をする数式と捉えることで、その自然界をニューラルネットワークが学習することができる理由を非常にシンプルに説明できます。

ニューラルネットワーク自体が、複雑化と進化する数式という性質を持つため、自然界の数式と同じ性質を持っていることになります。その上で、自然界の基本的なシンプルな数式は不変ですが、ニューラルネットワークの基本的なシンプルな数式は学習可能です。つまり、自然界の数式にフィットさせることが可能です。

さらに、自然界は進化する中で、基本的な数式だけでなく、マクロ的な法則を出現させます。このマクロ的な法則は、また別の数式やパターンとして表現可能であり、ニューラルネットワークの進化の性質と学習の性質は、そのマクロ的な法則にもフィットさせることができます。

もちろん、ニューラルネットワーク自体の学習できるパラメータのサイズの制限のため、自然界の全ての複雑さにフィットさせることはできません。しかし、パラメータのサイズを増やしていけば、原理的にはそのサイズに応じて自然界の複雑さにフィットさせることができることを意味します。

■ニューラルネットワークのサイズ

これは、ニューラルネットワークの歴史を的確に説明しています。

ニューラルネットワーク自体は以前から人工知能の研究において知られていました。そして、ニューラルネットワークの根本的なアイデアは、その頃から現在まで、大きく変化していません。

それにもかかわらず、ある時点でディープラーニングが登場してAIによる画像認識ができることが実証され、また、現在では大規模言語モデルで人間と同じように自然言語を扱ってコミュニケーションや思考ができることが実証されてきました。基本原理が変化していないのにもかかわらず、時代と共に人工知能の能力が飛躍的に向上したのはなぜかと言えば、それはコンピュータによる計算能力の増大です。計算能力には、数式を短時間に低コストで大量に計算する能力と、データを大量に保持する能力の２つがあり、それぞれが時代と共に飛躍的に向上してきました。

これはニューラルネットワークのＮ×Ｎ×Ｌ×Ｒ回の数式の反復計算と、Ｎ×Ｎ×Ｌに比例した数のパラメータを保持する能力の増大を意味します。つまり、コンピュータの計算能力の飛躍的な向上が、人工知能が世界を学習する能力の向上に直結してきたという事実です。

そして、その事実の裏側には、ニューラルネットワークの複雑化と進化と学習をする数式という性質が、自然界の複雑化と進化をする数式を捉えることができるという原理があります。この原理があるからこそ、コンピュータの計算能力の飛躍的な向上を主な原動力として、ニューラルネットワークによって実現できることが増加してきたと言えます。

また、人間の脳のサイズが大きくなってきたことも、同じように説明ができます。

人間の脳の中でも、ニューラルネットワークの仕組みが機能しています。人間の脳の仕組みには、ニューラルネットワーク以外の仕組みも存在し得るため、人間の知的能力の全てをニューラルネットワークに還元できないと考えられてきました。しかし、時代と共にニューラルネットワークで可能な知的能力の範囲が拡大するにつれて、人間の脳の中でもニューラルネットワークの仕組みで実現されている知的能力の範囲が、かつて想定されていたよりも広いと考えられるようになっています。

そして、生物の進化の歴史の中で、脳のサイズが大きくなってきたという事実は、脳の処理能力が、自然界を理解する能力に直結するという点で、人工知能と同じ説明が可能です。進化による脳のサイズの増大は、ニューラルネットワークのサイズの増大であり、複雑化と進化と学習という性質を持つ数式による、自然界の複雑化と進化する数式へのフィット能力の向上と捉えることができます。

■さいごに

基本的なニューラルネットワークを「学習する数式」として捉え、そこに反復による複雑化と進化の性質を加えることで、同じく複雑化と進化の性質を持つ自然界を学習できる知能が実現できます。

この理解は、自然界と知能を、数式という共通の要素で捉えることを可能にします。そして、数式の反復による統計的分布と周期パターンの出現と、パラメータフィッティングのメカニズムにより、いわゆる創発や自己組織化と呼ばれる現象を、数学的な観点で捉えることが可能になります。

この記事でこれらのメカニズムを正確に理論的に説明しきれたわけではありません。しかし、創発や自己組織化と呼ばれる定性的な現象について、数学的な観点から理論モデル化することができる可能性が見えてきました。

これは、科学的な現象を不変の数式で表すことができた時点で理解が完了したと考える立場から、それを出発点として解析的に計算可能な数式が時間と共に展開される様子を理解する必要があるという立場への視点の変化が必要であるということを示しています。そして、知能に関しては、さらにその展開する数式に対するパラメータの調整という観点が加わります。

また、数学としては、反復的に展開される数式という理論モデルについて探求することで、新しい数学の世界が開ける可能性があります。これは、解析的でシンプルな数式として捉えると同じ性質に見えるとしても、計算可能な式に展開することで数式の性質が異なるということを意味します。