Probablistic Computing -伊藤穰一氏講演- 【前編】
この記事は6/12 に東京大学で行われた伊藤穰一氏の講義をもとに作成しております。
AIと生きがい
『LLMを超えて：日本の信頼性のあるAIのためのより安全な、ニューロ-シンボリックなスケーリングルート』
という題のこの会に私が気づいたのは開始15分前のことだった。恥ずかしながらTwitterのDMの連絡で気がついた。
彼が考えていたのはProbablisticComputingという、ChatGPT等のLLMのもとになるものとは異なるAIモデルの頒布だった。AIと生きがいがどういったつながりをもつかについては後ほど。
LLM
まずLLM（ChatGPTなど）について。
NeuralNetworkの賜物である。
良質な言語データとアラインメントによる人間への適応で対話形式で交流ができる、マスにリーチした筆頭のLLMである。統計学的手法をとって最も確率的に確からしい文章を生成する。
この様相を伊藤氏は統計的、シンボリックじゃない、ベイジアンなどと形容する。
ノードを指数的に増やして、並列処理ができた(Transformer)ことが手伝って、深層学習NeuralNetworkの賜物なのである。情報科学と脳科学がクロスオーバーした画期的なアイデアだった。（脳の神経のスパイクが電気信号伝達と似ている）
しかしながら、その最先端を行くChatGPT4の進化のために割く必要のあるリソースは3ヶ月で倍増。ムーアの法則的に2025年には世界の全計算リソース使わないといけない（計算資源が需要に追いつかれて頭打ち）予測がある。
ProbabilisticPrograms
一方でProbabilisticProgramsをByondLLMsと打ち出す。日本語では不確実性モデルと伊藤氏は呼ぶ。
このモデルの利点として、
構造的な説明が可能になる
効率が良いのでよりスケーラブル
プライバシーを守った社会モデルを構築しやすい
が挙げられる。
このモデルは、シンボリックな論理構造を作り、人が袋をいろんな形になっているものまとめて認識したり、それらが重いと重力があって落ちるな、などの傾向を読み取って修正したりするように、現実世界から当てはまる、より構造的に豊かなモデルを経ることで認知を生み出す。
それゆえに、自然言語まで落とし込めるかどうかはわからないが、構造的な説明ができる、ExplainableAIである。
また、LLMのように全ての場合についての計算をするのではなく、あり得る部分しかそもそも考慮しないため、効率的であり、スケールも可能である。
コストが低いため、国家レベルの事業にならざるを得ないLLM（50億円程度必要）とは違い、大学単位でも研究開発が可能であると考えられている。
以上のような仕組みと特徴を持った、人間の脳により近い、統計的でない、シンボリックでかつ、不確実なモデルが、PronbabilisticProgramsである。
次回は、
AIが最適化とは違う、なごみへとエンゲージしてくれるとしたら、資本主義社会から解放されたAIはどう使われるか、
日本の和の文化はこれから世界にとってどういう価値を持つかについて話していきます。
併せてこちらもどうぞ。
Symbolic Computing