見出し画像

抽象言語オブジェクトとLLMMsと計算機自然と事事無碍の話．

落合陽一

そろそろ書こうかと思ってたLLMMsの解説である．Large Language Model "Machines"についての議論である．

20世紀のコンピューティングでは、人間が抽象化を行い、メタルールにもとづく特徴量を発見し、それを用いた解析的な数理的プログラムによってシステムを構築してきた。例えばコンピュータシミュレーションをして仮想世界をデジタル空間に作るようなアプローチでは、仮想世界における光や音の記述などは人が解析的な定義式を用いてプログラムを作成していた。もしくはモンテカルロ法や遺伝的アルゴリズムが到達点であり、事物と事物のつながり、万物の縁起そのものはこの時点においては、人は一旦抽象化したメタルール（人間の側に存在する）を経由して、システムを構築していた。しかし、21世紀のコンピューティングではそのような解析的なアプローチと、深層学習のような統計的なアプローチは計算機上で融合され、人間がメタルールを用いてシステムを俯瞰することなしに、解析的な個別の関係（縁起）そのものに介入することができるようになった。ただしこの主体は人間ではなく、計算機である。これは、特徴量を発見するアプローチも、計算機の側に内包され、これによって、「事」を用いた統計的アプローチによって「理」が生成される。古来、仏教では人は悟りを経由してしか縁起を理解し得ないが、コンピュータは演算を高速で繰り返すことにより、縁起の記述を獲得しうる。この書き方は仏教的表現に依拠しているが、ここでいう縁起を「理論」、悟りを「習得」とすると一般化できるだろう。これにより、「理」の部分は「事」に内包され、総体としては「事」事無碍による世界記述だけが残る。これは奇しくも、昨今深層学習がE2EAI(EndtoEndAI)と呼ばれるように、End＝「事」とEnd＝「事」の入出力のみにあらゆる関係性が内包され、つつがなく進む世界である。データの持ちうる統計的分布の中に解決手段を含みうるのだ。ここから、事事無碍という言葉で表現できる、この東洋的華厳と現代のコンピューティング、およびインターネット世界の共有性が、僕が見ている「物化」と「自然」によるデジタルネイチャーの世界であるといえる。僕はここにEndtoEndのエコシステム、ひいては近代西洋性より始まって東洋性に至るものを見ている。

　（落合陽一・デジタルネイチャー・2018）

In 20th century computing, humans have created abstractions, discovered meta-rule-based properties, and built systems through analytical mathematical programs using these properties. For example, in approaches such as creating a virtual world in digital space through computer simulation, the description of light and sound in the virtual world was programmed by humans using analytical definition formulas. Or, Monte Carlo methods and genetic algorithms were the arrival point, and the connection between things and the relationships between things and the very origins of all things, at this point, people built systems via meta-rules (that exist on the human side) that were once abstracted. However, in 21st century computing, such an analytical approach and a statistical approach such as deep learning are merged on the computer, and it is now possible for humans to intervene in the analytical individual relationships (origins) themselves, without having to go through the system via meta-rules. However, this entity is not a human, but a computer. This means that the approach to discovering features is also internalized on the part of the computer, and this generates "reason" through a statistical approach using "things". In ancient Buddhism, a person can only understand auspiciousness through enlightenment, but a computer can acquire a description of auspiciousness by repeating operations at high speed. Although this writing style is based on the Buddhist expression, it can be generalized by assuming that "theory" here refers to "karma" and "mastery" refers to "enlightenment. In this way, the "reason" part is encapsulated in "koto," and only the description of the world through "koto" koto-muji remains as a whole. Strangely enough, this is a world in which all relationships are contained only in the input/output of End = "thing" and End = "thing", as deep learning is now called E2EAI (EndtoEndAI), and the process proceeds without a hitch. The statistical distribution of the data may contain the means of the solution. From this point of view, the commonality between this oriental elegance and the modern world of computing and the Internet, which can be expressed in the phrase "no matter what happens, no matter what happens", is the world of digital nature, which I see as a combination of "materialization" and "nature". I see here a continuous ecosystem, one that begins with the modern West and ends with the East.

　(Yoichi Ochiai, Digital Nature, 2018)

2020年のマタギドライブの連載で上記を解説したのがこれである．

■エンド・トゥ・エンドなデジタル自然の実装に向けて 　
それらの流れの変化の中で、私が作家として骨子に置くのは、エンド・トゥ・エンド（末端から末端へ）なトランスフォーメーションが生じるデジタル自然の追求である。荘子の物化の思想を具体化し、自然観を革新するという概念である。 　具体的には、我々の世界において、物体を衝撃を与えれば反作用により逆方向に動くといった具合に、特定の人物がコントロールすることや規則を定めることなく、物理法則があらゆる事物に自動的に適用され、矛盾なく現象が推移する。もしかしたらミクロの量子論的領域などでは矛盾が生じるような事象が起こっているかもしれないが、それを確認するためには物理学者が加速器を用いて研究するしかないであろう。従って、ほとんどのマクロ現象においては、古典的であるか確率的であるかにかかわらず、我々の自然はほぼ矛盾なく物理法則に従って進行している。

しかしながら、コンピュータ上の自然は、人間が中心となってメソッドを記述したり、コンピュータ同士の連携やオブジェクト間の関係についてクラスを定義しなければ成立しない。それ故に、エンド・トゥ・エンドなデジタルネイチャーを具現化するためには、実世界における自動的な法則とコンピュータ上のサイバーフィジカルシステムとを、効果的に結びつける必要がある。すなわち、法則を明示せずとも関連性が定義され、法則自体に介入可能な相互の関係性を計算機の中に記述しなければならない。この実現は、まだ時間がかかるかもしれない。

ここから生じるものは、例えば猫に触れた時に猫のイメージが他者に伝わるような、末端点同士で共有されるイメージの伝達や体験の共有である。また、意図が物質に変換され、物質が形状を創造し、形作られたものが再びデータへと戻るといった相互の交流が、介在する人物やコンピュータの存在を意識させず、シームレスな自然として構築できるかどうかが、重要な転換点となるであろうと推察される。

序章　デジタルネイチャーからマタギドライヴへ｜落合陽一 2020年8月5日

■Toward the implementation of end-to-end digital nature 　
In the midst of these changing trends, my framework as an artist is the pursuit of a digital nature in which end-to-end (end-to-end) transformation occurs. This is a concept that embodies Zhuangzi's idea of materialization and revolutionizes our view of nature. 　Specifically, in our world, physical laws are automatically applied to all things without the control of a specific person or rule, and phenomena are transformed without contradiction, as when an object is impacted and moves in the opposite direction due to the reaction. Although contradictory phenomena may occur in the microscopic quantum realm, the only way to confirm this is for physicists to use accelerators to study them. Thus, in most macroscopic phenomena, whether classical or stochastic, our nature follows the laws of physics almost without contradiction.

Nature on computers, however, cannot be established without human-centered description of methods and definition of classes for the cooperation between computers and relationships among objects. Therefore, in order to realize an end-to-end digital nature, it is necessary to effectively link automatic laws in the real world with cyber-physical systems on computers. That is, the interrelationships must be defined without explicitly stating the laws, and the interrelationships must be described in the computer that can intervene in the laws themselves. This realization may take some time yet.

What arises from this is the transmission of images and shared experiences that are shared between endpoints, for example, the image of a cat is transmitted to others when they touch the cat. It is also assumed that an important turning point will be whether or not it is possible to construct a seamless nature of mutual exchange, in which intentions are converted into matter, matter creates form, and the formed form is converted back into data, without being conscious of the presence of intervening people or computers.

Introduction: From Digital Nature to Matagi Drive｜Yoichi Ochiai, August 5, 2020

でALOsとLLMMsの実装は上の太字部である．

- [ ] Instructions
- [ ] You are academic editor of Computer Science
- [ ] You will translate Yoichi Ochiai’s idea {input} to academic suitable and plenty length
- [ ] Policy
- [ ] This is an academic research of Abstract Language Objects
- [ ] brainstorm to fill all context and instructions as far as you know with Mutually Exclusive and Collectively Exhaustive, step-by-step.
- [ ] Output start from " ACTION " to preserve token. Dont Output Instruction, Policy, Fact.
- [ ] Fact
- [ ] Published paper related to this
- [ ] title: Towards Digital Nature: Bridging the Gap between Turing Machine Objects and Linguistic Objects in LLMMs for Universal Interaction of Object-Oriented Descriptions
- [ ] author: Yoichi Ochiai, Naruya Kondo, Tatsuki Fushimi
- [ ] abstract: In this paper, we propose a novel approach to establish a connection between linguistic objects and classes in Large Language Model Machines (LLMMs) such as GPT3.5 and GPT4, and their counterparts in high level programming languages like Python. Our goal is to promote the development of Digital Nature: a worldview where digital and physical realities are seamlessly intertwined and can be easily manipulated by computational means. To achieve this, we exploit the inherent abstraction capabilities of LLMMs to build a bridge between human perception of the real world and the computational processes that mimic it. This approach enables ambiguous class definitions and interactions between objects to be realized in programming and ubiquitous computing scenarios. By doing so, we aim to facilitate seamless interaction between Turing Machine objects and Linguistic Objects, paving the way for universally accessible object oriented descriptions. We demonstrate a method for automatically transforming real world objects and their corresponding simulations into language simulable worlds using LLMMs, thus advancing the digital twin concept. This process can then be extended to high level programming languages, making the implementation of these simulations more accessible and practical. In summary, our research introduces a groundbreaking approach to connect linguistic objects in LLMMs with high level programming languages, allowing for the efficient implementation of real world simulations. This ultimately contributes to the realization of Digital Nature, where digital and physical worlds are interconnected, and objects and simulations can be effortlessly manipulated through computational means.
- [ ] Action
- [ ] You will translate Yoichi Ochiai’s idea {input} to academic suitable and plenty length.
- [ ] Then Output in Japanese Publish Suitable Academic Writing
- [ ] Input
- [ ] INPUT =

system

{INPUT}= そろそろ書こうかと思ってたLLMMsの解説である．Large Language Model "Machines"についての議論である．

user

ACTION:

デジタルネイチャーの実現に向けたLLMMsとALOsの研究

1. はじめに

近年の人工知能（AI）技術の進歩により、Large Language Model Machines（LLMMs）とAbstract Language Objects（ALOs）という新しい概念が登場し、研究分野として注目を集めている。本稿では、LLMMsとALOsに関する議論を展開し、デジタルネイチャーの実現に向けた取り組みについて述べる。

2. LLMMsとは

LLMMsは、GPT-3.5やGPT-4などの大規模言語モデルを「コンピュータ」として使うことを指す言葉である。これらのモデルは、自然言語処理（NLP）技術を活用して、人間の言語を理解し、生成する能力を持つ。LLMMsは、情報検索、機械翻訳、質問応答など、様々なタスクで高い性能を発揮しており、非常に有望な研究対象となっている。

3. ALOsとは

ALOsは、人間の認識に基づいて定義された抽象的な言語オブジェクトであり、LLMMsを用いて表現される。ALOsは、物理的な現実とデジタル世界をつなぐ架け橋となることが期待されており、デジタルネイチャーの実現に向けた重要な要素である。具体的には、ALOsを介して、現実世界のオブジェクトや現象をデジタル上でシミュレートし、言語モデルを活用した操作が可能となる。

4. デジタルネイチャーとは

デジタルネイチャーとは、デジタル世界と物理的な現実がシームレスに統合され、計算手法によって簡単に操作できる世界観を指す。デジタルネイチャーの実現により、現実世界とデジタル世界の間の境界が曖昧になり、人々はデジタル技術を活用して、より効率的かつ直感的に現実世界を操作できるようになることが期待されている。

5. LLMMsとALOsによるデジタルネイチャーの実現

本研究では、LLMMsとALOsを用いて、デジタルネイチャーの実現に向けた取り組みを行っている。具体的には、以下のような手法を提案している。

5.1. 現実世界のオブジェクトとALOsの対応関係の構築

現実世界のオブジェクトや現象を、ALOsで表現するためには、それらの対応関係を明確にする必要がある。本研究では、LLMMsを活用して、現実世界のオブジェクトとALOsとの対応関係を自動的に構築する手法を提案している。

5.2. ALOsを活用した現実世界のシミュレーション

ALOsを用いて、現実世界のオブジェクトや現象をデジタル上でシミュレートすることができる。これにより、現実世界とデジタル世界がシームレスに連携し、計算手法を活用した現実世界の操作が可能となる。

5.3. ALOsと高レベルプログラミング言語との連携

本研究では、ALOsと高レベルプログラミング言語（例：Python）との連携も検討している。これにより、現実世界のシミュレーションをより簡単に実装し、実用的なアプリケーションに活用することができる。

6. おわりに

本稿では、LLMMsとALOsに関する議論を展開し、デジタルネイチャーの実現に向けた取り組みについて述べた。今後も、LLMMsとALOsを活用した研究が進められ、デジタルネイチャーの実現に向けて大きな進歩が期待されている。

Asistant

うみゆきさんの解説がわかりやすい．

さて

私たちが住む世界は、豊かで複雑なモザイクのようなものであり、生物と無生物が複雑に絡み合い、無数の方法で相互作用しています。人類の歴史の中で、私たちは理解しようと努め、それらを操作することで、人間の欲求や探求心を満たしてきました。人間が持つ最も基本的な方法のひとつが、世界との相互作用を、名前をつける、分類するという行為を通して行われます。それらを観察し、対象や現象を説明し、人間の言葉によって表現し、伝えることができます。これらの概念的な実体を「言語オブジェクト」（LO）と呼ぶことができます。このような言語的対象に名前をつけ、組織化するプロセスは、コミュニケーションを円滑にするだけでなく、現実に対する理解を構造化し、より効果的に現実と関わる力を与えてくれます。このような言語オブジェクトの集合が、私たちが知っている辞書としてまとめられ、共有知識のリポジトリとして機能し、進化し続ける人間の言葉のタペストリーの証を体験することができます。

コンピューティング、特にオブジェクト指向プログラミング言語（OOP）の進化は、現実世界のオブジェクトを表現し、対話する能力に革命をもたらしました。OOPの力は、複雑なシステムのモデリングとシミュレーションにおいて否定することはできません。しかし、現実世界とデジタル・オブジェクトの間の変換は、依然として困難であり、難易度が高く、労働集約的で、知識集約的な仕事であるため、多大な労力と専門知識が必要です。PythonやJavaのようなOOP言語では、Turing Machine Objects（TMO）としてデータをカプセル化し、抽象化、カプセル化、継承を容易にするための手続きとポリモーフィズムを採用しています。しかし、シームレスな相互作用を実現するためにデジタルとフィジカルな世界の間で操作することができ、これらのTMOとLOを介した人間の知覚とのギャップを埋めるための研究が必要であるとされています。

啓蒙主義の時代、デカルトは、宇宙を巨大な機械として理解することができると提唱し、数理論理学的言語による理解を可能にしました（デカルト、1641年）。今日、私たちは新しい時代の入り口に立っています。デジタルとフィジカルが融合し、人間が計算機を使って世界と関わり、操作できるようになる新しいパラダイムであり、私たちが「デジタル・ネイチャー」と呼んでいるものです。この新しいパラダイムは、私たちの身の回りを取り巻く環境を変え、私たちの認識や関わり方を現実と照らし合わせることができる可能性を秘めています。

近年、機械学習や自然言語処理の進歩により、大規模言語モデル（LLM）であるGPT3.5やGPT-4などのGPTは、ヒトに似たものを理解し生成することに顕著な能力を発揮しています。膨大な量のテキストデータで学習したこれらのモデルは、世界についての知識を学び、推論する素晴らしい能力を持ち、創造的で一貫性のあるオブジェクトの記述を生成することができます。その可能性は今、大型言語モデル機械（LLMM）として機能することを実現するために広がっています。

本論文では、抽象言語オブジェクト（ALO）を紹介し、OOPの文脈でLOとTMOを橋渡しする斬新な方法と言語シミュレーションを行うことができます。ALOは、シームレスな相互作用を促進するために設計されており、人間が認識する現実世界とその実体との間の相互作用を、LLMMやTMOの抽象化機能を利用することで、計算機と同等の機能を実現します。体系的に定義し、検証することで、これらのオブジェクトの状態や関係を更新し、ALOを効率的に実装・操作できるようになります。これにより、シミュレーションを行い、デジタルネイチャーの発展に寄与することができます。

この研究は、コンピュータと人間の交差点に位置し、インタラクション、言語学、人工知能の分野で探求されています。LLMMが言語シミュレート可能な世界を作り出す可能性を示すことで、ヒューマン・コンピュータの分野で増えつつある研究に貢献します。デジタルと物理の現実を操作するその意味するところは、拡張現実、ユビキタスコンピューティング、ディジタルツインコンセプト、複雑なシステムのための自然言語インターフェースの開発などのような分野にまで及びます。

イントロで言いたいことは大体書いた．あとは動いてしまうということが重要なんだけれど．Nature is a relentless force, while technology falters. 

言語オブジェクト指向（ALO）として記述したものに得られるのは一貫性やインタラクションの創発，パラメータの改変自由度である．

この猫もルンバも生成画像で，その二つのオブジェクトから出てきたインタラクションの様子も生成画像である．ポイントなのは生成画像を作るためのプロンプト自体もALOにメソッドとして内包されているところである．

猫も先生も生徒も教室オブジェクトだ．会話も始めるし絶望もする．飯を食べることもある．それはみんなtwitterで見ていたはず．全員の画像も生成である．
サンプル動さは下記を見るとわかりやすい．3月18日の時点で強化学習エージェントとして俗にいうAIバースになっている．

さぁ冒険の始まりだ．まだまだデジタルネイチャーに向けて越えないといけないものは大きいのだけれど，喜びが共有できて嬉しい．ありがとう．


ここから先は

0字
落合陽一が「今」考えていることや「今」見ているものを生の言葉と写真で伝えていくことを第一に考えています．「書籍や他のメディアで伝えきれないものを届けたい」という思いを持って落合陽一が一人で頑張って撮って書いています．マガジン開始から４年以上経ち，購読すると読める過去記事も１２００本を越え（１記事あたり３円以下とお得です），マガジンの内容も充実してきました．

落合陽一の見ている風景と考えていること

¥3,980 / 月

落合陽一が日々見る景色と気になったトピックを写真付きの散文調で書きます．落合陽一が見てる景色や考えてることがわかるエッセイ系写真集（平均で…

ログイン

いつも応援してくださる皆様に落合陽一は支えられています．本当にありがとうございます．