記号創発スタディノート#3 記号創発システムとは何か？ ～認知・社会と記号のループ構造～
こんにちは、記号創発アウトリーチチームです。
本本連載「記号創発スタディノート」は、京都大学の谷口忠大（通称：たにちゅー）教授を中心に10年以上にわたり展開されてきた「記号創発システム論」について、その可能性と意義、中心的な手法、今後の展望についてコンパクトに解説するシリーズです。
◆これまでの回：
第1回：なぜ、いま記号創発システム論なのか？ ～生成AI時代の「意味」の新学理へ
第2回：記号創発システム論は何を問う？ ～記号接地問題から「記号創発問題」へ
過去2回では、記号創発システム論を学ぶモチベーション（第1回）と、この理論が中心的に取り組む「記号創発問題」について解説しました（第2回）。記号創発問題とは「私たちはどのように個として、また集団として記号を生み出し、扱うことができているのか」という問いです。今回は、この問いを解き明かす舞台装置である「記号創発システム」の全体像を見ていきます。
エージェントにとっての記号創発問題
まず、個人の目線で考えてみましょう。私たちは、はじめは意味が分からない外国語の単語でも、勉強すれば次第に理解できるようになります。生まれたばかりの子どもにとっては、目に入る光、耳に入る音、自分の身体でさえもがすべて無意味なカオスですが、そこから出発して、大人と同じ言葉を使えるようにまでなります。
そこでは、誰かが私たちの脳に「記号」をプログラムしてくれるわけではありません（第2回）。話し相手がどんな意味で言葉を使っているのかを、相手の「脳を開けて直接読み出す」ようなこともできません。この意味で、認知システムとしての私たちは「閉じている」のです。にもかかわらず、身体を通して世界や他者と関わるなかで、脳の外にある記号（前回述べたように、これは記号的AIが想定してきた「記号」とは異なります）を意味のあるものとして使い、コミュニケーションができるようになります。このメカニズムを説明するのが、エージェント、つまり認知や行為の主体のレベルでの記号創発問題だと言えます。
鍵となる「内的表象」
この問いへどこから手をつければいいでしょうか。母親がリンゴを手に「みてみて りんごだよ」と赤ちゃんに話しかけているとします。このとき赤ちゃんの「頭の中で起こっていること」にこそ、赤ちゃんが言葉を学ぶメカニズムの答えがあるはずです。頭の中にあるもの——「思考」とか「イメージ」などと呼んでもよいかもしれませんが、認知科学ではこれを表象（representation）と呼んできました。
「表象」は西洋の哲学では長い歴史と論争がある難しい概念なのですが、ここではおおまかに「何かを代わりに表しているもの」と捉えましょう。たとえば、「地図」は現実の街の表象であり、「温度計」は部屋の温度の表象です。これらは目に見える表象（外的表象）の例ですが、ここで問題にしたいのは心の中にあり目に見えない、内的表象（inner representation）です（あるいは「心的表象」とも）。記号創発システム論では、内的表象が一つのキー概念となります。
頭の中で起こることにひとまず「内的表象」という名前を付けてみるわけですが、まだふわっとしています。もう少し具体的に捉えるため、神経科学や機械学習の分野を参考にしましょう。文字通り「人間の頭の中」を扱う神経科学には、神経表象（neural representation）という概念があります。たとえば海馬という脳部位には、見知った部屋の特定の場所にいる時にだけ活動する細胞（場所細胞）があることが知られており、このことから海馬の一群の脳細胞は「空間の神経表象」であると言われます。
他方、機械学習はいわば「AIの頭の中」を議論する分野であり、ここにも同様の概念があります。たとえばネコの画像を学習するニューラルネットワークには、その内部に「ネコの顔の輪郭」や「ネコの目や鼻など」や「猫というカテゴリー」を表現する活動が現れます。学習された表現は内部表現（inner representation）であり、英語では「内的表象」と同じ言葉です。
つまり、神経科学や機械学習の分野では、脳やAIの「中」を見ることによって、実体として内的表象を語ることができるのです。そして両者に共通するのは、あらかじめプログラムされたものではなく、脳やAIの経験によって獲得された表現である点。この学習を表現学習（representation learning）と言います。表現学習によってボトムアップに創られる点で、コンピュータの「記号」とは異なります。
一方、認知科学や記号創発システム論では、具体的な実体によらない抽象的な内的表象を扱います（「アルゴリズム」や「実装」のレベルではなく「計算論」のレベルでの記述などともいわれます）。次回以降に見るように、内的表象は外から観測できない潜在変数（latent variable）やその確率分布としてモデル化されます。抽象的であるとはいえ、経験を通した表現学習で獲得される点で、神経科学や機械学習における表象／表現と共通しています。
少し込み入ってしまいましたが、大事なのは私たちが「内的表象」を持ち、外部環境との相互作用によって内的表象を変えていくことで、記号の意味理解ができているのだと考えることです。この見方をとれば、エージェントのレベルでの記号創発問題は
エージェント（人やロボット）は、身体を通して物理世界から受け取る感覚情報や言葉などのサインから、どのように「内的表象／内部表現」を表現学習し、サインの意味を扱えるようになるのか？
となります。
エージェントとして「ロボット」を想定すれば、「いかに言語獲得ができるロボットを作るか」という工学の課題となり、同時にそれは「人の認知システムがどのように記号プロセスを可能にしているのか」という認知科学の問題に対する構成論的な（つまり、作ることでわかる）アプローチにもつながります。
社会のレベルの記号創発問題
ここまでが問題の半分です。もう半分は、サインに結びつく意味はどのように社会の中で作られていくのかという部分。一般に記号（symbol）のサインと意味との間には必然的な結びつきがありません。リンゴがミカンで、ミカンがリンゴであってもよかった——つまり恣意性があるわけです。
しかし現実には、私たち一人一人は意味を好き勝手に決めることはできません。偉い人が定義することも時にはあるかもしれませんが、通常が各人がサインを解釈し、使用を積み重ねるなかで意味が固まっていくという、組織化のプロセスを経ます。そして、サインは他のサインと関係して、意味のネットワークの体系（記号システム）を成します。
組織化した記号システムは、今度は社会を構成する私たち一人一人の言語使用や思考や行動を制約します。たとえば、テレワーク禁止の会社に勤める人が毎日通勤しなければならないのは、「会社」とか「テレワーク」とか「禁止」といった記号が社会で共有されており、私たちの思考やコミュニケーションや行動がそうした記号に制約されているからです。
このように、個々の要素の活動から「ボトムアップ」に自己組織化したシステムが、今度は「トップダウン」に個々の要素の振る舞いを制約するような構造を、経済学の組織論や人工知能のマルチエージェントの分野では「ミクロ・マクロ・ループ（micro-macro loop）」と呼び、このミクロ・マクロ・ループが働くシステムを複雑系科学などの分野では「創発システム（emergent system）」と呼びます。
社会のレベルの記号創発問題は、先述の「表象」概念を使えば、次のように言えます：
人やロボットが記号を通した相互作用をするなかで、外的表象としての記号システムがいかに創発するか。
記号創発システムの全体像
ここまでは、「エージェントのレベル」と「社会のレベル」で記号創発問題を分けて考えてきましたが、両者は本当はつながっています。私たちは、世界と身体を通して関わると同時に、社会的に作られた記号の制約を受けながら、内的表象をアップデートしていきます。一方、その内的表象をベースに行われるコミュニケーションの中から、外的表象としての記号システムが作られます。「テレワーク」のように新しい言葉が生まれることもあります。認知システムと社会システムは密にリンクし、時々刻々と記号が生成し、変化していくダイナミックなシステムを成しています。
これが記号創発システムです。つまり、記号創発システムとは、環境（物理的世界） - マルチエージェントが作る社会 - 記号システムがなす全体のことを指します。そこでは、
各エージェント（人やロボット）の内的表象と現実世界は、身体的相互作用を通してつながり、
エージェントの内的表象同士は記号的相互作用を通してつながり、
各エージェントの内的表象と記号システムは、組織化と制約によるミクロ・マクロ・ループを通してつながっています。
このようにシステムを捉えたうえで、これを数学的にモデル化し、シミュレーションやロボットでの実装を通してその妥当性を見ていくのが記号創発システム論のアプローチとなります。とりわけ確率的生成モデルを用いた定式化により、ロボットでの内的表象の学習が可能になります。そして、実は内的表象の表現学習と、外的表象の創発のダイナミクスが相似なプロセスとして理解する道筋が拓けたことが、近年の大きな進展となっています（集合的予測符号化）。数理モデル化の方法については、本連載のPart 2で見ていく予定です。
おわりに
今回は、「環境 - 社会 - 記号システム」の3階層からなる「記号創発システムの概観図」を理解することを目指し、順を追って解説してきました。具体例が少ないため、ここだけで腑に落ちるのは難しいかもしれません。参考文献や本連載の後半を読んでからもう一度戻り、ゆっくり考えていただければと思います。次回はPart 1の締めくくりとして、記号創発システム論の関連分野の広がりを見ていきます。
【さらに学ぶための参考文献】
◆谷口忠大「Ⅰ-1 記号創発システム」、谷口忠大（編）『記号創発システム論』（新曜社、2024）…谷口教授による、記号創発システムのコンパクトな解説。より正確な記述はこちらをご覧ください。
◆谷口忠大「記号創発システム論に基づく長期的な人間-ロボット協調系の実現に向けて」『計測と制御』 55 巻 10 号（2016）…「記号創発システム論」の枠組みが、本稿で見たような形で明示的に語られるようになった初期の論文。
監修：谷口忠大教授
執筆：丸山隆一（記号創発アウトリーチチーム）
謝辞：谷島貫太先生はじめ、R-GIRO記号創発システム科学創成PJの皆様
◆記号創発アウトリーチチーム 記号創発システム論に関連するコンテンツ発信を行なっています！ 質問・疑問、取材やメディア転載のご相談もお待ちしています。
・X：https://x.com/sym_eme_outrea
・YouTube：記号創発クロストーク