2024年末頃の「情報幾何学・情報物理学」関係の個人的メモ
標記の通りの内容です( *ˊᵕˋ* )
どなたかのご参考になりましたら、とっても嬉しいです(∩ˊᵕˋ∩)
・情報幾何学、情報物理学(東京大学 伊藤創祐 准教授)
年末の年の瀬ですが、D1の永山くんの新作です。D3の吉村くんとの共同研究です。一般化平均の定義を使って、1-Wasserstein距離型の熱力学的速度限界を平均の定義の数だけ、すなわち無限に作る話です。https://t.co/mI3deh1lga
— Sosuke Ito (伊藤 創祐) (@ito_sosuke) December 31, 2024
Artemyさんの以前の研究のバージョンアップ版がarXivに上がりました。京大のAndreasさんとD3吉村くんとの共著です。https://t.co/5LwzI8pWzR
— Sosuke Ito (伊藤 創祐) (@ito_sosuke) December 12, 2024
情報幾何によるエントロピー生成率のexcess/housekeeping分解の話を, (駆動がある)activeな系での自由エネルギーの視点からまとめ直しました。
D3の吉村くんと、M1前川くん、D1永山くんとの論文がarXivに上がりました。吉村くんが博論前に急いで書き上げてくれました。GKSL方程式で記述される開放量子系における熱力学(量子熱力学)での流れと熱力学力の定義+etc(エントロピー生成の分解/トレードオフ)の論文です。https://t.co/o9s6hcp1Hc
— Sosuke Ito (伊藤 創祐) (@ito_sosuke) October 31, 2024
今回の結果の肝はこの表ですね。この表の対応関係があれば、古典を理解していれば色々とうまく回ることがわかりますし、実際回りました。
— Sosuke Ito (伊藤 創祐) (@ito_sosuke) October 31, 2024
(ただし古典の研究なしで、同じことをできるとはそんなに思いません。具体例での計算はかなり非自明です。) pic.twitter.com/GCP6guc0LC
拡散モデルはある意味、高級なホップフィールドネットワークのようなものですかね。いわゆるエネルギーランドスケープを固定して平衡状態への緩和を見るのがホップフィールドだとすると、拡散モデルは時事刻々とエネルギーランドスケープを動かしている非平衡ダイナミクスだと思うことが可能です。 https://t.co/64pzwOGiNZ
— Sosuke Ito (伊藤 創祐) (@ito_sosuke) October 8, 2024
先日PRXに公開された論文のプレスリリースを出しました。私の研究室の博士2年の学生の関澤太樹さんが筆頭著者の論文です。ぜひ御覧ください。https://t.co/1k8ffzUdD9 https://t.co/TWsVu3HN4Z
— Masafumi Oizumi (@oizumim) October 8, 2024
プレスリリース、東大から出たようです。
— Sosuke Ito (伊藤 創祐) (@ito_sosuke) October 8, 2024
また関澤さんの一連のツイートをリポストしました。
少し僕はPRXの結果の今回得られた分解について、熱力学的な視点から議論したいと思います。
Scientists decomposed the housekeeping entropy production rate into multiple factors and calculated the contribution of each. Applying their model to electrocorticography data in monkeys provided insights into various oscillatory modes.
— Physical Review X (@PhysRevX) October 4, 2024
Read the paper: https://t.co/4POTV5Ccft pic.twitter.com/vHneKUNalk
数理科学の自身の拡散モデルの記事と他の人たちの記事を見て、整合性などの点で少し補足します。
— Sosuke Ito (伊藤 創祐) (@ito_sosuke) September 18, 2024
1) 私の記事では拡散モデルの概念説明のためF_t=0として外力がない状況を考えていますが、終分布がガウス分布になる方が都合が良いこともあるので、OUプロセスで考えることがよくあります。
研究室の研究内容がこの数年広がりを見せていて、とても活発になってきているので、その状況をできるだけ伝えるべくホームページの研究テーマのページを一新しました。 https://t.co/LuUwfBphD0
— Sosuke Ito (伊藤 創祐) (@ito_sosuke) September 5, 2024
過去の資料集も、ご参考までに( *ˊᵕˋ* )
・記号創発システム論/(期待変分)自由エネルギー原理/集合的予測符号化仮説(京都大学 谷口忠大 教授)
・自由エネルギー原理と予測符号化
・世界モデル
・意識とクオリア
・身体性と知能の創発
・文化心理学と記号圏
・言語の進化と創発
・大規模言語モデルと分布意味論
・マルチモーダルな言語教育
・集合的予測符号化仮説
※参考までに個人的な感想文のリンクを(∩ˊᵕˋ∩)
🌟 New Preprint Released! 🌟
— Tanichu/たにちゅー (Tadahiro Taniguchi, 谷口忠大） (@tanichu) January 5, 2025
We're thrilled to share our latest work on generative emergent communication, linking emergent communication, world models, and large language models (LLMs) through collective predictive coding (CPC)!
Key Features:
🔹 Proposes Generative Emergent… pic.twitter.com/ezZyGMcyFy
New Paper Published in IEEE RA-L!
— Tanichu/たにちゅー (Tadahiro Taniguchi, 谷口忠大） (@tanichu) January 5, 2025
We’re thrilled to announce our latest work on LiP-LLM, an innovative approach integrating Linear Programming (LP), Dependency Graphs, and Large Language Models (LLMs) for multi-robot task planning!
Key Features:
🤖 Combines LLMs with traditional… pic.twitter.com/CYuNa0RJQ2
集合的予測符号化概念は文理融合研究の源泉でありブレイクスルーだと思っている。異分野を架橋する力。文化や意味に関する議論の一部を構成論的なモデルを介して接地する。２０２４年はいくつかの関連論文と関連書籍を出せたので２０２５年は本格的に展開させたい。多くの共同研究者や学生の参画が必須
— Tanichu/たにちゅー (Tadahiro Taniguchi, 谷口忠大） (@tanichu) December 30, 2024
記号論における「記号の恣意性」と脳科学における「シナプスの可塑性」が対応づくのだという洞察がこの一年ほどでの僕のアハ体験なのだけれど、これをしっかりと自然科学&人文社会科学的な意味で伝えたり、工学的に意味あるアプリケーション（人工知能、AIアラインメント、ロボティクス等）に繋げてい…
— Tanichu/たにちゅー (Tadahiro Taniguchi, 谷口忠大） (@tanichu) December 14, 2024
ベイズ脳の次はベイズ社会なんだよ。
— Tanichu/たにちゅー (Tadahiro Taniguchi, 谷口忠大） (@tanichu) December 1, 2024
シナプス可塑性の代わりに記号の恣意性が働く。
とりあえずここから五年間くらいは「言語ゲームとは分散型のベイズ推論なんだ」ということを言い続けると思う。
— Tanichu/たにちゅー (Tadahiro Taniguchi, 谷口忠大） (@tanichu) December 1, 2024
こういう研究ってどのモダリティを基盤に置くかで見えてくる世界、生まれてくる疑問が違うんでしょうね。温度感覚という足場がとても影響を及ぼしているように思いました。
— Tanichu/たにちゅー (Tadahiro Taniguchi, 谷口忠大） (@tanichu) November 23, 2024
【読了】なぜ私は私であるのか: 神経科学が解き明かした意識の謎 – 2022/4
— Tanichu/たにちゅー (Tadahiro Taniguchi, 谷口忠大） (@tanichu) October 23, 2024
アニル・セス (著), 岸本 寛史 (翻訳)https://t.co/pGVHLMUwcz… pic.twitter.com/Dou823JmTp
個人的な感想文はこちら。
・機械学習、AI/AGI/ASI(AI Alignment Network 林祐輔 先生)
【2025/1/15 10:00 開催】ALIGN Webinar #12 Jesse Hoogland : Singular Learning Theory for AI Safetyhttps://t.co/Qqf3iARAqT
— Yusuke Hayashi 林祐輔 (@hayashiyus) January 12, 2025
AIアライメントネットワーク（ALIGN）ウェビナーシリーズ第12回 開催のご案内
参加無料・事前登録必須！…
谷口忠大先生 @tanichu が提唱する集合的予測符号化を，科学コミュニティのモデルとして採用することで，人間にとって科学研究とは何か，を考える分析ツールが開発されました（CPC-MS）．エージェントの外側にある集団的潜在表現という独創的な概念が集団の記述を拡張しますhttps://t.co/EbtELKGTmX pic.twitter.com/82o5aW3V2K
— Yusuke Hayashi 林祐輔 (@hayashiyus) September 4, 2024
深層生成モデルが訓練時に概念を獲得していくプロセス，潜在空間の幾何，相転移の関係について考察するnotebookシリーズ
— Yusuke Hayashi 林祐輔 (@hayashiyus) January 3, 2025
The Latent Space Geometry of Concept Grasping https://t.co/hvOo9edyuZ
Transformerの潜在空間に現れる"虹"について考察したnotebookを追加．生成AIの潜在空間の曲率を可視化 pic.twitter.com/8l2ZV3EZxy
Transformerは潜在空間上に"虹"のパターンを学習した後に，その空間が持つ対称性を自発的に破って新しい構造を獲得していく
— Yusuke Hayashi 林祐輔 (@hayashiyus) January 6, 2025
The Latent Space Geometry of Concept Grasping https://t.co/hvOo9edyuZ pic.twitter.com/g5O67TDezT
になっていそう．実際，大抵の問題は「人間の個人，または集団の分布に由来する制約」から生じるので，人間とは質的に異なるエージェント集団では問題自体が霧散するものも多い．現在，人類が困っている問題とはまた別の“高度な”問題に頭を悩ませるかもしれないが
— Yusuke Hayashi 林祐輔 (@hayashiyus) January 5, 2025
自律性の起源は，環境系の状態〜感覚刺激の不確実性に対する正則化項の暴走かもしれない．潜在表現の事前分布を疑う，再設定できるように設定すると，十分に能力の高いエージェントはすぐに予測誤差項を最小化するが，正則化項はいつまで経っても停留点に到達しない．
— Yusuke Hayashi 林祐輔 (@hayashiyus) January 4, 2025
どの"閃き"がパラダイムシフトにつながるか？，は個人的現象であると同時に集団的現象としても記述できる．
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 31, 2024
どの"倫理的アクション"が共生的アライメントにつながるか？，にも同様の構造がある．
もっとも，既存のパラダイムとその外側の境界線上に立って人類の新しい知を切り開く「人間の"閃き"の数学的構造」は科学者コミュニティの集合的予測符号化モデル（CPC-MS）が既に解明しているのでは，と考えてもいます😜
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 30, 2024
Collective Predictive Coding as Model of Sciencehttps://t.co/EbtELKGTmX
学習係数とニュートン多面錐の関係，および，ニュートン多面錐の構成方法 pic.twitter.com/tKDXlFalkR
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 21, 2024
AIエージェントを自由エネルギー原理〜予測符号化エージェントとして解析する研究は来年流行ると思う
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 16, 2024
生成AIの潜在空間は，一般には双曲空間のようなきれいな構造をしておらず，むしろ幾何学の展開が難しくなる特異点のような歪なオブジェクトがうようよする空間になっている，と考えている．… pic.twitter.com/xc60RROMem
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 14, 2024
「保守的」な手続きに沿って演繹を続けた結果，我々が常識的だと考えている宇宙像はむしろ「革命的」な宇宙像で，我々がSF的，絵空事だと考えている宇宙像こそが「保守的」な宇宙像だったことを明らかにする，一種の価値転倒を達成した論文https://t.co/u4CCBjs82d
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 12, 2024
集合的予測符号化仮説に基づくAIと人間集団の共生的アライメントに関する論文をブラッシュアップしながら，それとは別のテーマ，生成AIの潜在空間，概念の空間に内在する地形，曲率に関する論文も同時併行で進めている．https://t.co/XcmID47fYx pic.twitter.com/tIfyuhWlMq
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 12, 2024
よく言われることだけど，子供の思考を親の脳内でシミュレートすることで，子供や若者が現在進行形で体験しているみずみずしい世界（おもちゃや映画の世界に没入する，初デートの緊張など）を追体験できる，というのは子供を持つまでわからなかった新しい体験
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 7, 2024
「全ての事象が無限回起こる」というマルチバースモデルの性質が確率計算と衝突するため，確率論を展開するための専用の枠組みを整備する必要があった．1人の観測者が，自身の過去の光円錐を選択し，その情報だけを使って宇宙を記述するという枠組みを導入することで，ゲージ不変性を保つマルチバース…
— Yusuke Hayashi 林祐輔 (@hayashiyus) December 2, 2024
深層学習の関数の空間とパラメータ空間上の特異点の網は化け物のように複雑な構造をしている pic.twitter.com/wNu92UqtHM
— Yusuke Hayashi 林祐輔 (@hayashiyus) November 6, 2024
パラメータ𝜃を大きく動かしても関数𝑓（𝑥, 𝜃）は同じということが深層学習を含む特異モデルでは頻繁に起こる．つまり，特異モデルは関数空間上で同じ関数を表す同値類がスパゲッティのように折り重なった複雑な構造をしている pic.twitter.com/wE7NTTvd3Z
— Yusuke Hayashi 林祐輔 (@hayashiyus) November 6, 2024
集合的予測符号化と深層学習を結びつけることで別の可能性があることに気づいた．深層学習の内部で1つ1つのニューロンは単純な情報処理しか行っていない．膨大な数のニューロンが相互作用しあい情報の集積が進むことで全体としてのネットワークは高度な機能を実現する（2/n）https://t.co/TX2KT7Nsxg
— Yusuke Hayashi 林祐輔 (@hayashiyus) October 28, 2024
潜在空間の曲率は，概念の近さ・遠さを幾何学的に表現したもので「深層学習の頭の中」を理解する上でとても重要な情報だと考えています．神楽坂やちまさんから既にご案内が届いていると思いますが，ぜひALIGN slackで議論しましょう．https://t.co/uyScwMY4SI
— Yusuke Hayashi 林祐輔 (@hayashiyus) October 28, 2024
「ある空間は平坦か否か？」という問いは，その空間にどんな計量を入れるか次第で答えが変わってくる．一方，「潜在変数 𝑧 の空間からみてデータ 𝑥 の空間は曲がっているか？（あるいはその逆）」という問いは，かなり広い文脈で「Yes」が答えになるhttps://t.co/ok3K6L4u8u
— Yusuke Hayashi 林祐輔 (@hayashiyus) October 28, 2024
順過程と逆過程，行きと帰りで，それぞれの確率微分方程式をドライブするポテンシャル関数には乖離が生じる．この乖離が対称性の破れを誘導する． pic.twitter.com/jBRJpiln6S
— Yusuke Hayashi 林祐輔 (@hayashiyus) October 23, 2024
順過程と逆過程，行きと帰りで，それぞれの確率微分方程式をドライブするポテンシャル関数にずれがあること，(16)式が重要だと思いました．右辺第1項の勾配がスコア関数（対称性を破るガイド役）になる訳ですね pic.twitter.com/xEQ2Entlq4
— Yusuke Hayashi 林祐輔 (@hayashiyus) October 23, 2024