エネルギーとエントロピーを司る神々のゲーム【論文紹介】#9
今回紹介する論文は、全く新しい大きな理論を提唱している。その内容をまずかいつまんで言うと、「熱力学の第1,第2法則は、第1種,第2種永久機関を作ることはできないといった制限を示すだけのものであるが、それに加え、ゲーム理論から考えられる公理をいくつか課すことによって一意に物理状態を決定することができる理論となる」ということである。
今週紹介する論文はこちら
Phys. Rev. Research 2, 043055 (2020) - Energy and entropy: Path from game theory to statistical mechanics (aps.org)
エネルギーとエントロピー： ゲーム理論から統計力学への道
以下、前提知識をまず概説した後、本論文を頭から順に噛み砕きつつ解説していく。
前提知識1 ゲーム理論(パレート最適、ナッシュ均衡)
本論文Appendix Aに倣って、すぐ応用できるような一般の形式でゲーム理論を概説する(私は、ゲーム理論のまともな定式化はこの論文のAppendix Aで初めて知った)。
2人のプレイヤーⅠとⅡがいて、それぞれが行動$${x_1, x_2}$$を取ったとき、それぞれ$${u(x_1,x_2), v(x_1,x_2)}$$の利益を得るとする(下イメージ図参照)。
行動$${x_1, x_2}$$が取られる確率を$${p(x_1, x_2)}$$と書くと、各プレイヤーの利益の期待値u, vは、各パターンの利益に確率をかけたものの総和なので
$${u=\sum_{x_1,x_2}p(x_1, x_2)u(x_1, x_2)}$$
$${v=\sum_{x_1,x_2}p(x_1, x_2)v(x_1, x_2)}$$
一般に、お互いの利害は一致しないので、相手の利益は最小で自分の利益は最大になるような行動をとる。数式で書くと、次のような保証ペイオフ$${u_d, v_d}$$を得るということになる。
プレイヤーⅠは $${u_d=\max_{x_1}\min_{x_2}[u(x_1,x_2)]}$$
プレイヤーⅡは $${v_d=\max_{x_2}\min_{x_1}[v(x_1,x_2)]}$$
プレイヤーⅡの利益vを大きくするにはプレイヤーⅠの利益uを減らさなければならず、逆に、
プレイヤーⅠの利益uを大きくするにはプレイヤーⅡの利益vを減らさなければならない。この状況がパレート最適である。
保証ペイオフ$${(u_d, v_d)}$$はいわば膠着状態であるが、プレイヤーⅠとⅡがそれぞれ$${(u_Ⅰ, v_Ⅰ)}$$と$${(u_Ⅱ, v_Ⅱ)}$$の結果が欲しいと主張すると仮定する。
それぞれの利益に関して、以下のような条件が成り立つときは、プレイヤーⅡは主張をあきらめ、$${(u_Ⅰ, v_Ⅰ)}$$の状態となる。
$${\frac{u_Ⅰ - u_Ⅱ}{u_Ⅰ - u_d}<\frac{v_Ⅱ - v_Ⅰ}{v_Ⅱ - v_d}}$$
右辺は、プレイヤーⅠがあきらめるときのⅡの利益が$${v_Ⅱ - v_Ⅰ}$$で、保証ペイオフからの利益$${v_Ⅱ - v_d}$$より何倍あるかを考える、同様に、
左辺は、プレイヤーⅡがあきらめるときのⅠの利益が$${u_Ⅰ - u_Ⅱ}$$で、保証ペイオフからの利益$${u_Ⅰ - u_d}$$より何倍あるかを考える。
左辺のほうが小さいならプレイヤーⅡがあきらめるほうがよいということである。
さらに上式を変形すると
$${(u_Ⅱ-u_d)(v_Ⅱ-v_d)>(u_Ⅰ-u_d)(v_Ⅰ-v_d)}$$
となる。左辺のⅡをⅠに入れ替えたのが右辺になっている。これはつまり、プレイヤーごとにこの値、uとvの保証ペイオフとの差を比較するということである。
$${\max_{x_1,x_2}(u(x_1,x_2)-u_d)(v(x_1,x_2)-v_d)}$$
このような条件を満たす行動を選択することがナッシュ均衡である。
前提知識2 熱力学第1,第2法則
熱力学も様々な説明の仕方があるが、ここでは本論文と関係ある部分だけ簡潔に説明する。
熱は、伝達したり、蒸気になってピストンを動かすエネルギーになったりするが、トータルのエネルギー量は変わらない、
内部エネルギーの増加量をΔU、外から与えられる熱量をQ、外からくわえられる仕事をWとすると、以下の式が成り立つ。
ΔU＝Q+W
エネルギーのやり取りはこの3項だけで完結し、他に増えたり減ったりしない(保存する)。つまり、エネルギー保存の法則を熱力学に当てはめたのが熱力学第1法則である。
次に、エントロピーについては、個人的には次のような説明が一番しっくりくる。
ジョーカー抜きの(13×4=)52枚のトランプのセットから、ランダムに1枚裏向けたまま選ばれ、それが何かを推測する状況を考える。
あてずっぽうに言うなら、当たる確率は1/52である。
そこに例えば、「スートがダイヤ」というヒントが与えられれば、当たる確率は1/13になる。
さらに、「数字は7」というヒントが与えられれば、”ダイヤの7”と、52択から1つに特定できる。
また、前のスートのヒントを忘れてしまって数字は7というヒントが与えられたときは、当たる確率は1/4である。
上記は、脳内の情報エントロピーが減少する様子である。あるいは、13×4のマス目上をランダムに動く粒子のエントロピーとも考えられる。これは数式でも記述しやすい。エントロピーSの定義は確率Pを用いて
S=log(1/P)
と表される。最初、何もヒントが与えられてない状態は、
$${S=log{52}}$$である。
次に、スートのヒントが与えられたときのエントロピー$${S_s}$$は
$${S_s=log13}$$
と、減少している。
また、何もヒントが与えられてない状態から数字のヒントが与えられたときのエントロピー$${S_n}$$は
$${S_n=log4}$$
そして、両方のヒントが与えられて一意に定まるときは、エントロピーはゼロになる。
このエントロピーの定義の面白いところは、足し算、引き算ができることである。スートと数字両方のヒントがあれば1択に特定できるというのは次のように書ける。
$${S-S_s-S_n=log52-log13-log4=log\frac{52}{13*4}=log1=0}$$
上記は、外部からの情報によって脳内の情報エントロピーが減少する様子だが、もし、外部から何も情報がなければエントロピーは減ることはないし、時間が経ってヒントを忘れるとエントロピーは増えてしまう。(どこかで見たエントロピーの訳語として「忘量」というのはうまいと思う)
このエントロピーの概念において重要なのは、外部からの攪乱がなければ、エントロピーは変わらないか増える(減ることはない)。上記の例では、何もヒントが与えられてないのに選択肢を絞れるようになることはない。また、ヒントを忘れたら選択肢の範囲は広がる一方である。このことは破られることのない物理法則で、熱力学第2法則または、エントロピー増大の法則とも言われる。
上記は、情報エントロピーの話であり、物理的な気体分子のエントロピーでは、確率の代わりに状態数W(例えば、52状態取りうるならW=52)を用い、分子1個が持つエネルギーを表すボルツマン定数$${k_B}$$をかけて
$${S=k_BlogW}$$と記述される。
ゲーム理論と熱統計力学の概念の対応
さて、ここから本題。
熱平衡状態にある気体分子の標準的なエネルギー分布であるボルツマン分布は、一定の平均エネルギーに対してエントロピーを最大化する方法と、一定のエントロピーに対してエネルギーを最小化する方法で求めることができる。
【ボルツマン分布】丁寧な解説で理解するカンタン導出法！ | 物理化学の入り口 (chem-prologue.com)
本論文では、エントロピーの値と負のエネルギーの値がそれぞれそのままプレイヤーⅠとⅡの利益と考えて、ゲーム理論の考えを取り入れ、二人のプレイヤーのゲームの結果として物理状態が現れると考える。(ただし、エントロピーとエネルギーは、一般のゲーム理論における行動とは異なり、熱力学の法則により、これらの取りうる値には制限がある。)
熱緩和過程(例えば、冷たい水と熱いお湯を混ぜて均一のぬるま湯になるまでの過程)は、微視的メカニズムはかなり複雑であるため、今でも活発な研究分野である。本論文は巨視的なエントロピーとエネルギーの観点からいくつかの公理を立てて、熱緩和過程を推論することを可能にする。
ゲーム理論における保証ペイオフの点を非平衡な初期状態の点と考え、そこから熱平衡に至る過程は、プレイヤーⅠとⅡがナッシュ均衡を探りながら熱平衡に至ると考えるのである。
初めて見るとホンマか？と思う部分もあるが、この後読み進めていくと、これに立脚してきれいな理論が組みあがっていくのを目の当たりにする。
エントロピー-エネルギー図とその凸性
離散状態$${i = 1,..., n}$$を持ち、各状態$${i}$$でエネルギー$${ε_i}$$を持つ系を考える。(これは量子力学を学んでいないと受け入れ難いかもしれないが、物体の温度を下げていくと、その分子が持っているエネルギーも下がっていく。その過程は連続的に見えるかもしれないが実は離散的で、日常的な温度ではその離散的な1段よりもずっと大きなスケールしか見ないので連続的にしか見えないというだけである。)
状態$${i}$$を取る確率を$${p_i}$$とするとエントロピーSと負のエネルギーUの期待値はそれぞれ
$${S(p)=-k_B\sum_{i}p_iln(p_i)}$$
$${U(p)=-\sum_{i}ε_ip_i}$$
下図は例として、エネルギーが$${ε_1=0, ε_2=1, ε_3=2.5, ε_4=3}$$の4状態を取る場合のエネルギー-エントロピー図である。
青線は最大エントロピーを示す曲線、黒線は最小エントロピーを示す曲線である。青線と黒線で囲まれた領域が、物理的にありうる状態の範囲である。
エネルギーの取りうる値は、0, -1, -2.5, -3.0の離散的な4状態
青線が最大エネルギーの上限、黒線が最小エネルギーの下限
青線と黒線の間が物理的にありうる状態である
上図マゼンタの直線はありうる物理状態の変化を表しているが、水平か垂直か右上がりしか認められない(右下がりはエントロピーが減少することになり物理的にあり得ない)。なので赤の点線より下を除外すれば、物理的にありうる状態の領域はマゼンタの直線にとっては凸集合になる。
凸集合とは、その集合内でどの2点を取っても、その2点を結ぶ線分は集合内にとどまる集合である。
凸集合とは何かをわかりやすく～定義と性質～ | 数学の景色 (mathlandscape.com)
数学的定義を見ればなんだか当たり前のように思えるかもしれないが、この凸性は理論に制限を加えるために重要になる。
公理1～4
ここまでですでに説明した部分もあるが、きれいな理論を成り立たせるための4つの公理をまとめる。
公理1：エントロピーと負のエネルギーが減少しないこと
これは図1で見た、マゼンタの直線が水平か垂直か右上がりしか認められないということである。
公理2：初期条件の選択 エントロピー$${S_i > k_B ln 2}$$の非平衡初期状態を仮定する
これは図1での、赤の点線より下は初期条件として取らないことを要請する。これによって取りうる物理状態の領域が凸集合になる。
公理3：アフィン変換で不変
$${(U, S) → (a^{−1} U + d, b^{−1} S + c), a > 0, b > 0}$$
名前や数式は難しそうだが何も難しくはない、アフィン変換とは、図1のグラフを横に$${a^{-1}}$$倍や縦に$${a^{-1}}$$倍拡大したり、横にdや縦にc平行移動するだけのこと。この変換を行っても、物理的意味は変わらないということ。
公理4：収縮不変性
これは物理として非自明な仮定だが、上記アフィン変換前の部分集合をまず考え、その部分集合が縮小する変換が行われた後も、変換前の部分集合の範囲に含まれていることを要請するものである。
ちなみに、公理1～3は物理的に当たり前のことで、公理4だけは本論文で新たに仮定されたものである。この4つの公理による威力は次にお見せする。
熱的緩和過程
熱的に非平衡な初期状態(Ui, Si)には2つの可能性がある：
$${U_i≧U_{av}}$$または$${U_i<U_{av}}$$
図1で言うところの、青線の頂点より右か左かである。
まず$${U_i≧U_{av}}$$の場合を考える。
公理3より、次のようにアフィン変換する。
$${u=U-U_i, s=S-S_i}$$
いわば、初期状態の点を原点に移す平行移動である。図2の黒線が、まずこの変換後のグラフである。
ここで仮に、黒線より下に最終状態F=(u, s)があったとする。そこから、座標を横に1/a倍、縦に1/b倍しても黒線より下にある点F1=(u/a, s/b)を考える。
横にa倍、縦にb倍する、黒線を緑線に縮小する変換を考えると、この変換によりF1はFに移る。
しかしこのとき、変換前のF1の位置は変換後の緑の範囲からはみ出てしまって公理4に反してしまう。
この違反が起こらないためには、縮小が起こらない、a=b=1、つまりFが線上にあり、それより右上には行けないという状況でなければならない。
よって、最終状態は黒線上になければならないことが導かれる。
もう一つの状況$${U_i<U_{av}}$$を考える。この場合は図2の青の点線のように単調減少ではなくなる。横を縮める変換は、頂点付近が左にはみ出てしまうので公理4に反する。なので縦を縮める変換のみを考えるが、この場合も先ほどと同様に、公理4に反さない最終状態は、線上のみである。
すなわち公理1～4は最大エネルギーの曲線下の非平衡状態から始まっても、最終状態は必ず曲線上の平衡状態に至る熱緩和過程を表す。
公理1～4では平衡状態に至ることはわかったが、移動するときの傾き(図1のマゼンタの線)がわからないので、曲線状のどこに落ち着くかは一意に決定することはできない。しかし、次に述べるナッシュ均衡から考えられる公理5を課すことによって一意に決定することができる。
ナッシュ均衡からの公理5
公理5：エネルギーとエントロピーの対称性
点(U, S)と(S, U)がともに領域内にあれば、最終状態は(Sf, Sf)となることを要請する。
エネルギーとエントロピーはどちらが優位ということはなく平等なので、二人のプレイヤーのゲームは同点になるという意味。
冒頭に説明したナッシュ均衡の式を思い出そう。
$${\max_{x_1,x_2}(u(x_1,x_2)-u_d)(v(x_1,x_2)-v_d)}$$
これはエントロピー-エネルギー図上では凹面となるので(AppendixC参照)、公理1～5を満たす均衡点は1点に定まる。
ここでも、取りうる状態が単調減少の曲線で囲まれる$${U > U_{av}}$$の場合に限定する。
まず、初期状態を原点に平行移動しただけの図3の黒線の状態は、uとsに関して対称ではない。
45度の線で折り返してBがCのところに来るようにして、BKとCKが対称になるような曲線CKを考える。範囲OBKCを考えると、公理1～5によって最終状態は点Kとなる。
ここで、曲線BAを横に縮めて曲線BCに変換する。この場合も、最終状態は曲線BC上にあるはずで、さらに、uとsの対称性から、斜め45度の線上であるK2が最終状態である。
変換s(u) → s(a2u)の下で、K → K1となる（図3参照）。元の曲線KAに戻ると、最終状態がKA上のKとn2の間に位置するように制限され、a＝a2として(16)を適用するとn2はK2になる（図3参照）。a=a1で(16)を適用すると、最終状態がn1とn2の間に位置するようにさらに制限される（図3参照）。ここでn1は、a＝a1として(16)を適用した後、s＝uの線上に位置するように定義される。a1 → a0 ← a2の場合、n1 → N ← n2、すなわち最終状態は(14)と一致する。
また、公理5によって、最終状態からそれ以前の非平衡状態に遡及することができる。
図1でのマゼンタの線の傾きが一意に求まることによって(初期状態の取り方によって変換の仕方が変わるが)、遡る先はマゼンタの線上だと確定できる。
これは既存の熱力学理論では説明できない、本論文の強力な主張である。
まとめと今後の展望
利益がそれぞれエントロピーと負のエネルギーである2人のプレーヤーの間のゲームと考えることにより、既存の物理的アプローチを補完する形で熱緩和過程の問題を扱うことができるという理論を解説した。
熱緩和過程の説明は、エネルギーエントロピー図(図1)と公理1～5に基づいている。ここで、それらの物理的な意味を簡単に思い出しておこう。
公理1は、初期状態と比較して、最終状態における系のエネルギーが増加するか、エントロピーが減少するような能動過程は考慮から除外する。
公理2は、非常に低い初期エントロピーを除外する。すなわち、初期エントロピーは最小エントロピーの最大値よりも大きくなければならない。この公理の必要性は、エネルギー-エントロピー図の凸性に関係している。
公理3は、エネルギーとエントロピーに任意の定数を加える自由と、物理的な内容を変えることなくそれらのスケールを変える自由に関係している。
このように公理1-3は、物理学で知られている比較的明白な特徴を主張している。
公理4（収縮不変性）は、エネルギーとエントロピーの観点から、状態間の一対比較を弱い形で導入している。この公理は、系をエネルギー-エントロピー図の特定の部分に限定する可能性を要求するため、実に非自明な公理である。この公理の物理的内容は、統計力学に取り込まれ、さらに適切な結論につながるはずだと考えている。
最後に、この研究の1つの未解決の問題を2つ挙げる。
1つは、公理5が削除されたときに 何が起こるか。ナッシュ均衡には2人のプレイヤーが平等でない非対称ナッシュ解が知られているが、本論文のアプローチにおけるその位置づけはまだ不明である。
もう一つの未解決の問題は熱力学的な問題で、非平衡系の最終的な平衡状態を(マゼンタの線上から)一意に決定するには既知の熱力学的法則では不十分で、本論文のゲーム理論的な考え方がこのような問題にどれほど有用であるかということである。
以下、私の感想だが、ゲーム理論を加えることでこのような美しい理論が構築されること、記事を書いている間も、公理という柱で壮麗な構造物を構築していってそれを鑑賞するという、論理的宇宙の美しさに触れる体験ができて、今回時間はかかったが書き上げることができて非常に満足している。