今日のアウトプット(240907)＃MCMC

おはこんばんちは．
スラムダンクでは，木暮（メガネ君）が好きです．
最初は，流川から入ったけど．

今日もMCMC.よく分からないけど，色々読んでも，Stanを動かせてもMCMCをわかった気にならない．

MCMC（マルコフ連鎖モンテカルロ法）とは，マルコフ連鎖を用いて，目的とする確率分布からサンプルを生成するアルゴリズムの総称．アルゴリズムには，メトロポリス・ヘイスティング法，ギブスサンプリング，NUTSとかがあります．

ベイズでMCMCを使う気持ち
ベイズ推測では，パラメータを確率変数として考える．
→パラメータの分布は？
→パラメータの事後分布が知りたい
→事後分布は尤度，パラメータの事前分布，正規化定数から計算できる
→ただ，事後分布を解析的に求めるのは大変
→じゃあ，事後分布に従う乱数をいっぱい生成すればヨシ！
→その乱数を使って事後分布の統計量を計算すればヨシ！

もうちょっと詳しく
パラメータの事後分布から直接サンプリングするのはむずい
→正規分布，一様分布などサンプリングしやすい分布（提案分布という）からとりあえずサンプリングしよう
→提案されたサンプル（提案分布の実現値）について事後分布を使って評価しよう
→サンプルを採択するか棄却するか確率的に決める．
→採択したサンプルは記録（残す）
→十分なサンプルが得られるまで続ける

提案されたサンプルの評価？？
→提案されたサンプルと現在のサンプルのどちらががより事後分布からのサンプリングっぽいかを評価
→提案分布から生成されたサンプルの中で事後分布からのサンプリングに近いものだけを残す選別作業（提案分布のバイアス補正）

・事後分布と提案分布の積について現在のサンプルと提案されたサンプルで比をとる（提案分布が対象なら分母分子の提案分布の項がキャンセル）
→比をとることで，事後分布における正規化定数の部分がキャンセルされる！
・この比率が１以上だったら，提案サンプルを採択
・１より小さかったら，その比率（確率）と一様乱数U(0,1)を比較して採択するか決める．

提案分布の決めかた，めっちゃ大事じゃない？
→ステップサイズの適切な設定
（提案分布の幅）
・ステップサイズは，現在のサンプルからどれだけ離れた場所に新しいサンプルを提案するか決める．
→ステップサイズが大きいと，提案分布の幅が広くなり，より遠い場所のサンプルを提案，小さいと近場の値を提案
（いろんな場所を探索してるか？）
・ステップサイズが大きすぎると，事後分布の高い確率密度を取る範囲から離れてしまい，受け入れ確率が低くなる．ステップサイズが小さすぎると，サンプルが狭い範囲で移動するため，収束が遅くなる．（局所的な探索にとどまりがち）

---

MH法まではなんとかって感じです．
これわかるようになるのかな，
1人で勉強してるとずっと不安になる．