今日のアウトプット(240905)
おはこんばんちは．
院試まであと，６日．
最近は，大学受験のときのことを思い出す．
ちゃんと勉強して，ちゃんと落ちた．
でも過去は関係ない！，大事なのは今（マルコフ連鎖）
今日は，統計の全体的な復習をした．あと，MCMCについて．
MCMC（マルコフ連鎖モンテカルロ法）は，サンプリング手法の一つで，特定の確率分布，特に事後分布を定常分布とするマルコフ連鎖を構成し，その連鎖からサンプルを得る方法．
MCMCの代表的なアルゴリズムには，MH法（メトロポリス・ヘイスティングス法），GS（ギブスサンプリング），HMC法（ハミルトニアン・モンテカルロ法）などがある．みんな大好きStanはHMC法の仲間？NUTS法というのを使っている．
事後分布はパラメータの事前分布と確率モデル（尤度）の積を周辺尤度で割ったら求められるんだけど，周辺尤度の計算で積分が出てきて解くのが難しい．．（事前分布に共役事前分布を使えば解析的に解けるけど）
＊共役事前分布
事前分布と事後分布が同じ種類の確率分布になるように設定した事前分布．ベルヌーイ分布（確率モデル）のパラメータの事前分布にベータ分布を仮定したら，事後分布もベータ分布になる，みたいな．
他には，ポアソン分布の共役事前分布はガンマ分布．
ところで，データを投入した周辺尤度は定数とみなせるので，結局は事後分布の形状は分子（事前分布と尤度）で決まる．
つまり，やっかいな（実際は解けるかもしれないけど）積分計算なしに事後分布の情報を知るための方法として，事後分布からのサンプリングをしようという流れ．
この流れを汲んで，もう一度MCMCとは
「パラメータを探索する際に直前の位置情報を引き継ぎながら（マルコフ連鎖），アルゴリズムに沿って目標となる分布から乱数を発生される（モンテカルロ法），マルコフ連鎖モンテカルロ法（MCMC)」のこと．（引用：浜田宏, 石田淳, & 清水裕士. (2019). 社会科学のためのベイズ統計モデリング. 朝倉書店.）
＊マルコフ連鎖
確率過程の一種のマルコフ過程のうち，取りうる状態が「離散的」なもの．（マルコフ過程は連続時間のマルコフ連鎖）確率過程とは，時間によって変化する確率変数X(t)の集合のこと．
次の状態が，現在の状態のみに依存して決まる．（過去は関係なし！）
もう寝たいので，簡単にHMC法のイメージをメモ．これは，山の形（確率分布）を，ボールを転がして調べるかんじ．
山をひっくり返したものを考えて，
（１）適当なところにボールを置く（初期値）
（２）適当な方向に適当な強さでボールを蹴る
（３）しばらくしたらボールを止めて位置を記録
（４）またボールを蹴る→（１）へ
・ボールの位置から高さは計算できる．
時間が経てば，谷の部分（確率密度が高いところ）にボールは止まる→効率的なサンプリングかできる．（MH法はランダムに次の候補（位置）を決めるので今より，確率密度が高いところが選ばれる確率が高くない）
参照，引用
・https://www2.kobe-u.ac.jp/~bunji/files/lecture/bayes/bayes-07-MCMC2.pdf
←神戸大の分寺先生の授業資料．他にも統計関連の教材がいっぱい．これが無料で見れるのがすごい．
・浜田宏, 石田淳, & 清水裕士. (2019). 社会科学のためのベイズ統計モデリング. 朝倉書店
この記事が気に入ったらサポートをしてみませんか？