マルコフ過程について

1.マルコフ性とは？

将来のある時点のデータは、過去の得点の推移には依存せず、ただ現在の状況のみに依存している。

マルコフ過程（マルコフ連鎖）とは、そのマルコフ性を満たす確率過程のことを言います。

2.マルコフ連鎖の例について

マルコフ連鎖の例を一つあげます。
サッカー日本代表が小学生代表メンバーとの試合において、勝つか負けるかを以下のようなモデルで分析を行う。

日本代表が勝つを「１」
日本代表が負けるを「２」とします

ある日の翌日に日本代表が勝つか負けるかはその日の勝敗に依存すると過程（おそらくそんなことはあり得ない笑　あくまでも一例として）

日本代表が勝利した翌日に勝つ確率は0.98
負けた日の翌日に勝つ確率は0.70
とすると{X(n) , n=0,1,2,・・・}はマルコフ連鎖となります。
将来の状況は、現在の状況のみに依存する

$${{}_{n}P_{ij}}$$：勝敗iがn日後に状態jになる確率
$${{}_{}P_{ij}}$$：勝敗iが翌日に状態jになる確率

推移確率行列

このような事象があるとします

そこで２つほど問題を解いてみます

（１）ある日、日本代表が勝ち、２日後に負ける　⇨$${{}_{2}P_{12}}$$
A.0.0256%

結果はこのような形となりました。では次

（２）ある日、日本代表が勝ち、その後３日後に負ける確率

二日後の結果は（１）で求めたので①についてはその余事象となります。その後は、$${P12}$$ と$${P22}$$を用いて計算するとこうなります。

ここで分かったのは、前日（２日後）の状態のみに依存し、（１日後）は関係しないことがわかりました。

3.チャップマン・コルモゴロフの方程式

先ほどの問題例から、現時点で状態iであるものが、n+m 日後に状態jになる確率は以下の通りに導くことができます

チャップマン・コルモゴロフの方程式

チャップマン・コルモゴロフの方程式を用いると
以下のことがわかる

これが本当にそうなるのかを実際に導いてみる

4.実際に方程式を用いて一週間後の結果を求めてみる

Pのn乗が定義した推移確率行列のn乗ということで、
先ほどの例題から一週間後に負ける確率を求めてみる。
少し7乗の内積は面倒だと思うが、結果はこのようになる。

5.極限確率

確率についてですが、nが十分に大きくなれば、定常状態となり、ある確率の収束するものと考えられております。
実際に導いてみましょう。

日本代表が勝った後にその次の日に勝つ確率と
日本代表が負けた後に勝つ確率は
nが十分に大きいとこのように同確率になります。

6.最後に

以上がマルコフ過程の説明になります。
私自身、機械学習を学んでいますが現在どのような場面で用いるかわかりませんが、いつか使えるときを楽しみにしてます。笑

参考にさせていただいた資料はこちらになります。
https://www.youtube.com/watch?v=-N8TF88B6tQ

それではまた！