ほとんど確実に収束

 
 
ほとんど確実に収束
 
 
確率変数列$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$ と確率変数$${X}$$があり、
$${P\left( \underset{n\to \infty }{\mathop{\lim }}\,{{X}_{n}}=X \right)=1}$$ が成り立つとき$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$ は$${X}$$ に概収束するという。
また、任意の$${\varepsilon >0}$$ に対して
$${\underset{n\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|<\varepsilon \right)=1}$$ のとき、$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$は$${X}$$ に確率収束するという。
要するに$${\lim }$$の記号が$${P\left( \cdot \right)}$$ のなかにあるか外にあるかの違い。
しかし、この理解だけでは
「概収束する $${\Rightarrow }$$ 確率収束する」や
確率収束する$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$の}$${X}$$に概収束する部分列がとれるなどの議論がうまれてこない
測度論の言葉で言うと、確率収束は測度収束、ほとんど確実収束は概収束に対応する。
 
Wikipediaをみてみよう
 
まず確率収束については

となっている。そして、ほとんど確実に収束は

これを読めば、
概収束、ほとんど確実(almost surely)に収束、ほとんどいたるところ収束(almosteverywhere)確率1での収束(with probability one)、
強い意味で収束(strongly)は同じ意味。
そして
確率収束（converges in probability）は別の意味。
どうも確率変数の収束を単なる数列の収束のように考えてはだめで、
事象列（集合列）の収束、つまり集合列の上極限limsupや下極限liminf
などを考える必要がありそうだ。まずつぎのことを注意しておこう。
集合列$${\left\{ {{E}_{n}} \right\}_{n=1}^{\infty }}$$ が単調増大$${{{E}_{n}}\subset {{E}_{n+1}}}$$ すなわち$${{{E}_{n}}\nearrow }$$ のとき
$${\underset{n\to \infty }{\mathop{\lim }}\,P\left( {{E}_{n}} \right)=P\left( \bigcup\limits_{n=1}^{\infty }{{{E}_{n}}} \right)}$$
あるいは単調減少$${{{E}_{n+1}}\subset {{E}_{n}}}$$,
すなわち$${{{E}_{n}}\searrow }$$の時、
$${\underset{n\to \infty }{\mathop{\lim }}\,P\left( {{E}_{n}} \right)=P\left( \bigcap\limits_{n=1}^{\infty }{{{E}_{n}}} \right)}$$がなりたつ。
これは、確率の公理のひとつであるσ加法性
$${P\left( \bigcup\limits_{j}{{{F}_{j}}} \right)=\sum\limits_{j}{P\left( {{F}_{j}} \right)}}$$
が排反な集合列$${\left\{ {{F}_{j}} \right\}_{j=1}^{\infty }}$$に対して成り立つことから示される。
 

定理　$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$ が$${X}$$ に概収束のための必要十分条件は
任意の$${\varepsilon >0}$$ に対して、
$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|\le \varepsilon ,\forall n\ge m \right)=1}$$
である。

証明
$${{{A}_{m}}\left( \varepsilon \right)=\bigcap\limits_{n=m}^{\infty }{\left\{ \left| {{X}_{n}}-X \right|\le \varepsilon \right\}}}$$
とおき、
$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( {{A}_{m}}\left( \varepsilon \right) \right)=1}$$を示せばよい。
$${{{X}_{n}}\left( \omega \right)\to X\left( \omega \right)}$$ が成り立つ$${\omega }$$ の集合を$${{{\Omega }_{0}}}$$とする。
そして、$${P\left( {{\Omega }_{0}} \right)=1}$$ と仮定する。このとき、任意の$${\varepsilon >0}$$に対して、
ある$${m\left( \omega ,\varepsilon \right)}$$が存在して
$${n\ge m\left( \omega ,\varepsilon \right)}$$$${\Rightarrow }$$$${\left| {{X}_{n}}\left( \omega \right)-X\left( \omega \right) \right|\le \varepsilon }$$ が$${\omega \in {{\Omega }_{0}}}$$
についてなりたつ。
したがって、$${{{\Omega }_{0}}\subset \bigcup\limits_{m=1}^{\infty }{{{A}_{m}}\left( \varepsilon \right)}}$$となるが、$${P\left( {{\Omega }_{0}} \right)=1}$$
より、$${P\left( \bigcup\limits_{m=1}^{\infty }{{{A}_{m}}\left( \varepsilon \right)} \right)=1}$$となる。$${{{A}_{m}}\left( \varepsilon \right)\nearrow }$$より
$${P\left( \bigcup\limits_{m=1}^{\infty }{{{A}_{m}}\left( \varepsilon \right)} \right)=\underset{m\to \infty }{\mathop{\lim }}\,P\left( {{A}_{m}}\left( \varepsilon \right) \right)=1}$$が示された。
逆に、任意の$${\varepsilon >0}$$$${\varepsilon >0}$$に対して$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( {{A}_{m}}\left( \varepsilon \right) \right)=1}$$を仮定しよう。
$${A\left( \varepsilon \right)=\bigcup\limits_{m=1}^{\infty }{{{A}_{m}}\left( \varepsilon \right)}}$$ とおくと、$${{{A}_{m}}\left( \varepsilon \right)\nearrow }$$より任意の$${\varepsilon >0}$$に対して$${P\left( A\left( \varepsilon \right) \right)=1}$$。
$${\omega \in A\left( \varepsilon \right)}$$ のとき、ある$${m\left( \omega ,\varepsilon \right)}$$が存在して
$${n\ge m\left( \omega ,\varepsilon \right)}$$$${\Rightarrow }$$$${\left| {{X}_{n}}\left( \omega \right)-X\left( \omega \right) \right|\le \varepsilon }$$
が成り立つ。また$${m\nearrow }$$のとき$${{{A}_{m}}\left( \varepsilon \right)\nearrow }$$より任意の$${\varepsilon >0}$$に対して$${P\left( A\left( \varepsilon \right) \right)=1}$$。いま、$${\varepsilon =\frac{1}{n}}$$ とおき$${A=\bigcup\limits_{n=1}^{\infty }{A\left( \frac{1}{n} \right)}}$$ とすると、$${n\nearrow }$$のとき$${A\left( \frac{1}{n} \right)\searrow }$$であるから$${P\left( A \right)=P\left( \bigcup\limits_{n=1}^{\infty }{A\left( \frac{1}{N} \right)} \right)=\underset{n\to \infty }{\mathop{\lim }}\,P\left( A\left( \frac{1}{n} \right) \right)=1}$$
がなりたつ。$${\omega \in A}$$のとき、$${\varepsilon >0}$$にたいして、
$${n\ge m\left( \omega ,\varepsilon \right)}$$かつ$${\frac{1}{n}\le \varepsilon }$$となる$${n}$$ をとれば、$${\left| {{X}_{n}}\left( \omega \right)-X\left( \omega \right) \right|\le \varepsilon }$$がいえる。
注意：ここは$${P\left( A \right)=\underset{\varepsilon \to 0}{\mathop{\lim }}\,P\left( A\left( \varepsilon \right) \right)=1}$$としたいところだがそれはダメ。
確率がσ加法性の枠組みで与えられているのでしかたがない。
証明終わり）
 
$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|\le \varepsilon ,\forall n\ge m \right)=1}$$
は、対偶をとることにより
$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|>\varepsilon ,\exists n\ge m \right)=0}$$
とおなじである。確率収束の条件は
$${\underset{n\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|\le \varepsilon \right)=1}$$
であり対偶をとれば
$${\underset{n\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|>\varepsilon \right)=0}$$
である。
$${\underset{n\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|>\varepsilon \right)\le }$$
$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|>\varepsilon ,\exists n\ge m \right)}$$
をみれば次を得る。
 

定理
$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$ が$${X}$$ に概収束する$${\Rightarrow }$$$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$ が$${X}$$に確率収束する

 上に展開した議論は、集合列の上極限、下極限を定義することによっても説明できる。集合列$${\left\{ {{E}_{n}} \right\}_{n=1}^{\infty }}$$があるとき、
$${\underset{n}{\mathop{\lim \sup }}\,{{E}_{n}}=\bigcap\limits_{m=1}^{\infty }{\bigcup\limits_{n=m}^{\infty }{{{E}_{n}}}}}$$,
$${\underset{n}{\mathop{\lim \inf }}\,{{E}_{n}}=\bigcup\limits_{m=1}^{\infty }{\bigcap\limits_{n=m}^{\infty }{{{E}_{n}}}}}$$
とおく。ドモルガンの法則より
$${\underset{n}{\mathop{\lim \inf }}\,{{E}_{n}}=\left( \underset{n}{\mathop{\lim \sup }}\,E_{n}^{c} \right)}$$が導かれる。
$${\omega }$$ が$${\left\{ {{E}_{n}} \right\}_{n=1}^{\infty }}$$の無限個のものに含まれるとしよう。このとき、$${m=1,2,\cdots }$$すべてで
つまり、$${\omega \in {{F}_{m}}=\bigcup\limits_{n=m}^{\infty }{{{E}_{n}}}}$$となっている。つまり、 $${\underset{n}{\mathop{\omega \in \lim \sup }}\,{{E}_{n}}=\bigcap\limits_{m=1}^{\infty }{\bigcup\limits_{n=m}^{\infty }{{{E}_{n}}}}}$$。ぎゃくに
$${\underset{n}{\mathop{\omega \in \lim \sup }}\,{{E}_{n}}}$$であるのに、$${\omega \in {{E}_{n}}}$$をみたす$${n}$$ が有限個しかないとする。
つまり、ある$${m}$$ が存在して$${n\ge m}$$ で$${\omega \notin \bigcup\limits_{n=m}^{\infty }{{{E}_{n}}={{F}_{m}}}}$$。これは矛盾である。したがって$${\underset{n}{\mathop{\omega \in \lim \sup }}\,{{E}_{n}}}$$は$${\omega \in {{E}_{n}}}$$ をみたす$${n}$$が無限個あるということに同意となる。このことをinfinitely often略してi.o. という記号であらわすと
$${P\left( \underset{n}{\mathop{\lim \sup }}\,{{E}_{n}} \right)=P\left( {{E}_{n}}\,\,i.o. \right)}$$
となる。

定理ボレルカンテリ：$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$について
$${\sum\limits_{n}{P\left( {{E}_{n}} \right)<\infty \Rightarrow }P\left( {{E}_{n}}\,\,i.o. \right)=0}$$

証明）$${\bigcup\limits_{n=m}^{\infty }{{{E}_{n}}={{F}_{m}}}}$$とするとき、確率の公理より
$${P\left( {{F}_{m}} \right)\le \sum\limits_{n=m}^{\infty }{P\left( {{E}_{n}} \right)}}$$
これから
$${\sum\limits_{n}{P\left( {{E}_{n}} \right)<\infty \Rightarrow }}$${}$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( {{F}_{m}} \right)=0}$$
他方、$${{{F}_{m}}\searrow }$$ 減少であるから、
$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( {{F}_{m}} \right)=P\left( \lim \sup {{E}_{n}} \right)=P\left( {{E}_{n}}\,\,i.o. \right)}$$
証明終わり）
 
結局次を得る。
 

定理
$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$が$${X}$$に概収束のための必要十分条件は
$${\forall \varepsilon >0}$$に対して、
$${P\left( \left| {{X}_{n}}-X \right|>\varepsilon \,i.o. \right)=0}$$

証明
上で述べた定理：$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$ が$${X}$$ に概収束のための必要十分条件は
任意の$${\varepsilon >0}$$ に対して、$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|\le \varepsilon ,\forall n\ge m \right)=1}$$
であり、対偶をとって$${\underset{m\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|>\varepsilon ,\exists n\ge m \right)=0}$$
の条件と同じである。
証明おわり
 
そして、

定理$${\left\{ {{X}_{n}} \right\}_{n=1}^{\infty }}$$ が$${X}$$に確率収束するのとき、$${{{n}_{k}}\to \infty }$$となる自然数$${\mathbb{N}}$$の
ある部分列$${\left\{ {{n}_{k}} \right\}}$$ がとれて、
$${{{X}_{{{n}_{k}}}}\to X}$$ がほとんど確実に成り立つ。

証明）
確率収束の仮定より任意の$${k>0}$$ に対して
$${\underset{n\to \infty }{\mathop{\lim }}\,P\left( \left| {{X}_{n}}-X \right|>\frac{1}{{{2}^{k}}} \right)=0}$$
つまり、$${k}$$が与えられれば
$${P\left( \left| {{X}_{{{n}_{k}}}}-X \right|>\frac{1}{{{2}^{k}}} \right)\le \frac{1}{{{2}^{k}}}}$$
となる$${{{n}_{k}}}$$ を見出すことができる。$${\sum{P\left( \left| {{X}_{{{n}_{k}}}}-X \right|>\frac{1}{{{2}^{k}}} \right)}\le \sum{\frac{1}{{{2}^{k}}}}<\infty }$$
したがって、ボレルカンテリの定理より
$${P\left( \left| {{X}_{{{n}_{k}}}}-X \right|>\frac{1}{{{2}^{k}}}\,\,\,i.o. \right)=0}$$
これは、$${{{X}_{{{n}_{k}}}}\to X}$$がほとんど確実に収束（概収束）していることを言っている。