ボレルの強大数の法則

ボレルの強大数の法則
 
確率空間を$${\left( \Omega ,\mathcal{F},P \right)}$$とする。事象$${A\in \mathcal{F}}$$ に対して$${{{I}_{A}}={{I}_{A}}\left( \omega \right)}$$を$${\omega \in A}$$のとき１、$${\omega \notin A}$$のとき０をとる確率変数とする。したがって、$${{{I}_{A}}}$$の期待値は
$${E{{I}_{A}}=1\cdot P\left( A \right)+0\cdot P\left( {{A}^{c}} \right)=P\left( A \right)}$$
となる。また、
$${I_{A}^{2}={{I}_{A}}}$$ ,$${{{I}_{\phi }}=0}$$ ,$${{{I}_{\Omega }}=1}$$
が成立する。
$${X\left( \omega \right)=\sum\limits_{j=1}^{n}{{{x}_{j}}}{{I}_{{{A}_{j}}}}\left( \omega \right)}$$,$${\omega \in \Omega}$$
とおくと$${X=X\left( \omega \right)}$$は$${\omega \in {{A}_{j}}}$$ のとき$${X={{x}_{j}}}$$となる確率変数をあらわす。また、その期待値は
$${EX=\sum\limits_{j=1}^{n}{{{x}_{j}}E}{{I}_{{{A}_{j}}}}=\sum\limits_{j=1}^{n}{{{x}_{j}}P\left( {{A}_{j}} \right)}}$$
となる。さらに、
$${A\subset B}$$$${\Rightarrow}$$$${{{I}_{A}}\le {{I}_{B}}}$$ ,$${A=B}$$$${\Leftrightarrow {{I}_{A}}={{I}_{B}}}$$,
$${{{I}_{{{A}^{\,\,c}}}}=1-{{I}_{A}}}$$ ,$${{{I}_{A\cap B}}={{I}_{A}}{{I}_{B}}}$$、$${{{I}_{A\cup B}}={{I}_{A}}+{{I}_{B}}-{{I}_{A\cap B}}}$$
が成り立つ。
$${A}$$と$${B}$$が排反の時は$${A\cup B}$$ を$${A+B}$$とあらわすと
$${{{I}_{A+B}}={{I}_{A}}+{{I}_{B}}}$$
である。また、
$${E{{I}_{A\cup B}}=E{{I}_{A}}+E{{I}_{B}}-E{{I}_{A\cap B}}}$$は$${P\left( A\cup B \right)=P\left( A \right)+P\left( B \right)-P\left( A\cap B \right)}$$
そして
$${{{I}_{A\cup B\cup C}}={{I}_{A}}+\left( 1-{{I}_{A}} \right){{I}_{B}}+\left( 1-{{I}_{A}} \right)\left( 1-{{I}_{B}} \right){{I}_{C}}}$$
から両辺の期待値をとれば
$${P\left( A\cup B\cup C \right)=P\left( A \right)+P\left( B \right)+P\left( C \right)-P\left( A\cap B \right)}$$$${-P\left( B\cap C \right)-P\left( C\cap A \right)+P\left( A\cap B\cap C \right)}$$
などと計算される。
 
 
チェビシェフの不等式
$${X}$$ を確率変数とするとき、任意の正数$${\varepsilon >0}$$に対して、
$${P\left( \left| X \right|\ge \varepsilon \right)\le \frac{1}{{{\varepsilon }^{2}}}E{{X}^{2}}}$$
が成り立つ
 
証明）$${E{{X}^{2}}=E\left( {{X}^{2}}{{I}_{\left[ \left| X \right|\ge \varepsilon \right]}} \right)+E\left( {{X}^{2}}{{I}_{\left[ \left| X \right|<\varepsilon \right]}} \right)}$$$${\ge E\left( {{X}^{2}}{{I}_{\left[ \left| X \right|\ge \varepsilon \right]}} \right)\ge {{\varepsilon }^{2}}E\left( {{I}_{\left[ \left| X \right|\ge \varepsilon \right]}} \right)={{\varepsilon }^{2}}P\left( \left| X \right|\ge \varepsilon \right)}$$
証明終わり）
 
非常に多くの製品の集まりの中から、$${n}$$個の製品を無作為に取り出したとき、その中に含まれる不良品が$${k}$$ 個であるという確率は
$${\left( \begin{matrix}n \\k \\\end{matrix} \right){{p}^{k}}{{q}^{n-k}}}$$. ($${0 < p < 1, q=1-p}$$ )とする2項分布となる。これは$${n}$$個の製品をひとつづつ取り出して検査して良品か不良品かを判定する検査のことを一般的に試行trialとよべば、不良品という事象を$${A}$$ とおいたとき
（１）試行の結果は事象$${A}$$であるか事象$${A}$$でない かのどちらかである。
（２）すべての試行について$${A}$$の確率は一定（今の場合$${p}$$ ）
（３）ある試行とほかの試行とは何の関係もない（独立である）
をみたしている。このような試行の列はベルヌーイ試行列と呼ばれる。
$${n}$$ 個の製品を一個づつ検査していくとき、$${k}$$ 個目の製品が不良$${A}$$ となることを$${{{A}_{k}}}$$とかくとき、事象$${{{A}_{1}},\cdots ,{{A}_{n}}}$$は独立であること、すなわち、任意に選んだ$${m (\le n)}$$ 個の$${{{A}_{{{k}_{1}}}},{{A}_{{{k}_{2}}}}\cdots ,{{A}_{{{k}_{m}}}}}$$に対して$${P\left( {{A}_{{{k}_{1}}}}\cap {{A}_{{{k}_{2}}}}\cap \cdots \cap {{A}_{{{k}_{m}}}} \right)=P\left( {{A}_{{{k}_{1}}}} \right)P\left( {{A}_{{{k}_{2}}}} \right)\cdots P\left( {{A}_{{{k}_{m}}}} \right)}$$
がなりたつこと、および$${P\left( {{A}_{k}} \right)=p}$$, $${j=1,2,\cdots ,n}$$が成り立つことを意味している。
いま$${{{S}_{n}}=\sum\limits_{k=1}^{n}{{{I}_{{{A}_{k}}}}}}$$ を考える。つまり、$${{{S}_{n}}}$$は独立確率変数$${{{I}_{{{A}_{1}}}},{{I}_{{{A}_{2}}}},\cdots {{I}_{{{A}_{n}}}}}$$ の和とする。いま、$${k=1,2,\cdots ,n}$$ から$${j}$$ 個からなる組$${{{A}_{{{k}_{1}},}}{{A}_{{{k}_{2}},}}\cdots ,{{A}_{{{k}_{j}}}}}$$ と、残りの$${n-j}$$個からなる組$${{{A}_{{{k}_{j}}+1}},\cdots ,{{A}_{{{k}_{n}}}}}$$ にわけて、$${{{I}_{{{B}_{j}}}}=\sum{{{I}_{{{A}_{{{k}_{1}}}}}}{{I}_{{{A}_{{{k}_{2}}}}}}\cdots {{I}_{{{A}_{{{k}_{j}}}}}}{{I}_{{{A}^{c}}_{{{k}_{j}}+1}}}\cdots }{{I}_{A_{{{k}_{n}}}^{c}}}}$$
とすると$${{{I}_{{{B}_{j}}}}=1}$$は、ちょうど$${j}$$ 個が不良品で$${n-j}$$個が良品である事象$${{{B}_{j}}}$$ が起きることを意味する。
$${E{{I}_{{{A}_{{{k}_{1}}}}}}{{I}_{{{A}_{{{k}_{2}}}}}}\cdots {{I}_{{{A}_{{{k}_{j}}}}}}{{I}_{{{A}^{c}}_{{{k}_{j}}+1}}}\cdots {{I}_{A_{{{k}_{n}}}^{c}}}=P\left( {{A}_{{{k}_{1}}}} \right)\cdots P\left( {{A}_{{{k}_{j}}}} \right)P\left( {{A}^{c}}_{{{k}_{j}}+1} \right)\cdots P\left( {{A}^{c}}_{{{k}_{n}}} \right)}$$$${={{p}^{j}}{{q}^{n-j}}}$$
であり、$${{{I}_{{{B}_{j}}}}}$$の右辺の和の項数は、$${n}$$個 から$${j}$$個取り出す場合の数であるから$${\left( \begin{matrix}n \\j \\\end{matrix} \right)}$$である。したがって
$${E\left( {{I}_{{{B}_{j}}}} \right)=\left( \begin{matrix}n \\j \\\end{matrix} \right){{p}^{n}}{{q}^{n-j}}}$$となる。これは事象で考えれば$${{{B}_{j}}=\left[ {{S}_{n}}=j \right]}$$であるから、

$${P\left( {{S}_{n}}=j \right)=\left( \begin{matrix}n \\j \\\end{matrix} \right){{p}^{j}}{{q}^{n-j}}}$$, $${j=0,1,\cdots ,n}$$ を意味して、$${{{S}_{n}}=\sum\limits_{k=1}^{n}{{{I}_{{{A}_{k}}}}}}$$は２項分布に従うことが言えている。
$${E{{S}_{n}}=\sum\limits_{k=1}^{n}{E{{I}_{{{A}_{k}}}}}=\sum\limits_{k=1}^{n}{P\left( {{A}_{k}} \right)=np}}$$
$${Var{{I}_{{{A}_{k}}}}=E{{\left( {{I}_{{{A}_{k}}}}-E{{A}_{k}} \right)}^{2}}=E\left( {{I}^{2}}_{{{A}_{k}}} \right)-{{\left( E{{A}_{k}} \right)}^{2}}=p-{{p}^{2}}=pq}$$より
$${Var{{S}_{n}}=\sum\limits_{k=1}^{n}{Var{{I}_{{{A}_{k}}}}}=\sum\limits_{k=1}^{n}{pq=npq}}$$
である。
 
Bernoulliの弱対数の法則(1713)
ベルヌーイ試行において、任意の$${\varepsilon >0}$$ に対して$${n\to \infty}$$ のとき、
$${P\left( \left| \frac{{{S}_{n}}}{n}-p \right|\ge \varepsilon \right)\to 0}$$
が成立する。
証明）チェビシェフの不等式をもちいる。
$${P\left( \left| \frac{{{S}_{n}}}{n}-p \right|\ge \varepsilon \right)=P\left( \left| {{S}_{n}}-E{{S}_{n}} \right|\ge n\varepsilon \right)}$$$${\le \frac{\operatorname{var}{{S}_{n}}}{{{\varepsilon }^{2}}{{n}^{2}}}=\frac{pq}{{{\varepsilon }^{2}}n}\to 0}$$
よりOK。
この定理は$${\frac{{{S}_{n}}}{n}\to p}$$ が確率収束することを述べているだけだが１８世紀初頭には得られていたものであることは考え深いものがある。さらに時代を下って、Borelは同じ条件で概収束することすなわち、強大数の定理を証明した。
 
Borelの強大数の法則(1909)
ベルヌーイ試行において、
$${P\left( \frac{{{S}_{n}}}{n}\to p \right)=1}$$

いまとなっては、これはコルモゴロフの強大数の法則に含まれてしまうが、ボレルカンテリの補題を最初に使ったという意味で、時代を先取りしたといえる。上で示した
$${P\left( \left| \frac{{{S}_{n}}}{n}-p \right|\ge \varepsilon \right)}$$$${\le \frac{pq}{{{\varepsilon }^{2}}n}}$$
のところで$${n={{k}^{2}}}$$とすると
$${P\left( \left| \frac{{{S}_{{{k}^{2}}}}}{{{k}^{2}}}-p \right|\ge \varepsilon \right)}$$$${\le \frac{pq}{{{\varepsilon }^{2}}{{k}^{2}}}}$$
が得られ
$${\sum\limits_{k=1}^{\infty }{P\left( \left| \frac{{{S}_{{{k}^{2}}}}}{{{k}^{2}}}-p \right|\ge \varepsilon \right)}\le \frac{pq}{{{\varepsilon }^{2}}}\sum\limits_{k=1}^{\infty }{\frac{1}{{{k}^{2}}}}<\infty}$$
となり、ボレルカンテリの定理から$${P\left( \frac{{{S}_{{{k}^{2}}}}}{{{k}^{2}}}\to p \right)=1}$$がわかる。任意の$${n}$$ については、$${{{k}^{2}}\le n<{{\left( k+1 \right)}^{2}}}$$ なる$${k=k\left( n \right)}$$を対応させると$${0\le n-{{k}^{2}}\le 2k}$$であり、$${n\to \infty}$$ は$${k\to \infty}$$ を意味する。そして、
$${\left| \frac{{{S}_{n}}}{n}-\frac{{{S}_{{{k}^{2}}}}}{{{k}^{2}}} \right|=\left| \left( \frac{1}{n}-\frac{1}{{{k}^{2}}} \right)\sum\limits_{j=1}^{{{k}^{2}}}{{{I}_{{{A}_{j}}}}}+\frac{1}{n}\sum\limits_{j={{k}^{2}}+1}^{n}{{{I}_{{{A}_{j}}}}} \right|}$$
$${\le \frac{\left( n-{{k}^{2}} \right){{k}^{2}}}{n{{k}^{2}}}+\frac{n-{{k}^{2}}}{n}\le \frac{4}{k}}$$
したがって、
$${\left| \frac{{{S}_{n}}}{n}-p \right|\le \left| \frac{{{S}_{n}}}{n}-\frac{{{S}_{{{k}^{2}}}}}{{{k}^{2}}} \right|+\left| \frac{{{S}_{{{k}^{2}}}}}{{{k}^{2}}}-p \right|\le \frac{4}{k}+\left| \frac{{{S}_{{{k}^{2}}}}}{{{k}^{2}}}-p \right|}$$
より
$${\frac{{{S}_{n}}}{n}\to p}$$
が確率１でなりたつことがわかる。証明おわり。
 
 
コルモゴロフはBorelの強大数の法則をさらに一般化して次のような形にした。
 
Kolmogorov の強大数の法則（Loeve　ProbabilityTheory,p.239, 1955による）
独立確率変数列$${{{X}_{n}}}$$がすべて同一の分布に従っている(i.i.d.)とき、
有限な$${c}$$で$${\frac{{{X}_{1}}+\cdots +{{X}_{n}}}{n}\to c}$$ となる必要十分条件は$${E\left| {{X}_{n}} \right|=E\left| X \right|<\infty}$$ である。
このとき、$${c=EX}$$ となる。
 
覚書：
ボレルーカンテリの第一定理
事象列$${{{\Lambda }_{1}},{{\Lambda }_{2}}\cdots ,{{\Lambda }_{n}},\cdots}$$に対して、$${\sum\limits_{n=1}^{\infty }{P\left( {{\Lambda }_{n}} \right)<\infty }}$$ ならば、
$${P\left( \overline{\lim }\,\,{{\Lambda }_{n}} \right)=0}$$