Cramerの大偏差原理　

Cramerの大偏差原理　
 
Cramer’s LDP
 
$${X,{{X}_{1}},{{X}_{2}},\cdots }$$をたがいに独立で同一分布をもつ確率変数からなる列とする。$${\forall t\in \mathbb{R}}$$ にたいして$${E{{e}^{t\,X}}<\infty }$$を仮定する。$${M\left( t \right)=E{{e}^{tX}}}$$ はモーメント母関数とよばれ、$${M\left( t \right)=\sum\limits_{k=0}^{\infty }{{{m}_{k}}\frac{{{t}^{k}}}{k!}}}$$とするとき、$${{{m}_{k}}}$$ は$${X}$$ の$${k}$$ 次モーメント$${E{{X}^{k}}}$$に等しい。また、$${\Psi \left( t \right)=\log E{{e}^{tX}}}$$とおきこれをキュムラント母関数とよぶ。すなわち、$${ \Psi \left( t \right)=\sum \limits_{k=0}^{\infty }{{{c}_{k}}\frac{{{t}^{k}}}{k!}}}$$とするとき、$${{{c}_{k}}}$$ は$${X}$$の$${k}$$次キュムラントになる。
 
つぎの定理を証明する。

 $${X,{{X}_{1}},{{X}_{2}},\cdots }$$をたがいに独立で同一分布をもつ確率変数からなる列とする。
$${\forall t\in \mathbb{R}}$$にたいして$${E{{e}^{t\,X}}<\infty }$$ を仮定して$${\Psi \left( t \right)=\log E{{e}^{tX}}}$$ とおく。
このとき、$${a>EX}$$のとき、
$${\underset{n\to \infty }{\mathop{\lim }}\,-\frac{1}{n}\log P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)=\underset{t>0}{\mathop{\sup }}\,\left( ta-\Psi \left( t \right) \right)}$$
がなりたつ。

 $${{{\Psi }^{*}}\left( a \right)=\underset{t>0}{\mathop{\sup }}\,\left( ta-\Psi \left( t \right) \right)}$$
とおくと定理は
$${P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)\approx {{e}^{-n{{\Psi }^{*}}\left( a \right)}}}$$
となる。そして、$${{{\Psi }^{*}}\left( a \right)>0}$$が示され、$${P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)}$$は$${n\to \infty }$$ のとき正確に
指数オーダーで小さくなる。この事実を大偏差原理　large deviation principle という。
 
 
証明）
step1)
$${{{S}_{n}}=\sum\limits_{k=1}^{n}{{{X}_{k}}}}$$とおく。$${a>EX}$$ および$${t>0}$$に対して
$${P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)=}$$$${P\left( {{S}_{n}}-nEX\ge n\left( a-EX \right) \right)=P\left( {{e}^{t\left( {{S}_{n}}-nEX \right)}}\ge {{e}^{nt\left( a-EX \right)}} \right)}$$
マルコフの不等式より
$${P\left( {{e}^{t\left( {{S}_{n}}-nEX \right)}}\ge {{e}^{nt\left( a-EX \right)}} \right)\le {{e}^{-tn\left( a-EX \right)}}E{{e}^{t\left( {{S}_{n}}-nEX \right)}}}$$
ところが$${EX=E{{X}_{k}}}$$ , $${k=1,2,\cdots }$$ であるから
$${{{S}_{n}}-nEX=\sum\limits_{k=1}^{n}{\left( {{X}_{k}}-E{{X}_{k}} \right)}}$$
となり$${{{X}_{1}},{{X}_{2}},{{X}_{3}},\cdots }$$ がたがいに独立であることを使うと
$${E{{e}^{t\left( {{S}_{n}}-nEX \right)}}=\prod\limits_{k=1}^{n}{E{{e}^{t\left( {{X}_{k}}-E{{X}_{k}} \right)}}}={{M}^{n}}\left( t \right){{e}^{-ntEX}}}$$
が得られる。したがって
$${P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)}$$$${\le {{e}^{-tn\left( a-EX \right)}}E{{e}^{t\left( {{S}_{n}}-nEX \right)}}}$$$${={{M}^{n}}\left( t \right){{e}^{-nta}}={{e}^{-n\left( ta-\log M\left( t \right) \right)}}}$$
となる。したがって両辺の対数をとりnでわると
$${\frac{1}{n}\log P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)\le }$$$${\log M\left( t \right)-at}$$
となる。
$${f\left( t \right)=\log M\left( t \right)-ta}$$
とおくと
$${f\left( 0 \right)=\log M\left( 0 \right)=0}$$
$${f'\left( 0 \right)=\frac{M'\left( 0 \right)}{M\left( 0 \right)}-a=EX-a<0}$$（仮定より）
$${f''\left( t \right)=\frac{M''\left( t \right)M\left( t \right)-{{\left( M'\left( t \right) \right)}^{2}}}{{{M}^{2}}\left( t \right)}>0}$$
最後の不等式は、$${M\left( t \right)=E{{e}^{tX}}}$$,$${M'\left( t \right)=EX{{e}^{tX}}}$$,$${M''\left( t \right)=E{{X}^{2}}{{e}^{tX}}}$$として
$${M''\left( t \right)M\left( t \right)-{{\left( M'\left( t \right) \right)}^{2}}=E\left( {{X}^{2}}{{e}^{tX}} \right)E\left( {{e}^{tX}}\right)-E{{\left( X{{e}^{tX/2}}{{e}^{tX/2}} \right)}^{2}}}$$
とかけるので、シュワルツの不等式より
わかる。$${f\left( t \right)=\log M\left( t \right)-ta}$$は$${t=0}$$ でゼロ、 $${f'\left( 0 \right)<0}$$より$${t=0}$$の少し右で減少して負の値をとり、$${f''\left( t \right)<0}$$より上に凸な単峰カーブを描く。符号をマイナスにかえた$${-f\left( t \right)=ta-\log M\left( t \right)}$$はゼロから増加しながら$${f'\left( {{t}_{0}} \right)=0}$$ となる$${t={{t}_{0}}}$$ で最大値をとりそれ以降は減少となっていく。したがって
$${{{\Psi }^{*}}\left( a \right)=}$$$${\underset{t>0}{\mathop{\sup }}\,\left( ta-\log M\left( t \right) \right)={{t}_{0}}a-\log M\left( {{t}_{0}} \right)}$$
となる$${{{t}_{0}}}$$が一意に存在する。
$${0=f'\left( {{t}_{0}} \right)=a-\frac{M'\left( {{t}_{0}} \right)}{M\left( {{t}_{0}} \right)}=a-\frac{EX{{e}^{{{t}_{0}}X}}}{E{{e}^{{{t}_{0}}X}}}}$$
より$${EX{{e}^{{{t}_{0}}X}}=aE{{e}^{{{t}_{0}}X}}}$$をみたしている。
$${{{\Psi }^{*}}\left( a \right)=\underset{t>0}{\mathop{\sup }}\,f\left( t \right)>0}$$ も示された。
けっきょく
$${\underset{n\to \infty }{\mathop{\lim \sup }}\,\frac{1}{n}\log P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)\le }$$$${-\underset{t>0}{\mathop{\sup }}\,\left( ta-\log M\left( t \right) \right)=-{{\Psi }^{*}}\left( a \right)}$$
がいえた。つぎに逆向きの不等式
$${\underset{n\to \infty }{\mathop{\lim \inf }}\,\frac{1}{n}\log P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)}$$$${\ge -{{\Psi }^{*}}\left( a \right)}$$

を示せば定理が証明されたことになる。
step2
上にのべたように
$${\underset{t>0}{\mathop{\sup }}\,\left( ta-\log M\left( t \right) \right)={{t}_{0}}a-\log M\left( {{t}_{0}} \right)}$$
となる$${{t}_{0}}$$が一意に存在する。
$${X,{{X}_{1}},{{X}_{2}},\cdots }$$は同一の分布$${P}$$を持っている。そこで、
$${Q=\frac{{{e}^{{{t}_{0}}x}}}{M\left( {{t}_{0}} \right)}P}$$を考える。$${\frac{{{e}^{{{t}_{0}}x}}}{M\left( {{t}_{0}} \right)}>0}$$であり、$${\int\limits_{\Omega }{Q}\left( dx \right)=\frac{1}{M\left( {{t}_{0}} \right)}\int\limits_{\Omega }{{{e}^{{{t}_{0}}x}}}P\left( dx \right)=1}$$
であるから、$${Q}$$ も確率分布である。
 
$${P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)=\iiint{\cdots \int\limits_{{{x}_{1}}+{{x}_{2}}+\cdots +{{x}_{n}}\ge na}{P\left( d{{x}_{1}} \right)\cdots P\left( d{{x}_{n}} \right)}}}$$
を$${Q}$$で書き直すと
$${\iint{\cdots }\int\limits_{{{x}_{1}}+{{x}_{2}}+\cdots +{{x}_{n}}\ge na}{P\left( d{{x}_{1}} \right)\cdots P\left( d{{x}_{n}} \right)}=\iint{\cdots }\int\limits_{{{x}_{1}}+{{x}_{2}}+\cdots +{{x}_{n}}\ge na}{{{M}^{n}}\left( {{t}_{0}} \right){{e}^{-{{t}_{0}}{{x}_{1}}}}{{e}^{-{{t}_{0}}{{x}_{2}}}}\cdots {{e}^{-{{t}_{0}}{{x}_{n}}}}Q\left( d{{x}_{1}} \right)\cdots Q\left( d{{x}_{n}} \right)}}$$
$${\ge {{M}^{n}}\left( {{t}_{0}} \right)\iint{\cdots }\int\limits_{n\left( a+\delta \right)\ge {{x}_{1}}+{{x}_{2}}+\cdots +{{x}_{n}}\ge na}{{{e}^{-{{t}_{0}}\left( {{x}_{1}}+{{x}_{2}}+\cdots +{{x}_{n}} \right)}}Q\left( d{{x}_{1}} \right)\cdots Q\left( d{{x}_{n}} \right)}}$$
$${\ge {{M}^{n}}\left( {{t}_{0}} \right){{e}^{-na{{t}_{0}}}}{{e}^{-n\delta {{t}_{0}}}}\iint{\cdots }\int\limits_{n\left( a+\delta \right)\ge {{x}_{1}}+{{x}_{2}}+\cdots +{{x}_{n}}\ge na}{Q\left( d{{x}_{1}} \right)\cdots Q\left( d{{x}_{n}} \right)}}$$
 
この不等式で対数をとり、$${n}$$でわると
$${\frac{1}{n}\log P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)}$$$${\ge \left( \log M\left( {{t}_{0}} \right)-a{{t}_{0}} \right)-\delta {{t}_{0}}-\frac{1}{n}\log \iint{\cdots }\int\limits_{n\left( a+\delta \right)\ge {{x}_{1}}+{{x}_{2}}+\cdots +{{x}_{n}}\ge na}{Q\left( d{{x}_{1}} \right)\cdots Q\left( d{{x}_{n}} \right)}}$$
したがって、$${\delta \to 0}$$として
$${\underset{n\to \infty }{\mathop{\lim \inf }}\,\frac{1}{n}\log P\left( \frac{1}{n}\sum\limits_{k=0}^{n}{{{X}_{k}}\ge a} \right)}$$$${\ge \left( \log M\left( {{t}_{0}} \right)-a{{t}_{0}} \right)=-{{\Psi }^{*}}\left( a \right)}$$
証明おわり