定常過程の予測理論の幾何学：過去と未来（２）

定常過程の予測理論の幾何学：過去と未来（２）
 
１）$${{X\left( t,\omega \right)}}$$ を弱定常な確率過程とする。
$${{t}}$$は時間をあらわし、$${{X\left( t,\omega \right)}}$$は$${{t}}$$ を固定すると確率変数になっている。
$${{EX\left( t,\omega \right)=0}}$$
$${{EX\left( t,\omega \right)\overline{X\left( s,\omega \right)}=\rho \left( t-s \right)}}$$
を仮定する。
フーリエ変換（調和解析）におけるBochnerの定理から、
$${{\rho \left( u \right)=\int\limits_{-\infty }^{\infty }{{{e}^{i\lambda u}}dF\left( \lambda \right)}}}$$
と書ける。
$${{F\left( \lambda \right)}}$$ は$${{\lambda }}$$ の増加関数でスペクトル分布関数と呼ばれる。定常確率過程$${{X\left( t,\omega \right)}}$$ は時間の関数と見れば偶然な出来事の系列とみられるのだが、その背景には周期的な変動が隠れており、
$${{X\left( t,\omega \right)=\int\limits_{-\infty }^{\infty }{{{e}^{i\lambda t}}}dZ\left( \lambda ,\omega \right)}}$$
$${{dF\left( \lambda \right)=E{{\left| dZ\left( \lambda ,\omega \right) \right|}^{2}}}}$$
という表現をもつことからもそのことがわかる。$${{{{e}^{i\lambda t}}=\cos \lambda t+i\sin \lambda t}}$$は周期変動を生み出す力をもっており、$${{Z\left( \lambda ,\omega \right)}}$$は独立増分すなわち、$${{\lambda \ne \mu }}$$に対して$${{dZ\left( \lambda ,\omega \right)}}$$と$${{dZ\left( \mu ,\omega \right)}}$$は統計的にたがいに独立でinnovation とよばれる。偶然現象に周期現象が伴うのは株価の変動もそうだし、星座による占い、感情や体調のバイオリズムがある。夜空を見上げるとき星たちはランダムにちらばっているのに、不思議なことに星座は季節ともに周期的な変化をする。 
 
２）問題の解析
未来の時刻を$${{\tau >0}}$$、過去の時刻$${{{{t}_{1}}<0,{{t}_{2}}<0,\cdots {{t}_{n}}<0}}$$ として２乗誤差$${{E\left\{ {{\left| X\left( \tau \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}X\left( {{t}_{j}} \right)} \right|}^{2}} \right\}}}$$を考える。つまり過去データ$${{X\left( {{t}_{1}} \right),\cdots ,X\left( {{t}_{n}} \right)}}$$を知ったとき、未来の実現値$${{X\left( \tau \right)}}$$をいちばんよく近似（誤差を少なく）する$${{{{c}_{1}},\cdots ,{{c}_{n}}}}$$を決めなさいという問題がある。これは予測とか外挿とかよばれる問題である。
$${{{{\left| X\left( \tau \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}X\left( {{t}_{j}} \right)} \right|}^{2}}=\left( X\left( \tau \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}X\left( {{t}_{j}} \right)} \right)\overline{\left( X\left( \tau \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}X\left( {{t}_{j}} \right)} \right)}}}$$
$${{=X\left( \tau \right)\overline{X\left( \tau \right)}-\sum\limits_{j=1}^{n}{{{c}_{j}}X\left( \tau \right)}\overline{X\left( {{t}_{j}} \right)-\cdots }}}$$
とやり期待値$${E}$$をとると
$${{=E\left( X\left( \tau \right)\overline{X\left( \tau \right)} \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}EX\left( \tau \right)}\overline{X\left( {{t}_{j}} \right)}-\cdots }}$$$${{=\rho \left( 0 \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}\rho \left( \tau -{{t}_{j}} \right)-\cdots }}}$$
などとなるが、他方$${{{{e}_{t}}\left( \lambda \right)={{e}^{i\lambda t}}}}$$とおいてやると
$${{{{\left| {{e}_{\tau }}\left( \lambda \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}} \right|}^{2}}=\left( {{e}_{\tau }}\left( \lambda \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}} \right)\overline{\left( {{e}_{\tau }}\left( \lambda \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}} \right)}}}$$
となり積分をとると
$${{\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( \lambda \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}\left( \lambda \right)} \right|}^{2}}}dF\left( \lambda \right)=}}$$$${{\int\limits_{-\infty }^{\infty }{{{e}_{\tau }}\left( \lambda \right)}\overline{{{e}_{\tau }}\left( \lambda \right)}dF\left( \lambda \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}\int\limits_{-\infty }^{\infty }{{{e}_{\tau }}\left( \lambda \right)}}{{e}_{{{t}_{j}}}}\left( \lambda \right)dF\left( \lambda \right)-\cdots }}$$$${{=\rho \left( 0 \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}\rho \left( \tau -{{t}_{j}} \right)-\cdots }}}$$
となるから、結局
 
$${{E{{\left| X\left( \tau \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}X\left( {{t}_{j}} \right)} \right|}^{2}}=}}$$$${{\int\limits_{-\infty }^{\infty }{{{\left| {{e}_{\tau }}\left( \lambda \right)-\sum\limits_{j=1}^{n}{{{c}_{j}}{{e}_{{{t}_{j}}}}} \right|}^{2}}}dF\left( \lambda \right)}}$$
がえられる。ここまでくると、この問題はつぎのようにヒルベルト空間における幾何学の扱いができる。$${{EX\left( t,\omega \right)\overline{X\left( s,\omega \right)}=\rho \left( t-s \right)}}$$
は内積の性質をもっており、幾何学的には「直交する」に対する「内積がゼロ」は、統計的には「相関係数がゼロ」となり、相関関数$${{\rho \left( t \right)}}$$に支配される内積からつくられる2乗の距離で最小なものは正射影をとることにより実現される。つまりわれわれの近似問題は$${{X\left( {{t}_{1}} \right),\cdots ,X\left( {{t}_{n}} \right)}}$$で生成される線形部分空間への$${{X\left( \tau \right)}}$$からの正射影をもとめよという問題になる。おなじことだが$${{{{e}_{{{t}_{1}}}},\cdots ,{{e}_{{{t}_{n}}}}}}$$で生成される線形部分空間への$${{{{e}_{\tau }}}}$$ からの正射影をもとめることと同じになる。さらに、生成元の個数を無限個まで許して、
 $${{-\infty \le a\le b\le \infty }}$$ として、$${{{{H}_{\left( a,b \right)}}={{\overline{\left\{ \sum\limits_{k=1}^{N}{{{c}_{k}}{{e}^{i{{t}_{k}}x}};{{c}_{k}}\in \mathbb{C},a\le {{t}_{k}}\le b} \right\}}}^{{{L}_{2}}\left( \mathbb{R},f \right)}}}}$$とするとき、
我々の予測問題は線形部分空間$${{{{H}_{\left( -\infty ,0 \right)}}}}$$への$${{{{e}_{\tau }}}}$$（$${{\tau >0}}$$）からの正射影をもとめることと定式化できる。
 
３．$${{L}^{2}}$$フーリエ変換の応用
$${{f\left( x \right)=F'\left( x \right)}}$$ としてSzegoの条件
$${{\int\limits_{-\infty }^{\infty }{f\left( x \right)dx}<\infty }}$$
$${{\int\limits_{-\infty }^{\infty }{\frac{\log f\left( x \right)}{1+{{x}^{2}}}}dx>-\infty }}$$
を仮定すると
$${{f\left( x \right)={{\left| h\left( x \right) \right|}^{2}}}}$$ 、$${{\int\limits_{-\infty }^{\infty }{f\left( x \right)dx=}\int\limits_{-\infty }^{\infty }{{{\left| h\left( x \right) \right|}^{2}}dx<\infty }}}$$
とかける。すなわち$${{h\in {{L}^{2}}\left( \mathbb{R} \right)}}$$、ここで、$${{h\left( x+iy \right),y>0}}$$ を複素平面の上半分で解析的な関数でつくるHardy クラス $${{{{H}^{2+}}}}$$の関数で$${{h\left( x \right)=\underset{y\to 0}{\mathop{\lim }}\,h\left( x+iy \right)}}$$となっているものをとることができる。
$${{\hat{h}=\mathcal{F}h}}$$ を$${{h}}$$ の$${{{{L}^{2}}\left( \mathbb{R} \right)}}$$ におけるフーリエ変換とする。すなわち、
$${{\hat{h}=\underset{A\to \infty }{\mathop{\lim }}\,{{\psi }_{A}}}}$$、$${{{{\psi }_{A}}=\frac{1}{\sqrt{2\pi }}\int\limits_{-A}^{A}{{{e}^{-iux}}}h\left( x \right)dx}}$$
とおく。プランシュレルの定理より、$${{{{\left\| {\hat{h}} \right\|}_{{{L}^{2}}\left( \mathbb{R} \right)}}={{\left\| \mathcal{F}h \right\|}_{{{L}^{2}}\left( \mathbb{R} \right)}}}}$$であるから$${{\mathcal{F}}}$$ は等距離作用素である。
 
$${{{{H}^{2+}}}}$$,$${{{{H}^{2-}}}}$$は以下で定義される$${{{{L}^{2}}\left( \mathbb{R} \right)}}$$の閉線形部分空間とする。
$${{{{H}^{2+}}=\left\{ h\in {{L}^{2}}\left( \mathbb{R} \right);\hat{h}\left( u \right)=0,a.e.,u\le 0 \right\}}}$$$${{{{H}^{2-}}=\left\{ h\in {{L}^{2}}\left( \mathbb{R} \right);\hat{h}\left( u \right)=0,a.e.,u\ge 0 \right\}}}$$
そうすると、$${{{{L}^{2}}\left( \mathbb{R} \right)={{H}^{2+}}\oplus {{H}^{2-}}}}$$となっている。
 

命題1：$${{\int\limits_{-\infty }^{\infty }{\frac{\log f\left( x \right)}{1+{{x}^{2}}}}dx>-\infty }}$$を仮定するとき次をみたす関数$${{g\in {{H}^{2+}}}}$$（外関数と呼ばれる）が存在する。
１）$${{{{\left| g\left( x \right) \right|}^{2}}=f\left( x \right),a.e.}}$$
２）$${{g{{H}_{\left( 0,\infty \right)}}={{H}^{2+}}}}$$

 
フーリエ変換を$${{\mathcal{F}}}$$ ,フーリエ逆変換を$${{{{\mathcal{F}}^{-1}}}}$$であらわす。
$${{{{1}_{{{\mathbb{R}}_{-}}}}}}$$を$${{{{1}_{{{\mathbb{R}}_{-}}}}\left( x \right)=0}}$$ （$${{x<0}}$$）, $${{{{1}_{{{\mathbb{R}}_{-}}}}\left( x \right)=1}}$$（$${{x\ge 0}}$$ ）なる関数とする。

命題２：$${{g}}$$ を命題１のものとする。$${{{{e}_{\tau }}={{e}^{ix \tau }}}}$$ , $${{\tau >0}}$$ の$${{{{H}_{\left( -\infty ,0 \right)}}}}$$への正射影$${{{{\phi }_{\tau }}}}$$ は次で与えられる
$${{{{\phi }_{\tau }}={{\bar{g}}^{-1}}{{\mathcal{F}}^{-1}}\left( \mathcal{F}\left( {{e}_{\tau }}\bar{g} \right){{1}_{{{\mathbb{R}}_{-}}}} \right)}}$$

証明）
 $${{{{e}_{\tau }}={{e}^{ix \tau }}}}$$, $${{\tau >0}}$$ の$${{{{H}_{\left( -\infty ,0 \right)}}}}$$への正射影$${{{{\phi }_{\tau }}}}$$は

$${\int\limits_{-\infty }^{\infty }{{{\left| {{\phi }_{\tau }}\left( x \right)-{{e}_{\tau }}\left( x \right) \right|}^{2}}}{{\left| g\left( x \right) \right|}^{2}}dx=\underset{\phi \in {{H}_{\left( -\infty ,0 \right)}}}{\mathop{\min }}\,\int\limits_{-\infty }^{\infty }{{{\left| \phi \left( x \right)-{{e}_{\tau }}\left( x \right) \right|}^{2}}}{{\left| g\left( x \right) \right|}^{2}}dx}$$
でもとまるが$${{{{H}_{\left( -\infty ,0 \right)}}={{\bar{g}}^{-1}}{{H}^{2-}}}}$$より
 $${\int\limits_{-\infty }^{\infty }{{{\left| {{\phi }_{\tau }}\left( x \right)\bar{g}\left( x \right)-{{e}_{\tau }}\left( x \right)\bar{g}\left( x \right) \right|}^{2}}}dx=\underset{\bar{g}\phi \in {{H}^{2-}}}{\mathop{\min }}\int\limits_{-\infty }^{\infty }{{{\left| \phi \left( x \right)\bar{g}\left( x \right)-{{e}_{\tau }}\left( x \right)\bar{g}\left( x \right) \right|}^{2}}}dx}$$

と書き換えられる。これをみれば
$${{{{\phi }_{\tau }}\bar{g}}}$$ は、$${{{{e}_{\tau }}\bar{g}}}$$の線形部分空間$${{{{H}^{2-}}}}$$ への正射影となることを意味する。
 
$${{\mathcal{F}\left( {{\phi }_{\tau }}\bar{g} \right)=}}$$$${{\mathcal{F}\left( {{e}_{\tau }}\bar{g} \right)}}$$の$${{\mathcal{F}\left( {{H}^{2-}} \right)}}$$への正射影$${{=\mathcal{F}\left( {{e}_{\tau }}\bar{g} \right){{1}_{{{\mathbb{R}}_{-}}}}}}$$
となるので、
$${{{{\phi }_{\tau }}={{\bar{g}}^{-1}}{{\mathcal{F}}^{-1}}\left( \mathcal{F}\left( {{e}_{\tau }}\bar{g} \right){{1}_{{{\mathbb{R}}_{-}}}} \right)}}$$
がえられる。
 これをもとにして、最適な予測誤差や予測量が実際に計算できる。