ペケとジマの確率統計 #2 分散と共分散
登場人物
ペケ
理系，学部1年．
ガリ
ジマ
文系，ペケの先輩．
デブ
ジマ：期待値ときたら？
ペケ：分散ですか？
ジマ：そォーー．ということで，分散を次で定義するヨォー．
$$
\begin{aligned}
V[X]:=E\big[(X-E[X])^2\big]
\end{aligned}
$$
今回$${E[X]=\sum_{x\in X}x/|X|}$$としていいよー．
見栄え悪いから，$${\mu=E[X]}$$と置くと，
$$
\begin{aligned}
V[X]:=E\big[(X-\mu)^2\big]
\end{aligned}
$$
とも書けるな．
例によって，教科書や学ぶ学問によって$${V(X),\mathrm {Var}[X],\mathrm V[X],\mathbb V[X]}$$などと書いたりするよー．
ペケ：高校でやったまんまですね．ところで，この式がなんでモノの散らばり具合になるんですかね？
ジマ：考え方が逆だねェーー．モノの散らばりをこの式で定義したんだよね．平均からどれだけ離れてるか的な．
で，どう定義しようかって時に，平均とデータの絶対値だと計算がクッソ面倒だから実数のデータが正になるように2乗にしたわけだNe～～．
ペケ：場合分けいるし，高校でやったような分散の変形公式みたくシンプルな形に変形できませんもんね．
ジマ：Soーー．その式覚えてる～～？
ペケ：当時の教員に「分散=2乗の平均-平均の2乗」って狂ったように暗唱させられました．
$$
\begin{aligned}
V[X]
&=E\big[(X-\mu)^2\big]\\
&=\sum_{x\in X}\frac{(x-\mu)^2}{|X|}\\
&=\sum_{x\in X}\frac{x^2}{|X|}-2\mu\sum_{x\in X}\frac{x}{|X|}+\mu^2\sum_{x\in X}\frac{1}{|X|}\\
&=\sum_{x\in X}\frac{x^2}{|X|}-2\mu^2+\mu^2\cdot1\\
&=\sum_{x\in X}\frac{x^2}{|X|}-\mu^2
\end{aligned}
$$
シグマ使うとラクに計算できますね．
ジマ：もっとラクに計算できるよォーwww
確率変数の積を成分同士の積
$$
\begin{aligned}
XY:=\{x_1y_1,x_2y_2,\cdots\}
\end{aligned}
$$
と定義すると，$${E[\ \cdot \ ]}$$の線形性より，
$$
\begin{aligned}
V[X]
&=E\big[(X-\mu)^2\big]\\
&=E\big[X^2-2\mu X+\mu^2\big]\\
&=E[X^2]-2\mu E[X]+\mu^2\\
&=E[X^2]-2\mu^2 +\mu^2\\
&=E[X^2]-\mu^2\\
&=E[X^2]-E[X]^2\\
\end{aligned}
$$
ペケ：その手があったか．
ジマ：そォーー．同じように共分散$${\mathrm{Cov}[X,Y]}$$を$${E[\ \cdot \ ]}$$で定義できるんだけど，ペケくん高校のときにやった共分散の定義覚えてるーー？ww
ペケ：$${X,Y}$$の要素からそれぞれの平均引いたやつら同士の積の平均だったから，$${E[\ \cdot \ ]}$$を使うと，
$$
\begin{aligned}
\mathrm{Cov}[X,Y]
&:=E\big[(X-E[X])(Y-E[Y])\big]\\
&=E\big[(X-\mu_X)(Y-\mu_Y)\big]
\end{aligned}
$$
ですかね？
てことは，線形性から，
$$
\begin{aligned}
\mathrm{Cov}[X,Y]
&=E\big[(X-\mu_X)(Y-\mu_Y)\big]\\
&=E[XY-\mu_YX-\mu_XY+\mu_X\mu_Y]\\
&=E[XY]-\mu_YE[X]-\mu_XE[Y]+\mu_X\mu_Y\\
&=E[XY]-\mu_X\mu_Y-\mu_X\mu_Y+\mu_X\mu_Y\\
&=E[XY]-\mu_X\mu_Y\\
&=E[XY]-E[X]E[Y]\\
\end{aligned}
$$
高校でやった共分散の公式も簡単に導けますね．式の形が美しい．
ジマ：ということは，$${X,Y}$$が独立だと，$${E[\ \cdot \ ]}$$に乗法性
$$
\begin{aligned}
E[XY]=E[X]E[Y]\\
\end{aligned}
$$
があることも分かるな．
ペケ：へぇーー．$${X,Y}$$が独立ってことは共分散がゼロ$${(\mathrm{Cov}[X,Y]=0)}$$だから上の式からこうなるんですね．
ジマ：Soーー．同様に次の性質を示してくれ．
$$
\begin{aligned}
&V[aX+b]=a^2V[X]\\
&V[aX+bY]=a^2V[X]+2ab \ \mathrm{Cov}[X,Y]+b^2V[Y]
\end{aligned}
$$
ペケ：最初の式は，データ全体に同じ数を加える補正をしても散らばり具合は変わらないという分散の動機そのものを表していますね．
$$
\begin{aligned}
V[aX+b]
&=E\big[(aX+b-E[aX+b])^2\big]\\
&=E\big[(aX+b-aE[X]-b)^2\big]\\
&=E\big[(aX-aE[X])^2\big]\\
&=E\big[a^2(X-E[X])^2\big]\\
&=a^2V[X]
\end{aligned}
$$
$$
\begin{aligned}
V[aX+bY]
&=E\big[(aX+bY-E[aX+bY])^2\big]\\
&=E\big[(aX+bY-aE[X]-bE[Y])^2\big]\\
&=E\big[(a(X-E[X])+b(Y-E[Y]))^2\big]\\
&=E\big[a^2(X-E[X])^2\big]\\
& \ \ \ \ +E\big[2ab(X-E[X])(Y-E[Y])\big]\\
& \ \ \ \ +E\big[b^2(Y-E[Y])^2\big]\\
&=a^2V[X]+2ab\ \mathrm{Cov}[X,Y]+b^2V[Y]
\end{aligned}
$$
$${(ax+by)^2=a^2x^2+2abxy+b^2y^2}$$みたいですね．これも$${X,Y}$$が独立だと共分散がゼロだから，
$$
\begin{aligned}
V[aX+bY]=a^2V[X]+b^2V[Y]
\end{aligned}
$$
分散にもニセモンの線形性みたいなものがあるんすね．
ジマ：Soーー．当たり前だけど定義から，
$$
\begin{aligned}
&\mathrm{Cov}[X,X]=V[X]\\
&\mathrm{Cov}[X,Y]=\mathrm{Cov}[Y,X]\\
&\mathrm{Cov}[aX+b,cY+d]=ac\ \mathrm{Cov}[X,Y]\\
&\mathrm{Cov}[X+Y,Z+W]\\
&=\mathrm{Cov}[X,Z]+\mathrm{Cov}[X,W]\\
& \ \ \ \ +\mathrm{Cov}[Y,Z]+\mathrm{Cov}[Y,W]
\end{aligned}
$$
だNeーーー．
ペケ：なるほどねー．
#2のまとめ
確率変数の積の定義：$${XY:=\{x_1y_1,x_2y_2,\cdots\}}$$
分散の定義：$${V[X]:=E\big[(X-E[X])^2\big]=E[X^2]-E[X]^2}$$
共分散の定義：$${\mathrm{Cov}[X,Y]:=E\big[(X-E[X])(Y-E[Y])\big]=E[XY]-E[X]E[Y]}$$
性質(一般化は簡単に作れるから，これだけ覚えれば十分)
シフト普遍性
$${V[aX+b]=a^2V[X]}$$
$${\mathrm{Cov}[aX+b,Y]=a\ \mathrm{Cov}[X,Y]\\}$$
和
$${V[X+Y]=V[X]+2 \ \mathrm{Cov}[X,Y]+V[Y]}$$
$${\mathrm{Cov}[X+Y,Z]=\mathrm{Cov}[X,Z]+\mathrm{Cov}[Y,Z]}$$
特に，$${X,Y}$$が独立なとき，
$${E[XY]=E[X]E[Y]}$$
$${V[X+Y]=V[X]+V[Y]}$$
いいなと思ったら応援しよう！
