PRML 第1章 1.2(基本)

---

$$
\begin{array}{ll}
(1.1) & y(x,\mathbf{w}) = w_0 + w_1x + w_2x^2 + \cdots + w_Mx^M = {\displaystyle \sum_{j=0}^M} w_jx^j\\[1em]
(1.2) & A_{ij} = {\displaystyle \sum_{n=1}^N} (x_n)^{i+j},\quad T_i = {\displaystyle \sum_{n=1}^N} (x_n)^i t_n\\[1em]
(1.4) & \widetilde{E}(\mathbf{w}) = \dfrac12 {\displaystyle \sum_{n=1}^N} \{ y(x_n,\mathbf{w}) - t_n \}^2 + \dfrac{\lambda}{2} \|\mathbf{w}\|^2
\end{array}
$$

---

解答

　(1.4)に(1.1)を代入すると，

$$
\widetilde{E}(\mathbf{w}) = \dfrac12 \sum_{n=1}^N \left\{ \sum_{j=0}^M w_j(x_n)^j - t_n \right\}^2 + \dfrac{\lambda}{2} \|\mathbf{w}\|^2
$$

となるので，これを$${w_i}$$で微分して0とおくと，

$$
0 = \dfrac{\partial \widetilde{E}(\mathbf{w})}{\partial w_i}
= \sum_{n=1}^N \left\{ \sum_{j=0}^M w_j(x_n)^j - t_n \right\} (x_n)^i + \lambda w_i\\[0.5em]
= \sum_{j=0}^M A_{ij} w_j - T_i + \lambda w_i
$$

よって，$${(M+1)}$$次の単位行列を$${I}$$とすると，求める線型方程式系は，

$$
\sum_{j=0}^M (A_{ij} + \lambda I_{ij}) w_j = T_i
$$

である．