マガジンのカバー画像

機械学習

16
本
運営しているクリエイター
nori
nori

nori

書評：Pattern Recognition and Machine Learning

書評：Pattern Recognition and Machine Learning

Pattern Recognition and Machine Learningはマイクロソフト社の研究者であるChristopher M. Bishop氏によって著された機械学習の世界では超有名な参考書です。
和訳本は「パターン認識と機械学習上: ベイズ理論による統計的予測」として出版されており，通称「PRML」や「黄色本」と呼ばれることが多いです。
2016年頃にAI研究をすることになった際に

もっとみる
nori

nori

PRML自習ノート - chapter 14 -

PRML自習ノート - chapter 14 -

Exercise (14.1) - (14.10)Exercise (14.1)

$$
\begin{align*}
p(\mathbf{t}|\mathbf{x},\mathbf{X},\mathbf{T})&=\sum_hp(\mathbf{t},h|\mathbf{x},\mathbf{X},\mathbf{T})\\
&=\sum_hp(h)p(\mathbf{t}|h,\mathbf{

もっとみる
nori

nori

PRML自習ノート - chapter 13 -

PRML自習ノート - chapter 13 -

Exercise (13.1) - (13.10)Exercise (13.1)

図13.3のグラフの場合，head-to-tail nodeである$${\mathbf{x}_{n-1}}$$が観測されることによって$${\mathbf{x}_n}$$と$${\mathbf{x}_{n-2}}$$が分離されているため，

$$
\begin{align*}
p(\mathbf{x}_n|\mat

もっとみる
nori

nori

PRML自習ノート - chapter 12 -

PRML自習ノート - chapter 12 -

Exercise (12.1) - (12.10)Exercise (12.1)

$$
\begin{align*}
f(\mathbf{u}_{M+1})&=\mathbf{u}_{M+1}^{\rm T}\mathbf{S}\mathbf{u}_{M+1}+\lambda_{M+1}'\left(1-\mathbf{u}_{M+1}^{\rm T}\mathbf{u}_{M+1}\right

もっとみる
nori

nori

PRML自習ノート - chapter 11 -

PRML自習ノート - chapter 11 -

Exercise (11.1) - (11.10)Exercise (11.1)

便宜上，$${\mathbf{z}^{(l)}\sim p_l(\mathbf{z}^{(l)}), p_l(\mathbf{z})=p(\mathbf{z})\ {\rm for\ all}\ l}$$とする。
このとき，

$$
\begin{align*}
\mathbb{E}\left[\hat{f}\ri

もっとみる
nori

nori

PRML自習ノート - chapter 10 -

PRML自習ノート - chapter 10 -

Exercise (10.1) - (10.10)Exercise (10.1)

$$
\begin{align*}
\ln p(\mathbf{X})&=\ln p(\mathbf{X})\int{\rm d}\mathbf{Z}q(\mathbf{Z})\\
&=\int{\rm d}\mathbf{Z}q(\mathbf{Z})\ln p(\mathbf{X})\\
&=\int{\rm

もっとみる
nori

nori

PRML自習ノート - chapter 9 -

PRML自習ノート - chapter 9 -

Exercise (9.1) - (9.10)Exercise (9.1)

目的関数$${J}$$は

$$
\begin{align*}
J=\sum_{n=1}^N\sum_{k=1}^Kr_{nk}\|\mathbf{x}_n-\boldsymbol\mu_k\|^2
\end{align*}
$$

で与えられる。
$${r_{nk}=0\ {\rm or}\ 1, \|\mathbf{

もっとみる
nori

nori

PRML自習ノート - chapter 8 -

PRML自習ノート - chapter 8 -

Exercise (8.1) - (8.10)Exercise (8.1)

$$
\begin{align*}
\int{\rm d}\mathbf{x}p(\mathbf{x})&=\prod_{k=1}^K\int{\rm d}x_kp(x_k|pa_k)\\
&=\prod_{k=1}^K1\\
&=1
\end{align*}
$$

Exercise (8.2)

例えば，$${i,j

もっとみる
nori

nori

PRML自習ノート - chapter 7 -

PRML自習ノート - chapter 7 -

Exercise (7.1) - (7.10)Exercise (7.1)

問題設定を以下のとおりとする。

$$
\begin{align*}
p(\mathbf{x}|\mathcal{C}_1)&=\frac{1}{N_1}\sum_{n\in \mathcal{C}_1}k(\mathbf{x},\mathbf{x}_n)\\
p(\mathbf{x}|\mathcal{C}_2)&=\

もっとみる
nori

nori

PRML自習ノート - chapter 6 -

PRML自習ノート - chapter 6 -

Exercise (6.1) - (6.10)Exercise (6.1)

$$
\begin{align*}
\mathbf{a}&=(\mathbf{K}+\lambda\mathbf{I}_N)^{-1}\textsf{\textbf{t}}\\
&=\left(\lambda\mathbf{I}_N+\boldsymbol\Phi\boldsymbol\Phi^{\rm T}\right

もっとみる
nori

nori

PRML自習ノート - chapter 5 -

PRML自習ノート - chapter 5 -

Exercise (5.1) - (5.10)Exercise (5.1)

$$
\begin{align*}
\sigma(a)&=\frac{1}{2}\left\{1+\tanh\left(\frac{a}{2}\right)\right\}
\end{align*}
$$

の関係式を用いると，

$$
\begin{align*}
\sum_{j=1}^Mw_{kj}^{(2)}\si

もっとみる
nori

nori

PRML自習ノート - chapter 4 -

PRML自習ノート - chapter 4 -

Exercise (4.1) - (4.10)Exercise (4.1)

凸包が重なる場合，$${\mathbf{x}=\mathbf{y}}$$を満たす$${\{\alpha_n\}, \{\beta_n\}}$$が存在する。
$${\hat{\mathbf{w}}^{\rm T}\mathbf{x}_n+w_0>0, \hat{\mathbf{w}}^{\rm T}\mathbf{y}_n

もっとみる
nori

nori

PRML自習ノート - chapter 3 -

PRML自習ノート - chapter 3 -

式 (3.57)の導出$$
\begin{align*}
p(t|\textsf{\textbf{t}},\alpha,\beta)&=\frac{p(t|\beta)}{p(\textsf{\textbf{t}},\alpha|\beta)}\\
&=\frac{\int{\rm d}\mathbf{w}p(t|\mathbf{w},\beta)p(\mathbf{w})}{p(\textsf{

もっとみる
nori

nori

PRML自習ノート - chapter 2 -

PRML自習ノート - chapter 2 -

Exercise (2.1) - (2.10)Exercise (2.1)

$$
\begin{align*}
\sum_{x=0}^1p(x|\mu)&=(1-\mu)+\mu\\
&=1\\
\mathbb{E}[x]&=\sum_{x=0}^1xp(x|\mu)\\
&=0\cdot(1-\mu)+1\cdot\mu\\
&=\mu\\
{\rm var}[x]&=\mathbb{E}[x

もっとみる