マガジンのカバー画像

機械学習 学習ノート

7
本
パターン認識と機械学習（丸善出版社）の読書ノートです。
運営しているクリエイター
bbrfkr

パターン認識と機械学習 学習ノート - 期待値と分散

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 確率を含む操作において最も重要なものは期待値を求める操作である。今、確率分布$${p(x)}$$が離散的であるとき、ある関数$${f(x)}$$の期待値とは次のように定義される関数$${\mathbb{E}[f(x)]}$$のことである。 $$ \mathbb{E}[f(x)] \equiv \sum_{x} p(x) f(x) $$ 確率分布$${p(x)}$$が連続的であるときは、関数$${f(

bbrfkr

パターン認識と機械学習 学習ノート - 確率密度

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 ここまでは離散的、すなわち有限もしくは可算無限の事象集合の場合における確率を議論してきた。実数のような非加算無限、つまり連続的な事象集合の場合における確率を議論する。 実数値を取る確率変数$${X}$$が区間$${(x, x+\delta x)}$$に入る確率が、$${\lim_{\delta \to 0} p(x)\delta x}$$で与えられるとき、$${p(x)}$$を$${X}$$上の確率密

bbrfkr

パターン認識と機械学習 学習ノート - 確率2

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 ここまでは$${X=x_i}$$の確率を厳密に$${p(X=x_i)}$$と書いてきた。特に文脈上誤解が生じなければ、この表記を簡略化し、確率変数$${X}$$の確率分布を$${p(X)}$$、$${X=x_i}$$の確率を$${p(x_i)}$$と表記することにする。 ところで、同時確率$${p(x,y)}$$には対称性$${p(x,y) = p(y,x)}$$が成り立つことから、次のベイズの定理を

bbrfkr

パターン認識と機械学習 学習ノート - 確率1

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 ここからはこれからの議論の礎となる、確率論を展開していく。 まず、確率とは何か。確率とは確からしさを表す尺度の一つだ。確からしいほど値が大きくなり、逆に確からしくないほど値は小さくなる。また確率は上にも下にも有界である。つまり完全に確か（真）であるとき、確率は最も大きい値をとり、逆に全く確かでない（偽）とき、確率は最も小さい値をとる。 このような性質を持つ尺度は何も確率でなくとも作ることはできる。確率

bbrfkr

パターン認識と機械学習 学習ノート - 多項式曲線によるフィッティング2

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 前回は多項式曲線で現実の背後にある規則を近似する方法を議論した。今回の記事ではその際に起こる過学習の問題をどう解決するかについて議論する。 過学習の問題を制御するためによく使われるテクニックとして正則化がある。 過学習が起こる理由として、モデルのパラメータ$${\bold w^*}$$が大きい値をとってしまうことがある。これにより、訓練に利用したデータ以外の入力を与えると、データに込められているラン

bbrfkr

パターン認識と機械学習 学習ノート - 多項式曲線によるフィッティング1

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 単純な回帰問題を解くことを考える。この例を通して機械学習における多くの重要な概念を説明する。 今、実数値の入力変数$${x}$$に対する実数値関数$${t}$$が次のように与えられるとする。 $$ t(x) = \sin (2\pi x) $$ やりたいことは、実際に関数$${t}$$の形を知らない状態で、可能な限り$${t}$$に近い関数$${y}$$を導出することである。 何もない状態でこれ

bbrfkr

パターン認識と機械学習 学習ノート - 序論

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 この記事ではパターン認識、機械学習において基礎的な考え方の説明を行う。 手書き文字のパターン認識について考えてみよう。例として 28 x 28ビット、つまり784個のビット列（つまり、白黒画像）$${\bold x}$$の入力が与えられて、それが0から9のどの数字かを推定したいとする。 1つの考え方は、各数字の筆記パターンを定式化し、導かれた筆記ルールに当てはまるかで判定する方法である。この方法では

bbrfkr