マガジンのカバー画像

機械学習 学習ノート

11
本
パターン認識と機械学習（丸善出版社）の読書ノートです。
運営しているクリエイター
bbrfkr

パターン認識と機械学習 学習ノート - 確率2

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 ここまでは$${X=x_i}$$の確率を厳密に$${p(X=x_i)}$$と書いてきた。特に文脈上誤解が生じなければ、この表記を簡略化し、確率変数$${X}$$の確率分布を$${p(X)}$$、$${X=x_i}$$の確率を$${p(x_i)}$$と表記することにする。 ところで、同時確率$${p(x,y)}$$には対称性$${p(x,y) = p(y,x)}$$が成り立つことから、次のベイズの定理を

bbrfkr

パターン認識と機械学習 学習ノート - 確率1

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 ここからはこれからの議論の礎となる、確率論を展開していく。 まず、確率とは何か。確率とは確からしさを表す尺度の一つだ。確からしいほど値が大きくなり、逆に確からしくないほど値は小さくなる。また確率は上にも下にも有界である。つまり完全に確か（真）であるとき、確率は最も大きい値をとり、逆に全く確かでない（偽）とき、確率は最も小さい値をとる。 このような性質を持つ尺度は何も確率でなくとも作ることはできる。確率

bbrfkr

パターン認識と機械学習 学習ノート - 多項式曲線によるフィッティング2

この記事は「パターン認識と機械学習 (丸善出版社)」の読書ノートです。 前回は多項式曲線で現実の背後にある規則を近似する方法を議論した。今回の記事ではその際に起こる過学習の問題をどう解決するかについて議論する。 過学習の問題を制御するためによく使われるテクニックとして正則化がある。 過学習が起こる理由として、モデルのパラメータ$${\bold w^*}$$が大きい値をとってしまうことがある。これにより、訓練に利用したデータ以外の入力を与えると、データに込められているラン

bbrfkr