[書評]パターン認識と機械学習 下

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

　本書はパターン認識と機械学習の下巻です。上巻は下記のページで書評を書いています。本書は上巻を読んでおいてから読むと良いと思います上巻の内容を全て理解しておく必要はなく、わからない部分があればその都度戻って確認をするという程度で良いと思います。

https://note.mu/curthey/n/n4ec6c1438c30

第６章 カーネル法

　カーネル方は元は静電力学における考え方ですが、この方法が機械学習にも輸入され、のちにサポートベクトルマシンに発展しました。この方法により、文字列などの記号的なオブジェクトも扱えるように拡張しました。回帰や分類などの線形モデルは双対表現で表すことができ、それによってカーネル関数が出てきますが、その構成を議論することによってモデルを構築し、それをガウス過程によって分析をしています。

第７章 疎な解を持つカーネルマシン

　前章ではカーネル関数を用いた学習アルゴリズムを議論しましたが、カーネル関数を全ての訓練データについて計算する必要があり、非常に計算時間がかかってしまいます。なので、本章では疎な解をもち、一部の訓練データに関してカーネル関数を計算することで予測をするアルゴリズムを議論しています。
　ここでは主にサポートベクトルマシン(SVM: support vector machine)について詳しく解説がされています。しかし、SVMには制限があります。なので本書では、 関連ベクトルマシン(RVM: relevance vector machine)という疎なカーネルベースのベイズ的な学習手法の解説をしています。

第８章 グラフィカルモデル

　この章では確率的グラフィカルモデルについて解説がされています。これを用いることで、
・確率モデルの構造の視覚化により、新しいモデルの設計に役立つ
・条件付き独立性などのモデルの性質の知見を得られる
・複雑な計算をグラフ上の操作として表現できる
という点で非常に有益です。
　ここではベイジアンネットワーク、マルコフ確率場について議論されています。それぞれのモデルについて解説し、実際のモデルを解析しています。

第９章 混合モデルとEM

　ここでは観測変数と潜在変数の同時分布を定義することで、より複雑な分布を構成します。この潜在変数の導入することで混合モデルを考えていきます。
　K-meansアルゴリズムに潜在変数を用いた混合分布の解釈を導入した場合について議論します。また、潜在変数モデルにおいて最尤推定値を見出すことができるEMアルゴリズムについて解説しています。また、一般化したEMアルゴリズムについても議論しています。

第１０章 近似推論法

　全勝では混合モデルを扱いましたが、実際のモデルでは期待値や事後分布を求めるのは難しく、計算することが不可能に近い場合が多いです。こういった場合は近似法を使う必要があります。本章では変分推論について解説をし、それを実際の混合モデルやロジスティック回帰モデルなどに適用した場合について議論しています。
　また、期待値伝播法について紹介、解説をしています。

第１１章 サンプリング法

　ここでは数値的サンプリングに基づく近似推論法について議論されています。基本的なサンプリングアルゴリズムについていくつか解説し、そのほかにもマルコフ連鎖モンテカルロやギブスサンプリング、スライスサンプリングなど様々なサンプリングについて議論されています。

第１２章 連続潜在変数

　前章までは離散的な潜在変数を扱っていましたが、ここでは一部、または全てが連続な場合について議論されています。主に主成分分析について、線形モデルに対してどのように使われているかを解説しています。また、非線形潜在変数モデルではどのように分析されるかを解説しています。

第１３章  系列データ

　今まではデータの集合が独立同分布であることが仮定されていました。この仮定下では各データ点は確率分布の全てのデータ点に渡る積として尤度関数を表すことができます。しかし、この仮定は音声認識や為替レートなど、様々な例で成り立ちません。
　ここではマルコフモデルや隠れマルコフモデルや線形動的モデルに解説し、実際にどのように分析するかを議論しています。

第１４章 モデルの結合

　単一のモデルをそのまま利用するよりも複数のモデルを組み合わせることで、性能の改善を見込める場合がしばしばあります。ここでは主に、どのように組み合わせるかの解説をしており、ベイズ平均化モデル、コミッティ、ブースティングなどの様々な混合のモデルを解説しています。

まとめ

　機械学習の重要な話題が多岐にわたって解説され、上巻よりも専門的ですが、解説は丁寧でかなり参考になるのではないかとおもいます。下巻では一部アルゴリズムが載っていますが、機械学習の初学者がこのアルゴリズムを実際に組むのは難しく、実装という点では別の参考書から始めた方が良いかと思います。
　また、ラグランジュ乗数法がよく用いられていますので、上巻の付録Eはよく読み込んでおくと良いと思います。