scikit-learn機械学習⑮アダブースト

前回は、ランダム・フォレストを使って実験しました。今回は、ブースティング（Boosting）の一種であるアダブーストを取り上げます。

振り返ってみると、ランダム・フォレストは、アンサンブル学習の一つであるバギングを改良したものでした。ただし、アンサンブル学習には他にも種類があります。特によく知られているのが、ブースティングです。バギングとブースティングはなんとなく似ているという印象を持つ方もいるかもしれませんが、今回の記事ではその違いを明確に解説します。

なお、バギングもブースティングも理論的な枠組みは決定木に限定されているわけではありません。しかし、相性が良いためよく決定木と一緒に使われます。そのため、前回と前々回ではバギングを決定木に適用した代表的な例であるランダム・フォレストを扱いました。

今回は、バギングとブースティングの違いを明確にした上で、アダブーストをブースティングの具体例として、その理論的な側面を紹介します。