scikit-learn機械学習⑧グリッド・サーチと交差検証

前回は、ロジスティック回帰を使ってL1・L2正則化を実装しました。今回は、ロジスティック回帰を使ってグリッド・サーチ（Grid Search）を行います。これらのテクニックはロジスティック回帰に限ったものではないので、知っておくと今後に登場するモデルでも役に立ちます。

グリッド・サーチは、機械学習モデルのハイパーパラメータを最適化するための一般的な手法です。この方法では、各ハイパーパラメータに対して候補となる値のリストを指定します。ハイパーパラメータが複数ある場合、全ての値の組み合わせを総当たりで試し、最も性能が良い組み合わせを見つけ出します。

グリッド・サーチはシンプルで理解しやすい方法ですが、ハイパーパラメータの数が多くなると、試すべき組み合わせの数が指数関数的に増加するため、計算コストが非常に高くなります。そのため、実際にはランダム・サーチやベイズ最適化など、より効率的な方法が用いられることもあります。様々なパラメータの組み合わせを試すという基本的なアプローチは同じですが、その組み合わせの選び方がそれぞれの手法で異なります。

より高度なハイパーパラメータの調節には、専門のソフトであるOptunaなどを使ったりします。

しかし、ハイパーパラメータの調節を行う基本をscikit-learnを使って学ぶには、付属のグリッド・サーチから始めるのが良いでしょう。

また、グリッド・サーチと同時に使われるクロスバリデーション（交差検証）の概念も解説します。