統計準１級２０２４年度最新問題 Part1

問：
モデルをAICで評価する場合とBICで評価する場合とで、パラメータの数にどう変化があるか？

---

解答：
AIC(Akaike information criterion)は以下の式で表される。

$$
AIC = −2log(⁡L)+2k
$$

L: モデルの尤度関数
k: パラメータの数

AICではパラメータの数に対して線形にペナルティをかけてる。
尤度関数が大きければ大きいほどモデルとしては適合度が高く、マイナスがかけられていることからAICが小さいほどいいモデルとされる。

一方、BIC(Bayesian information criterion)は以下の式で表される。

$$
BIC=−2log⁡(L)+log⁡(n)k
$$

L: モデルの尤度関数
k: パラメータの数
n: サンプル数

ここで重要なのはサンプルサイズに基づいた対数関数でペナルティをかけているということ。サンプル数が多ければ多いほど一般にAICよりも強いペナルティが加えられると言える。

このことから、BICはサンプルサイズが大きい場合により厳しくパラメータの数を罰するため、一般にAICよりもパラメータの少ない簡素なモデルを選びやすい。

補足だが、Neural Networkではパラメータ数が膨大になるためAIC/BICなどの情報基準は使いずらい。そのため回帰モデルで使われることが多い。