最尤法はベイズの枠組みで正当化できる？

自分は人一倍，真摯に統計学と向き合ってきた自信があるので，ただのツールとして統計学を扱ってきた人よりは，当然知識も理解もあると，信じてる．

講義資料を作っていると，せっかくならば学生に普通の人からは学べないような知識を授けてあげたいと思うのだけれども，そのなかで書棚を眺めていて，久しぶりに『科学と証拠―統計の哲学 入門』を手に取った．今日ちょっと考えたことは次のことについて：

"最尤法はベイズ主義からは正当化できない．なぜなら最尤法と一致する確率の公理を満たす事前分布は存在しないからである．"

それはそう．最尤法とベイズの結果を"完全に"一致させるには，基本的にはimproperな事前分布を設定する必要があるから．

一方で，Bernstein–von Mises theoremのような，ベイズ版の中心極限定理，つまりある種の正則条件をモデルが満たせば，漸近的に事後分布は正規分布で近似できるというような結果がある．この結果を解釈すると，事後分布は尤度と事前分布から成り立っているわけだが，漸近的には尤度に含まれる情報が事前分布に含まれる情報よりも，相対的に大きくなり，事前分布の情報が無視できるようになる．そしてそうであれば，対数尤度は2次の項までのテーラー展開のみで十分であり，それは正規分布のものになる，という具合である．そして，そのときのMAP推定量は，最尤法の結果と一致する．

こう考えると，漸近的に最尤法はベイズ主義の枠組みで正当化されるんじゃないかと思う．モデルが正則で，かつデータが無限に手に入ったときという，非現実的な状況でね．それでも正当化できるからいいんじゃないかな．やっぱり，パラメータが分布するのは許せませんか．事前分布なんてけしからんですか，そうですか．「漸近ベイズ主義」ではダメなのですね．ええ，分かりました．これからもお互い，頑張りましょう．漸近ベイズ主義．．．ダメかな？