なぜ，一つの研究で検定を何回も行ってはいけないのか？
多重検定の問題
一つの研究で工夫のないまま何度も統計的仮説検定を行なってはいけません。
私たちは，今，人生に対する満足度に影響を与えるものを調べているとしましょう。600名の社会人（男女300人）を対象に質問紙調査をしました。調査対象者には以下の５つの質問に答えてもらい，最後に，「人生に対する満足度」を測定する尺度に回答してもらいました。
性別
職業の有無
趣味の有無
病気の有無
家族の有無
満足度得点の平均値について，男性と女性との間で差があるか，職業があるかないか，趣味を持っている持っていないか，病気に罹っている罹っていないで差があるか，家族がいるいないで差があるかを検定するために，例えば，Welch の t 検定を用いたとしましょう。5回，Welch の t 検定をしたことになります。何度も重ねて統計的仮説検定を行う，この行為を「多重検定」といいます。なんの工夫もしないまま多重検定を行うと，第一種の誤り，本当は両者の平均値間には差はないのに差があると判断してしまう誤りを犯す確率がかなり大きくなります。
これを「多重検定の問題」と言います。
何が問題か
統計的仮説検定には必ず第一種の誤りを犯す危険性があります。実験計画を立てる際，分野によって異なるでしょうが，研究者はひとつの研究で第一種の誤りを犯す危険率を 5% におさめたいと考えます。Welch の t 検定であっても，等分散の検定であっても，正規性の検定であっても，危険率5%のもとで，一回，統計的仮説検定を行うと必ず第一種の誤りを犯す確率が 5% あります。それを何度も行えば，当然，第一種の誤りを犯す確率は増えていきます。では，5回，Welch の t 検定を行うと第一種の誤りを犯す確率はどれくらいになるのでしょう。
5回，Welch の t 検定を行うと第一種の誤りを犯す確率
有意水準を5%に設定し，Welch の t 検定を行うと，１回，第一種の誤りを犯す確率は 5%です。逆に，犯さない確率は 95% です。
$$
1 - .05 = .95
$$
5回とも運良く第一種を犯さない確率は次のとおりです。77%になります。
$$
.95 \times .95 \times .95 \times .95 \times .95 = .95^5 = .77 \cdots
$$
5回のうち1回でも第一種の誤りを犯してしまう確率は，余事象を考えればいいので，22%になります。
$$
1 - .95^5 = 1 - .77 \cdots = 0.22 \cdots
$$
研究者は，ひとつの研究で，第一種の誤りの危険率を5%にしたいのに，有意水準5%で，5回検定を行うと，第一種の誤りの危険率は 22% にもなってしまいます。
対策
有意水準5%の下で，多重検定をすると，第一種の誤りの危険性が 5% を超えてしまいます。どうしたらいいのか。ひとつの研究にはひとつの検定しか行なってはいけないのか。それは，あまりに不自由です。
対策としては，有意水準を 5% 以下にする方法があります。代表的なものは以下の３種類です。長くなりますので，これらについては別にひとつひとつ詳細に説明します。
Bonferroni 法
Holm 法
BH 法
おすすめの本
次の教科書は本当にすばらしいと思います。