詳しく調べたからといって答えが見つかるとは限らない

詳しく調べようとして，本当はそこにない法則を発見してしまう，ということがあるように思います。

指導法

次の例を考えてみましょう。

ある小学校で，1学期と2学期でテストを2回行いました。学校全体としては，なかなか思うように点数が伸びてくれません。そこで校長先生は，「それぞれのクラスの成績を見て，成績が伸びたクラスと伸びないクラスで何が違うのかを比べてみよう」と考えました。

クラスごとに1回目のテストと2回目のテストの平均値を算出して，グラフを描きます。すると，成績が上昇したクラス，ほとんど変わらないクラス，成績が下がったクラスに分かれるように見えました。

校長先生は「この成績が上がったクラスに共通する指導方法を考えれば，きっと良い教育効果がみつかるはずだ」と考えます。しかも，成績が上がったクラスは，どれも1回目のテストでは成績があまり良くなかったのです。そこから成績を上げたのですから，きっと何か指導のコツがあるはずです。そこで，先生たちを集めて話を聞くことにしました。

いかがでしょうか。何か見つかると思いますか？

見つかるのか

この校長先生はとても熱心で，こういったデータからより良い効果的な教育を探究しようとする姿勢は素晴らしいですね。

でも，このやり方でうまく目的の教育方策が見つかるかどうかは保証できません。むしろ，あまり見込みがないかもしれないのです......。

教育の効果: メタ分析による学力に影響を与える要因の効果の可視化

見つからないヒント

文章の中に，いくつかのヒントがあります。

まず「学校全体としては，なかなか思うように点数が伸びてくれません」という文章です。こう書かれているということは，学校全体としては1回目のテストと2回目のテストで成績は変わらないということがわかります。

そしてもうひとつ重要な文章は，「しかも，成績が上がったクラスは，どれも1回目のテストでは成績があまり良くなかったのです」という文章です。こう書かれているということから，1回目に成績が悪かったクラスは2回目のテストは良く，1回目のテストが良かったクラスは2回目のテストが悪かったことが想像されます。なぜなら，学校全体では平均が変わっていないようだからです。

原因がなくても

「良かったのに悪くなったクラスと，悪かったのに良くなったクラスを比べたら，良くなる原因が分かるのではないか」と考えるかもしれません。たしかに，何かが本当にみつかるかもしれません。でも，何も原因がなくても，同じ現象は生じます。

1回目に良かったクラスは2回目に悪くなり，1回目に悪かったクラスは2回目に良くなって，全体としては平均値がほとんど変わりません。それは，たまたま調子の良し悪しがあったり，できる生徒が欠席したり出席したり，全く教え方とは関係がない要因によっても偶然に生じるものなのです。このような現象を，平均への回帰といいます。

偏りの大きさ

また，観察対象となるサンプルが小さくなると，データの偏りは大きくなる可能性が高くなります。コインを3回投げたら3回とも表になることは珍しくありませんが，100回投げて全て表になることはまずありません。もしもそうなったら，そのコインには何か仕掛けがあるという可能性が高まります。

学校でも同じで，クラスの人数はそれほど多いわけでもありませんので，先生の教え方よりもたまたま何かが起きることで結果は左右されがちだと考えた方が良いと思います。

無駄でもない

では，こういうやり方はまったくの無駄なのかというと，そういうわけでもありません。

もしかしたらこの得られた現象の中には，重要な情報が含まれているかもしれません。それは，調べて，仮説を立てて検証しながらまたさらに探していく，ということが必要です。

いちばんよくないのは，一足飛びに「これが結論だ！」と飛びついてしまうことなのかもしれません。

99・9%は仮説 思いこみで判断しないための考え方 (光文社新書)