新型コロナを機に考える、より良い教育政策のために政策実験やデータは必要か不必要か？

こんにちは、理事の畠山です。今日は、より良い教育政策のためにRCT（政策実験）やデータは必要か不必要かの話をしてみようと思います。これをしようと思った理由は二つあります。

まず一つ目の理由です。先日の事ですが、うちの大学院で、業界人なら誰でも知っている超有名財団GとMの職員の方を招いて、国際教育協力における財団の役割的な座談会がありました。有名財団の途上国の教育支援の金額を足し合わせると、日本政府ODAによる教育支援の3倍以上にもなり、日本人として色々と思う所がありました。ただ、それを話すと何万字あっても足りなさそうなので、財団の役割はさておき、別の大変興味深い話があったのでそちらにフォーカスします。

職員の方がブチギレていた点があって、それは、近年の国際教育協力では、データのためにデータ収集を行うとか、研究のためにデータ収集を行うとか、要はあまりにも国際教育協力の趣旨から外れた活動が多過ぎるという点です。特に、ダメダメなRCTが余りにも多過ぎると怒っていたのは印象的でした。超有名財団の職員は基本的に博士号を持っていて、アカデミアに何らかの不満があるorアカデミアよりも非アカデミアの方が魅力的に映ったからこそ財団にいる訳なので、アカデミアに対して批判的であるとしてもその点は割り引く必要はありますが、とは言え、近年のデータ重視やEBPMへのバックラッシュが始まりかねない機運が大手財団の間で共有され始めているのはショックでした。

もう一つの理由は私が執筆した記事です。先日、「「名門校の教育は意味がない」多くの日本人が知らない「残酷な現実」」という記事を現代ビジネスさんで執筆しました（タイトルは煽り気味ですが、記事を書くのは執筆者、タイトルをつけるのは出版社のお仕事なので、お気になさらず）。

サルタック・マニアの方なら、「エビデンスに基づく政策のためのランダム化(RCT)のような実験は、言うほどには教育セクターで必要ないかもしれない話」という過去記事に、新たにこの分野の論文を加えた解説記事であった事に気が付いたかもしれません。

Twitterを見ていると、回帰不連続デザインの特徴と限界に関する解説が意外と不評ではなかったようで驚いたのですが、恐らく気になるのは、合格ラインで生じるような断絶をガンガン活かしていけば、RCTのような政策実験は必要ないのではないか？という点ではないかなと思います。

特に、政策実験批判派は、RCTは要は実験室的な環境で行われているので、その研究結果が広く当てはまるものなのか疑問がある（外部妥当性に疑問がある）と主張する一方で、政策実験擁護派は、RCT以外の方法についてもRCTと同様な外部妥当性の疑問はあると主張します（私が農学部で取った因果推論の授業の先生も全く同じ事を言っていました）。

確かに、私が今回執筆した記事でも、紹介した論文がRDデザインを用いて分析していたボストンやNY、ギフテッド教育、インドの大学、以外でも、この結果が当てはまるのかどうかは分からないのは、RCTを用いた政策実験でこれらの学校への入学者をランダムに決めた場合の結果がそれ以外の名門校についても当てはまるのかどうかは分からないというのは、全く同じ現象です。だとすると、政策実験批判派は一体何を言っているのか？、という事になります。

実は、財団の人達が言っていることも、政策実験批判派の人達が言っていることは全く同じで、（良い政策実験やデータは重要だけど、）悪い政策実験やデータは、それにかかる人手・お金・時間に全く見合っていないという点です。

政策実験に良いも悪いもあるのかと思われる読者もいるかもしれませんが、これは確実にあると言えます。もちろん、政策実験そのものが成立していないどうしようもないものもありますが（内部妥当性が成立していないと言います。RCTなんてくじでランダムに何かを割り振るだけだから簡単でしょと思う方もいるかもしれませんが、少なくとも教育セクター内で言えば意外と難しく、「意外と難しい教育セクターでのランダム化比較試験（RCT）の実施」という記事の中でそれについて解説しているので、気になる人は目を通してみて下さい）、やはり外部妥当性がそれ以外の因果推論と比べて極めて限定的なダメなRCTは存在していますし、本当にそのデータは「今」必要なのか？というダメなデータも存在します。

ちょっと博士論文のProposal Defenseの準備で忙しいので、今回はこれについて簡潔に、新型コロナ関連の教育政策にも絡めてお話をしていこうと思います。

1. ダメな政策実験（RCT）を理解するためのキーワード①と新型コロナ禍での事例①

既にいくつかの記事でやんわりと指摘しているので、ダメな政策実験ってあれが考慮されてないRCTの事でしょとお気づきの方も少なからずいると思いますが、なぜ政策実験をするのかを考えてみるとそのあれが何かよく分かります。

政策実験をする場面は大きく二つあり、一つは効果があるかどうかよく分からないのでそれを確かめて、効果があるのであればそれを広く実施したいという場面で、もう一つは効果がある事が分かっている政策選択肢が幾つかある中で、どれが一番費用対効果が高いのかを明らかにして、一番良いものを広く実施したいという場面です。

この文章でお分かりになったかと思いますが、ダメな政策実験に致命的に欠けているのは、