エビデンスとは何か。似非科学に騙されないために知っておくべきこと
エビデンスという言葉をご存知でしょうか。
エビデンスとは、簡単にいうと証拠や根拠のことです。
特に学問的な意味で用いられる場合には、科学的根拠や統計学的な有意性のことをエビデンスといいます。
例えば、「自分の好きなスタイルで勉強する」ということが効果があるのか…みなさんはご存知でしょうか?
本を読むのが得意な人は本を読んで、耳で聞いたことを覚えるのが得意ならオーディオブックで…というように、自分の好みにあった勉強法をとりいれるのは、効果がありそうに感じますが、多くの研究によってその効果は否定されています。つまり、この勉強法には「エビデンスがない」のです。
自分の意志で勉強をすることにはもちろん効果がありますが、勉強法まで自由にというわけではないようですね。
エビデンスというものを知らなければ、またどういったエビデンスが信頼に足るのかということも知らなければ、こういった似非(えせ)科学に騙されやすくなってしまうでしょう。
ということで今回は、質の高いエビデンスとはどういうものなのか、ということをご紹介します。
エビデンスのヒエラルキー
1.RCTの系統的レビュー(メタ分析)
2.個々のRCT
3.準実験
4.観察研究
5.事例集積研究
6.専門家の意見(研究データの批判的吟味を欠いたもの)
・専門家の意見
私の長年の経験からすると…みたいなものにエビデンスはありません。もちろん優れた研究者の直感が当たることはあるかもしれませんが、エビデンスに基づく意見でない限り、それはあくまで一意見なのです。
・事例集積研究
「みんな持ってるもん!」という子供の言い分に対して「誰が持っているの?」と聞くと「AさんとBさんと…Cさんが持ってる!」と返ってきました。3人で成り立つからといって、全員で成り立つとは限らないし、そもそもこれだけの情報ではどれくらい成り立つのかさえもわかりません。これが事例を集めただけの「事例集積研究」です。
・観察研究
ざっくりというと観察研究とは、実験者が対象に対して干渉しない研究のことです。例えば、たばこを吸っている人とそうでない人の健康状態を比べる…みたいなものです。条件などを統制しにくいので、よほど大規模で厳密なものでなければエビデンスとしては弱めです。
例えば、朝ご飯を食べることと健康に関係があるのかを観察研究するとします。このとき、普段から朝ご飯を食べている人と、食べない人を比べるわけですが、この分類によって出される結果には、朝ご飯の有無だけではなく様々な影響が考えられます。
朝ご飯を食べない人は、めんどくさがりなだけであり、朝ご飯以外もバランスの悪い食事をとっているかもしれません。朝寝坊が多いから朝食を食べないだけであり、むしろ健康に悪いのは睡眠の質が悪いせいかもしれません。
そういった様々な要因を取り除くだけの厳密な分析とデータ量が、観察研究には必要とされるので、エビデンスとしては弱くなる傾向があります。
ただし、次の方法で実験できないものにおいては、この観察研究が用いられます。例えば、非喫煙者を集め、2つのグループにわけて、片方のグループにたばこを1年間吸わせる…なんて非人道的な実験はとてもできません。こういったことを調べるために、観察研究が行われることは、多くあります。
・準実験
観察研究と比べると、実験者が介入する点が大きな違いです。
例えば、実験の参加者にあることをしてもらって、その前後の状態を見て比較する…なんて方法が代表的です。
ただ、次に説明するよりランダム化比較試験と比べると、「ランダム性」について準実験では劣っています。(というより、ランダム性があまりないものを準実験と呼びます)
ランダム性がないと、どうしてもいろいろな要因が絡んで、正確な結果が導けなくなってしまいます。その意味で準実験はまだエビデンスとしては少し弱いかぁという立ち位置になります。
・ランダム化比較試験(RCT)
ランダムに分けた2グループを用意し、片方には介入を、もう片方は何もしなかったり、比較になることをしてもらう、というのがRCTです。
もしこの実験で2グループに何か違いが出れば、かなり高い確率でその介入が原因であると判断することができます。なぜならば、その2グループの違いは、介入をしたかしていないかだけなのですから。
しかし、RCTにはある程度の知識やテクニックが必要になってきます。「ランダムに選ぶ」という部分がなかなか難しいのです。
例えば、友人をランダムに集めた…といっても、友人である時点で、年齢や性格など、様々な部分で偏りが出るのは想像できますよね。
雑誌のアンケートだったら、その雑誌を買っているという前提条件がありますし、街中で人を集めた…となるとその街の特性が実験に影響してしまうかもしれません。
しかし、もしランダム性がある程度担保されるのならば、個別の実験の中では最もエビデンスの質が高いと言えるのが、このRCTなのです。
・RCTの系統的レビュー
RCT一つだけをとると、その研究を行った研究者のバイアスや、偶然その結果になった…という可能性はもちろん考えられます。
そのため、たくさんのRCTを集め、それを正しい方法できちんとまとめあげたもの…RCTの系統的レビューが、もっともエビデンスの質が高いと言えます。
レビューの対象となる個々の研究を「一次研究」といい、それをまとめあげる統計的な方法を「メタ分析」と言います。
レビューの対象となるものはRCTだけでなくともいいのですが、もちろん一次研究の質が高ければ、それをまとめあげた系統的レビューの質も高くなります。そのため、RCTの系統的レビューがもっとも最強なエビデンスなわけです。
エビデンスのヒエラルキーを知ってどうするか
エビデンスの質と種類についてのおおざっぱな説明は以上のようになりますが、特に後半の質の高いものは、なかなか難しい部分もあります。自分で本当にRCTなのかな?と見分けるには、ある程度統計やその分野の知識が必要になってきますので。
まぁほとんどの人が自分で論文を読むということはないでしょうけど、それでもエビデンスというものを知っているだけで、「疑う」という選択肢がでてくると思いますし、その疑念はものの見方を大きく変えてくれると思います。
情報であふれる社会だからこそ、本当に正しいものは何か、ということを見分けるために、この知識が役に立てばうれしく思います。
参考文献:心理職のためのエビデンス・ベイスト・プラクティス入門―エビデンスを「まなぶ」「つくる」「つかう」 (原田 隆之 )
ps
飲み会は終わった後の虚しさが苦手です。