#10 「これ本当かな」 探究時に気をつけたい３つの要素
ますます進行する情報化社会。多種多様な情報が行き交う中で生きる私たちに必要なのは、正確な情報を取捨選択できる力だと感じます。それはしあわせ探求庁においても、「しあわせ」という不明瞭なトピックを探求していく中で、心がけたいことの一つです。今回はしあわせ探求庁のメンバーであり、研究者でもある佐々木透さんを筆頭に「大切な調査の3要素」について理解を深めました！
メンバー２人が実際に対話した記録を記事として毎週水曜日に投稿、導入部分は２人によるトークでお届けします。再生ボタンを押して放送をお聴きいただけると光栄です✨
〜 以下の記事は、上の stand.fm 放送の続きです 〜
日々の生活においても大切な調査の３要素とは？
では、透さん、今回は学問的調査に大切な３要素についてですね。今回は対話と言うよりもレクチャーになりそうですが、私もわからないことがあればどんどん質問していきますね。よろしくお願いします！
よろしくお願いします。学術的な話になりますが、調査の３要素を知ることで、本やサイトで見かけるデータや SNS で誰かが言っていることについて冷静に考えられるようになると思うので、ぜひ活用してほしいと思います。
早速ですが美織さん、題材である３要素は何だったか覚えていますか？
「妥当性・信頼性・因果性」でしたよね。
最初のふたつの「妥当性・信頼性」は似たような意味を持つ言葉のイメージがありますが、英語にしたら「validity」と「reliability」ですね。この２つが相互関係のある概念だとおっしゃってましたね。どういった関係なんでしょうか？
「妥当性：validity」と「信頼性：reliability」は独立した意味を持ちながら、関係性としては横並びにある要素なんです。そのふたつが同時に成立するのは難しいと言われているんですが、validity と reliability のいいバランスを保つことが大事です。
因果性はまた違った要素であり、その３要素に加えてサンプリングという他の概念もあるのでそちらも少し説明しますね。まずは、「妥当性：validity」と「信頼性：reliability」から始めましょうか。
これがわかっていたらすごい！ 「妥当性： validity」
実は「妥当性：validity」が一番概念的にも調査方法としても難しいんですが、だからこそきちんとわかっておく必要があります。
一言でいうと validity とは「測定したいものがちゃんと測定できているかどうか」です。なぜ調査方法として難しいかというと、これは数値で表すことが非常に難しいからなんです。
では例を出しましょう。美織さんは中学生の時、英語のテストを受けましたよね。その中で、発音を正しく理解しているかの範囲があったと思います。どんな内容だったか覚えていますか？
懐かしいですね〜、発音に関する問題はいつも一番最初に出てきていたのでよく覚えています。ベースとなる単語の他に３つほど他の単語が書かれていて、「下線部の発音が同じものを選べ」という問題でした。
そうですよね。ただ、英語の発音を測るには、実際にネイティブに聞いてもらうのが一番のはずです。「下線部の発音が同じものを選べ」というよくあるテストは本当に発音の力を測れていると言えるでしょうか。テストは数多くの生徒の能力を数値化しないといけないため「下線部の発音が同じものを選べ」という計測方法になってしまうんですが。
発音のテストなら実際に発音させることが validity が高いということですね。ただ、発音させたとしても明確な「正解」があるわけではないから一定の点数をつけることができない。Validity が高い調査を目指そうとするほど、数値化できなくなるのは、なんとももどかしいですね。
「測定したいものがちゃんと測定できているかどうか」ってすごく当たり前なように感じますが、気をつけてみてみると妥当性が低いもの、世の中に沢山ありそうです。
人や時間でブレが起きる？ 「信頼性： reliability」
次に、「信頼性：reliability」についてです。まず、reliabilityの中には、inter-rater reliability（評価者間信頼性）と test-retest reliability（再検査信頼性）の２種類があります。Inter-rater reliability（評価者間信頼性）とは、「人によるブレはないか」が軸となります。何か良い例ないかな〜、、あ、作文の採点をする時、人によるズレが出る可能性はあると思いますか？
あると思います！例えば作文の採点を何人かで行うとすると、人によって感覚的なものに左右されそうですよね。作文は正解が１つではないですもん。
そうなんです。「こんな答えには◯点をつけてね」と指示をしたとしても、同じ作文に対して、100人の採点者全員が同じ点数はつけない。10点中、3点〜7点辺りは人によってばらつきが出るはずです。これは数値化はできる一方で、人によるブレに注意が必要な要素ですね。
なるほど。私が評価したい部分と透さんが評価したい部分はきっと違うはずです。それならば、私が１人で採点した場合は人によるブレはなくなり、 inter-rater reliability の問題は解決されますね！？
そうですよね、そしたら１人で採点したらオッケー、、！とは、ならないんです。１人で採点した場合でも注意しなければいけない点があります。それが、reliability の中にあるもう１つの要素である test-retest reliability（再検査信頼性）です。一言で言うと「時間が経ってもブレはないか？」ということです。同じ例で考えてみてください。
時間、、、。ん〜、例えば私が、朝に採点するか夜に採点するかでも気分や集中力によって点数が変わる可能性があるとか、、、？
そうですね。１日の間だけでなく、例えば３ヶ月後にもう一度同じ作文を採点した時、全く同じ点数をつけると言えるでしょうか？その３ヶ月の間になにか知識を得たり、感情的に揺さぶられる出来事があったりした場合、３ヶ月前と後では変わってくる可能性があることは test-retest reliability（再検査信頼性）が低いと言えます。
なるほど！おもしろいですね。例えば、誰かに焦らされて気持ち的に余裕がない時は比較的ミスをすることが多くなりますが、そういった場合のブレに名前はあるんですか？
良い質問ですね。実はそれは、「状況によってブレはないか？」という intra-rater reliability（検者内信頼性）というのもあります。いろんな要因によって、ブレが起こる可能性があるんです。作文以外のいい例でこちらでも説明があるので、読んでみてください。
相互作用のある「妥当性：validity」と「信頼性：reliability」
Validity と reliabilityについてなんとなくわかってきましたが、信憑性の高い研究結果を出すためにはどちらの要素もクリアしておきたいところですよね。文頭でも、validity と reliability には相互作用があるとおっしゃっていましたが詳しく教えてもらえますか？
先ほどは数値化できない「妥当性：validity」の話をしましたが、
「妥当性：validity」と相互作用のある「信頼性：reliability」は反対で、数値化できるという特徴があります。
共通して、再度発音のテストを例に挙げますね。ではまず「妥当性：validity」を高めるためには発音をネイティブの先生にチェックしてもらうことだとすれば、その際「信頼性：reliability」において何が起きると思いますか？
あ〜、その先生によって、つける点数が変わってくる可能性が大いにありますね！発音を正確に測れる「妥当性：validity」を高めたはずなのに、それと同時に「信頼性：reliability」が低くなってしまうなんて、本当にもどかしい！逆に「信頼性：reliability」を高くするために選択問題を利用したら、今度は「妥当性：validity」が低くなってしまうというわけですね。ん〜、、そしたら「妥当性：validity」と「信頼性：reliability」がどちらも高い状況って何か方法はあるんですかね。
「妥当性：validity」と「信頼性：reliability」はシーソーのような関係なんですよ。片方が上がってしまえば片方は下がってしまうので、「妥当性：validity」と「信頼性：reliability」のバランスをとることが大事なんです。
例えば英会話力を測る方法として、イギリスが開発している IELTS では「妥当性：validity」を大事にする傾向があるため、スピーキングのテストもしっかりと対面での試験ですが、日本の大学入学共通テストは「信頼性：reliability」を重視している選択式を取っているんですね。互いに偏りがありますが、選択式でもなく、完全対面式でもなく文章で書きなさいといった問題がバランスの取れたものと言えますね。
なるほど、国によっても方針はやり方は違うんですね。完璧を目指すのは難しいけど、いいバランスを探しながらより良いを目指していく、、しあわせの探究のようですね！ただ、そのバランスをとることもまた難しいんですよね。
より良いバランスを取れる可能性がある手段が AI なんですよね。AI は時間的にも感覚的にも左右されず、正確な英会話力を測ることができる、すなわち「妥当性：validity」と「信頼性：reliability」が両方高められる可能性がある。いい活用方法を目指して僕が今 AI の研究しているのはそのためなんです。
確かに！ここでもAIが活躍できる可能性があるんですね。妥当性と信頼性はとりあえず、理解できた気がします、、！
信頼性と妥当性の相互関係まで、しっかりと説明できて良かったです。より詳しく知りたい場合は、こちらで紹介されている書籍もおすすめですよ。
３要素プラスアルファで知っておきたいサンプリング
３要素の中には入れませんでしたが、調査をする際に大切なプラスアルファの要素である sampling（サンプリング）について少し説明させてください。
突然ですが美織さん、質問です。何らかのサービス提供する企業のサイトに「サービス満足度90％以上！」という表示をよく見かけますよね？基本的にどこもそういう結果になるものなのですが、なぜそうなると思いますか？
あ〜！確かによく見かけます！そして大体90％前半以上ですよね。90％以下のものはあえて企業側が出すメリットがないから90％以上のものばかり見かけるのだと思っていましたが、どの企業がアンケートをとっても「満足度90％以上」になるようにできてるんですか？なんでだろう、心理的に良いように答えさせるような質問を工夫して作っているから、とかですかね？笑
それは、「測定したいものがちゃんと測定できているかどうか」の validity の例ですね。サンプリングに関して「満足度90％以上」になってしまうのは、基本的にアンケートの回答は任意だからです。比較的サービスを気に入った人がアンケートに答える傾向があるからなんですね。だけど、満足度100％にはならない。それは、不満があったり怒ったりしている人も一定数いるからです。
段階的に見ると、すごく満足した好意的なサービスを受けた人はアンケートに答える割合が高く、普通と思っていたら任意のアンケートならわざわざ回答しないんですね。そして、最悪な経験をした人もアンケートに答える傾向があるので、満足度100％にはならないけれど、90％前半になることが多いんです。
なるほど、、、。それはちょっと残念ですね。サイトに載っている満足度が信じられなくなってしまいます。サンプリングをしっかりさせるためにできることってあるんですか？例えば私はこの前、地元和歌山のモニターツアーに参加させてもらって、無料の代わりにアンケートは必須でした。そういう場合はしっかりサンプリングができているアンケートが取れているんですよね？
しっかりサンプリングできているとも言い難いです。必須あっても、いい経験をした人は沢山書くと思いますし、悪い意見もある。ただ普通程度の経験をした人は記入欄に「特になし」って書いたりするので、やっぱり任意の時と同じような状況にはなる可能性があります。サンプリングをできるだけしっかりさせる方法としては、YES/NO で答えられる質問で男女比や年齢比、民族比を整えることなどがあります。あとは、５段階調査では３の評価が多くなるので、４段階調査にする、とかですね。それは validity のためでもありますが、、
そうなんですね〜、難しい。。。ひと企業のアンケートだけで見るのではなく、同じ業界で複数の企業が同じ状況下でアンケートを取り、比較されたものを見るのならば、まだ信憑性は高いかもしれませんね。
その二つの事象に本当に因果関係 causality はあるか？
最後に三要素の一つである「因果関係 causality」もとても大切です。まずこれに関して、因果関係と相関関係についての違いをはっきりしておかなければいけません。因果関係はないけれど、相関関係があるとされるものの例として、「チョコレートを沢山食べる国は、AI 研究が盛ん」というもの。これは本当に比例しているので相関関係はあるけれど、チョコレートが原因で AI 研究が盛んになる結果には繋がらないので因果関係はないということです。
チョコレートを沢山食べる国は、AI 研究が盛ん！おもしろい関係ですね。これは明らかに因果関係がないことがわかります。
ではこの例えはいかがですか？ 2018年の古い研究結果ですが、明治安田生命が結婚と幸福論についての研究を行い「結婚したほうが幸せである」という研究結果が出ました。これに関してはいろんな意見があると思いますが、僕はこの研究結果に対して「もともと幸福度の高かった2人だから結婚できた」と考えることができると思うんです。
結婚が原因で幸せになったのではなく、何十年も生きてきて人生経験を積んできた中で、もともとそれぞれ幸せを感じられる2人だった。「結婚したから幸せになった」のか、「幸せな人が結婚した」だけなのか、わからないと思いませんか？
なるほど、、おもしろいですね、、、！確かに、結婚したら幸せになれるわけじゃなくって、まずは自分が幸せを感じられる人になることのほうが先な気がします。
例えば、今幸せじゃないかどうやったら幸せになれるんだ！と思って「結婚したほうが幸せである」というこの研究結果にしたがって結婚したとして幸せになれるわけではないということですね。世の中に溢れている２つの事象に、本当に因果関係があるかについてはちゃんと考えないといけないということですね。何だか、そう思ってくると、そんなデータも信じがたいというか、信じられなくなってきます（笑）
そうなんです、でもそれで良いと思いますよ。メディアリテラシーの基礎だと思います。読む側がきちんと判断する力が必要なんですね。世に溢れているしあわせのデータも数値化したものや相関的なもの、こうだったら幸せだなんて、いい加減なものも含まれているんです。
ただ、僕らが出会ったきっかけであるデンマークのハピネスミュージアムの研究元である the Happiness Research Instituteは、「我々の研究は主観的に見ています」と書いてあるんですね。
データを取って数値的に判断するのではなく、研究員が主観性を持って考えること、それが大事だということですね。僕もそれには同意します。だからこそ、しあわせ探求庁でやっているような、しあわせを数値化したりするのではなく、色々な人と対話を通じてしあわせについて考えていくということが良い方法だと思っています。
そうですね！ふ〜、今日は盛り沢山の内容でした。ちょっと復習が必要ですが、、、とてもいい勉強になりました！私もしあわせについてなどのデータを見る際は三要素プラスアルファを意識して、見ていきたいと思います。ありがとうございました！
「 今ここで、しあわせを繋ぐ意味がある」〜 しあわせ探求庁でした。
また来週水曜日にお会いしましょう🍩
（2024年6月19日）
しあわせ探求庁｜Shiawase Agency
日本支部：成江 美織
（miori @しあわせの探究）
オランダ支部：佐々木 透
（ささきとおる🇳🇱50歳からの海外博士挑戦）
ご意見・ご感想は記事へのコメント、またはメールでお寄せください
この記事が気に入ったらサポートをしてみませんか？