【読書会レポート】質的研究を考える夜:エビデンスの円環とコアエビデンス思考へ|newQ
01|ほんとうに”使える”エビデンスとは何か?
newQメンバー(以下「N」):みなさんよろしくお願いいたします。
参加者:よろしくお願いします。
N:まずみなさんにお聞きしたいのですが、質的なアプローチやエビデンス一般についてどのようなイメージを持っていますか? たとえば、私は時間が経つと使えそうですが、リアルタイムでは使えるかどうか怪しいんじゃないか、というイメージをはじめに持っていました。
Sさん(以下「S」):調査にセンスが必要そうに感じます。手続きに自由度が高いがゆえに、妥当性の高いエビデンスとそうでないものを見分けるのにも経験が必要そうに思います。しかし同時に、デザインや企画の現場が真に求めているのは質的なエビデンスだとも感じます。質的なエビデンスに触れるとその現場がありありと浮かぶ。ある種個人性がそこに宿っている。そこに実感できる何かがあるようにも思えますね。
N:ありがとうございます。いまお伝えいただいたような理由とも関わるようにして、エビデンスを活用することで新たな価値を生み出すビジネス実践はすでにそこかしこで行われてきました。
例えば、Netflixではユーザーの視聴データや視聴習慣の分析に基づき、需要の高いコンテンツや新作の開発・買い付けを決定。エビデンスに基づいたパーソナライズされたコンテンツ推薦も行うなど、エビデンスとしてのデータに基づいたサービスを提供しています(Analytics: Driving insights from data. https://research.netflix.com/research-area/analytics.)。
データサイエンスに代表される量的データの活用のみならず、エスノグラフィ的な手法、人類学や社会学の知見に基づいた「人文科学ベースド(Human-Science Based)」のコンサルティングサービスを提供するReD Associatesといった会社や、デザイン思考におけるユーザー理解を目指すIDEOなど、質的エビデンスを活用する企業も注目に値します。
量的・質的なものを問わず、エビデンスがビジネスにおける意志決定プロセスで重視されてきています。しかし、どのようなエビデンスであれば私たちは真に納得し、それに基づき行動することができるのでしょうか?
つまり、私たちがこの読書会で考えたい問いは、ほんとうに”使える”エビデンスとは何か? です。
02|エビデンスの”往路”と”復路”を考える
エビデンスに基づいて選択するとはどういうことなのでしょうか? この問いに答えるためには、そもそもエビデンスがどこから来てどこに行くのかを考える必要があります。どうやって考えるとよいのでしょうか。
そこで、 エビデンスを「生産」すること、そして「利用」する過程を表したのが以下の図です(図1)。いきなり理解するのは難しいですが、この読書会の核となる図になります。細かいことは気にせず、なんとなく眺めるだけで大丈夫です。クリックで拡大できます。
まず具体例で考えてみましょう(図2)。
想像してみてください。あなたは趣味の価値をリサーチしているデザイナーです。あなたは調査の結果「趣味と生きがい」に関する2つの質的 / 量的研究を見つけました。質的研究論文には「20代日本人は趣味コミュニティに参加することで、様々な生きがいを見つけた」と書いてあり、量的研究論文には「20代日本人は週3回のコミュニティ参加によって幸福度に統計的に優位な差が見られた」と書いてあります。あなたは二つのエビデンスを見つけました。
このエビデンスの由来を考えてみましょう。左の赤字で書かれたエビデンスの「生産」のあたりに目を向けてください。「往路」とも書いてあります。つまり、エビデンスがどのように作られたかを考えてみましょう。
一番左、一番下のあたりを見てみてください。エビデンスの元になったインタビューやアンケートの参加者はハナコさんやアキラさんでした。彼らの共通点は「20代日本人」です。まず気をつけなければならないのは、エビデンスを作る際には必ず具体的な人々が元になっているということです。彼らに対して調査をする時点で、偏りが生じるかもしれません。20代日本人の中でも、ハナコさんやアキラさんは特に充実した趣味を楽しんでいるかもしれない。しかし、20代日本人全員にアンケートを取るわけにはいきません。総務省統計局の資料を見ると、2023年4月時点で概算1262万人もの20代日本人がいます。本当は1262万人が一人ひとり生きている世界、これが「固有性の世界」です。
しかし、ハナコさんやアキラさんの名前は、赤矢印を辿っていくと消えていきます。次に私たちが出会うのは、ハナコさんやアキラさんら、20代日本人の何名〜何十名かに対して行った調査から生まれたエビデンス、つまり「法則性の世界」です。
ここまで、エビデンスがどう作られるかを見てきました。次にデザイナーであるあなたが仕事で気にかけるのは、このエビデンスを「利用」するシーンです。
あなたが作るサービスは実は40代の日本人向けでした。さて、あなたは「20代日本人についての趣味と生きがい」に関するエビデンスを使っていいのでしょうか? そしてそもそも、あなたが使おうとしているエビデンスはほんとうに”正しい”エビデンスなのでしょうか?
03|「往路」=「生産」=「作る」の問題
まずは、エビデンスがほんとうに”正しい”エビデンスかどうか考えてみましょう。ここで”正しい”とは”妥当性がある”と言い換えられます。
とはいえ、エビデンスの「妥当性のある作り方」が何かは、量的 / 質的アプローチでそれぞれに大きく異なります(図3)。たとえば、量的アプローチですと、データの適切な処理や適切な統計的手法の使用が妥当性のある作り方になります。質的アプローチになると、歴史学や教育学、文化人類学にいたるまで様々な学問分野がそれぞれの妥当性を持っています。
どういうことでしょうか。今回は質的アプローチの妥当性に特に注目しましょう(図4)。
歴史学について考えてみましょう。例えば、あなたは未来の事業策定にあたり、クラウドコンピューティングに早期に投資した企業(e.g., Amazon)がなぜその市場で成功を収めたのかを考えたいとします(図5)。
先行する企業の成功の秘密を理解すれば自社でもうまくいくのではないか、と考えました。あなたはどうするでしょうか? CEOや当時の投資部門を知る人々にアポイントをとって話を聞いたりするでしょうか。しかし、歴史学的に考えると、それはどうも不十分なようです。鍵となるのは「構造と主体性のバランス」です。キープレーヤーからの視点だけでは当時の動きは見えてきません。投資に成功した理由は、人々の選択だけでなく、当時の人々を取り巻く「構造」、すなわち社会的・技術的な大きな流れとの関連性を考察しなければならないのです。質的な研究を行う歴史学のなかでの質的アプローチの妥当性とは「構造と主体性のバランス」を見極めた歴史記述にあるわけです。
教育学でも考えてみましょう。あなたは企業の研修教育プログラムの策定を任されました。あなたはどのようにして「効果のある研修教育」を実現できるでしょうか。教育プログラムを実施してアンケートを取るだけでは不十分かもしれません。一人称的な報告に頼るだけではなく、具体的な反応やパフォーマンスを観察し、それが職場での生産性にどのように影響するかを評価する必要があるでしょう。その際には、教育効果の測定方法として短期的な生産性で十分なのか、それとも、より質的で量的には捉えられない要素を考えるべきなのか、「現場の教育のあり方や制度設計」を考慮する必要があります。
他の例については図を参照してください。歴史学と教育学の事例を見てきたわけですが、この2例からでも質的アプローチにおけるエビデンスの妥当性のある作り方には違いがあることが分かります。この違いは、歴史学と教育学がそもそもどんな事柄を何のために明らかにしたいかに起因しています。歴史学では繰り返すことの難しいあるタイミングでの人々の選択とその結果を時系列的に分析していくことを目指し、教育学では人々に意図的に影響を与えるある教育プログラムの実効性を分析することを目指しているからです。
04|「復路」=「利用」=「使う」の問題
以上のエビデンスの妥当性のある作り方を聞いて「こんなにエビデンスの妥当性が複数あるのならそれを『エビデンス』として一まとまりに捉えて意志決定に使えるんだろうか?」と疑問がわきます。その疑問は適切です。
社会調査を基盤としたエビデンスの「妥当性のある使い方」は、エビデンスを利用する人々に十分に意識されていないことが多いでしょう。しかし、利用可能性を担保するのは、集団同士・集団と個人の性質の質的な理解です。先程のエビデンスの往路と復路の元の図を提示した林は次のように述べています。
林が紹介する実装科学(Implementation Science)では、エビデンスベースの介入(EBI)が実際の設定でどのように効果的に適用されるかを理解し、そのプロセスを改善するための科学的研究の分野。医療、公衆衛生、教育などの多くの分野で重要な役割を果たしています(cf. 河野 et al. 2022)。
実装科学では、なぜエビデンスベースの介入が一部の設定で成功し、他の設定では失敗するのか、といった問いが考えられています。まさに、エビデンスの妥当性のある使い方を研究している分野といえます。
こうしたエビデンスの使い方を考え、「ナラティブ・ベースド・メディスン」を提唱する日本人の一人に臨床心理学者の斎藤清二がいます。彼は次のように述べています。
ここで「ナラティブ」とは「代替の効かない個人に焦点を当て,経験を言葉によって意味付ける働きを持ち、語り手と聴き手、書き手と読み手を結び付け、そして、物語を共有する全ての人に連携と 協働をもたらす」ことです(ibid.)。私たちはそれぞれ一回きりの他でもない自分の人生を生きています。エビデンスに従えば、お酒を飲むことはよくありません。しかし、ある人にとってお酒を飲むことが人生の一部になっているとき、それをエビデンスに従ってのみ引きはがすことはその人のナラティブに配慮していません。逆に、もし酒もしない私に対して「実は酒を摂取した方が健康に良いんだ」というほんとうに正しいエビデンスがあっても、私はお酒を摂取しない生き方が気に入っているので、エビデンスに基づいていても選択しないでしょう。
このように、エビデンスの活用においても適用可能性の問題が生じること、それが実装科学であったり、ナラティブ・ベースド・メディスンにおいて議論されています。
📌ここまでのまとめ
今回の読書会のポイントをまとめましょう。
🎯DISCUSS 01|リサーチの目的からエビデンスの解釈を考える
N:以上『質的研究アプローチの再検討』の(一部ではありますが)まとめをご紹介しました。Aさんはどんな問いを考えましたか?
A:エビデンスのよい使い方ってなんだろう、と思いました。質的アプローチの一つとしてユーザーインタビューと捉えたとき、インタビューの結果、デザイナーが共感できない意見が出てきたとき、どこまで採用して行動につなげるのかは考えますね。テストユーザーが「いい」「わるい」と言っているとき、どういう意味で「わるい」と言っているのか、言葉通りに受け取るべきではないことが多いと思います。その言葉にはどんな意味があるのか深掘りする必要がある。ただ、どこまで意味を探っていくべきかは問題になりますね。
N:解像度の閾値をプラグマティックに決定する必要がありそうです。ユーザーインタビューをしたとき、そのデータをマーケティングが「80%のユーザーが満足」と広告に使いたいのか、それとも、デザイナーがデータを掘り下げて次のデザイン改善につなげたいのか、こうした用途の違いによって深掘り具合は変わっていきそうです。
A:その意味で、質的研究は、検証のためのリサーチよりも発見のためのリサーチに使われることが多いイメージがあります。
N:質的研究はそれまで課題とされていなかったことを、議論の俎上にあげることが目的かもしれません。また、量的な研究をしたいときは、サービス拡大など、たくさんのユーザーを想定している。
A:そこでこういう話を思い出しました。数千万の時計を販売するとき、大規模なユーザーリサーチは必要なくて、ある時計好きの富豪Aさんに刺されば問題がない、という話です。このようにユーザーが明確だと質的なデータをうまく使えるのだと思います。
🎲DISCUSS 02|量的エビデンスの方が”主観的”?
A:量的な研究って、プロセス踏めば研究っぽくなってしまう危険さがあるように思います。とはいえ、Sさんが最初に言われていたように質的研究はスキル依存が強く、どうやって妥当性を一般化できるのかが気になります。
S:違う観点からですが、私もそこが気になっています。「何をもって”研究”になるのか、何をもってたんなるノウハウの集積になるのか」。しばしば、量的でさえあれば”研究”的で”学問”的なものだとみなされ、質的なインタビューは”ノウハウ”的にみられます。でもそれは違うんじゃないかと思うんですね。
N:ふむ。
S:量的な研究では、法則性の世界に飛ばすときに意志が介入します。どのようにデータを整理するか、どんな分析にかけるか。実は処理に主観性が入っている。
N:量的データの方が生成者の”主観的”なものでしょうか?
S:はい。研究不正ではなく、適切な手法の選択という意味で「こういうエビデンスを探そう」という主観的な態度が避け難く必要です。こうしたエビデンスと”気持ち”の関係を理解していない人は意外といるのかもしれません。そのために、量的なエビデンスさえあればあたかもすべてが保証されたように感じてしまうことがある。でもそれはかなり分析者の”主観”で解釈されたエビデンスなんです。
A:例えばビッグデータになると量的なものの処理に”主観”は入らないことが期待されているように思いますが。出来事を眺めている感覚が強くなるような。どうなんでしょうか?
S:そういうわけではなさそうです。ビッグデータの量的分析にせよ、やはり、無数にありうる裏の因子を捨象して、分析者が関心をもった相関を取り出すことになるでしょう。
N:むしろ、質的データの方が元の個人にたどり着ける”客観的”なものでしょうか?
S:こう言いたくなってきました。量的なアプローチでは、エビデンスに「分析者の”主観”」が強く介在する。なぜなら、多くのサンプルから大きな傾向を見出そうとするわけですから。逆に、質的なアプローチではエビデンスに「研究対象の”主観”」が強く残っている。
A:”エビデンス”と一言でくくることの気持ち悪さを感じます。量的エビデンスは思いが入った加工済みのデータですもんね。
N:両者の違いはサンプル数というよりは、設計の強さによって違いがあるのかもしれません。
✂️DISCUSS 03|エビデンスの円環を断ち切ること
S:「エビデンスに円環が生じる」という話がとてもおもしろいと感じました。エビデンスを使うためのエビデンスを使うためのエビデンス……。確かに無限に遡ることができてしまいます。それゆえ、エビデンスの円環をどこで断ち切るのかは真実の意味で”気持ち”でしかないわけです。逆に言えば、私たちはビジネスの中で、研究者であったりコンサルタントであったり経営者であったりが、どこかで暗黙のうちに円環を断ち切っている。であれば、円環の断ち切り方の合意形成ができれば、客観性が担保される。どんな意志決定をしたいか、とは、そのままどんな組織でありたいか、という意志の発露だと思います。学術的な普遍化可能性ではなく、その組織における普遍化可能性が重要になってくるわけですね。
N:その通りだと思います。うまくいっている企業はエビデンスを外部から引っ張ってくるのではなく、自分たちで見つけられる企業だと感じます。とりあえずやってみよう、とエビデンスの検証をフットワーク軽く行っていける。自社でエビデンスの適用可能性を検討できる。それは新規事業になるほど重要です。なぜなら頼れる外からのエビデンスがなくなっていくわけですから、自分たちでエビデンスの生産と活用ができないと会議室で考えるだけ考えてイマイチな企画が生まれる……なんてことがよくあるように感じます。ある側面では「科学的経営」は重要ですが、それは普遍性を求めるのではなく、各会社における「多様な科学的経営」が重要なはずです。デザイン経営の眼目もほんとうはここにあるのかもしれません。
S:これまでもビジネスの中で円環を断ち切ってきていたという事実を自覚してもらうことが、量的エビデンスの適用可能性を検証するための質的研究導入の道になります。
N:そうした円環を「なんとなくで切っちゃってる」という現実があまり共有されていないことが問題に繋がっていそうですね。
S:はい。妥当性を担保できる制約について理解されずに運用されることが多いわけです。なので、これから、どう伝えるべきか、どう記述すべきか、妥当性の制約に関して、どこまで許容できるかを判断するために必要なものは何かを考えていきたいですね。
🧬DISCUSS 04|これからの「コアエビデンス思考」
N:先程の話しをさらに深めていきたいです。各企業がエビデンスをほんとうの意味できちんと活用していくためには、それぞれの企業で新しい「エビデンスの妥当性のセット」を作る必要がありそうです。経験上、意志決定に納得性の高い人は3つくらいの妥当性の基準を持っているんじゃないかと思います。例えば、歴史学的・人類学的・統計的、のように。それぞれのタイミングで必要な妥当性を提案できる人が重宝される。
S:対象だけじゃなくて、意思決定の方策も考えられたらうれしいですよね。どうすればいいのでしょうか?
A:企業がどういう意思決定をするかの意思決定、すなわち、「コアエビデンス」を企業が持っていてもいいかも。
N:「コアエビデンス思考」! すごくいいですね。これからのコアエビデンス策定コンサルティングが流行するのかもしれません。エビデンスがあれば安心できるという気持ちから雑にエビデンスを使うという現状の問題に対して、どんなコアエビデンスを基盤に据えてビデンスを活用していくのかを考えることがこれから必要になってきそうですね。
***
newQチーム:本日はみなさんご参加くださりありがとうございました。「エビデンスの円環」「コアエビデンス」といった新しい概念を発見することができて、とても価値のある読書会になったと思います。
Sさん&Aさん:ありがとうございました!
参考文献
井頭昌彦編著. 2023. 『質的研究アプローチの再検討: 人文・社会科学から EBPs まで』勁草書房.
河野文子・島津太一(監訳)・中山健夫・内富庸介(監修). 2022. 実装科学における質的手法、
保健医療福祉における普及と実装科学研究会. https://www.radish-japan.org/resource/qualmis/index.html
斎藤清二. 2019. 「医療におけるナラティブ・アプローチの最新状況」『日本内科学会雑誌』108(7), 1463-1468.
林岳彦. 2023. 「Evidence-Based Practices にとって「良いエビデンス」とは何か––––統計的因果推論と質的知見の関係を掘り下げる」(『質的研究アプローチの再検討: 人文・社会科学から EBPs まで』所収)303−330.