異なるデータや手法をミックスしたプロジェクトはどうしたら成功するのか、に対する雑記
みなさん、こんにちはソーシャルリスニングBlogです。
今回は、ソーシャルリスニングの枠を超えて、複数のデータを融合させる分析について考えてみたいと思います。
私自身は、ソーシャルリスニング専門のチームで、SNS分析をメインにお仕事をしている訳ですが、最近、異なるデータソースを組み合わせて分析する機会が以前よりも増えてきてい印象を持っています。
その影響もあり、私のチームでもクライアントさんにSNSデータに別データソースを加えて複合的に分析するプランを提案する、という事も増えてきました。
「なんだ、昔から定量調査と定性調査を組み合わせて設計するなんて普通にやっているじゃん」
というご意見もあるかなと思います。
私も、SNS分析専門チームの前は10年近く定量リサーチャーとしてキャリアを歩んでいましたので、そのような設計はそこまで特殊なことでは知っています。こういったアプローチは「マルチモード」といった言葉で定義されているケースもあるのではないでしょうか。
いわゆる、定性で仮説を広げて、定量で検証しよう、といったパターンや、定量で全体像をつかんだ後に、定性で特定のポイントを深掘りしよう、のパターンなどがこれにあたるかなと思います。
こういった定量、定性の組み合わせは、引き続き重要な調査設計になっていくと思います。
一方で今回は、上記のように「Aが終わったらB」という組み合わせだけではなく、「AとBをいっしょに扱って、１つの分析結果にまとめ上げる」という趣旨のものも含めて注目したいと思います。
特に、ソーシャルリスニングなどのデータ分析は、複数のデータソースを組み合わせることで分析を強化・深化することができるという話もあります。
ソーシャルリスニングも、もちろんSNSデータを分析することを目的とした手法ではありますが、広い視点で見れば、人々が普段の生活の中で（SNS利用も含め）日常的に生み出すデータを観察・分析することで、そこからビジネスに活かすことができる発見につなげていく、というアプローチです。
その意味では、ウェブの行動ログや、検索データといった周辺データソースも複合的に扱うことも、本質的にやっていることは同じです。
今回は、こういった複数のデータソースを「混合（ミックス）」して行う分析を、ソーシャルリスニングの視点から取り上げます。
従来型リサーチとソーシャルリスニングの共通点
ソーシャルリスニングに日々取り組む中で、従来のAsking手法に対するListening手法だったり、ビッグデータを用いた新手法といった呼ばれ方に遭遇します。
しかし、個人的には、従来型と呼ばれるアンケートやインタビュー手法も、ソーシャルリスニングも本質的には同じことをしていると考えています。
いずれの方法も、取り組み方は違えど、
社会や消費者の認知、態度、行動を何かしらの方法を通じて理解しようとする
という活動に変わりはありません。
定量調査は、それが紙だろうがオンラインだろうが、アンケート（質問紙）という道具を使って、社会や消費者の事を知ろうという行為です。
定性調査は、FGIやIDIなどありますが、対話・インタビューという道具を使って、社会や消費者の事を知ろうという行為です。
同じように、ソーシャルリスニングは、SNSデータという道具を使って、社会や消費者を知ろうという行為になります。
つまり、いずれの手法も社会や消費者を知るための道具の1バリエーションという事だと思います。そして、それぞれが道具である以上、個々に特徴があり、得意な部分と不得意な部分があるのだと思います。
もちろんソーシャルリスニングにも、色々な不得意があります。
混合研究法
このように、どの手法が優れているのかではなく、それぞれの良いところを組み合わせて複合的な分析アプローチで物事を理解していこうという考え方に、「混合研究法」というものがあります。
（こちらの方が、混合研究法に関しては分かりやすいかも・・・？）
混合研究法自体は、定量調査と定性調査をどのようにミックス（混合）するのかを研究しているもののようなのですが、素人ながら色々と勉強すると、基本的な考え方はソーシャルリスニングにも使えるものじゃないかと思っています。
混合研究法のキモは、異なる手法（＝異なるデータソース）それぞれの得手不得手を理解し、それらをどのようにミックスすることで、単体よりもよりよい分析ができるのか、という点にあると思うので、エッセンスの部分は色々と学ぶことが多いです。
以下では、あくまで混合研究法の素人が、浅い勉強しかしていない恥を忍んで、ソーシャルリスニングと他データソース、他手法とミックスした分析をする上での経験や注意点などをまとめていきます。
※正式な混合研究法の方法論に沿ったものになっていないと思いますので、きちんと混合研究法を知りたい方はこんな本なんかもあるので、このブログ内容を見るよりも、こちらを読んだ方がいいと思います。
仮説ー深掘り型モデル
まず、非常に分かりやすい方法としては、仮説を得て、それを深掘りするというモデルです。これはある意味、従来型リサーチでも行う定性→定量の考え方と基本的には同じです。
①弊社のグローバルチームで設計する調査PJでも、ソーシャルリスニングで仮説を立てて、それを定性調査のインタビューガイドに活かす、とか、定量調査の調査票に活かす、という建付けのものは少なくありません。
②それ以外にも、検索データや行動ログから、「確実なことは言えないけど、このデータ傾向ってもしかして・・・」のような視点から、ソーシャルリスニングで同じ話題やキーワードを深掘りする、というようなデータ同志での仮説ー深掘り型モデルというのは成立します。
特に、検索データなどのオンライン・パッシブデータは、リアルデータ（実際の人々の行動がそのままデータになったもの）なので、間違いのないものですし、その中に人々のリアルなインサイトが眠っている可能性を秘めています。しかし、実際に分析してみると、データ（行動）の裏にあるコンテキスト（理由）を理解することは非常に難しいのが現状です。
そこで、同じテーマ・キーワードで検索データとSNSデータを分析することはとても有効です。
補完拡充型モデル
もう1つの活用パターンは、Aが終わったらB、という流れではなく、Aの中の要所要所にBを差し込んでいく、といったものです。
これは特に、定量調査とソーシャルリスニングを組み合わせる際に有効だと考えています。
定量調査は社会統計学に基づいた間違いのない調査手法ではあるものの、選択肢を選ばせるという基本的な構造のため、コンテキストが見えにくくなるという側面も同時に孕んでいると思います。
先ほどの繰り返しですが、我々は社会や消費者のことが知りたいわけです。そして社会の営みや消費者の日々の生活は、複雑な要素が絡みあっているはずです。そこには論理的な思考も、非合理的な思考も、色々なものが絡みます。
しかし、定量調査というのは、統計学的に、代表性と再現性のある「サイエンス」であるため、選択肢という方法を用いて、〇〇が〇％という数字に上記のリアリティを圧縮して表現します。
もちろん、この方法を否定するつもりは全然ありません。代表性と再現性のためには、科学的な手法として人々のリアルを変数化する必要があります。
一方で、〇〇が〇％という数字に変化されることで、失ってしまうコンテキストがあることもまた事実です。
そこで、ソーシャルリスニングを使って、その数字の背景にある人々のコンテキストを定性的に（しかし、ある程度の量的な視点を踏まえて）捉えることが可能です。
混合アプローチの難しさ
このように混合アプローチは、単体だけでは答えることができないレベルまで分析全体のクオリティを上げることができうるものだと思います。そして、マーケティングリサーチが大きく進化する可能性のある一つの道なのではないかと感じる次第です。
ただし、色々な案件でこういった混合アプローチにチャレンジしているものの、同時に混合アプローチの難しさも痛感します。
混合アプローチについて成功例もあれば、正直失敗例も少なくないのですが、今までの経験からは以下がキーポイントだという結論に今のところ達しています（2022年10月現在（笑））。
データごとの役割分担
まず最初に立ちはだかるのが、異なるデータ（手法）をどのように組み合わせることが最も威力を発揮するのか、の設計です。
混合アプローチにおいてもっともやってはいけない禁忌は、
「ひとまずAの方法で全部分析しました。Bの方法でもとりあえず全部分析しました。さーて、AとBを合わせてどんなレポートを作りましょうかねー」
と考えてしまうことです。
私個人の経験では、混合アプローチのPJは、このパターンに陥るケースが99％で、この99％は100％確実に失敗します。
失敗するというのは、「混合アプローチとして失敗する」という事です。AとBそれぞれに予算を投じて、結局似たような分析を双方で行ってしまう無駄を生み、かつ、同じテーマを異なる手法でアプローチすることで、微妙に異なる結果が２つ存在してしまい、それらをどう扱っていいのか分からず途方に暮れる。最後には、「とりあえず、両方並べておけばいいんじゃね」となり、クライアントさんも混乱するレポートが完成します。
こういった悲劇を避けるためには、どの部分はこっちのデータ（手法）を用いるべきで、どの部分はあっちのデータを用いるべき、という役割分担を明確にすることです。上記でいう「補完拡充モデル」のイメージです。
こういった役割分担を明確にすることで、同じ分析だけど結果が微妙に異なって扱いきれない地獄、を避けることができます。
例えば、上記の補完拡充モデルでは、
①定量調査は、代表性と再現性のある数字を確認することができる。一方で、ソーシャルリスニングは絶対値的なものを確認するには向いていない。では、定量調査の結果をレポート全体の骨組みにしよう。
②一方で、変数化していしまう定量調査では、生活リアリティが失われてしまい「本格感が重要！」となっても、どんな意味での本格感なのかピンときにくい。その点、ソーシャルリスニングはリアルな発言を捉えることができるので、こういった数字の裏のコンテキストを理解するのに適している。
というようなイメージです。
ただ、これをするためには、すべてのデータの得手不得手を客観的に俯瞰して、どの部分はどのデータを優先するべきだ、という判断を行うことが重要です。
どうしても、自分が担当している手法を無意識のうちに優先してしまい、知らないうちに、すべてを自分の領域に引き込むような設計をしてしまうことも少なくありません。
または、混合アプローチの案件に異なる組織から人が参加した時に、自分が担当しているデータ・手法以外は門外漢としてアンタッチャブルになってしまい、結局、手法の枠組みを超えて俯瞰するという事ができないケースもたくさん見てきました。
リード分析者の存在
では、このような難しさをどう乗り越えるのか、については、異なる手法をフラットに俯瞰でき、かつそれぞれの手法に関してある程度の理解をもった「リード分析者」の存在が必要だと思います。
設計段階でも、特定の手法に寄せていってしまうのではなく、各手法の強いところと弱いところを客観的に理解しており、組織やキャリアの枠にとらわれずに設計できることが、本当に価値のある混合アプローチの設計には必須です。
さらに、分析段階でも、各手法によって導き出された結果がどのような背景（手法的な）から生まれたもので、そこにはどのようなバイアスが存在していて、何を目的にした質問にはどのような優先付けで各データを判断するべきか、を一人の人間が判断することも重要です。
よくあるのが、混合アプローチのPJで、異なる手法を担当する別組織の担当者が複数トップ体制のチームを組んでしまうと、お互いが自分の担当領域以外には口を出さないことになり、まったく「混合」が起こらないことケースです。
結果、「じゃあ、各手法の結果を段落を分けて、くっつけましょうか」といった結論になる様子を何回も見てきました。
手法のサイロを超えて
シンプルにまとめると、手法（＝多くの会社ではチームや組織）の壁を超えた視点をどのように作り出せるか、が混合アプローチのキモと言えそうです。
正直この問題をどう超えていけるのか、というのはまだ見えていません。
上記にあるように失敗のパターンは見えていて、混合アプローチ系のPJはかなりの精度で未来予測が出来る気がします（笑）。
もちろん、成功例もあるにはあります。ただ、それはやはり「リード分析者」的なアクションがとれる例外的なメンバーがかかわった時だけに生み出されるものな気がしています。
ただ、この例外的なメンバーがいるかいないかが、唯一の成功要因としてしまうと、混合アプローチが属人的な方法論にもなってしまう訳です。今回はAさんが参加しているから成功するね。では困ります。
やはり、再現性のある横展開できる分析設計でなければいけないなぁ、と思うと、別の確度から手法のサイロをどう超えていくか、は引き続き考えていかないといけなそうです。