マーケターの施策効果把握がほとんど間違えてるんじゃないか説
【更新情報2024年5月26日】
「その決定に根拠はありますか？」
確率思考でビジネスの成果を確実化するエビデンス・ベースド・マーケティング
戦略を導く為の「エビデンスの作り方」をテーマに、これまで体系化してきたノウハウを紹介したマーケティング・インテリジェンスの書籍を出版致しました。5問の調査でTVCM（施策）→コンビニで商品を見た（要因）→売上がいくら増えたか？→年間16.67億円（効果）の様に経路ごとに構造的に効果を把握する国際特許（PCT）を出願した分析法など、確率モデルや因果推論をプロジェクトで実際に活用している方法を特典の動画講義も活用して実装レベルの知識まで提供しています。
マーケターの施策効果把握がほとんど間違えてるんじゃないか説
このnoteは説について「検証」するものではありません。日本のマーケティング効果検証のスタンダードを変えていく為に分析方法についてご紹介するnoteです。
TVCMを投下すると売上はどれだけ増えるのか？
ユーチューブの動画広告などインターネット広告を行った際にネットでの販売は計測できるが、実店舗の売上も増やしているのではないか？
こうした課題に対し、効果を定量的に把握する為の分析法はいくつかあります。しかし、マーケティング業界であまり知られていないようです。私はそうした分析を得意にしていますが、それら手法に付帯する統計や因果推論の知識、例えば交絡因子とか言い出すとだいたいドン引きされます。データドリブンとか、AIだとか、デジタルトランスフォーメーションとかバズワードの話のほうが楽しいですからね。文系右脳カルチャーの方が多いマーケター（かくいう私も元はそうですが）になんとか理系左脳カルチャーの分析知識と思考について馴染んでもらう為、かみ砕いてご紹介しますのでぜひ読んで頂けると幸いです。効果を定量化して把握できると「マーケティングはもっと楽しくなる」ことだけは間違いありません！
たとえば、全国数千店舗の飲食店舗チェーンが行う下記の1、2、3のマーケティング施策に対する店舗売上数への影響を検証するケースを考えてみます。
1.TVCMの放映による影響
2.店舗を禁煙にすることによる影響
3.店舗運用やシステム開発と連動する大規模なアプリやサイトの利用による影響
数千店舗の業態であれば、1，2，3全て億円単位または数十億円単位の投資規模だと思います。インターネット広告の効果指標は誰でも見れますが、こうした大きな枠組み（または大きな投資）での施策の効果把握は誰でも分かる指標はありません。そこで必要になるのが数理モデルや因果推論の分析が必要です。
【数理モデルの分析】
1の場合には売上の時系列の変動をTVCMなどの時系列の推移によって説明する数理モデルを用いることで、TVCM他、マーケティング施策や販促などの内的要因や天候や気温やトレンド要因などの外的要因、それぞれの一単位が売上をいくら増やすか？効果（専門用語では「介入効果」）を推定することができます。「マーケティングミックスモデリング」という分析手法です。これについては、拙書「Excelでできるデータドリブン・マーケティング」で学ぶことができます。
あらかじめ申し上げると、この書籍の難易度はココイチカレーで例えると5辛くらいです。本来こうした分析は高度な分析サービスとして年間数千万円規模のフィーで提供されることもある内容である為、頑張って克服してもらいたい辛さです。
(ご参考）読者の方の書評より
2については、全店舗で禁煙を実施した後の単純な前後比較では正しい因果推論ができない為、まずはテストケースとして禁煙する店舗の集団と禁煙しない店舗の集団を比較することを推奨します。1についてもTVCMの接触者と非接触者で比較、3についてもサイトやアプリの利用者と非利用者を比較する方法も考えられます。これが因果推論の分析です。
【因果推論の分析デザイン】
施策の影響がもしなかったら？という状況（専門用語で「反事実」）はタイムマシーンが無ければわかりません。そこで、施策の影響がある集団とない集団と比較し、売上の差分を効果として把握する方法があります。
こうした際には原因（TVCMや禁煙、サイトやアプリなどの施策）→結果（売上）の介入効果を推定するため、2つの集団を比較する際に施策の影響の有無以外の条件を同一にする必要がありますが、それを満たす為には無作為に抽出された2つの集団に対して、片方は施策を実行し片方は実行しない。といった実験が適しています。ただ、無作為抽出の２つの集団のうち、投薬するしないといった検証は行いますが、TVCMの効果把握の為に、片方の集団だけ、TVCMを見てもらい、「態度変容しましたか？」なんて聞くのは回答バイアスがかかると思うので行われません。
理想的な実験ができない場合が殆どです。そうした場合には実験に近い状況を分析によって導くのが「準実験」です。
マーケティングの現場では、介入効果を推定する為に本来比較してはいけない2つの偏った集団（施策の影響ありなし）を比較しているケースを多く見かけます。たとえば、健康診断を受けている人と受けていない人を分け、その２つの集団の健康状態を比較することで健康診断（原因）→健康（結果）の効果（因果関係）を把握しようとするといったケースです。この場合、国民それぞれの健康意識の高さが、健康診断に行く（原因）と健康（結果）に双方に影響することが考えられ、健康意識が高い人ほど、健康診断に行き、健康意識が高い人ほど良い健康状態である傾向にあるため、（健康診断）を受けた人と受けていない人を比較した健康状態（結果）の差分には、健康意識の高さが健康状態にもたらす影響を含むため、差分から健康診断（原因）による健康状態（結果）への介入効果を推定できません。
ここでの健康意識のことを専門用語で交絡因子と言います。原因と結果、双方に影響を及ぼす、原因と結果以外の要因のことです。
飲食チェーンの事例2の場合はテストで禁煙を実施した店舗と実施しない店舗の比較の場合は、禁煙を実施した店舗が喫煙者が多いビジネス街のエリアに立地している場合が多いといったことが、3の事例の場合はサイトやアプリを利用する人はブランドに対するロイヤリティが高い傾向があることがそれぞれ交絡因子になるかもしれません。
1と2についてはTVCM、または店舗禁煙の事前事後で売上を単純比較することによる判断がよく行われています。単純な前後比較は因果推論ではNGです。季節性ほか、TVCM以外のトレンド要因などを考慮できないなど多くの問題を含んでいるからです。効果検証の為に2つの集団を比較するなどの準実験の正しい分析デザインが必要です。マーケティング業務に付帯する分析が自動化され探索的、自動化する手法の開発や普及が進んだとしても、交絡因子によるバイアスについては、分析者（人間）の判断が必要です。そうした演繹的な思考まで代替してくれるAIが登場するにはまだ時間がかかるはずです。マーケティングにおけるデータ分析のAI活用の前に、まずマーケターが学ぶべきこととして因果推論に興味を持って頂きたいと思います。それを学ぶにあたって、ココイチカレーで例えると1辛位で読みやすいオススメ書籍が「原因と結果の経済学」です。大ヒット書籍「統計学が最強の学問である」シリーズ著者の西内氏の推薦書籍です。ビジネス書の文脈でわかりやすく紹介しています。
実はさらにオススメしたい書籍「岩波データサイエンスVol.3」があります。「原因と結果の経済学」の執筆者となる津川氏も執筆に参加されています。インテージのシングルソースパネルで分析したゲームアプリのTVCMの効果把握の分析デザインの事例では、TVCMに当たった集団と当たっていない集団を比較すると、前者のほうがゲームプレイ回数が少ないなど、ゲームアプリの関与度が低くなっており、TVCMに当たったほうがゲームしなくなっちゃうの？と判断するのではなく、バイアスを補正する分析によってTVCMの効果を把握する方法が紹介されており、デモデータまで公開されています。統計や因果推論のゴリゴリの方達からすると優しい書籍の部類に入りますが、（統計や因果推論の馴染みがない）マーケターの方はココイチカレーで10辛だと思いますが、無理を承知で全てのマーケターの方に読んで頂きたいと思います。私にとってはバイブルです。
10辛はなあ。と思った方に朗報です。こちらは2~3辛位です。
実は、拙書「Excelでできるデータドリブン・マーケティング」も西内氏にご推薦頂いております。「統計学が最強の学問である」は50万部超売れてる大ヒットシリーズですが、もしまだ読んでいない方がいればぜひ！私が一番好きなのは「ビジネス編」です。（※ココイチカレーでの指数評価は控えさせて頂きます。）
「マーケティングサイエンスをもっと身近に。」これが私のモットーです。次回執筆書籍ではビジネス書の文脈でこれら先人たちの知見をマーケター寄りに分かりやすく、実践的にご紹介するものを考えています。noteやツイッターでは、マーケティングサイエンス、次回作に関連する情報を発信していく予定です。よろしければフォロー頂けますと幸いです。
【note】
https://note.mu/ogataka
【Twitter】
https://twitter.com/dancehakase
【更新情報2024年5月26日】
「その決定に根拠はありますか？」
確率思考でビジネスの成果を確実化するエビデンス・ベースド・マーケティング
戦略を導く為の「エビデンスの作り方」をテーマに、これまで体系化してきたノウハウを紹介したマーケティング・インテリジェンスの書籍を出版致しました。5問の調査でTVCM（施策）→コンビニで商品を見た（要因）→売上がいくら増えたか？→年間16.67億円（効果）の様に経路ごとに構造的に効果を把握する国際特許（PCT）を出願した分析法など、確率モデルや因果推論をプロジェクトで実際に活用している方法を特典の動画講義も活用して実装レベルの知識まで提供しています。
※3のケースにおいて、例えばサイトやアプリを利用した上で発生した売上は全部トラッキングできるだろ！と思う方もいるかもしれません。TVCMがきっかけになってブランドのアプリやサイトを開いて購買するケースではTVCM（原因）→購買（結果）となります。そうした効果も把握しませんか？と申し上げたいわけです。
※タイトル画像については私も大好きな超人気番組、水曜日のダウンダウンのタイトルコールを加工した方の動画素材を使用させて頂きました。https://www.youtube.com/watch?v=NlFjgVgI9O4