中長期でビジネス成果を上げる、マーケターが意識すべき因果推論の考え方【第２回】
はじめに
Cheetah DigitalでMarketing Consultantを務めている小林です。
前回の記事に引き続き、CRMマーケティング領域におけるデータ分析の考え方について紹介していきたいと思います。
今回のテーマは、マーケティング施策やマーケティングアクションの効果を適切に測るための因果推論の基本的な考え方を紹介します。
因果関係と疑似相関
まず初めに、因果関係について確認しましょう。
よく取り上げられる例として、「アイスの売上」問題があるので紹介します。
まず、月ごとの「アイスの売上」と「平均気温」は因果関係があります。暑い時期ほどアイスが売れるというのは自明の事実ですね。
一方、「水難事故」と「アイスの売上」は因果関係があるでしょうか？仮にデータをプロットすれば、「アイスの売上」と「平均気温」のように同じような正の相関関係がみられるはずですが、この２つに因果関係はありません。
アイスの売上を減らしたからといって、水難事故を減らせるわけではありません。
この「アイスの売上」「平均気温」「水難事故」の３つの事象を図で表すとこのような構造に整理できます。（これを因果グラフと呼びます）
「アイスの売上」、「水難事故」はともに「平均気温」に影響を受けて変動する、というモデルになるはずです。
夏になればアイスは売れるし、海やプールでの事故も増えてしまう、ということですね。
「アイスの売上」と「水難事故」のように、因果関係がなくても相関として表れてしまうことを疑似相関と呼びます。
この例では当たり前に理解できることですが、実際のビジネスにおいて疑似相関を見極めることは非常に難しいことです。
「広告を出したら売り上げが上がった」
実は他の事象が影響して売上がたまたま上がっただけかもしれません。
疑似相関ではない根拠を示せますか？
第３者であるならまだしも、広告の企画・運用に携わった人であれば、それが広告の効果であると言いたくなりませんか？
もしその判断が間違っていた場合、無駄な投資や出費により、ビジネスにおいて不利な意思決定になるかもしれません。
ビジネス領域では、疑似相関を見極め、因果関係が本当にあるのかどうか判断することは非常に難しい問題であるとともに、意思決定において極めて重要な論点になるのです。
因果関係を証明する反実仮想の考え方
因果関係を証明する、またはその因果の強さを量的に推定することを因果推論と呼びます。
因果推論を行う上で重要な概念が、「反実仮想」という概念です。
たとえば、クーポンつきメールマガジンを顧客に配信したとします。配信した顧客全体からの利益が100万円だったとしましょう。
このクーポンつきメールマガジンの効果を確かめたいと考えます。
そこで、タイムマシンでクーポンつきメールマガジンを配信する前にさかのぼり、今度は何も配信せず、同時期の利益を計測してみると、利益は50万円でした。
したがって、今回のクーポンつきメールマガジンの効果は、利益+50万円である！と断言できます。
・・・という流れが、100％正しい因果推論の基本的な概念です。
お察しの通り、これは現実的には不可能です。
我々は、過去にさかのぼることができないので、「もし●●をしなかったら？」を何らかの形で実現する手段を考えなければなりません。
「もし●●をしなかったら」という概念を「反実仮想」と呼び、因果推論において最も根本的な考え方になります。
もしクーポンつきメールマガジンを配信しなかったらどうなっていたか？を計測・推定することで、このメールの効果を正しく測定しよう、という概念です。
反実仮想の代表的な手段、ABテスト
この反実仮想ですが、言葉ではあまり知らなくても、ビジネスでは当たり前に取り入れられています。
それが、ABテストです。
学術分野ではRCT（ランダム化比較試験：Randomized Controlled Trial）と呼ばれます。
このRCT、ABテストが、現状では最も信頼性が高く、妥当な因果推論の手法として用いられています。
例えば、プロモーションの実施群（介入群）と非実施群（統制群）に対象者をランダムに分け、その後の各群の売上や客数を比較することにより、プロモーションの効果を推定する。といった利用方法が考えられます。
ABテストはすでに常識的に利用されている手法であり、ご存知の方も多いと思います。
ABテストの制約
ABテストが現実的に実施できる最も正確かつ簡単な効果検証方法の一つですが、あらゆるマーケティング課題に対してABテストを実施するには多くの制約があります。
十分なサンプルサイズが必要
バイアスの除去
外部要因の影響
倫理的、ビジネス的な実現要件
サンプルサイズは分かりやすく、グループが小規模すぎるマーケティング施策の場合はABテストが難しいケースがあります。
バイアスは介入群・統制群間で、グループの属性が偏ってしまうケースが該当します。例えば優良会員と離反会員で分けたマーケティング施策の成果は両者に属性のバイアス（偏り）があるため、ABテストと同じように考えることができません。
外部要因の影響は、季節性・周期性・天候などが当てはまります。特定の事象によって、実験群・統制群の差異が正しく測れない可能性があります。
倫理的、ビジネス的な実現要件は、障壁になるケースが多い事象です。例えばロイヤルティプログラムをローンチさせるにあたり、一部の人にはロイヤルティプログラムを適用し、一部の人を対象外とする、といった行動は実現させづらいと思います。
このように、ABテストは設計さえ問題なければ最適な効果検証方法の一つであると言えますが、適用できるケースに限度があります。
このようなケースでは効果検証をあきらめるしかないのでしょうか？
経済学、社会学等幅広い領域では、このような課題に対応する一つの手段として「自然実験」が活用されています。
これはマーケティング領域においてもABテストの代替手法として有効な選択肢の一つです。
自然実験
2021年、「自然実験」の方法論開発への貢献によりノーベル経済学賞がアメリカの経済学者に授与されたことで、「自然実験」の知名度が一気に広まりました。
「自然実験」は、事前の設計や意図的な介入なしに、自然に発生した事象から因果関係や因果効果を推定する方法論であり、ABテストが難しいケースにおいても因果推論を行うことが可能と考えられています。
代表的なものを紹介すると、
差分の差分法（DID : Difference-in-Difference）
回帰不連続デザイン（RDD : Regression Discontinuity Design）
操作変数法（IV : Instrumental Variables）
合成コントロール法（Synthetic Control Method）
それぞれの解説は専門書や他ウェブサイトに任せますが、多様な効果推定の手段があり、ABテストが難しいからといって効果検証をあきらめるのは早計です。
それぞれの手法について、どのようなケースに使えるのか？どのようなアウトプットが導き出せるのか？については、またこちらのブログ内で紹介していきたいと思っていますのでお楽しみに！
効果検証を活かすために
因果推論の考え方やABテストが難しい場合にも、因果効果を推定する手段があることを紹介してきました。
効果検証は、さまざまなマーケティング施策やマーケティングアクションが、目的達成に貢献しているかどうか？を判断する重要なメジャーとなります。
場合によっては、まったく売上に貢献しないことに多大な労力を払っていた、などの事実もある可能性があります。
適切なPDCAを回すためには、「マーケティング施策の目的は何か？」という点と、「マーケティング施策の効果をどのように測定するか？」という２点を明確に定めることが有効です。
第１回でご紹介した、CRMマーケティングを進めるための重要KPIや、今回の効果検証の概念を参考に、皆さまが関わっているマーケティング施策が、本当に効果的なのか再考するきっかけになれば幸いです。
Author
小林 寿 （Hisashi Kobayashi）
Marketing Consultant
マーケティングオートメーション・ロイヤルティプログラム領域のマーケティングコンサルティングを担当。市場調査・政策評価・マーケティングアナリティクス・因果推論等が専門。
分析・クリエイティブ・製品・最新技術など…マーケティングに役立つ情報を発信中！
＞ チーターデジタルBLOGはこちら