Tableauでビジネス施策の成果を検証する方法②（差分の差）：その売上増加は本当に施策による効果か？
はじめに
こんにちは！Akihisa Tableau（@songshanhj）です。前回、t検定を使ったA/BテストをTableauで実現する方法を提案しました。このVizでは、関東と関西で、家電を購入した消費者の顧客単価に差があるのかどうかを統計的に検証しました。
この検証では、AとBというグループ間での比較を行いましたが、実際のビジネス施策では、ある時点でのグループ間比較だけでなく、施策前後でのグループ間比較を行いたい場面が多いかもしれません。例えば、新しい広告キャンペーンを導入した後の売上が、導入前と比べてどれだけ増加したかを知りたい場合などです。
しかし、売上が増加したとしても、それが施策の効果によるものなのか、市場全体が成長トレンドにあるためなのかを区別する必要があります。他にも、2020年以降の売上増加を見たときに、それがコロナ明けだから伸びただけではないかと言われることもあるでしょう。このような場合、差分の差法（Difference in Differences、DID）を使うことで、施策の真の効果をより正確に検証することができます。
差分の差法（Difference in Differences、DID）とは？
差分の差法は、ビジネス施策の効果を測定することができる統計手法です。この手法では、施策実施対象のグループと施策実施対象外のグループの、施策前後の変化を比較します。具体的には次のような手順で進めます。
施策前のデータ計測：施策対象と対象外の両方のグループについて、施策前の売上データを収集します
施策後のデータ計測：同様に、施策後のデータも収集します
各グループの変化（差分）の算出：施策前後の差を計算し、それぞれのグループでどれだけ変化があったかを確認します。
差分の差の算出：施策対象と対象外の変化の差（差分の差）を計算します。これにより、施策の効果を純粋に測定することができます。
上記の画像には、差分の差をわかりやすく説明するために、存在しないデータ（グレーのライン）を併記しています。これは、仮に施策を実施しなかった場合に、施策対象グループの売上がどうなったかを、施策対象外のラインと並行するように補助線として引いたものです。
この補助線の意味は、2020年から2024年にかけての市場の成長やコロナ明けといった、施策以外の効果による売上増加を表しています。そして、実際の施策対象グループとこの補助線の差が、純粋な施策の効果を示すことになります。
Tableauで差分の差法を実施したワークブック
データ
サンプルスーパーストア
差分の差法のテーマ
私は、全国に展開する家具や家電など幅広いカテゴリを卸売販売するスーパーストアを運営しています。また、近年は市場が成長傾向にあり、順調にオーダー数を伸ばしてきました。そのような中、2017年以降にさまざまな商品で新モデルが発売されるという情報を得たため、2016年に割引キャンペーンを実施してオーダー数を伸ばそうという企画を実施しました。
その後、2017以降の施策に活かすため、今回の施策がどれほどオーダー数の上昇に効果があったのかを検証することにしました。
オーダー数推移の通り、市場は成長傾向にあるため、今回割引対象としたグループ（オレンジ）と、割引対象外のグループ（グレー）のどちらもオーダー数を伸ばしており、2015年から施策を実施した2016にかけても同様に伸びています。ここで、よくみると、割引対象のグループの方がやや増加率が大きいように見えます。
そこで、2015年と2016年のオーダー数の差分を可視化したところ、割引対象のグループは+92、割引対象外のグループは+58と、どちらも増加傾向にあります。割引対象外のグループも順調に増加していることから、このオーダー数の増加（差分）は単に市場の成長によるものなのではないか？と指摘があるかもしれません。
ここで、割引対象のグループは、仮に割引がなければ+58くらいの伸びだっただろうと仮定し、差分の差を算出すると、純粋な施策の効果は+34（92-58）だとわかります。施策以外の効果が58であるのに対し、純粋な施策の効果が34と、5割以上の差があることから、施策の効果は確かにあったと報告することができます。
余談
前回のA/Bテストをt検定という統計的な手法で実施できたように、差分の差も重回帰分析などといった統計的な手法で、より説得力を持った検証方法があります。今回は、Tableauでの重回帰分析は見送り、その手前段階でも視覚的に説得力のある差分の差法ができるということを提案しました。