ビジネス現場でありがちな効果検証のミスリードあるある

私は長らく営業職（コンサルティング営業）や企画職（マーケなどの企画系）の領域に携わってきました。
業務を進めていく上で、現場にデータ系専門職の方がいれば良いのですが、全ての組織にそのような方がいるわけもなく…
その場合、何か施策を打ったとなると、企画者などの方が効果検証を行うことになります。私も自分で効果の測定を行ったことは多々あります。
自身の経験を振り返ってもそうなのですが、企画や施策内容を作り込むことには熱心でも効果測定や分析が結構テキトーな事ってありませんか？

過去の自分を振り返ると
「あれは全然正しくなかったな…」と思うことが多々あります。
今後も全ての組織にデータ系専門職の方が存在することはないだろうという仮定のもと、自身の学びをnoteにすることで、少しでも多くの非専門家の方々のお役に立ちたいなと思っております。
そこでこの記事では、ビジネス現場でありがちな効果検証のミスリードとその対策（今ならきっとこうする！）について書いていきます。

なぜ効果検証が重要なのか？

そもそもなぜ効果検証が重要なのか？ですが、
事業において、「今何が起きているか」を正しく把握することは基本中の基本です。
ここを間違うと、現状把握→課題認識→要因抽出→打ち手策定・実行のプロセスにおいて、スタートから間違ってしまうことになり、事業を誤った方向に進めてしまうリスクがあります。

あるある①そもそも分析要件をちゃんと作っていない

これは、ものすごく基本ですが、忙しかったり担当者の力量不足などで出来ていないこともあるのではないでしょうか。
分析要件がちゃんと作られていないと、正しく効果検証が出来なくなってしまいますよね。

■状況
分析要件が作られていなかったり、浅かったりする
└評価する指標がテキトーに設定れされている
└ネクストアクションを加味した評価指標になってない
└関係者に合意をとっていない
└取得に時間がかかる or コストの高い指標で評価しようとしている
など

■対策
事前にちゃんと要件を決めましょう。
└何をもって評価し、その評価によってどんなネクストアクションが想定されるのか
└取得すべきデータは施策を遂行する上で現実的なコスト（費用、時間、労力）の範囲で取得可能か
└関係者に合意を取っているか
など

あるある②RCT（ランダム化比較実験）になっていない

RCT（ランダム化比較実験）とは、ある介入を行うこと以外は条件が公平になるように、対象の集団をランダムに複数のグループ（介入群・非介入群など）に分けて介入の影響や効果を測定する手法です。
簡単に言うと、Webページでよく行われるABテストのように、ユーザーに対してランダムに2つのパターンのページを見せて、どちらがCVするかを測定するようなものです。
RCT（ランダム化比較実験）の良いところは、セレクションバイアスをなくしてくれるところです。

例えばWebページのAパターンとBパターンをランダムに出し分けせずに、一定の期間ごとに比較したとしたら、AとBの違いは”ページの違い”以外に”期間の違い”が存在することになります。
すると、仮にAとBに差があったとしても、差の原因は”ページの違い”なのか”期間の違い”なのかわからなくなってしまいます。

ということで、施策の効果を正しく確かめたいなら、極力RCTで検証すべきです。
※ただし、事業やサービスの特性上、RCTが出来ない場合を除きます。
また、介入群、非介入群に振り分けは出来ているものの、それがランダムな割付になっておらず、バイアスがあるグループ分けになってしまっているパターンもあります。これだと、効果を正確に検証することが難しいです。

■状況
・RCTが出来るにも関わらず、前後比較をしている
・ランダムなグループ（介入群・非介入群）の割付が出来ていない

対策は下記です。

■対策
・効果検証は出来る限りRCTで行うようにする
・その際、割付がランダムになっているか、必ず確認する

RCTできない状況下であればDID（差分の差分法）など、前後比較でもセレクションバイアスを減らす方法を採用するのが良いかなと思います。

あるある③誤差と効果の区別がついていない

「その差って、効果じゃなくて誤差じゃない…？」と思ったことがある方、多いのではないでしょうか。何かの数値を観測する際、常に一定の値をとるものよりも、常に微妙な変化を繰り返しているものは多いです。
厳密には全ての変化には要因がありますが、
「その変化は常に起こっているような変化（誤差）なのか、それとも施策などの介入によって起きた変化なのか」によって、意思決定やネクストアクションは大きく変わりますよね。
その差が誤差なのか効果なのかを判断する方法として、統計的仮説検定を使うのがおススメです。

■状況
偶然生じた差を効果としてしまう

■対策
統計的仮説検定によって判断する

あるある④有意差がつくまでひたすらテストし続ける

ABテストなどのRCTを行っている場合ですが、統計的仮説検定で有意差がつくまでひたすらテストを回し続けて、有意差が出たらテストをやめる、という方法をとっている方も多いのではないでしょうか。
しかし、本来は大して意味のない違いである両者も、サンプルサイズを増やし続ければいつか有意差はついてしまいます。
「どんな些細な効果であっても、実装にほとんどコストはかからないから、有意差がつくまでテストを回し続ける」みたいな考えであればいいかもしれませんが、有意差がつくまでひたすらテストを回し続けるのは、大して意味のない結果を反映させる=意味のない仕事を増やすことになるかもしれません。やはり、実施するテストに必要なサンプルサイズを逆算しておくのが良いと思います。

■状況
有意差がつくまでひたすらテストを回し続ける。しかし、サンプルサイズを増やし続ければ、本来意味のない事象もいつか有意差がついてしまう。

■対策
事前に介入群、非介入群の差の仮説から、必要なサンプルサイズを計算しておく。そこに到達して有意差がなければ、両者には違いがなかったと結論付ける。

あるある⑤因果と相関を間違う

たまにあるのですが、
例えば増やしたい”売上”と”A”という指標に相関があったとして、
「Aを増やせば売上が伸びる！」と施策を実施してAを増やしたけど、売上が全然増えなかった…
みたいなことってありませんか？Aと売上に相関はあったけど、因果はなかったパターンです。
相関と因果は違うので、そこを間違ってしまうと、意味のないアクションを行うことになってしまいますよね。

■状況
相関があることを、因果と同じように扱ってしまう

■対策
・もしその””原因”がなかったら、その”結果”が起こるのかどうか　をしっかり考える
・RCTによってミニマムでテストを行って確かめる
など

因果と相関の判断が難しい場合は、最小コストでRCTでテストしてみて、判断するのが現実的で良いと思います。

以上、ビジネス現場でありがちな効果検証のミスリードあるあるとその対策案でした。少しでも皆様にお役立ていただけると嬉しいです。
また、何かおかしいところがあれば、ぜひご指摘いただければ幸いです。

最後までお読み頂きありがとうございました。
また書きます。

------------------------------------
よかったらtwitterのフォローもどうぞ。
https://twitter.com/MasayukiAbe7
------------------------------------