「効果測定」をやめよう

データ分析とインテリジェンス

2023年4月19日 20:26

「効果測定」だけが一人歩きしてませんか

データの仕事をしていると、知らないところでいつのまにかに行われた施策について「効果測定をしてほしい」と言われることがたびたびある。

とりあえず施策を行い後で振り返えればいいや、と考えている人が多いようだがこれでは正しい検証はできない。検証ができないから次の施策を決める時もまたとりあえず施策をする、が繰り返される。

これではいくら「効果測定」を行うために動いても施策の向上につながらない。そうなれば「データ」の役割の意味も無い。

そこでよくみかける「効果測定」の何がいけないのかと、どうしたらいいのかを考える。

「効果測定」を後で行ってはいけない理由

施策が終わってから「効果測定」を行おうとするといろいろな問題が発生する。

基準がないので判断できない

施策を行った後になって効果測定を始めるということは、施策を始める前にどれぐらいの効果が見込めるかを調べていないということでもある。ということは、これから何かを測定しようとしても基準がない。

基準がないので結果の良し悪しの判断がすぐにできない。仕方ないのではとりあえず気になる数字を色々と見てみる。しかしいくら数値を見て議論はしても基準がないのでやっぱり何も判断できない。

何も判断できなければ、次の施策に繋がらない。であれば、「効果測定」しているつもりでも実のところ何もやらなくても影響しない。

レポートを作って報告することが目的になってしまう

判断はできないことはわかっている、でも何もしないことに耐えるのは難しい。上司に何か報告しなければならないプレッシャーもある。

すると、とりあえず振り返ってレポートを作って報告することが目的となってしまう。何がうまくいったか、なぜうまくいかなかったかの検証も、これからどうなるからどうするのかもなくただ数字を読み上げるだけしかない。

レポートを作る時間だけでなく、レポートのためのデータを抽出する人の時間や報告を聞く人の時間も奪ってしまう。しかも、見返りはない。

都合の良い基準を後付けする

基準がないからと施策が終わってから「効果測定」のために基準を作り始めようとするのも問題がある。

それは、良し悪しを決めていないのをいいことに結果の数字を見てから後付けで都合の良い基準を決めてしまうことだ。その数値を持ち出して「うまく行っている」といったと報告する。それでも報告を受ける側のリテラシーが低いと通ってしまう。

これでは「効果測定」にならない。しかし、世の中の「効果測定」でよく見られる光景だ。

データが取れない

施策が終わってから効果測定をしようとしてもデータが取れないことがある。

特定の商品の購入数であれば購買履歴から後でもわかるかもしれない。しかし、店舗への来店数であれば施策が行われているそのときに数えないといけない。クーポンの出し分けならばあとで見分ける仕組みを先に組み込んでおかなければならない。

データがなければ正しい検証ができない。しかし「効果測定」はやらなければならないので、手元にあるデータを無理して使うしかなくなる。

「効果測定」は施策を決めるところから始まっている

戦略や施策には打ち手が数限りなくあるが、すべてを行うことはできない。なのでより効果的な方法やうまくいかなそうな案を先に調べて優先順位を決めなければならない。そうしないと時間と金を消費するだけの施策に注力してしまう上にその分の機会損失が発生する。

後になって「この施策にどれぐらいの効果があるのか調べよう」と考えるということは、そもそも「この施策でどれぐらいの効果が見込めるのか」を考えていない、ということでもある。これではいくら「効果測定」に手間をかけたところで何も生まれない。

つまり、後になって効果測定をすることが問題なのではなく、施策を行う前に調べる（つまり、データ分析を行う）ことがされていないのが本当の問題である。

例外として考えられるのは「リソースを大量に投入して施策を行わなければならないが、まったく前例がなくどれぐらいの利益が見込めるかめどがつかない」、「利益や効果を度外視して行わなければならない」ことぐらいだろうが、そうそうあるものではないだろう。

本当に必要なのは「次の施策のために検証と学習を行うこと」

さらに言えば、「効果測定」の目的は振り返ることではない。事前の準備を完璧にしてどんな「効果測定」を行ってももう終わっている施策には影響しない。

何が起きたのか、なぜ起きたのか、何をしたらこれからどうなるのかを分析するのは次の施策をどうするか決めるためである。

つまりある施策の「効果測定」は次の施策を行うための「データ」や「インテリジェンス」を作っているということでもある。これを認識していれば振り返るだけで終わってしまうことはなくなるはずだ。

まったく無駄にはならないとしても効率はよくない

すぐに次の施策に使うことがないとしても「効果測定」をしておけばいつかその「データ」が役に立つのでは、というのは確かにその通り。知見を得られればやりっぱなしで何もしないよりは良いだろう。

だが「効果検証」も真面目に取り組めばかなりのリソースを使う。投資としてリソースを使うだけの余裕（と上司の許可）が得られるならやっておけばいい。

その場合でも、「次の施策のため」という目的が無い場合に比べると曖昧で意味のあるアウトプットにはなりづらいことを意識しておこう。