効果検証の解釈を行うときに意識していること
この記事はRetty Advent Calendar 2023の20日目の記事となります！
はじめに
Rettyでプランナーをしている今井です。現在はtoCユーザー向けの体験を向上させるための分析・企画・実行を行っています。
今年は自分で企画した施策の効果検証を行うことが多かった年だと振り返っています。
施策は何らかの仮説を検証するために行います。ただ、仮説が外れた場合になぜその結果になったか？や事前に立てた仮説以外にも他にどんな影響があったか？を深く分析することで学びのある施策になります。
効果検証について色々調べる中で、手法についてはよく出てきますが、上記の問いに対する仮説の立て方はあまり見つからなかったので、自身の振り返りも兼ねて整理してみました。
仮説を立てるためのステップ
ステップは以下2つです。
① 施策リリース前後の差分を考える
② 差分によるユーザーの行動変化をデータと合わせて考える
① 施策リリース前後の差分を考える
効果検証分析というのは非常に難しいです。施策による変更差分以外同じ条件に揃えられるのが理想です。しかし、現実はABテストができなかったり、ABテストができても、実は各グループにおける訪問者の性質を均質にできておらず、バイアスが取り除き切れない可能性があります。
そのため、まずは施策内容含めて差分が何かを考えるようにしています。
差分は以下の要因によって起きる可能性があります。（経験則）
それぞれ補足をしていきます。
施策内容
ここは当たり前の差分ですが、仮説と違ったデータの傾向が見られた場合、施策による変更内容を振り返ると、事前に想定していなかった仮説が生まれることがあります。
UIの変更に関しては、どこを変更したか細かく書き出して客観視すると思いつきやすい感覚があります。
外部環境の変化
施策効果を見る上で、季節性トレンドを考慮した分析が必要になりますが、ABテストができない場合、精密に考慮することは難しいです。
例えば、飲食店の繁忙期である忘年会シーズンではネット予約が殺到します。その時期にネット予約を増やす施策を打った際にタイミングが悪いと、施策対象店舗ではすでにネット予約の受付を停止しており、施策効果がないように見えてしまう可能性があります。
また、季節性トレンド以外にもメディアの取材やSNS等のバズりによって、特定のお店に流入が集中するといったケースも考えられます。
こういったリリース後でないと気づけないケースもあり、このような外部環境の変化がないか常にアンテナを張るようにしています。
内部環境の変化
社内で複数の施策が同時期に走るケースがあります。その際は、自分が担当した施策結果に影響が出る可能性があるため、社内の施策状況を把握するようにしています。
例えば、キャンペーン施策が走っていることでCV熱量が高い性質を持つユーザーの訪問が増えていた場合などが考えられます。
また、CV動線が表示されない等の開発系インシデントも可能性として考えられるため、インシデント周りの情報把握も欠かせないです。
データの不具合
稀に検証に必要なデータが欠損or多重発火しているケースがあるため、想定を超える数値の増減が起きた際にデータが取れているか疑うようにしています。
② 差分によるユーザーの行動変化をデータと合わせて考える
何が差分としてありそうかが分かったら、次はその差分によってどんな行動変化が起きそうか？を得られたデータと紐づけて考えます。
考える際の観点は二つです。
・体験向上/毀損
・影響範囲
体験向上/毀損
差分によって、体験向上しているもしくは、体験毀損している箇所はないか考えます。
特に仮説が外れた場合、「なぜ数値が上がった/下がったか？」という問いよりも「施策によって何ができるようになったか？」という問いの方が客観視ができるので、仮説の発散がしやすい感覚があります。
また、「ファネルとセグメントの分解」という発想も仮説立てに役立ちます。
Rettyでのファネルの例を挙げると、ネット予約率（CVR）はネット予約クリック率とそこからの予約完了率の2つに分けられるので、CV率は変化がなくても、ネット予約ボタンのクリック率は上がっているのではないか？といった発想です。
セグメントの例も挙げると、口コミ関連の施策を打ったなら、店舗の投稿口コミ数によって体験が変わっているのでは？といったイメージです。
上記のファネルとセグメント分解の発想は以下の記事が元になっています。
https://careerhack.en-japan.com/report/detail/1467
影響範囲
差分による影響がどの程度の範囲まで起きそうか考えます。
経験上、影響範囲を点・線・面に分けて整理すると考えやすいです。
点：一連の体験の中の一部のみ影響
線：一連の体験の中の複数ポイントに影響
面：一連の体験を超えた範囲に影響
具体例を挙げてみます。
グルメサービスでネット予約するために会員登録が必要だったのを、ユーザーの予約行動へのハードルを下げるために廃止する施策を行うとします。
一連の体験イメージは以下です。
「予定が生まれる」→「お店を探す」→「お店を決める」→「予約する」→「来店する」
その施策の影響を点・線・面で考えてみると、例えばこんなイメージになります。
点：会員登録なしでネット予約できることで、予約フォームの離脱が減る
線：ネット予約への手間やハードルが下がったことで、予約フォームの離脱が減るが、仮押さえ目的の予約が増え、予約キャンセルが増える
面：ログインしていないと、メルマガ配信によるお店訴求ができないため、ログイン予約ユーザーと比べて、リピート予約が少なくなる。
影響範囲は施策によって変わりますが、点・線・面という観点を持っておくと他にどんな影響があったか？という視点で深く分析することができます。
以上のプロセスを経ることで仮説が出てくるはずなので、それをデータなりで検証していく流れになります。整理してみたものの、まだまだアップデート余地がありそうな感覚があるため、今後も振り返り&言語化していきたいと思います。