ABテストの効果測定を仕組化し、ホームズ賃貸プロダクトのPDCAサイクルを高速化した話
こんにちは。不動産・住宅情報サイト「LIFULL HOME'S」で賃貸領域の企画を行っている斉藤です。
過去エンジニア職だった経験から、エンジニアリングスキルを活かしながらプロダクト改善に取り組んでいます。
今回は、日々賃貸プロダクトの改修において無くてはならない、ABテストの効果測定の運用を楽に正確に行えるようにしたことで、ABテストのPDCAサイクルを高速化した話をします。
経緯
LIFULL HOME'Sでは、ABテストの効果測定を行う際、計測ツールから取得したアクセスログを集計し、スプレッドシート上で整え、既存パターンに対してチャレンジパターンがコンバージョン数が増えているかなどの数値を見てABテストの成否を判断しています。
今回、LIFULL HOME'Sで使用していた計測ツールを別のツールへ変更したタイミングで、ABテストの効果測定もそれに沿ったやり方に変更する必要があったため、この機に、計測ツールのGUIや既存の効果測定ファイルが抱える課題を解決できないか？と考えました。
＜効果測定に関する課題＞
計測ツールのGUI
問合せ手段※ごとに異なる価値を踏まえた総合的な比較ができない
電話問合せボタンのタップ数は計測できるが、荷電につながったかまではわからない
既存の効果測定ファイル
統一されたフォーマットが無く、企画担当者が独自に作成、もしくは、他の効果測定ファイルをコピーし、カスタマイズしていた。
※LIFULL HOME'Sでは、電話での問合せや見学予約など、複数の問合せ手段が存在します。
上記の課題を解消するため、新たな仕組づくりに取り組むことにしました。
完成形
いきなりですが、完成形はこちらです。
今回仕組化したのは、黄色い背景部分で、以下の２工程あります。
ABテストによるパターンごとのコンバージョン数や直帰率などの数値を、デイリーおよび実施期間中の性能差や月間インパクトを可視化。
統計学上においてパターンごとの性能差を測るため、ベイズ推定の手法を用いた勝率等の判定
また、元々1のみの構成だったのですが、これまでABテストで用いていたカイ二乗検定という手法では、サンプルサイズが集まりやすいページと集まりにくいページとで有意差の出やすさに差が出てしまうといった課題があり、後から付け加えられました。
誰でも扱えるための工夫
どちらの工程も、誰でも扱えるようにするための工夫を行っています。
まず、1の工程では、ログデータが溜まっているBigQueryからデータを取得し、専用のテンプレートを用いて集計を行います。
その際、データ取得に指定しているSQLを直接企画者がプロジェクトごとに内容を書き換えるのはハードルが高いため、設定用のシートを設け、そこの値を各種プロジェクトごとに書き換える方式にしました。
開始日と終了日、ユーザーパターンごとにログに吐き出し分けている値を指定するだけです。
また、データ取得にはスプレッドシートが元々備えている「コネクテッドシート」というものを用いており、簡単に自動更新設定ができます。
次に、2の工程では「RStudio」という、R言語を扱うためのソフトウェア上で実行するためのファイルが必要になるのですが、ジェネレータを作成することで、ここでもコードを直接書き換えることなくプロジェクトごとの設定が出来上がるようにしました。
（「生成！」ボタンを押すとGASが発動し、Googleドライブ上に実行ファイルが保存されます）
これによって、施策ごとの企画担当者は一切SQLやR言語のコードを見ずに短時間で効果測定の準備ができるようになりました。
また、これまでは効果測定の数値が怪しい時に、抽出や集計方法が正しいかを施策ごとに見直していましたが、そういったリスクがなくなりました。
様々なプロジェクトへの適用
施策ごとに異なる必要なデータを包括的に表示する形でテンプレート化していますが、運用の過程で使用者（企画メンバー）から要望が生まれるため、汎用性に応じてテンプレートを改修し続けています。
例を挙げますと、様々なユーザータイプへの対応があります。
元々、下記の1～4のユーザータイプごとに各種指標が見られるよう、テンプレートを用意していましたが、ABテスト対象ページがランディングページになったユーザーとそうでないユーザーを集計した5, 6番が追加されました。
ABテストの対象ページを見る全てのユーザー
ABテストが開始された後に初めて来たユーザー
＝ABテストが開始される前に訪問したことがあるユーザーを除外初訪
リピーター
ABテストの対象ページがランディングページになったユーザー
ABテストの対象ページがランディングページになったユーザー以外
これによって、次の改善施策を生み出すための課題を浮き彫りにするだけでなく、例えばABテストの対象ページにがランディングページになったユーザーにしか効かない施策であれば、対象ユーザーにのみ施策内容を適用させるといった判断ができるようになりました。
このようなテンプレートの改修を重ねていくことで、基本的な効果検証はテンプレートを用い、特殊な数値を見る必要がある施策は個別に計測ツールのGUIを用いて分析を行う、といった住み分けができるようになりました。
副次効果
ここまで記載した方法によって、誰でも簡単に効果測定を行える土壌を整えたのですが、メリット享受はプロジェクトの企画担当者だけではありません。
これまで、企画者がそれぞれ独自に効果測定シートを作成していましたが、テンプレート化することで、どのシートのどのセルを見ればどの数値が見られるかが統一されたため、数値をチェックする側にとっても読み解く負担や時間が軽減されました。
上記によって様々な工程の時間短縮が行われ、別のことに時間を割り当てられるようになります。
最後に
最後まで読んでいただいてありがとうございます。
プロダクトが成長しているかの評価を、正しく素早く的確に行えるか。といった、プロダクトマネジメントの屋台骨ともいえる効果測定の仕組化について書かせていただきました。
自身が担当する施策を成功させることはもちろん大事ですが、チーム全体の施策の精度やスピードが上がることも、非常にやりがいのある活動であると感じています。
この記事を通して何かしらの参考になれば幸いです。