ABテストでわかる、サービス改善はかなりの確率で失敗する事実
自動家計簿・資産管理サービス「マネーフォワード ME」のデザイナー池内です。
現在、「マネーフォワード ME」の開発チームでは多くの施策でABテストを行っています。そして、よかれと思ったサービス改善はかなりの確率で失敗します。この記事ではその現実と、ABテストの有効性について解説します。
サービス改善はかなりの確率で失敗する
マネーフォワード MEの最近のABテストで成功した例、失敗した例をそれぞれあげます。
成功した例
・会員登録直後のウォークスルーでプレミアム機能を紹介
・会員登録に使うSNSアカウントの表示順や種類をOSによって変更
・連携する金融機関のフリーワード検索結果を改善
失敗した例
・ホームに表示する新規ユーザー向けの機能紹介のデザインを変更
・アプリ初回起動〜会員登録画面までのアプリ内容紹介の画面数を減らす
・連携する金融機関のカテゴリ一覧画面に、ユーザーがすでに持っている金融機関を表示
上記はほんの一例ですが、おおよそ半数の施策は失敗しています。失敗した例もダメ元で行ったのではなく、成功の可能性が高いと思って行った施策です。
この事実は大いに示唆がありました。どんなに調査を行ったりチームで議論しても失敗することがあるのなら、失敗してもよい前提で施策を行う必要があるということです。
失敗する可能性を前提にしないと、サービスは成長できない
先述したとおり、ABテストでテストしたUIより従来のUIが勝つことがたびたびあります。もしABテストをせず、テスト用のUIを最初から全ユーザーに展開していたらどうなるでしょう。
施策によってKPI（指標とする数値）が良くなったように見えても、KPIはUI以外の要素（時期やユーザー層、世間のトレンド）にも影響されるため、施策をやらなかったほうが良かった可能性があります。
たとえKPIが悪化したとしても、度々放置されます。必ず成功するという前提に立案された施策は、失敗はありえないからです。失敗がありえないなら検証するだけ時間の無駄です。
しかし現実には失敗は度々起こります。もちろん成功することもありますが、失敗した施策を放置するため一進一退を繰り返し、なかなかサービスは成長しないのです。
ABテストはリスクを減らし、チームを身軽にする
サービスの改善施策によってKPIが落ちることを防ぐには、ABテストの実施が有効です。今このnoteを読んでいる方の開発現場で、行った施策の放置や未検証が横行しているなら、なるべく早くABテスト環境を導入することをおすすめします。
ABテストには副次的な効果があります。施策の実行ハードルが下がることです。成功する可能性が高い施策でも失敗することが多いということは、裏を返せば、成功する可能性が低い施策でも成功することが大いにあるということです。
ABテストによってリスクが低くなれば、個人の裁量で実行できることが多くなります。よりスピーディーに、より大胆な施策が打てるようになります。ABテストはサービスの成長を加速することができるのです。
権威を人からデータに移譲する
すべてをABテストによってリスクヘッジすることはできません。サービス改善の上では、システムを根本的に変える不可逆的な施策も当然ありえます。
そういう施策にはABテストは不向きです。そういうケースでは、事前に成功確率を上げる方策を取ったり、失敗したときのプランBをあらかじめ用意しておくべきです。
前提として理解しておきたいのは、どんなに優秀な人でも失敗することは必ずあるということです。実績がある人ほど、成功体験に囚われることもあります。優秀な人の言うことが常に正しいとは限りません。
優秀な人や組織の偉い人が言うことに意見するのは勇気がいることです。権威に弱いのは生来的な人の性質であり抗うことはできません。しかし、しくみでカバーできます。失敗する可能性を前提に、データを用いて効果検証する体制がサービス開発の現場では必要です。
【マネーフォワードではデザイナー募集中】
マネーフォワード Home事業のデザイン部が気になる方、デザイナーとラフに話してみたい人は、こちらからご連絡ください！