見出し画像

20%ルールから提案した話

Hiroto Yoshidome

こんにちは。株式会社ビズパ プロダクト開発チームの吉留です。

こちらはビズパプロダクトブログの記事です。
下記マガジンから過去の記事を見ることができます。是非フォローしてみてください。

Googleの20%ルールという文化をご存知でしょうか？
Googleでは、業務時間の20%を普段の自分の仕事以外に充てても良いというルールがあります。

プロダクト開発チームでもこの文化に倣って、20%ルールを初期のころから導入しています。
そのためプロダクト開発チームの中では、「20%ルールでやってみます！」「20%ルールでやってみたら?」というような会話がしばしば発生します。

今回は、20%ルールからプロダクトに反映された事例について書きたいと思います。


20%ルールから発見へ

「ビズパ」では会員向けのレコメンド機能として、商品ページやトップ画面などに商品のレコメンド機能があります。
私は8月ごろから20%ルールで「ビズパ」のレコメンドに関するデータを観察していました。

データを観察していた目的は、

  • 個人的な推薦システムへの興味

  • 「ビズパ」とレコメンド機能の親和性が高いと感じており、もっと良い仕組みでユーザーに提供できないかと感じていた

という背景です。

データの観察を進めていくにしたがって、いくつか気になったことがありプロダクト開発チーム内で共有をしました。

そうすると「A/Bテストでできそうならやってみてもいいんじゃない？」という提案をいただき、A/Bテストで回せるようにさらにデータを細かくみていきました。

そうすると、

  • レコメンドの表示位置が上位の方がクリックされやすい。しかし、特定のレコメンド枠に関しては下位に表示されているのにもかかわらずクリック率が良い！

  • レコメンドをクリックしたユーザーとクリックしなかったユーザーのデータを比べていくと現在のレコメンドのロジックでは組み込まれていないデータに価値があるかもしれない。

といった発見がありました。

まさに、A/Bテストで試すべき良い題材です。


発見から提案へ

発見した内容をもとに「商品ページのレコメンド枠の順序を入れ替えるA/Bテスト」を提案しました。

期待としては、

  • 下位に表示されているがクリック率が良いレコメンド枠を上位に持ってくることでさらにクリック率が上昇すること。

  • 上位に、より反応が良いレコメンド枠を持ってくることでユーザーの興味を持続させ、結果的にページ全体のレコメンドのクリック率が上昇すること。

という2つの可能性をA/Bテストで検証することになりました。

また、「現行のレコメンドロジックに組み込まれていない情報を組み込むA/Bテスト」も提案しました。

この提案では、現在のレコメンドのロジックでは組み込まれていないデータに価値があるという発見より、このデータを組み込むことでレコメンドの精度が上がり、クリック率が上昇することが期待できます。

これら2つの提案は、実際にA/Bテストとして行われることになり、
20%ルールからプロダクトへ反映された事例となりました。


結果

「商品ページのレコメンド枠の順序を入れ替えるA/Bテスト」はすでに実施が終了しており、結果としては「順序を入れ替えた後の方がページ全体のレコメンド枠のクリック率が高くなる」という成果となりました。

私個人としては提案した内容が良い結果だったため少しほっとしたと同時に、これまでこういった提案が少なかったことは反省するべき点であると感じています。

ビズパでは、データベースで保持しているデータを開発チーム以外の人でも見ることができるようにBIツールを導入していますが、複雑な条件でのデータ取得の場合はBIツールでは困難なことが多いです。

例えば、ログデータに関してはデータ量が多くパフォーマンス的な懸念もあるためBIツールでは限界があり、プロダクト開発チームでないと十分なアクセスができないことが挙げられます。
また、実際のサービスの内部ロジックやインフラの状態の状態などもプロダクト開発チームしかアクセスできないデータだと言えるでしょう。

今回の結果より、このようなプロダクト開発チームでしか十分なアクセスできないデータでも「ユーザーのための視点」「サービスの品質向上の視点」を持ってデータを観察すると、
開発をしているだけだとわからなかったものが見えてくることがあり、発見や疑問が生まれそれが有意義な結果へと結びつくことがあるという知見を得ました。


最後に

今回は、ビズパの20%ルールという文化から提案へつながり、プロダクトへ反映されたという出来事について書きました。

20%ルールは、「興味があることをやってみたけど成果は出なかった」という場合がほとんどです。
しかし、このフランクさこそが大切な要素であり「興味があるからとりあえずやってみたい」という意思が尊重される文化やそれができる環境は恵まれていると改めて感じました。

最後までお読みいただきありがとうございました！
ビズパにご興味のある方はぜひ以下のサイトもご覧ください。

▼Bizpaの創業ストーリーはこちら！

▼Bizpaのことをもっと知りたい方はこちら！


この記事が気に入ったらサポートをしてみませんか？