プロダクト改善におけるデータサイエンティストの役割

こんにちは、データ分析グループの倉町です。今回は、プロダクト改善におけるデータサイエンティストの役割についてお話したいと思います。

エムスリーにはMR君やWeb講演会など様々なプロダクトがあり、プロダクトごとにサービスの機能追加・改善・運用を行うプロダクトマネージャー（以下、PdM）が存在しています。週次でPdMと議論しているのですが、私たちデータサイエンティストはデータ分析の観点から、プロダクトがより良くなるような分析・提案を行っています。以下、私が担当するWeb講演会について、具体的な分析・提案の内容についてご紹介します。

1. 仮説

プロダクトの改善は、最初に仮説を立てることから始まります。普段、業務をする上で気付くこともありますし、他社の類似サービス（Web講演会であればYouTubeなど）からヒントを得ることもあります。
仮説の例
a. 「m3.comのディスプレイ広告は、視聴確率の高い講演会が表示され易いようにパーソナライズされている。予測モデルの視聴確率は高くないものの、医師が気付けば視聴したくなるような講演会の訴求が足りていないのでは?」
b. 「ライブ放送の講演会は放送中以外は視聴できない。m3.comのWeb講演会ページに訪れた医師に対して、他コンテンツへの導線が不足しており離脱が発生しているのでは?」

2. 検証

仮説が正しいのか、m3.comのPVやディスプレイ広告のログなどを見て確認します。エムスリーではBigQueryにデータが整備されており、自分でsqlを書いてデータ取得できますし、足りないデータがあればエンジニアと議論してデータ整備をすることもあります。「Xの時間帯は〜をしている医師が多く、施策のスコープとは異なる。従って、それを除いたYの時間で分析しよう。」等のPdMならではのコメントも踏まえて深掘りします。

3. 打ち手

仮説の要因に対する打ち手を検討し、効果が見込めると判断できたら実際にテストへと進みます。想定効果を事前に定量化することも、データサイエンティストの重要な役割です。
仮説の例に対する打ち手
a. 「予約後視聴確率の高い講演会が表示されやすいロジックに変更する。」
※Web講演会は、事前予約をして放送当日に視聴するサービスであり、ディスプレイ広告では事前予約を促している。予約確率の低い講演会を表示され易くする事で、見逃されがちな講演会の視聴につながるのでは。
b. 「他の講演会への導線を追加する。」（検討中）

4. 実装

ディスプレイ広告で告知する講演会のレコメンドなど、施策内容によってはデータサイエンティストがロジックの実装を行い、プロダクトを運用するエンジニアと協同してサービス連携します。機械学習を用いる場合には、予測精度の向上に効果がありそうな特徴量をPdMにヒアリングすることもあります。また、レコメンドするコンテンツのデザインを追加・変更する場合には、デザイナーに対応してもらいます。

5. テスト設計

A/Bテストの対象者選定など、施策の効果が正しく測れるようテスト設計を行います。キャンペーン対象者を一部の医師に限定するのが難しいケースなど、施策によってはA/Bテストが出来ないこともあり、その際の効果測定の手法については事前に合意しておく必要があります。

6. 効果検証

A/Bテストを実施したのち、データサイエンティストが効果検証を行います。検証結果に応じて、改善効果ありとして全面展開する、施策内容を改善してテストをやり直すなどの議論をPdMと行います。改善効果ありの場合には、こちらの記事でご紹介したように効果額がデータ分析グループのKPIとして計上されます。「打ち手a」は、有意差ありで高アクティビティの医師の視聴数増加に寄与したため全面展開されました。
一方で施策内容の改善が必要な場合には、どういった改善が有効なのかをデータに基づいて提案することも、データサイエンティストの重要な役割となっています。

さいごに

データサイエンティストは1人でもくもくと仕事をするのではなく、PdM、エンジニアと議論しながら仕事を進めることも多いです。そのような環境の中で、PdMやエンジニアの考え方であったり、スキルセットを吸収して成長できる点も、エムスリーのデータサイエンティストとして働く魅力かなと思っています。

エムスリーのデータサイエンティスト職にご興味を持たれた方からのご応募をお待ちしております。