シナリオ設計がカギ。A/Bテストができない「マクロ環境分析」への挑戦
こんにちは、Mercari Analytics Blog 編集部です。
連載「メルカリのデータアナリストが向き合う11のテーマ」、今回はGrowth Analyticsチームの@ryoya_iさんによる「マクロ環境分析」の記事です。メルカリのAnalyticsチームでは個別の具体的なテーマだけでなく、マクロ環境の変化や中長期のトレンド分析といった広いテーマにも取り組んでいます。分析の目的や中身について@ryoya_iさんに聞いてみました。
「KPIはなぜ変化した？」に答え、よりよい意思決定を導く
――取り組みのミッションは何ですか？
事業数値に影響を与える要素を洗い出し、それぞれの要素の事業影響を正しく評価することで、KPIの構造理解や将来予測の精度を上げ、より良い投資判断へ導くことです。
現在はその中でも、例えば「新型コロナウイルスの流行」や「メルカリサービスの不正利用」といった会社の外にある要素が、ユーザーの出品・購入活動の増減にどう影響するかを明らかにすることを目指しています。
――ご自身はどのような役割ですか？
データアナリストとして、上記のような外部要素による事業影響を評価するためのロジックの検討や、それに基づいたデータの分析に取り組んでいます。関係者と情報交換を行いながら課題を整理し、必要なアウトプットを準備しています。
――取り組みに参加したきっかけは何ですか？
私がメルカリに入社したタイミングで、ちょうど「KPIの変動に対して何がどれくらい影響を与えているのか？」に関しての分析ニーズが高まっていました。元々は上長が行っていたものでしたが、その一部を引き継ぐ形で取り組みに参加し始めました。
自分としても「事業における意思決定をより良いものにする」ことに挑戦したいと考えていたので、そうした思いとはマッチしていたと思います。
シナリオの設計がカギ。A/Bテストができない「マクロ影響」を評価する方法
――チームのObjectiveは何ですか？
チームというよりは個人が持っているObjectiveにはなりますが、事業に影響を与える要素を洗い出し、その影響を正しく評価して意思決定へ反映していくことで、事業の成長を実現したり、お客さまへより大きな価値を提供できるサービスにしたりしていくことです。
――そのObjectiveに対して、チームとして今どのような課題に取り組んでいますか？
直近では、新型コロナウイルスの流行によるライフスタイルの変化がメルカリの事業に与える影響度の評価や、マーケットプレイスの安心・安全と事業成長を両立させるための方針決定に向けた調査などを行っていました。
――その課題に対して、どのように分析を進めていますか？
影響度の評価に関しては、「影響がなかったときのシナリオ」を設計し、シナリオと実績との間の変動幅を明らかにしつつ、評価対象との関係性を見極めています。実績やシナリオについては社内のログデータを使用しつつ、必要であれば社外のデータを収集・活用することもあります。
具体的には、新型コロナウイルスが流行する前（2020年3月）までのアクセスや出品活動のKPI推移の傾向から、「もし2020年4月以降も同様の成長を続けていた場合にはどのようにKPIが推移していたか」を仮定します。その仮定とKPI実績との間に生まれる差を明らかにし、新型コロナウイルス流行による影響であるとみなしています。
また、感染者数や人流などの人々の行動に関する社外データを収集し、KPIに影響を与えるまでのフローを明らかにします。例えば「新型コロナウイルスの流行→在宅時間の増加→家の中のモノに注目する機会が増える→メルカリの使用頻度が増える」のように影響発生までをフローで捉えることで、どれくらい流行するとどれくらいKPIに影響するか、の相関を理解しやすくしています。
――その分析のアプローチ方法やプロセス等を用いた理由は何ですか？
影響度を測定するためには、A/Bテストのように同条件でテストができるのが理想です。しかし、「新型コロナウイルスの流行があった世界と無かった世界」でA/Bテストを行う、というようなことはできません。そのため、擬似的に影響がなかった場合のシナリオを仮定することで、ロジック上では影響度を正確に測れるような状態を作っています。
また、社会で起きている事象に関するデータは社内には存在しないので、正しく影響を把握するためには各所で公開されているような外部データを活用する必要があります。
――分析における難しいポイントは何ですか？また、それをどのように乗り越えていますか？
以下の3点が難しいポイントだと感じています。
各事象のメカニズムの理解
分析設計への落とし込み
結果の検証
新型コロナウイルスが流行することでどのようにメルカリのお客さまの行動が変わったか、それを検証するためにはどのような仮説を検証する必要があるか、得られた結果が妥当か、それぞれを客観的に整理して伝えることは非常に難しいです。
乗り越えるためには、関係者からのヒアリングや調査を妥協なく行って理解を深めること、目的や課題を正しく設定すること、複数のロジックを用意して結果を比較すること、などが必要だと考えています。
――分析の中で意識しているポイントは何ですか？
データ業務に関わるようになってから常に意識していることは、「相手を理解してから自分を理解してもらう」ことです。意思決定を支援する立場として、その意思決定の背景や前提条件などの共通認識を持っていないと、こちらから良い示唆を提供することもできず、相手からも信頼してもらえないため、まずは相手を理解することが重要だと考えています。
――取り組みに参加するやりがいは何ですか？また、アナリストとしてやりがいを感じることがあれば教えてください
個人的には「自分のやったことが誰かのためになること」がやりがいです。データアナリストは単体で業務が完結することはなく、必ず誰かと一緒に業務を行っていく必要があるため、そうしたやりがいを感じられる機会は多いのかなと思っています。現状まだまだな部分は多いですが、もっと色々な人に貢献していきたいです。
――チームとして、今後どのような価値をお客さまに提供していきたいですか？
こちらもチームというよりは個人のもの、かつかなり曖昧な表現にはなりますが、メルカリがモノを売買する単なるマーケットプレイスではなく、お客さまにとって「メルカリがあったからこそできたこと」がどんどん増えていくようなサービスにできればと思っています。
関わるチームは多様。相手の「役割」と「業務の全体像」を理解し、アウトプットを考える
――チームには、どのような職種の人がいますか？
私の場合は、分析の内容によって一緒に仕事をするチームが変わります。これまでは、マーケティングチームやカスタマーサポートチームの方々と一緒に業務をすることがありましたが、今後も関係者は増えていくのではないかと思っています。
その都度、一緒に仕事をする人の役割や業務の全体像を理解し、必要なアウトプットはどのようなものかを考えながら分析を進めています。とはいえ、まだまだコミュニケーションは十分にできていないので、今後はより相手の考え方を理解し、その上で協働していく、ということを実現していきたいです。
また、私の所属するGrowth Analyticsチーム内で、業務に関しての壁打ちをしてもらっています。いずれは、自分も他の方々のアウトプットに貢献できるようになれればと考えています。
――コミュニケーションはどのように行っていますか？
分析チーム内では毎週・隔週でOKRの進捗確認やアウトプットの共有会があったり、都度1on1を行ったりしています。他チームとの間では、重要度が高まったタイミングなどで日次MTGが開催され、細かく報告や議論が行われています。
私の場合は同期・非同期が半分ずつくらいかと思います。細かい報連相などのテキストで終わる場合はSlackがメインですし、テキストでは不十分な議論や壁打ちについては主にMTGで行っています。コミュニケーションの目的達成のためにどちらが適しているかで使い分けたり、両方を活用しています（前提として、どのような方法でも時間を最小化する必要はあると思います）。手段ごとに得意・不得意があると思うので、効果を最大化するためには手段を適切に使うことが必要だと思います。
個人的には「相手の意図を汲み取りやすい」という点で同期コミュニケーションのほうが好きなのですが、これは人それぞれ好みなどもあると思うので、相手に配慮しつつ最適なコミュニケーションを取っていきたいです。
――リモートワークで気を付けていることはありますか？
Analyticsチームの中には、オンラインでのコミュニケーションの機会を設定したり、チームビルディングを行ったりするチームがあります。
個人的にはもっとカジュアルなコミュニケーションの場所を増やしたいと思っています。相手の価値観や考え方について知りたいです。
データ活用を手段として、事業とお客さまの課題を解決する
――ご自身として、今後高めていきたいスキルや得たい経験はありますか？
自分自身としては、「データを活用することで事業・お客さまの課題を解決する」という経験をもっと増やしていく必要があると考えています。課題を発見し、その課題に対して解決策を提示していくような動きができていません。
これまでは長い時間をかけて関係を築き、同じ目線で課題に取り組むような働き方をしていましたが、今後はそうした時間をかけずにスピード感をもって事業の課題を発見し、提言していけるようにならなければならないです。
――データアナリストとして、今後取り組みたいテーマは何ですか？
引き続き、今やっているような事業に影響を与える要素の整理・分析を進めていきたいと考えています。また、もっとお客さまに近い領域でのテーマにも取り組みたいです。データ基盤の整備や民主化もやりたいです。今の業務でも精一杯なところはありますが、データを武器として課題を解決するためには他の領域でも経験を積む必要があるため、できることならば様々な領域に手を出していきたいです。
――こんな人と一緒に働きたい、というイメージがあれば教えてください
メルカリという場所においては、ミッション・ビジョン・バリューに共感し、そのために行動ができる人と働けるといいなと思います！また、個人的には、事業成長やお客さまへの価値提供を重視して、その手段の1つとしてデータを使おうと思っている人と働きたいです！お待ちしています！
「メルカリのデータアナリストが向き合う11のテーマ」と連動したイベントも開催します！こちらからお申し込みください。
▼「メルカリのデータアナリストが向き合う11のテーマ」連載記事一覧