戦略見直し、アプリ刷新――メルカリにおける2022年の変化と分析テーマ
はじめに
こんにちは、メルカリAnalyticsチームの@suwachanです。
2022年も終わりに近づいてきました。毎年さまざまな変化が起こりますが、今年はどんな1年だったでしょうか。
Analyticsチームでも本年を振り返ってみたいと思い、マネージャーを呼んで対談を実施しました。
次々とわきあがってくる課題に取り組む、等身大のAnalyticsチームをお届けします。
登壇者紹介
@Shuichi / Analytics チーム / ディレクター
@igachan / Growth & Risk チーム / マネージャー
@hiza / Infra チーム / マネージャー
@Tsuguto / Product & Insight チーム / マネージャー
聞き手: @suwachan / Product & Insight チーム / データアナリスト
メルカリ9周年、成長したからこその課題
―― まずはメルカリ全体の変化から聞いていきたいと思います。2021年と比較して、2022年はどのような変化がありましたか。
Shuichi：マクロ環境から見ていくと、メルカリを含めて日本におけるリユース市場は伸びてきました。メルカリはその成長を牽引してきたという自負はあるんですけど、多くの人がリユースで売ったり買ったりするようになり、競争環境が激化してきたと思っています。オンラインもオフラインも含めて競合を意識するようになりました。2022年は、ここからさらに伸ばしていくにはどうすればいいか、競合環境を見据えながら中長期戦略を考え直しました。
Tsuguto：マクロ環境を踏まえて、投資規律の厳格化やより成果が求められるといった変化もありますね。より効果的に施策を成果につなげるために、プロダクト部門とマーケティング部門の連携が始まったのが本年でした。Analyticsとしてはそのハブとなる役割が求められており、会社全体を見渡した上で動き、分析することが重要になってきています。
igachan：「剥がれない投資」というキーワードがよく言われるようになったのが今年でしたね。お金だけでなく、プロダクト開発におけるリソース配分なども含め、効果的な投資の判断をしていく必要が出てきました。Analyticsチームが価値を発揮できるタイミングだったと思います。
hiza：データ基盤の観点から言うと、データ基盤のコストを最適にしようというのが今年出てきたテーマです。社内のBigQueryの利用状況の分析を行ってコストを減らしていくのは今年になってから出てきたスタイルですね。
―― 経営としても大きく舵を切った1年でしたね。では、メルカリというプロダクトにおける変化はいかがでしょうか。
Shuichi：メルカリは今年で9周年となり、長くやってきたがゆえの技術的な負債が溜まっています。そこでGroundUp Appというプロジェクトでアプリを一から作り直すことにしたのです。過去最大級のプロジェクトで、Analyticsチームとしても最優先でこのプロジェクトを支援しました。GroundUp App の企画は昨年より前からありましたが、今年に入って開発が本格化し、9月に無事完了しました。
Shuichi：会社が大きくなってきたことによる課題はほかにもあって、メルカリは不正の標的にもなりやすくなっています。Trust and Safety（以下、TnS）という不正対策のチームにもAnalyticsからメンバーをアサインし、本格的にサポートするようになりました。
―― 中長期戦略、技術的な負債の解消、不正対策、の3つのポイントがありそうですね。次から1つずつ深堀りしていきたいと思います。
「メルカリの強み」を見出し、中長期戦略へ
―― 中長期戦略の背景について、もう少し詳しく聞かせてください。分析のメイン担当だったTsugutoさん、いかがでしょうか。
Tsuguto：Shuichiさんも先ほど言っていたように、競争環境が激化した結果、より広い視点で戦略を構想し、全社横断で取り組んでいく必要が出てきたと理解しています。成長を目指す際にどの市場を狙うのか、何を伝えたら「剥がれない投資」になるのか、がテーマとなっていました。
―― 大きなテーマだと思いますが、Analyticsチームとしてはどう関わってきたのでしょうか。
Tsuguto：大規模な市場調査を行ないました。メルカリのお客さまだけでなく、使っていないお客さまにもリサーチを行ない、ある市場においてどの程度可能性があるのか、どんなサービスと併用しているのか、そのサービスと比較してメルカリの強みは何なのか、を調べにいきました。
―― 市場調査においては、何が課題でしたか。
Tsuguto：会社全体の戦略につなげる調査だったので、ゴール設定の難易度が非常に高かったです。100人いたら100人分の戦略が立てられてしまう。意識したポイントは、「戦略の実行者がだれなのか」というところですね。実行者が納得感を持って使えないと分析も調査も意味がないので、実行する人が何を作りたいのか、どういう問いに対して答えを出したいのか、をクリアにすることを意識し続けました。
そして、とにかくこの調査はスコープが広かったので、本来であれば10本くらい調査が必要だったテーマを、1本に絞ってやったんです。なので、論点設計と、論点にちゃんと答えられるような調査設計は難しかったです。たとえば出品を増やすために、個人のお客さまに注目するか、それとも事業者のお客さまか、という論点。どちらを伸ばし続けるのがよいのかを考えていくにあたって、考慮すべき変数がたくさんありました。商品カテゴリーで分けるとどうなのか、などを見ていくと掛け算で調査が大きくなってしまうという構造になっていて。本調査を実施する前にデスクリサーチやログ分析を行ない、どこにポテンシャルがあるのかを調べた上で論点を絞っていきました。
―― 調査レポートは、傍から見ていても大きな反響を呼んでいました。結果的にどんな成果につながりましたか。
Tsuguto：戦略的投資のサポートができたと考えています。中長期戦略の基礎となるデータが提供できました。特に「バリュープロポジション」と呼ばれている、「どこにお客さまから価値を感じてもらえるのか」という部分について調査から土台をつくることができ、共通言語ができたかなと。
データ活用で、不正の減少を実現
―― 次はTnS・不正対策について深堀りしていきます。igachanさん、いかがでしょうか。
igachan：不正の大きい区分として、お客さまに被害が出てしまう不正と、内部での被害のみの不正があります。今年、問題として大きく扱われたのはお客さまに被害が出てしまう不正でした。もちろんメルカリとしては対策したいのですが、難しかったのが「不正を行なっている」という厳密な見極めが、メルカリ内部のデータだけではできないこと。広く対策してしまうと、実際には不正行為を行なっていないお客さまにも本人確認を求めるなどの不便をかけてしまいます。なので、適切な不正対策ラインの見極めが一番難しいポイントだったかなと。
―― 不正対策ラインを見極めるために、どのような分析を行なったのでしょうか。
hiza：不正行為者のスコアリングは傍から見ていて印象的でした。
Shuichi：基準づくりですよね。何をどこまでやったら不正と判断するのか。
igachan：不正行為者を特定するために様々な特徴量を分析しました。特徴量を踏まえて基準を設けた場合のお客さまへの影響、事業への影響を見ながら、どこでバランスを取るのかという意思決定が求められました。そういった対策の結果、直近は不正が減ってきています。
Shuichi：TnS全体としていちばん大事なのが、問題が起きてから事後で対策するのではなく、事前に起きない仕組みを作ることなんですよね。悪い人にアカウントを作らせない、そもそも出品させないこと。そのために事前に検知するための方法論だったり、不正が起きない仕組みとしてプロダクト対応を考えていくというところです。
▲直近のTnSの取り組み記事
―― 今後に向けて残っている課題はありますか？
Shuichi：不正ユーザーが増えたことで、KPIが歪んでしまった、というのはありますね。リテンションが落ちたように見えて、そのうち一部は不正ユーザーによるものだったとか。
igachan：よりピュアに事業のコンディションを見極めるためのKPI設定が新しいテーマとして上がってきていますね。単純に取引数やGMV、リテンションを見ているだけでは誤った判断になる可能性があります。そこは今後の課題ですね。
―― そういえば、TnSにアナリストが入ったのは2021年末からでしたよね。振り返ってみてどうでしょうか。
Shuichi：2021年くらいから不正が増え始めて、対策が必要であることを認識しました。アナリストが入ったことで、TnSも結構変わったと思いますね。データドリブンにできていないところもあったので。
Igachan：事業上の優先度の変化に応じて柔軟にアサインの切り替えができている例かもしれませんね。みんながみんな同じことをやり続けているわけではない。わりとアナリストって飽きやすい職種だと思っているので、新しいテーマが常に出てくるのは、メルカリAnalyticsチームのユニークでありポジティブなところだと思います。
All for oneに「過去最大のテスト」を完遂
―― GroundUp Appの分析を取りまとめていたShuichiさんに聞きたいと思います。チームにとってGroundUpはどんなプロジェクトでしたか。
Shuichi：我々の仕事は大きく2つあって、お客さまに不便がないようにリリースするために、各種KPIをモニタリングして、バグの早期発見・修正に貢献したというのが1点。もう1つはデータ基盤の移行です。クライアントログを全部入れ替えることになったので、ログを再設計し、ログに紐づく中間テーブルをマイグレーションしました。
―― 苦労したポイントはどこでしたか。
hiza：バイアスのない比較条件が苦労したポイントだったかなと思います。大きい粒度で指標が落ちているところがないかを探して、落ちていたらブレイクダウンしていく、という基本的な分析プロセスの中でバイアスが存在していました。
igachan：厳密にA/Bテストができない状態だったので、いかにバイアスをかけずに比較対象を抽出するか、かなり苦戦しましたね。また、クライアントログの実装が追いついていなかったり、以前と仕様が変化したりしていて、ログが信頼できないという制約もありました。この2点から、KPIのモニタリングと評価が非常に困難になり、大きな問題になりました。
―― どう乗り越えていったのでしょうか。
igachan：最終的には、鍵となる指標を見極めていきました。最初は、アクセス数を分母にした購入率など、割合の指標を見ていましたが、アクセス数のカウントに問題があることが発覚。検討の結果、最終的には取引数・購入者数・出品者数などの総数を見て判断することにしました。
また、ログの信頼性が制約条件としてありましたが、ログ以外の定性の情報も活用してバグの要因特定ができたのがよかったですね。CSの方と連携してお客さまからのお問い合わせを分析したり、エンジニアやPMの方と連携して想定外の挙動がどこにあるのかを分析したりして、会社として分析に取り組めたと思います。
Shuichi：CS・PM・エンジニアの方は、かなり率先して調査に協力してくれましたね。All for oneな文化が出ていました。
―― 過去最大のテストだったかと思いますが、反省点はありますか。
Shuichi：KPIの設計や必要なログの設計が、全体的にワンサイクル遅れてしまったと思っていて、事前準備の重要さを身にしみて感じました。KPIの定義が不確かだったり、クライアントログの移行も追いついていなかったり。データ基盤の脆さが見えてきたので、改めて取り組んでいきたいです。
組織の特徴は「スキルの掛け算とテーマの多様化」
―― 先ほど他部署との連携という話もありましたが、Analyticsチームの組織という観点で2022年を振り返るとどうでしょうか？
igachan：大きな課題解決をするために、必要なスキルを手段として組み合わせて目的達成できている組織だなと。専門性はメンバーの中でもバラバラだが、その組み合わせで成果を出すことができている。ハードスキルを手段として見ることで、課題解決もできるし、結局周辺のハードスキルも身につくという環境なのかなとは思いますね。
Shuichi：「テーマの多様化」は1つ特徴として挙げられますかね。Merworkのような新規事業・TnSなど分析ドメインの多様化、マーケットリサーチやユーザーインタビューなど手法の多様化、商品インプレッション最適化などイシューの多様化といったものです。検索や推薦技術の改善といったハードコアなテーマから、戦略立案やマーケットリサーチなどのコンセプチュアルなテーマまで、幅は持っていますね。
igachan：まとめると、チームで扱っているテーマが幅広く、相互の連携があるので、1つの会社・1つのサービスを扱いながら幅広い分析課題に取り組めています。
2023年はデータ基盤強化・データの民主化を
―― 最後に、2022年の総括と2023年の抱負をお願いします。
Shuichi：2022年は、プロダクトの基盤整備と、中長期戦略の練り直しに時間を割いた1年でした。2023年は、新しくできた基盤・戦略をもとに、メルカリを再成長・再加速させることにAnalyticsもコミットしていきたいです。分析に関しては効率を高めていくことが重要なので、データ基盤強化・データの民主化を進めていきたい。自分自身の効率化に加え、データを使える人を増やしてその人たちの効率も上げていく。そして、戦略を作った以上はしっかり会社を成長させていく、サービスをより良いものにしていくこと。アナリストがアウトカムにコミットしていくのが大事なのではないかと思います。
igachan：アナリストとして大事なのは視点の切り替え。戦略を立てるときは一歩引いて俯瞰的な視点で見るのが大事です。が、絵に描いた餅だけでも実際の事業の成長にはつながらないので、戦略ができたあとは実際に中にしっかり入り込んで実行推進していくことが必要です。今のAnalyticsチームは一つの組織で両方を実行している組織だと思うので、そこは引き続き意識して取り組んでいきたいですね。
―― hizaさんからデータ基盤についてコメントをお願いできますか。
hiza：データ基盤の改善によってアナリストの業務を改善するために2つ課題があると考えています。1つは、より幅広い人にとって使いやすい基盤にしていきたいということです。今まで、メルカリのデータ利用者のリテラシーの高さに頼った環境になっていたと思っています。初めてメルカリに来た人にとって、実はそれほど使いやすいものになっていなかったためそれを改善したいですね。
また、アナリストの業務の中で割と大きな時間を占めているA/Bテストの改善もセットで取り組んでいきたいですね。前提としてA/Bテストの本数やそこに割いている時間が多いので。A/Bテストのノウハウの集約や向上も含まれてくるので、ハードスキルを高めたり、作り出したり、伝授したり、という人には魅力的かなと思います。
最後に、データ基盤の整備はアナリストとしてのスキルとエンジニアのスキルの両方が求められます。チーム内でもどっちが得意なのかは人によって違いますが、どっちもできるように高めていくっていうことを今後取り組んでいきたいですね。
―― みなさん、ありがとうございました！
2022年もMercari Analytics Blogをお読みいただきありがとうございました。
2023年もどうぞご期待ください。
良いお年を！
▼採用情報サイト・関連記事はこちらから