#4 戦略を良し悪しを見分ける「プロキシメトリクス」という考え方について

この記事は、NETFLIXで最高製品責任者(CPO)を務めていたGibson Biddle 氏によるプロダクト戦略に関するエッセイ、4. Proxy Metrics の翻訳記事です。(翻訳許可取得済み)

ここまでのあらすじ

DHMモデルをつかって、プロダクト戦略の仮説を出すことで、「顧客に喜びを届け (Delight)」、「他社に模倣されにくく (Hard-to-copy)」、「利益を生む (Margin-enhancing)」戦略が出ることを学びました。

そして、Netflixの戦略の例を示しながら、戦略から、メトリクス (指標) 、戦術に落としていく流れを見てきたのでした。 (前回の記事はこちら)

今回は、仮説として出した戦略が良かったのか悪かったのかを測定する「プロキシメトリクス」という考え方について触れていきます。

- - -

プロキシメトリクスとは何か

Netflixにおいて、プロダクト全体の品質を評価するために使用した指標は、「 (有料会員の) 継続率」でした。この、いわゆるNorth Star Metric (最重要指標) は、20年間で大きく改善されました。はじめの頃は、有料会員の約10％が毎月解約していましたが、2005年には、約4.5％まで改善し、現在では2％近くの解約率になりました。

ただし、すべてのプロジェクトの指標で最重要指標である継続率を使用することは現実的ではありません。なぜなら、継続率という指標自体、数値をすぐに改善することが難しく、改善を証明するには大規模なA/Bテストが必要だからです。

そのため、より計測がしやすく、高速で検証できるような、North Star Metricの代わりとなるような指標が必要になります。これがプロキシメトリクスです。 (proxyは"代わりの"の意味)

理想は、プロキシメトリクスを向上させると、より上位の指標 (North Star Metricや、KGIなど) が改善されることです。本来は、プロキシメトリクスとNorth Star Metric (最重要指標) の2つの間には相関関係があり、相関関係を見出した後は、A/Bテストなどで因果関係を発見することができます。

「シンプルな体験」を計測するプロキシメトリクス

Netflixが検証したかった仮説の1つに、「継続率を向上させるには、よりシンプルな体験が必要なのではないか」というものがありました。

しかし、「体験のシンプルさ」をどのように計測したら良いのでしょうか？そして、シンプルな体験が継続率を向上させることをどのように証明すれば良いのでしょうか？

まず、私たちが行ったのは、すでにサービスを使っているユーザーのデータ収集でした。

・なぜユーザーは、質問や苦情を、電話やメールで伝えてくるのか？
・ヘルプページにアクセスしたときに、どのリンクをクリックするのか？
・ユーザーはどこで迷うのか？

一方で、当時のNetflixにおいては、既存顧客よりも新規顧客にフォーカスした方がより利益につながる機会が多かったため、我々は新規顧客にターゲットを絞りました。

新規ユーザーへインタビューをおこなったり、フォーカスグループインタビューを行い、何人かのユーザーに、毎週Netflixでどんなことをしているかについてのレポートを書くように依頼しました。最後に、新規会員登録の流れと、サービスを利用してからの最初の数週間の既存データを調査しました。

新しいユーザーが混乱していたポイントの1つに、(初期のDVDレンタルサービスでは) 注文した映画のリストを作成する操作がありました。

一部のユーザーは、リストに映画を追加することができず、一部のユーザーはプランを選択し、クレジットカード情報を入力してから、次の操作に迷ってしまっていました。

使いはじめの段階で、少なくとも3つの映画をリストにを追加するという体験は、多くの新規ユーザーを混乱させていました。

新規会員登録のプロセスをよりシンプルにし、ユーザーが見たい映画のリストを簡単に作成できるようにすることは急務でした。Netflixでは「Day One Project (ユーザーがサービスを使った初日の体験を改善するプロジェクト)」を実行し、必要なステップの削減、認知負荷の軽減、必要な操作の明確化に取り組みました。

現在のNetflixのトップページはシンプルな体験で構成されています

そして、「シンプルな体験」を計測するプロキシメトリクスは、「最初のセッション中に、少なくとも3つの映画を見たいものリストに追加した新規ユーザーの割合」に設定しました。最初にデータを調べたとき、70％の新規メンバーは、最初のセッション中に少なくとも3つの映画をリストに追加していました。実験を繰り返す中で、割合は90％にまで増加しました。

同じ期間に、最重要指標 (North Star Metric) であるサービスの継続率を88％から90％に引き上げられました。継続率と「シンプルな体験」のプロキシメトリクスの両方が一緒に向上したのです。 ( = 相関関係が証明された)

シンプルな体験が、継続率向上にプラスの効果を与えることは確信していたため、 大規模なA/Bテストを実施して、因果関係を証明することまではしませんでした。

プロキシメトリクスの考え方

プロキシメトリクスは、プロダクトの最重要指標 (North Star Metric や KGI) の代わりになる指標です。

まずは、最重要指標とプロキシメトリクスの間の相関関係を求めます。(指標aが向上すれば、最重要指標Aが向上する)
その後、両者の因果関係を証明していきます。(指標aが向上するから、最重要指標Aも向上する)

そして、プロキシメトリクスは、例えば以下のように定義します。

[ある期間]までに
[ある操作やアクション]を実行した
[新規ユーザー/リピーター]の割合。

例えば、2005年にNetflixで行った戦略とプロキシメトリクスは以下のようなものでした。

Netflixでのプロキシメトリクス

さらに理解を深めるために、実際にNetflixで使用したプロキシメトリクスを取り上げ、解説していきます。

a. 6か月以内に友達リストに少なくとも1人のメンバーを追加したメンバーの割合 (ソーシャル機能)

Netflixに以前あった「フレンド機能」(友人と繋がれるフォロー機能のようなもの) はユーザーの1％がこの機能を使用しており、3年間で6％にまで成長しましたが、結局機能は廃止されました。フレンド機能のプロキシメトリクスは、(継続率向上のために) 20％を超える必要があると想定されていたためです。

b. 1ヶ月に15分以上の動画をストリーミングするユーザーの割合 (すぐに見る機能)

2007年の「すぐに見る」機能の開始時には、この指標は5%でしたが、現在では90%を超えています。15分としたのは、最も短い番組が15分であり、１つの番組を見る以上の価値がある機能かどうかを測定したかったためです。
現在のNetflixも、同様のプロキシメトリクスを測定していると思いますが、(15分よりも) はるかに高いハードル、つまり月に10, 20, 30時間を視聴する会員の割合を測定しているはずです。

c. 1ヶ月に少なくとも6枚のDVDをリストに追加するユーザーの割合 (見たい映画のリスト作成機能)

マーチャンダイジングチームの仕事は、ユーザーが自分の見たい映画を見つけて、簡単にリストに追加できるようにすることでした。当初、この指標は70%でしたが、継続的な改善の結果、90%にまで高めることができました。

d. サービスの利用開始から6週間で50本以上の映画を評価した新規ユーザーの割合 (レコメンド機能)

この指標は、パーソナライゼーション戦略 (個人個人に合った映画のレコメンドをする戦略) を進めていく上での評価指標となりました。理論的には、ユーザーが 映画を評価してくれるのであれば、Netflixのおすすめ機能をも評価してくれると考えこの指標になりました。当初2%だったこの指標は、数年かけて20%になり、20年かけて80%にまで成長しました。

e. ユーザーが最初に選んだDVDが翌日に郵送された割合 (翌日配送機能)

メールでのDVDレンタルサービスに関する初期の仮説の1つは、「最初に選んだDVDを翌日にすぐ届けることが重要なのではないか」ということでした。はじめは、70%程度、翌日に届けることができている状態でした。その後、全米に50カ所の自動DVD配送施設を設置することで、90%にまで高めました。また、各配送施設の在庫データを一元管理し、ユーザーの地元の配送センターで入手可能な映画のみを販売しました。

良いプロキシメトリクスとは

1. 測定可能であること

良いプロキシメトリクスは、データの収集や検索が可能で、測定できるものです。理想は、A/Bテストによってプロキシメトリクスが (指標として) 正しいのかを評価し、正しい場合は、「この機能をリリースするかどうか」という問いへの判断基準となることです。新たなプロダクト戦略を評価する際には、「機能のA/Bテストをする場合、どんな指標を使ってその機能をリリースするかどうか決めるか」を問いかけてみてください。

2. すぐに変化させられるものであること

プロダクトの体験を変更することで、すぐに影響が出るような指標をプロキシメトリクスとして設置しましょう

3. 指標として「平均」を使わないこと

平均を用いる危険性は、一部のみのユーザーに施策を実施して、数値を変化させられることです。プロダクト全体の体験を向上させるには、十分な数のメンバーに対して影響するような施策であるべきなのです。

4. トップレベルの指標と相関があること

Netflixの場合、成功したプロキシメトリクスと最重要指標である継続率は一緒に向上していました。これからさらに、大きな規模のA/Bテストをしながら、プロキシメトリクスと最重要指標の因果関係を明らかにしていきます。

5. 新しい顧客と既存の顧客を分けて考えること

Netflixでは、サービスが成長するにつれて、新規ユーザーに注力するようになりました。世界規模のサービスに成長するために、(まだサービスを使っていない) 新規ユーザーにサービスを合わせていく必要があると考えていたのです。新規ユーザーに対してで新しい機能をテストし、結果が良かった場合は、既存のユーザー含め全てのユーザーに機能を提供しました。既存ユーザーが変更に対して不満を伝えてくることもありましたが、めったにキャンセルはされませんでした。 (継続率を損なうリスクがあると考えた場合は、既存ユーザーに対してもA/Bテストを行っていました。)

6. ずるできない指標であること

カスタマーサービスに力を入れていた1人のプロダクトマネージャーがいました。彼の仕事は、ユーザーがカスタマーサービスチームに電話しなくても、ユーザー自身でが困りごとを解決できるようにすることでした。彼が任されていた指標は「ユーザー1,000人当たりのお問い合わせ数」であり、この指標を (お問い合わせ) 20件以下 にすることを目標としていました。しかし、彼はすぐにお問い合わせ先を隠すことで指標を操作できるができることに気付きました。そのため、私たちはプロキシメトリクスを修正し、「2クリック以内でお問い合わせできる問い合せ先に、1000人以内のうちお問い合わせしてきた数」としました。

正しいメトリクスの発見と素早い意思決定

戦略の良し悪しや、戦術の決定について、スピード感を持って行うことは重要ですが、それでも適切なプロキシメトリクスを発見するのに半年かかることもありました。

データを取得し、指標が向上したかどうかを確認し、プロキシメトリクスとと最重要指標の間に正しい因果関係があるかどうかを確認するのに時間がかかったのです。

スピーディに戦略を進めていくことと、適切な指標 (プロキシメトリクス) を見つけることは、時にトレードオフの構造になります。私たちは、それでも正しい指標を見つけることにこだわりました。チームが間違った指標に向かって動くことは、想像以上に大きな損失を生むからです。

なお、私のチームのプロダクトマネージャーは、最重要指標である継続率に貢献したプロキシメトリクスをどれだけ発見できたか、向上させられたかによってパフォーマンスを測ることができました。

プロダクト戦略をつくるためのエクササイズ

Netflixでの最重要指標「月の契約継続率」があったように、あなたのプロダクトでも「North Star Metric (最重要指標)」を決めてみましょう。

次に、前回のエッセイ (3. 戦略からメトリクス、戦術へ) でのエクセサイズに続いて、各戦略のプロキシメトリクスを定めてみましょう。(以下は2005年のNetflixの戦略とプロキシメトリクスの例)

この次のエッセイでは、プロダクト戦略を実現するための施策の出し方について扱っていきます。

次の記事：5. 戦略を実現する施策の出し方

このシリーズの索引

0. いかにプロダクト戦略を定義するか
1. DHMモデル
2. DHMモデルから製品戦略へ
3. 戦略からメトリクス、戦術へ
4. 事業仮説を正しく測るプロキシメトリクス
5. 戦略を実現する施策の出し方
6. Netflixにおけるパーソナライズ戦略
7. 戦略からロードマップへ
8. 製品ビジョンを探索する強力なチームづくり
9. 組織のフォーカスを決めるGEMモデル
10. 戦略を議論する場の設計について
11. プロダクト戦略のケーススタディ：Chegg
12. プロダクト戦略作成の手引き