『Bump』創業者が教える顧客維持率の測り方〈3〉｜自らを欺く間違った測り方
本シリーズは、『Bump』の創業者であるデイビッド・リー（David Lee）氏の解説を基に、コホート・リテンションの重要性、測り方についてご紹介しています。
コホート・リテンションを正しく測れば、あなたの製品が本当にPMFを達成している（人々が必要としているものか）が分かるはずです。
第3回は、間違った測定方法についてです。
📍 コホート・リテンションのポイント
コホート・リテンションとは
コホート・リテンションの測定方法
自分を欺く間違った測り方とその対策
悪いコホート・リテンションを改善する方法
3. 自分を欺く間違った測り方とその対策
コホートリテンションを正確に測定し、現実に向き合うためには、自分を欺かないことが大切です。
しかし、人間は無意識のうちに「良い結果」に見せかけるような間違いを犯しやすいものです。
1. 測定期間を不適切に長く設定する
問題点
コホートのリテンションを測定する期間（例：週、月、四半期）を不必要に長く設定すると、リテンションが高く、カーブが平坦に見えます。
例えば、「月単位」より「四半期単位」で測定すれば、ユーザーが戻ってくる確率は高くなるため、数字が見栄えよくなります。Bumpの失敗例
リー氏が「Bump」を運営していた時、週単位でのリテンションカーブは非常に悪いものだったそうです。
そこでリー氏は、次第に測定期間を広げ始め、月単位、四半期単位に変更しました。四半期単位にするとリテンションは見栄えが良くなりましたが、それは単なる「錯覚」でした。
「Bump」は頻繁に使用されることを意図した製品だったのに、四半期単位で測定することは明らかに不適切でした。
2. 測定するアクションが簡単すぎる
問題点
「ユーザーがアプリを開いた」「ウェブサイトを訪れた」といった簡単すぎるアクションを測定対象にすると、製品を「本当に使用しているかどうか」を反映しません。
例えば、通知やアラートを使って無理にユーザーを呼び戻している場合などが挙げられます。Google+の例
Google+の「アクティブユーザー」は、Google製品（例：Gmail）に表示される通知ベルの赤いマークをクリックしたユーザーが含まれていました。
しかし、実際にはGoogle+を利用していたわけではなく、単に通知を見ただけのユーザーもカウントされていました。これはリテンションの本質を誤って理解する一例です。対策
「製品の価値を本当に享受している」ことを示すアクションを測定しましょう。例えばInstagram → 「3つ以上の投稿を閲覧する」
Google Photos → 「写真をフルスクリーンで閲覧する」
Uber → 「ライドを完了する」
といったかんじです。
3. 支払いだけをアクションとすることの罠
問題点
「ユーザーが料金を支払っていること」をアクティブユーザーの基準とするのは直感的に正しそうですが、現実にはそうではありません。
多くの場合、「製品の使用」が止まってから料金の支払いが止まります。
例えば、Netflixのようなサブスクリプションサービスでは、数か月利用しなくても解約せずに料金を払い続けるユーザーが存在します。対策
支払いに加えて、「製品を実際に使用しているか」を測定基準にしましょう。
4. 単一の時点だけを見る
問題点
前回もご紹介したとおりですが、リテンションの一時期の値（例：「3週目のリテンションは80%です！」）だけを見て安心してはいけません。
その数値だけでは全体のトレンドは分かりません。「カーブが平坦になるかどうか」が最も重要です。具体例
製品Aが「3週目のリテンション80%」だとしても、4週目には50%に低下しているかもしれません。一方で、製品Bは20%まで低下しても、その後平坦になるなら、製品Bの方が長期的に健全です。
5. 分析ツールをそのまま信じる
問題点
分析ツールは便利ですが、デフォルト設定のまま使うと、誤ったコホートの分割や計測をすることがあります。
色々な測り方があり得るので、分析ツールがどういった仕様で計測されているのかを正確に把握していなければ、誤解してしまいますし、他人に説明する時も細かく質問された時に答えられません。
対策
初期段階では、自分自身でスクリプトを組んだりGoogle Sheetsを使って、コホートリテンションを手動で計算することをお勧めします。これにより、データの意味を深く理解できます。
リテンションカーブの定期的な確認
コホートリテンションカーブは毎日チェックする必要はありませんが、1週間～2週間に一度は更新しましょう。
リテンションが悪化する場合、早期に気づくことが重要です。
大抵の場合、比較的初期のデータから「コホートリテンションが良くない」ことが明らかになるでしょう。
最終回では、「悪いコホート・リテンションを改善する方法」をご紹介します。
次回もお楽しみに。
ここまで読んでいただき、ありがとうございました。
【宣伝コーナー】 PMF調査、承ります 💁♂️
まだ市場が存在しない新しいビジネスアイディアについて、プロダクト/マーケット・フィット調査（PMF調査）をサポートいたします。
スタートアップを始められた方、検討されている方、新規事業に取り組んでおられる会社担当者の方は、ぜひこちらよりお問合せください。