アプリを利用するとLTVはホントに高くなる？ 厳密な効果を測るためのデータ分析
Cheetah DigitalでDataAnalystを務めている小林です。
昨今は企業アプリが当たり前のようにリリースされており、各社アプリを中心としたCRM戦略を推し進め、アプリDLにも相応の力を入れて取り組まれています。
アプリDL促進施策において、マーケティングコスト、つまりCPA（顧客獲得単価）をどの程度で回していくかは重要な課題です。
適切なCPAを考える上で、アプリDL・利用によって、その顧客のLTVがどの程度向上するのか？が重要な視点になりますが、正確に測定できていないケースが多いようです。
そんな、アプリDL効果の考え方と、可能な限り妥当で正確に測定するためのデータ分析手法をご紹介していきます。
1 アプリDLするとLTVは上がる？
とある企業のマーケティング担当者が、自社アプリの効果を分析しているとします。
過去１年間の購買データを分析したところ、以下のような結果が出ました。
アプリ利用者：年間平均購買金額 50,000円
アプリ非利用者：年間平均購買金額 30,000円
上記の結果をみると、アプリ利用者は非利用者よりも20,000円多く買い物をしています。
そこで、「アプリDLすることで年間20,000円の購買金額向上効果がある！」と結論づけました。
これは妥当な解釈でしょうか？
2 選択バイアスの落とし穴
結論から書くと、この判断は妥当ではないと考えます。
「選択バイアス」の存在が否定できないからです。
もともとロイヤルティの高い顧客や、頻繁に商品を購入する顧客ほど、企業のアプリを「利用しやすい」傾向があると考えるのが自然です。
したがって、アプリを利用するかどうかはランダムではなく、顧客の特性によって「選択」されているのです。
顧客の特性が、計測したい結果（ここでは年間購買金額）に影響を与えてしまっていることを「選択バイアス」と呼びます。
上記の例では、アプリ利用・非利用によって20,000円の差が発生しているわけではなく、各顧客の特性（ロイヤルティや性年代傾向など）も大きく反映した結果になっている可能性があります。
これでは、正確な「アプリのDL効果」を推定することができません。
3 バイアスを調整するための分析手法：IPW
このような単純なデータ集計で解決できない問題にアプローチすることがデータ分析の役割です。
アプローチ方法は様々ありますが、私が過去取り組んだ事例で利用したIPW（逆確率重みづけ）という手法を紹介します。
IPWを一言で言うと、「それぞれの特性を持つ人が、アプリを利用する/しない確率」を推定し、その「逆数」でデータを重みづけすることで、選択バイアスを調整する方法です。
言葉で表現しても難解なので、順を追って考え方をご紹介します。
3-1 アプリを利用する確率（傾向スコア）を推定する
まず、各顧客が「アプリを利用する確率」を推定します。この特定のグループに所属する確率（今回の例ではアプリを利用するグループに所属する確率）を「傾向スコア (Propensity Score)」と呼びます。
傾向スコアは、年齢、性別、過去の購入金額、購入頻度、ウェブサイトの訪問回数など、アプリ利用に影響を与えそうな様々な要因（共変量）を使って、ロジスティック回帰などの統計モデルを用いて推定します。
【例】
Aさん：年齢30歳、女性、年間購入額 10万円、購入頻度 高い、ウェブ訪問 多い → 傾向スコア 0.9 (アプリを利用する確率90%)
Bさん：年齢50歳、男性、年間購入額 2万円、購入頻度 低い、ウェブ訪問 少ない → 傾向スコア 0.2 (アプリを利用する確率20%)
3-2 「逆確率」で重みづけする
次に、推定された傾向スコアの「逆数」を使って、各データを重みづけします。これは、各ユーザーのアプリ利用のしやすさ（傾向スコア）に応じて、データの重要度を調整する、つまり「ハンデをつける」処理です。
アプリを「利用した」グループ: 1 / [傾向スコア] で重みづけ
アプリを「利用しなかった」グループ: 1 / (1 - [傾向スコア]) で重みづけ
なぜこのような重みづけを行うのでしょうか？
それは、アプリの利用傾向によって生じる偏り（選択バイアス）を削減し、アプリダウンロードによる純粋な売上増分効果を測るためです。
例えば、もともと売上が高いユーザーはアプリを利用しやすい傾向にあるかもしれません。この場合、単純にアプリ利用グループと非利用グループを比較すると、「アプリのおかげで売上が上がった」のか、「もともと売上が高いユーザーがアプリを利用しただけ」なのか区別できません。
そこで、逆確率重みづけによって、各ユーザーのアプリ利用のしやすさに応じてハンデをつけ、あたかも全てのユーザーのアプリ利用のしやすさが同じであるかのように調整します。これにより、アプリダウンロードによる純粋な売上増分効果をより正確に評価することが可能になります。
3-3 重みづけしたデータで効果を推定する
最後に、重みづけしたデータを使って、アプリの効果を推定します。
例えば、重み付けした年間購入額の平均値をグループ間で比較します。
このように重み付けすることで、各グループの特性のバランスが調整され、選択バイアスの影響を軽減した、より妥当なアプリの効果の推定が可能になります。
4 IPWの活用範囲
IPWは、さまざまなビジネス課題に対応できます。
メルマガ会員と非メルマガ会員のLTV
エントリー制キャンペーンの効果
クーポン配布有無別の購買確率
キャンペーン実施店舗と非実施店舗の差
上記のように、効果を計測したいが「選択バイアス」によって妥当に評価ができないビジネス課題は多々あります。
IPWは、このようなケースに対応し、適切な検証・評価を行う強力な分析手法になり得ます。
5 IPWの注意点
IPWは非常に活用範囲が広く有意義な分析手法ですが、万能というわけではなく、欠点も存在します。
１．傾向スコアの推定精度に依存
傾向スコアの推定が不正確な場合、因果効果の推定も不正確になる可能性があります。
前述の例でいえば、個人のロイヤルティに関わる属性情報が十分に取得できていることや、精度の高い推定アルゴリズム・統計モデルが必要です。
２．交絡因子が測定されている必要がある
交絡因子とは、介入有無（今回で言えばアプリの利用有無）と結果の両方に影響を与える変数（データ）のことを指します。
「１．傾向スコアの推定精度」でも述べた通り、アプリ利用有無と購買金額それぞれに影響を与えうる変数（性年代やロイヤルティ意識、個人の価値観など）が測定されていることが必要です。
現実的にあらゆる交絡因子をデータ化し、分析に利用することは不可能なので、可能な限り影響を与えうる重要な変数を多く分析に取り込むことで、測定不可能な交絡因子の影響を最小限にすることをめざします。
３．極端な重みの影響
傾向スコアが０または１に近い値をとる場合、その逆数は非常に大きな値になり、推定結果が不安定になることがあります。
これらの影響を最小限にする工夫をしなければなりません。
技術的には「安定化ウェイト」など、追加の配慮を行っての分析が必要なケースがあります。
6 まとめ
ここまで、IPW（逆確率重みづけ）の手法や、ビジネス適用における具体例を紹介させていただきました。
IPWは、因果関係が重要な様々なマーケティング施策において役に立つ分析・効果検証手法です。
IPWの実装方法や詳しい理論はインターネット上に多数ありますので、ぜひ参照してみてください。
また、自社のマーケティングの意思決定に活用してみたい場合はお気軽に当社にご相談いただければ幸いです。
↓↓↓24年9月に配信した、KPI設計と効果検証に関するウェビナーもアーカイブ公開中です！↓↓↓
Author
小林 寿 （Hisashi Kobayashi）
Marketing Consultant
マーケティングオートメーション・ロイヤルティプログラム領域のマーケティングコンサルティングを担当。市場調査・政策評価・マーケティングアナリティクス・因果推論等が専門。
分析・クリエイティブ・製品・最新技術など…マーケティングに役立つ情報を発信中！
＞ チーターデジタルBLOGはこちら