【マーケティング x データサイエンス】施策の最適化ステップ
想定読者
本記事は、新たにマーケティング施策を始める予定だが、データを使ってどのように最適化できるのか分からない人に向けたものです。
マーケティング施策とは、例えば新規顧客獲得・既存顧客育成・離反防止のためのクーポン施策や、クロスセルを狙った新規キャンペーンなどが挙げられます。
例えば、既存顧客育成のためのクーポン施策を考えてみましょう。社内には前例のない全く新しい施策だとします。この時、どのような手順でクーポン施策を立ち上げ・最適化していきますか？
0. KPIを確認しましょう
まず、KPIは何か確認しましょう。
それはキャンペーン期間中の売上でしょうか？それとも、ROIでしょうか？
売上だった場合、極論を言えば予算の許す限り全員にクーポンを配布してしまえば良いわけです（※クーポンを貰うことで購入を辞める層が殆どいないと信じられる場合）。しかし、KPIがROIだった場合は、全配布とはいきません。しっかりとキャンペーン期間中・後にコストを回収できそうな有望なセグメントに絞って送る必要があります。さもなければ単なるお金ばら撒きキャンペーンになってしまいます。
まずは施策の目的（KPI）をきちんとステークホルダーと握るようにしましょう。それさえ握れれば、大きくコケるリスクは少ないと思います。
1. ランダム配布実験をしましょう
できるだけ早い段階で、小さくランダム配布実験をしてみましょう。
ランダム配布実験とは、ユーザーをランダムに選んできてクーポンを配ってみる実験（A/Bテスト）のことです。
実施目的は2つあります。
1つ目は、あなたが打とうとしているクーポンが本当にユーザーの行動を変えるだけの有効性があるか否かを知るためです。もしランダム配布をしても効果が無風だった場合、クーポン仕様そのものの再考が必要でしょう。施策というレバーが壊れていては、その後いくら最適化しても意味がありません。
いくらか効果があった場合は、それが今後最適化を進めていく上でのスタート地点（ベースライン）となります。最適化を進めたおかげで2-3ヶ月間後に晴れてKPIがリフトできたとします。マネージャーからの「最適化によってどの程度リフトできたのですか？」という質問にはどう答えますか？
ここでベースラインとの比較が必要となります。逆に言えば、ベースラインが分からないまま最適な結果のみ渡されても「実はベースラインがそもそも高いのでは？」と思われあまり評価されないかもしれません。
2つ目の目的は、最適化のためのデータ収集です。ランダム配布をしているので、サービス内のあらゆる属性のユーザーに対する当該クーポンへの反応を観察することができます。データアナリストであれば、そこから
「直近登録したユーザーはクーポン反応率が高い」
「一部はバーゲンハンターがおり、クーポン後の継続利用につながっていない」などの示唆が得られるはずです。データサイエンティストであれば、このデータからクーポン反応モデルや、アップリフトモデルなど各種モデルを作っていくことになります。
このように、まず小さくランダム配布実験をすると本当にいろいろなことがわかってきます。
2. とにかくシンプルなルールベースから最適化を始めましょう
シンプルなルールベースで最適化を始めましょう
もし、Step1.ランダム配布の時点でKPI達成できそうであれば、それ以上の工数は必要ないかもしれません。しかし通常はそうではないでしょう。
「ランダムでKPI達成できるのであれば、もっと効率化しよう」
「もっと高さを出そう」
などの追加要求がくるはずです。
では最適化はどのように進めれば良いでしょうか？
おすすめなのは、とにかくシンプルなモデルから始めることです。
例えば、
ヘビーユーザーは、クーポンがなくても定着してくれるから彼らにはクーポン配布しない
というたった1つだけのルールベースでも良いと考えています。シンプルなモデルから始める理由は、いち早く失敗をするためです。これは逆の極論を考えればわかりやすいでしょう。
例えばランダム配布実験のあと担当データサイエンティストから「6ヶ月後に素晴らしいモデルを発表します！それでは！」と言われたらどうでしょうか？不安になるはずですし、6ヶ月後のモデルが期待通りの動きをしないリスクも大きいです。一方でシンプルなモデルから始めれば、ランダム配布実験のあと1-2週間後には次の実験ができます。実際のユーザーの反応を見ながら、徐々にパーツを足していく、レベルアップさせていくことが可能となり、KPI達成の確度が一気に上がる感じがしませんか？（なにより安心ですよね）
また、いきなり複雑なモデルから始めてしまうとシステム側でも大きなタスクが発生して実験の開始が遅れてしまいます。いくらデータサイエンティストが1日で超高性能モデルを作ったとしても、システム側がそれに対応していなければ実験は開始できません（訓練・推論パイプラインの作成、ログ機能の作成、などなど）。
結果として、システム開発に3ヶ月かかる、なんてリスクもあります。
ルールベースモデルは、丁寧なデータ分析とドメイン知識を掛け合わせれば十分に機能します。現に筆者の経験として、ルールベースのみでKPI150％達成をしたことがあります。決して、この後の機械学習モデルを実装するまでの時間稼ぎではないということです。
3. 機械学習モデルを用いて最適化を始めましょう
ルールベースモデルでも限界が見えてきたら、機械学習を用いた最適化を実施しましょう。ただしこの段階で、最低でも２回は実験を回していることになります。これにより、キャンペーン実施のオペレーション・システム操作にチーム全体が慣れており、機械学習モデルの開発に専念することができます。
ここがデータサイエンティスト（機械学習エンジニア）の腕の見せ所というわけです。ここはある程度の時間が必要となりますが、すでにランダム実験とルールベース実験の結果が手元にある状態なので、「機械学習モデルにより、あとどの程度の改善が可能か？」という感覚値はある程度正確に推定できてきます。現場のデータサイエンティストとよく会話を重ねて期待値のずれが起きないようにしましょう。
まとめ
以上のステップをまとめます。
KPIの確認: 売上やROIなど目標を明確にする
ランダム配布実験の実施: クーポンの有効性やデータ収集のために実験を行う
シンプルなルールベースモデルの作成: 最初の最適化モデルをシンプルにして失敗を早期に確認する
機械学習モデルの導入: ルールベースモデルが限界に達した場合、機械学習モデルを導入する
新しいマーケティング施策を立ち上げる際のイメージが湧きましたでしょうか？
データ分析に関する相談や研修依頼など受け付けております。
質問・問い合わせはこちらから↓