「タワンバンディット」って...なに？正しいA/Bテストの考え方
何を「正しい」とするかは、目的次第です。
今回紹介する「多腕バンディット」は、限られた資源・機会の中で成果を最大化するためのアルゴリズムや問題提起のことです。
間違ったA/Bテストが行われていることをよく目にするので、今回は多腕バンディットアルゴリズムの概要を踏まえて、正しいABテストのやり方について紹介します。
多腕バンディットアルゴリズムとは？
スロットで勝つためには、どうすればいい？
冒頭の通り、多腕（たわん）バンディットアルゴリズムとは、限られた資源・機会の中で成果を最大化するためのものです。
Wikipediaでは以下のように書かれています。
多腕バンディット問題（たわんばんでぃっともんだい、Multi-armed bandit problem）は、確率論と機械学習において、一定の限られた資源のセットを競合する選択肢間で、期待利得を最大化するように配分しなければならない問題。（--略--）この名前は、スロットマシン（単腕バンディットとも呼ばれる）の列で、どのマシンをプレイするか、各マシンを何回プレイするか、どの順番でプレイするか、現在のマシンを続けるか別のマシンを試すかを決めなければならないギャンブラーを想像することに由来している[3]。（--略--）
多腕ってなんやねん！って思うかもしれませんが、「腕」は、日本のスロットにはない、カジノのスロットにあるレバーみたいなものです。
要はどのレバーを引き続ければ、成果が最大化するのかを考えるのが、この多腕バンディット問題なわけです。
これはデジタルマーケティングにも置き換えることができます。
どのクリエイティブを使うことが、マーケティングの成果の最大化につながるのか。これを考える上で、多腕バンディットアルゴリズムは避けては通れない道なのです。
単純なABテストとどう違うのか
「アルゴリズム」と聞くと、難しそうな印象を受けるかもしれないので、なるべく直感的に分かりやすく説明します。
まず単純なABテストから考えていきましょう。
クリック数は100,000、クリエイティブAのCVRを1.2%、クリエイティブBのCVRを0.8%とします。
この時、完全な2群比較を行う場合、クリエイティブAは50,000クリック、クリエイティブBも50,000クリック発生することになります。
このことを踏まえ、発生しうるコンバージョン数を計算します。
クリエイティブA：50,000 × 1.2% = 600
クリエイティブB：50,000 × 0.8% = 400
合計で1,000コンバージョン発生することが分かります。
これを折れ線グラフにプロットすると以下のようになります。
ひたすらランダムにAとBを出し分けるので、コンバージョンの累積値はまっすぐ伸びていきます。
では、多腕バンディットの場合どうなるのか。多腕バンディットアルゴリズムには、様々なアプローチがありますが、今回は省き、ざっくりとしたアルゴリズムの概要だけ説明します。
多腕バンディットアルゴリズムの概要は以下のとおりです。
最初はランダムにテスト
ランダムにテストしながら期待値（ここではCVR）を算出
ある程度期待値が定まったら期待値が高いものに寄せてゆく
ものすごく簡単ですね！！
要は、「Aの方が良かったからAに寄せる」という意思決定を、ABテスト中にやってしまうということです！
ではテストの条件は同じで、最初の20,000クリックで期待値を算出し、その後は期待値が高い方に寄せる、という風にすると結果はどうなるでしょうか。
最初の20,000クリックは、単純なABテストと同じような推移を取りますが、期待値の計算が終わったあとは、クリエイティブAに寄っていくので、最終的には多腕バンディットの方が累計コンバージョン数は増えました！
今回は説明のためにかなり保守的でシンプルなアルゴリズムにしたのですが、これを、よりレベルの高いもの（より高い成果が出るもの）にするためには、期待値の計算を最短で終わらせたり、期待値の計算を間違えてもあとから修正していくような仕組みを取り入れたりします。
多腕バンディットを取り入れよう！
で、これ、いつ使えるの？
「だから何だよ」「いつ使えるんだよ」という辛辣な言葉はやめてください。
実際、多腕バンディットを知っていてどんな得が？と思う人も少なくないでしょう。
では、この考え方が重要なシーンを発表します！
ﾃﾞｭﾙﾙﾙﾙﾙr
ﾃﾞｭﾝ
期間が限定している時のABテストを実行している時 です。
具体的には期間限定のキャンペーンや、販売期間が短い商品・サービスです。（限定品や不動産など、他にもあるかも）
限られた期間の中で最大の成果を出したいのに、呑気にABテストをして、効果の悪いクリエイティブを垂れ流しになんかしないですよね？
決してこのアルゴリズムを使う必要はありませんが、なるべく短い期間で良いクリエイティブを見つけて、良いものだけで販促をした方が、成果の最大化につながることは分かりきったことです。
また多腕バンディット的な考え方が重要なのは、決してこの限りではありません。いつ、どんなときも、早期にクリエイティブの優劣を判断し、意思決定のスピードを早めた方が良いに決まっています。
多腕バンディットの実践方法
では、どのように多腕バンディットアルゴリズムを取り入れれば良いのか。
方法は大きく分けて3つあります。
1. 早めにABテストを切り上げて、良いクリエイティブに寄せる
2. 多腕バンディットアルゴリズムが取り入れられたABテストツールを使う（もしくは自作する、そんなのあるのか知らないし）
3. 広告に任せてしまう
1.は、一般的に取り入れられている方法だと思います。ABテストの有意差を正しく・素早く検知するためにはカイ二乗検定や母比率の差の検定などが有効だと思います。
2.は、現実的に難しい気がします。そういうABテストツール、あるのかな？
で、今回話したかったことは3.です。これを取り入れている人、思っている以上に少ないです。特に大きい企業になればなるほど、取り入れていないイメージです。
この多腕バンディットアルゴリズム、代表的な運用型広告でもちろん採用されています。
Google広告やMeta広告で、勝手に良いクリエイティブに配信が寄っていきますよね？あれでいいんですよ。
ちらっと説明しましたが、このアルゴリズムの肝は「最短での期待値計算」と「計算にブレがあった時の修正能力」です。運用型広告配信サービスを提供しているGoogleやMetaは、当然この部分にも心血を注いでいるでしょう。
だから、無理して、完全な2群比較をしなくてもいいんです。
「片方のクリエイティブのトラフィックボリュームが少ないから、きちんとした検証ができていない」という人は、この多腕バンディットの概念を存じ上げていないだけです。
注意点を挙げるならば、成果対象（KPI）と、広告上のコンバージョンの相関性は高く保たねばならないので、必要に応じてオフラインコンバージョンのインポートや、GA4・Salesforceとの連携はしておきましょうね。
最後に
「広告媒体にABテストを委ねる」ということが浸透しないのは、この多腕バンディットアルゴリズムの認知率が低いからだと思い、こんなnoteを書いてみました。
なぜ大きな企業になればなるほど、この考えが浸透していないかというと、単に完全な2群比較の方が、高尚で、やってる感が出るからだと思います。
自称マーケターはやってる感を出しがちですよね。
悪口で〆るとか、良くないですね。
動画とクイズで学べるデジタルマーケティング学習サービス「デジマナビ」を運営しています！
デジタルマーケティングの基礎知識からリスティング、SEO、GA4や統計学まで、幅広い知識を本一冊分の価格で学ぶことができます。
いいね&フォローいただけると励みになるので、よろしくお願いします！
いいなと思ったら応援しよう！
