Web広告のABテストって思ったより難しくない？設計と判断のつけ方のポイントをご紹介！

こんにちは。オールマークのK.O.U.S.E.Iです。

年明けてもう1月が終わろうとしている昨今。皆様いかがお過ごしでしょうか？
毎年のことですが年末年始の暴飲暴食により気が付けば体重は生涯MAXを余裕で突破。。
今年こそは！と懲りずにダイエットを始めたK.O.U.S.E.Iです。はたして今年は痩せることが出来るのか？？

さて今回はWeb広告のABテストについてまとめさせて頂きます。
理論は理解しているけど、ABテストの結論ってこれでいいんだっけと迷う方も少ないと思います。

本日はWeb広告におけるABテストの設計と判断のつけ方のポイントについてお話をしたいと思います。

ABテストの悩みあるある～これどっちだ？？～

この記事を読んで頂いてる方でWeb広告の運用をされている方は、共感頂けるのではないかと思うのですが、広告文やバナー、ターゲティングなどWeb広告のABテストをしていると、考慮しないといけない要素が多すぎて判断に悩むケースが多くありませんか？

「こっちのバナーの方がクリック率いいけど配信量が全然違うな～」
「このバナーAの方がCV率高いけど、クリック率は低いんだよな～」
「複数ターゲティング試したけど結局CV数が少なくて判断つかない。。」
など、気まずいシーンも少なくないのではないでしょうか？

確証をもって「ABテストの結果、正解は〇〇です！」ってハッキリ言いたいけど、そもそもWeb広告は様々な状況やターゲットによって常にアクションは変わるから正解が無いもので、広告主様や上司に根拠の曖昧な中途半端な報告をあげることも出来ない。
なおさら気まずくて頭を悩ます日々が続きますよね～

今回の記事では、広告の検証を行う中でそんな気まずい経験を今後しないために、Web広告運用歴10年以上の知識をもとにABテストの考え方をまとめていきます。

ABテストの考え方について

まずABテストを行って差分を分析していくのですが、まず前提知識として「有意差」「有意差検定」という言葉を紹介させて頂きます。

何か既にイケてるワードが出てきましたが、「有意差」「有意差検定」はあくまでも統計学用語で、広告の運用上ではあまり使いませんが、前提として統計学の概念を理解しておくことは非常に重要になります。

ABテストとは「比較対象に生じた差に意味があるのか」検証するものなのですが、結果として得られた意味がある差を「有意差」と呼びます。
またABテストの検証の結果、目の前に出ている数字の「意味がある差があるかどうか」を判断するのが「有意差検定」と呼びます。

例えば、バナーAとバナーBでそれぞれ100クリック受けたとします。
バナーAでは6件のレスポンスがあり、バナーBでは8件のCVがあったとします。

CV率だけを見ればバナーBの勝ちなのですが、この場合は「有意差がある」とみなすことはできません。

ABテストでは、サンプル数が少ない場合にはA/Bパターンの差が出ていたとしても一時的なもので、クリック数が100倍になると変化する可能性が高いため、サンプル数が少ない段階では判断しないようにする必要があります。
その「有意差」を証明するために必要なのが「有意差検定」です。次項に代表的な「有意差検定」をまとめます。

代表的な検証方法を知っておこう！※ここは流し見でOKです～

有意差検定は、数学的なジャンルで少々専門的になりますが、有意差検定の基礎知識をまとめさせて頂きます。

▽帰無仮説
検証したい仮説の逆の仮説。無に帰したい仮説。
否定するためにある仮説で、帰無仮説を否定することで対立仮説を照明する。
例）バナーAとバナーBに差がない。

▽対立仮説
帰無仮説と対立する「仮説」。
例）バナーAの方がバナーBよりも有効。

▽p値
帰無仮説が正しいとした場合に、観測値が得られる、もしくは観測値よりも極端な数値が得られる確率。

▽有意水準
帰無仮説を否定するときに基準となる数値。％で表す。
p値＜有意水準のときに帰無仮説が否定される。
5%や1%を取ることが多い。
つまりサンプルが少なく、条件が異なる場合、「有意差」は判断することが出来ず、有意差検定を行うことで、様々な条件、可能性を排除してABテストの結果を検証する。
条件を一緒にした上でサンプル数を確保して、様々な可能性を否定して割り出された答えが正解である。これがABテストの数学的、統計学的アプローチになります。

【本題】Web広告におけるABテストの検証方法の考え方とは？

前置きが長くなり申し訳ございません。ここから本題の、
「じゃあWeb広告のABテスト結果はどないせぇちゅうねん！」
ここの解説に移らせて頂きます！
前項にABテストの統計的概念をまとめましたが、実際のWeb広告運用でp値だ有意水準など論点に上がることはまずありません！！安心したぁという方、あなたは間違ってませんよ。
なぜなら、、
Web広告の特性から考えると、下記要素があります。

①ユーザーのWeb上での行動は多岐にわたっているため全く同じ条件での検証はほぼ難しい
②媒体の学習機能が発達している中、無理にサンプル数を合わせることは最適ではない
③普通に考えて【サンプル数＜成果】なのでサンプル数を確保するより成果悪化の方がリスクである
④優位水準が～何て言ってる時間が無駄

④は個人的な意見が多いような気がしますが、Web広告のABテストにおいて統計学の考え方を持ち込み過ぎてしまうと、時間や広告費用がかかり過ぎるので、Web広告のABテストにおいては別の考え方を持っておく必要があります。
その考え方というのが大きく2パターンです。

A：早期判断＆修正ABテスト
B：大量入稿＆媒体任せABテスト

Web広告においては【A：早期判断＆修正ABテスト】【B：大量入稿＆媒体任せABテスト】の考え方が最もしっくりくると私は考えます。

【※結論※】とはいえ早く結果を出したい！そんなあなたに！！

Web広告はスピード感が非常に重要。
サンプル数、母集団が～何て言ってたら改善するどころか無駄なコストが増えてしまい、広告の継続も危ぶまれてしまいますよね。。
クリック単価、クリック率、CV率は日々変化するので、その変化を早急に読み取り、常に対応していく姿勢が不可欠です。

最後に早くWeb広告の成果を改善したいとお思いの皆様に、前項で説明したオールマーク的ABテストの考え方をそれぞれ説明します。

A：早期判断＆修正ABテスト

検証したいトピックスを選び、3-5日その数値を注視し、傾向が掴めたと思ったら、その対策となる次の施策をすぐに実行する運用方法。

例えば、バナーを3パターン入稿して成果の良いバナーを見定めたいとします。その場合、スプレットシートやエクセルに毎日の数値をまとめ、バナー×日のデータを短期的にウォッチし続けます。

早ければ1－2日で微妙な差分が見え始め、3-5日もすると正解が見えてきます。その数値として現れた正解を元に、バナーの停止、新たなバナーの追加を行います。

この方法で重要なポイントはネクストアクションを事前に準備しておく点にあります。
常に広告は配信され続けますので、客観的に数値を受け止め、施策を常にリフレッシュすることが、早期に成果改善に確実につなげる方法です。

B：大量入稿＆媒体任せABテスト
クリイエティブを4-8パターン同時に入稿し、あとは学習の最適化に任せる方法。一見雑な施策に見えますが、Web広告運用においては実は一番効率的な方法です。

最近の広告媒体の学習精度は非常に高く、metaのように成果の良いクリエイティブ・ターゲティングに
広告費用が圧倒的に割り振られるので、複数投入したクリエイティブの中に大当たりクリエイティブがあった場合、成果が一気に良くなります。

ポイントは事前準備。

適当に4-8パターンのクリエイティブ・ターゲティングアイデアを作成するのではなく、1つずつそれぞれに検証したい意図を考え作成する。そうすることで成果を元に次のアイデアも出てきやすく、更に大当たりのクリエイティブを生み出せる確率も上がります。

【A：早期判断＆修正ABテスト】【B：大量入稿＆媒体任せABテスト】共に、仮説を立てて成果を元にすぐに改善するという考え方は共通しています。
【検証】というのはよく使われる便利な言葉ですが、スピード感を失ってWeb広告の強みを消してしまうことのないようにしましょう。

まとめ

ABテストはその結果を重視するのではなく、あくまでも結果、KPIを達成するために行うものであるので、手段と目的が逆にならないように気を付けて下さい。

記載させて頂いたオールマーク式ABテストの考え方を試してみて良かったという方、ぜひ聞かせてください～
私はこれからダイエットを加速させるために、晩御飯のABテストに取り掛かるとしよう笑

合わせて読みたい：【実際どうなの？】Web広告を代理店に運用させるメリット4選