ノイズデータが結果を破壊する
皆さんこんにちは。
ギャプライズ鎌田(@kamatec)です。
仕事柄様々な業種業界のABテストを年間1,000本以上見ているのですが、ABテストを回していると一番多いのが、
AとBの差がつかなくて勝敗がつけられない
というパターンです。
実際にOptimizely社が3億回以上のABテスト結果を調べたデータを見ても、ABテストにおいて成果が上がるテストは25%であり、約60%は「Inconclusive=未確定」という結果になるというデータが出ています。
またAB