A/Bテストの稼働率を１００％にする

2021年1月22日 23:14

A/Bテストを行う基盤の検討していて、統計ってむずいなって思いながらプロジェクトマネジメントしています。

案件をリリースして成果を最大化していく場合、AB稼働率は１００％だと成果を最大化できるよね、というお話です。

AB稼働率とは、検証したい画面においてどのくらいABテストを実施した期間があったか？というものです。

つまり、365日中180日をABテストに費やせば、AB稼働率は50%だったといえます。

このAB稼働率が高いほど、成果が得られるチャンスが増えるので、100％に近いほうがおいしいよね、という考え方です。

成果の計算式

以下の図のように定義しました。

重要なことはコントロール可能な部分に目を向けることだと思います。

もちろんコントロール不可な部分もある程度の見立てや検証仮説の精度は大事だと思いますが、考えすぎるよりやってしまったほうがいいかなと思う因数です。

AB稼働率は上図のリリース案件数にひも付きます。

AB稼働率の高さが、チャンスを得るチャンスの多さに直結します。

ABテストの検証期間にあわせたリリースサイクルを組むのが最も効率がよいと考えています。

たとえば、ABテストの結果が出るまでに4週間かかったとする場合、この4週間にあわせて開発をすべて進めていきます。

例えば、AB検証期間を４ｗとして、

①企画、開発ともに２ｗの場合

②企画、開発ともに４ｗの場合

を考えてみます。

①企画、開発ともに２ｗの場合には、２サイクル分が重なります。

②企画、開発ともに４ｗの場合には、３サイクル分が重なります。

そのため、企画、開発ともに４ｗだった場合のほうがサイクルの重なりが大きくなるため、リソースは逼迫しがちになります。

リソースが不足すると、案件検討や開発がうまく進まない可能性があります。そうなれば、リリースできない案件が増えたり、よくわからない仮説の案件をとにかくやって失敗する（勝率が下がる）などが起きる可能性もあります。

今回はAB稼働率を高めたほうが成果を得られるチャンスは最大化され、成果の最大化につながることを整理しました。