ABテスト(4)_必要なデータ数

前回に引き続き、ABテストに触れます。 ABテストでクリック率の差を測りたい場合、どれだけのデータ数があれば良いのでしょうか？

「とりあえずやってみたけれど、データ数が十分でないため、統計的に有意な差はありませんでした」・・・

っていうのは困りますよね。

「何の成果も！！得られませんでした！！！！」とは言えませんし汗

分析前に必要データ数を把握する意味

比較したい目標クリック率によって、必要なデータ数が変わってきます。

ただ、データ数を増やしたくても、予算や時間など様々な問題で簡単には増やせないと思います。

国勢調査のようなものであれば、潤沢なリソースを基に大規模な調査ができるか思いますが、1企業では制約があります。

ですので、どこまでならデータ数を増やせるか、その制約下ではどこまでの精度で分析ができるかを、分析前に知っておく必要があります。

「何の成果も！！（以下略）」としないためです。

今は複雑な統計計算をしなくても、サイトで自動で計算してくれるサイトもありますので、それを活用すると良いでしょう。

例えば、通常のクリック率が1%だとします（リストA）。そして、比較対象のリストBでのクリック率目標が2%とします。つまり、何らかの変更をリストBに施したことにより、クリック率が+1%増えることを目標とします。その場合、統計的に有意といえるためにはどれくらいのデータ数が必要でしょうか？

専用サイトで計算してみました。以下の場合、必要データ数は約1800でした。これくらいであれば、データを用意するのは難しくなさそうです。

→必要データ数：約1800

上記のように明確なクリック率の差がなく、0.5％の場合は下記です。

→必要データ数：約6200

これも、データ数は問題なさそうです。

次回はテスト結果の効果検証方法について触れます。

以上です。