ABテスト(1)_リストの準備

これからABテストについて書こうと思います。今回はメール配信で使うメールアドレスリストの準備について触れます。

ABテストとは

「ABテスト（英: A/B testing）とは、主にインターネットマーケティングで行われる、施策判断のための試験の総称」 (出典: フリー百科事典『ウィキペディア』)

ABテストは正式名称は「A/Bテスト」でスラッシュが入るんですね。ただ、Googleトレンドで確認すると「A/Bテスト」と「ABテスト」では後者の方が検索されているようなので、当ブログではとりあえず「ABテスト」と表記します。
Googleトレンドでの比較

配信しているメールの件名をAとBで変えて、メールの開封率・クリック率などが変わるかどうかを検証すること

私のチームで使用するメール配信用ツールでは、メールアドレスリストをAとBに2分割する際に、無作為に分割する仕様でした。

ただ、無作為といっても、契約状況やプランなどをAとBで差が出ないように分割できるか疑問でした。

例えば、４０人の生徒がいるクラスで、１：１の比率で男女それぞれ２０人ずついるとします。

それを単純無作為に２分割したとき、男女それぞれが分割前の比率１：１通りに分割されるものでしょうか？データ数が多ければ、大数の法則で１：１に近づくと思いますが、今回のデータ数では不安が残りました。

もし男女差が偏ったグループに分割した場合、それぞれのグループから得られる回答は、AとBのテスト内容による違いではなく男女差によるものかもしれず、原因の切り分けができません。それだとABテストになりません。

そこで、契約状況、契約プラン、業種などの項目をAとBのグループで均等になるように、予め分割してから試すことにしました。

完全無作為の場合と、今回試した方法で、どちらがうまく分割できているかは後日確認してみようと思います。