使い方
小規模なテストで開封率が高くても、その件名が本当に勝ったとは限りません——配信数が少ないと、差は単なる偶然で生じやすくなります。この計算ツールは、2つのバリエーションに対して標準的な統計的有意差検定を行います。
A/Bテスト有意差計算ツール
両方のバリエーションの配信数と開封数を入力——差が本物か、ただのノイズかを確認できます。
バリエーションAの開封率
バリエーションBの開封率
差
注記統計的有意性は十分なサンプルサイズに左右されます——配信数が非常に少ない場合、「有意」と表示されてもこの結果は信頼できない可能性があります。
よくある質問
信頼できる結果を得るには何通の配信が必要ですか？
決まった数はありません——バリエーション間の差の大きさによって変わります。目安として、各バリエーションの配信数が数百通に満たないテストでは、非常に大きな差しか検出できないことがよくあります。
「95%信頼度」とは実際どういう意味ですか？
これは、もしバリエーション間に本当に差がなかった場合、これほど大きな（またはそれ以上の）差が偶然生じるのは約5%の確率でしかない、という意味です——どちらが優れているかを95%の確信度で判断できるという意味ではありません。