森林中一条分成两个方向的土路

A/B测试显著性计算器

输入两个版本的发送量和打开量——看看差异是真实的还是只是噪音。

提示统计显著性取决于样本量是否充足——发送量很少时,即使显示'显著',这个结果也可能不可靠。

工作原理

小规模测试中较高的打开率并不总是意味着某个主题真的胜出——发送量太少时,差异很容易只是随机偶然造成的。这个计算器会对你的两个版本运行标准的统计显著性检验。

常见问题

需要多少发送量才能得到可靠的结果?

没有固定的数字——这取决于两个版本之间差异的大小。作为大致参考,每个版本发送量不到几百封的测试往往只能检测出非常大的差异。

'95%置信度'到底是什么意思?

这意味着,如果两个版本之间真的没有差异,这么大(或更大)的差距只会有大约5%的概率是偶然出现的——而不是说你有95%的把握知道哪个更好。