你改了一个标题,把“本周新品”换成“本周新品,先到先得”,发给两组各 60 个收件人。A 组打开 9 个,B 组打开 13 个。看起来 B 组好了 6 个百分点,但这真能说明新标题更好吗?
先搞清楚:一个样本是一个人,不是一次打开
A/B 测试,就是同一封邮件只改一个元素,分两组发送,再比较结果。这里样本单位是独立收件人。同一个人反复打开,只算一个样本;一次打开事件不是新样本。否则爱点邮件的人会把结果放大。
所以看每组样本量,要看每组实际送达并有机会打开的人数,不是总打开次数,也不是整份名单人数。退信、屏蔽、重复地址要先剔掉。
几十个样本为什么容易骗人
打开率是比例。样本越小,随机波动越大。每组 50 人时,多 2 到 3 个打开,百分比就会差好几个点。这个差距可能只是谁刚好那会儿看手机。
更麻烦的是,标题效果通常不大。你想找的差异越小,需要的人越多;只想看明显更好的标题,样本可以少一些,但仍然不能用一二十个人下结论。
别在发完后算现在够不够。先定一个业务上值得改的最小差异,比如打开率差几个百分点,再决定每组至少多少人。具体数值可以用公开的样本量计算器估,不用背公式。
粗略经验:每组几十人,只能发现问题;每组数百人,才适合看趋势;要判断几个百分点的小差异,通常需要更多样本。别把粗略经验当精确公式,但它能帮你拦住明显不靠谱的结论。
分组和发送也要干净
两组名单要随机拆,不要按客户等级、地区、活跃度拆。两组要同时发,避免一边赶上促销、一边赶上周末。标题只改一个变量,别同时换发件人、正文和发送时间。
如果列表里有很多长期不打开的人,他们会让两组结果都变钝。可以先用活跃收件人做测试,再把结论拿到更大名单验证。
- 先写清楚这次测试要判断的最小差异,再定每组人数;几十个样本只当参考,不当结论。
- 按独立收件人计数,剔除退信和重复地址,随机分组、同时发送,只改标题。
- 小样本结果先复测一次;两次方向一致再改默认标题,别一次就全量切换。
本站资源的版权归原作者所有,如有侵犯到您的权益,请联系邮箱:jinghao1616@qq.com
提供可充分证明权益的有效文件,我会第一时间配合处理。
