附 件 资 料

邮件资料包 · 80 份

含 SPF/DKIM 配置表、退信代码对照、新人培训课件,反垃圾规则,垃圾箱讲解,规避垃圾箱,等等…

免费下载 →

你发了两个标题版本,A 版打开率 22%,B 版 25%。差 3 个百分点,看起来 B 更好。但每个版本只发了 200 封,这 3 个点的差距很可能只是运气。把这两版再发一次,结果可能反过来。标题 A/B 测试的第一个坑,不是标题写得不好,而是样本太小就下结论。

小样本为什么不可信

打开率本质是一个比例:打开人数除以送达人数。抽样就有波动。100 封里多打开 3 封,打开率就从 20% 变成 23%,但下一次同样发 100 封,可能只打开 17 封。这种自然波动叫随机误差,样本越小,误差越大。

用一个粗略的经验规则:每组至少要有几百封送达量,差异才值得看一眼。如果两组打开率只差一两个百分点,需要更大样本才能判断。比如目标打开率在 20% 上下,想可靠识别 5 个百分点的差异,每组通常需要上千封量级。这不是精确公式,只是提醒你:小差距配小样本,等于没结论。

更麻烦的是,邮件打开率还受很多噪声影响:发送时间、名单来源、当天竞品邮件多少、手机还是电脑打开。样本小的时候,这些噪声很容易盖过标题本身的效果。

别只看打开率,还要看样本怎么分

常见的情况是这样:把一份名单随机分成两半,各发一个标题。这叫随机分流,是 A/B 测试成立的前提。如果 A 版发给老客户,B 版发给新名单,那比的不是标题,是名单质量。

分流时尽量保证两边人数接近,并且从同一批收件人里随机抽。不要按导入顺序前后切,名单前段和后段往往质量不同。

另外要固定其他变量。同一时间发、同一发件人、同一正文,只改标题。否则你无法知道打开率差异来自哪里。

什么时候可以停,什么时候不能信

不要边发边看,看到某一版领先就立刻停。提前停在小样本上,最容易选中运气好的那一版,这叫“赢家诅咒”。比较稳妥的做法是发送前就定好样本量和观察窗口,比如发完等 48 小时再读结果。

如果结果差异很小,或者两组样本都只有几百封,建议把它当成“没有明显差异”,下一轮继续测,而不是急着换标题策略。相反,如果差异大且样本足够,再考虑把胜出版本用到下一批。

标题测试的目标不是每轮都选出赢家,而是积累可重复的结论。小样本上选出来的“赢家”,换一批人就可能失效。

马上能做的三条

  • 发送前写下每组的预计送达量。低于几百封就先别做标题 A/B,改成隔周轮换测试,积累多轮再比较。
  • 固定其他变量:同一时间段、同一发件人、同一正文,只改标题,并且随机分流。
  • 先定观察窗口再发送,比如 48 小时后再看。差异只有一两个百分点时,按“无结论”处理,不要据此大改策略。

样本量不是越复杂越好。对普通职场人来说,记住一句话就够了:小样本上的小差距,不值得行动。

本站资源的版权归原作者所有,如有侵犯到您的权益,请联系邮箱:jinghao1616@qq.com 提供可充分证明权益的有效文件,我会第一时间配合处理。