附 件 资 料

邮件资料包 · 80 份

含 SPF/DKIM 配置表、退信代码对照、新人培训课件,反垃圾规则,垃圾箱讲解,规避垃圾箱,等等…

免费下载 →

你写了一版标题,同事写了一版,两版一起发给两千人。A 版打开率 21%,B 版 24%。同事说 B 更好,你心里没底:差这 3 个百分点,是真的吗?还是运气?

这就是小样本测标题最常见的坑。样本太小,你测到的不是标题差异,是随机波动。

先搞清楚:你在比什么

打开率的分母是送达数,分子是打开数。每一次打开都有随机性。哪怕两版标题完全一样,分成两组发,打开率也不会一模一样。

所以判断标准不是“谁高”,而是“差异有没有大到不像是随机造成的”。业内常用的门槛是置信度 95%,意思是:如果两版其实没差别,我们只有 5% 的概率会误判成有差别。这个概率就是误报率。

打开率越低,需要的样本越大。因为低打开率意味着每次发送携带的信息更少。打开率 10% 的名单,测出 2 个百分点的差异,比打开率 40% 的名单难得多。

一个能记住的量级

不背公式,记住几个量级就够用:

  • 每组几百人:只能看出非常大的差异,比如打开率差一倍。小差异会被噪声淹没。
  • 每组一两千人:能看出 3 到 5 个百分点的差异,前提是名单质量稳定。
  • 每组五千人以上:才适合检测 1 到 2 个百分点的细微差异。

这些数字不是铁律,但方向是对的:想测小差异,就得多发。样本不够时,最好的做法是承认“这轮测不出来”,而不是硬选一个赢家。

还有一个更容易被忽略的问题:一封邮件里有标题、正文、按钮文案、发送时间,很多变量同时在变。如果你一次只改标题,其他都保持一致,结论才站得住。

分层与重复,比单轮更可靠

名单里有活跃用户,也有半年没打开过的人。直接随机分组,两组的人员构成可能不一样。常见的情况是这样:B 组恰好分到更多活跃用户,打开率自然高,但这跟标题没关系。

做法是按活跃度分层,每层内部再随机分成 A、B 两组。这样两组的人员结构接近,比较才公平。

另外,单轮结果不要当定论。同样的两版标题,换个时间再测一次。如果两次方向一致,可信度就高很多;如果一次 A 赢一次 B 赢,说明差异本来就在噪声范围内。

马上能做的三件事

  • 先定最小样本:测标题前就算好每组至少发多少人,达不到就改成测更大的改动,比如换开头一句话,而不是抠标题里的一个词。
  • 一次只改一个变量:标题、正文、发送时间分开测,别在同一轮里同时换,否则赢了也不知道赢在哪。
  • 按活跃度分层随机分组,并把单轮结果当作参考而不是结论,重要决策至少复测一次。

小样本不是不能测,而是只能测大差异。认清这一点,比多跑几轮测试更有用。

本站资源的版权归原作者所有,如有侵犯到您的权益,请联系邮箱:jinghao1616@qq.com 提供可充分证明权益的有效文件,我会第一时间配合处理。