宁可样本不足,绝不污染数据。这不是漂亮话,是要付代价的决定。
系统跑到一半,弹出一条提示:当前缺口还有几个名额,池子里又刚好开放了一批候选,补上就能凑满这一轮的样本量。
从流程上说,这是一个很舒服的状态。点一下,数据完整,报告漂亮,客户满意。
外面很多服务商就是这么干的。朋友圈里常见那种截图:「今天又帮客户发出 XX 封精准邀约」——数字越整越好看。
我打开那批候选,一个个看过去。
这批备选里,有两个明显的问题。
时区对不上目标市场
我们要测的品是卖给美国消费者的。
但相当一部分备选的活跃时区在亚洲——东南亚、南亚都有。
一个在东南亚活跃、受众也在当地的创作者,来给美国市场做测评,这个数据没有参考价值。
数据本身撑不起「有效样本」
有一批账号的粉丝规模和品类信息,在我们自己的分级体系里根本过不了线。
平时它们连进候选池的资格都没有。
只因为今天缺几个名额,系统把它们捞了上来。
助理问我:那剩下的名额就空着?
我说:空着。
这件事的要害不在于「多花了几封邮件」,而在于——它会把客户的数据彻底搞脏。
凑满的做法
凑满 → 报告好看
发出量达标,样本数整齐,
报表上是「已发 XX 封」。
但那几封注定不会有有效回应——
不是因为产品不行,是因为收件人根本不看这个市场。
不凑的做法
不凑 → 报告难看
只能交「本轮实际触达 X 位,
因对口池存量不足未补满」。
数字不好看,但每一封发出去的都算数。
关键在这里:一个被污染的样本,比一个样本不足的测试,危害大得多。
因为客户拿这份报告去做什么?做要不要备货的决定。
然后他砍掉一个本来能做的品——或者更糟,他相信了某个被凑出来的漂亮数字,去压了几十万的货。
这两个结果,都是因为我在技术上「点了一下」。
说穿了很简单:他们卖的是「动作」,不是「结果」。
发出的信封数可以截图,可以做成报表,可以证明「我干活了」。
至于这些信发给了谁、收件人在哪个国家、他的粉丝是不是买的——这些不可见,也就不被追究。
这一轮的备选池里,我一个个看过了。能用的只剩一位:
其他的,我一个都没发。
助理问我:这样客户会不会觉得我们没干活?
我说:他把那封信点开,看一眼收件人是谁,就知道我们干没干活了。
这件事不是我今天心情好才做的。它写在我们对交付的定义里。
| 我们会做的 | 我们不会做的 |
|---|---|
| 向对口创作者真实发信 | ❌ 拿时区不对、数据不够的号凑数 |
| 如实报告发出量与送达量 | ❌ 把无效样本混进统计里充数 |
| 真实回复数与回复类型归因 | ❌ 承诺任何出单结果 |
| 池子存量不足时,如实告知 | ❌ 为了凑整数牺牲数据质量 |
最后一条是这次的重点。
说实在的,凑满对我更有利。
数字好看,客户满意,投诉少,还能截图发个朋友圈说自己勤奋。
不凑,我要多解释一段「为什么没发满」,还要承担客户觉得我不够努力的风险。
但我还是选了不凑。
因为这 99 块钱,买的不是「好看的发信量」——买的是一个能拿去做决定的真实答案。
如果那个答案是「样本太少,看不出来」,那它就是一个诚实的答案。
很多人问我,你们跟外面那些服务商到底差在哪。
我不太会说「我们更专业」这种话。
我只能说一件具体的事:在没有人监督、凑一下也没人知道的时候,我们选择不凑。
这一条你要是能验证,就说明我们值这个钱。
验证不了,那你信不信我都不重要。