冷启动实验室COLD LAUNCH LAB
← 创业日记
连载 45 · 测试方法论篇

那个瞎测图亏了 50 万的老板,
连什么是"区组"都不懂

文 / 韩深林 · 2027-01-07 · 冷启动实验室 · 一篇统计学科普

他测了 7 天主图:前 3 天 A 图好,后 4 天 B 图好。
于是他押注 B 图,备货 5000 件。
一个月后,全砸手里。

上周,一个做户外用品的老板找我。他花重金找人画了两套 A+ 主图:A 图强调便携,B 图强调容量。

他连着测了 7 天。前 3 天 A 图转化率高,后 4 天 B 图高。

于是得出结论:B 图更好。立马备了 5000 件货,全部换成 B 图。

结果一个月后,库存全砸手里了,转化率不仅没升,还跌回了冰点。

"大韩,我这七天数据测得明明白白,
怎么一放量就拉胯了?"

因为你的测试,从一开始就被"变异源"污染了。

你连统计学里的"区组划分(Blocking)"都不懂。

第一段 · 测了个寂寞

你测的不是产品反馈,
是平台流量的心情。

同一套图,换个时间段跑,结论可能完全相反。你以为在测图,其实在测运气。

你测款、测图时,有没有遇到过"数据忽好忽坏,一放量就死"?

一肯特工厂的螺旋钻难题:你测的到底是什么?

先看一个真实的工厂案例(Minitab 经典案例)。

肯特钢铁厂生产了一种用于磨粉机的钢质螺旋钻。清洗时,有两个因子影响清洁度:溶液温度和浸泡时间。

他们打算做一个 2×2 的全因子试验,一共 8 次测试。

但问题来了:清洗溶液是有批次的,而且每批最多只能测 6 次。

厂里怀疑不同批次的溶液浓度有差异——这就是变异源。

如果他们把前 6 次放在第一批溶液里测,后 2 次放在第二批里测,
一旦结果有差异,他们根本不知道是"温度"引起的,还是"溶液批次"引起的。

这就叫混淆(confounding)。

怎么办?他们在设计试验时用了一个极聪明的办法:区组划分(Blocking)。

具体做法是:把 8 次试验分成两个区组(对应两个溶液批次)。每个批次里,4 种温度/时间组合全都要测一遍,只是顺序打乱。

区组(溶液批次)测试内容作用
批次 1低温/短时、低温/长时、高温/短时、高温/长时4 种组合各测一次
批次 2同样 4 种组合,换顺序再测一次用另一批溶液重复

这样,即使两批溶液的浓度真的不一样,他们也能把"批次差异"单独算出来,不会污染"温度"和"时间"的真实影响。

区组的本质是:
把你知道自己控制不了的东西,单独关进一个笼子里。
第二段 · 混淆

不控制变量的测试,
就是拿备货钱赌随机性。

赌赢了以为是自己厉害,赌输了以为是产品不行。其实两次都跟你的判断没关系。

你测图、测广告时,想过"不同时间段的流量池"本身就是干扰变量吗?

二你的"溶液批次",就是那七天

回到那个户外老板。

他前 3 天测 A 图,刚好赶上周末流量高峰;后 4 天测 B 图,刚好赶上工作日流量低谷。

这里的"时间",
就是那批有差异的"溶液"。

他的实验设计,等价于:把 A 图全放在好溶液里,B 图全放在坏溶液里。然后得出结论说 B 图更差。

而实际上,他证明的只是——周末比工作日卖得好。这跟图有什么关系?

正确的做法是什么?

  1. 同一时间段内,A/B 同时跑,而不是分段跑
  2. 如果做不到同时(比如预算有限),那就每天交替:今天 A 明天 B 后天 A 再后天 B
  3. 跑完把"日期"作为一个区组变量单独算,看它对结果的影响有多大

我们做定向盲测时就是这么干的:不会说"今天发 50 封,明天发 50 封"。

而是把 100 个样本按粉丝量级、类目区组打散,同时发信,甚至用不同模板去对撞。

这样测出来的真实回复率,才是毫无水分的底牌。

第三段 · 区组

高手不是不犯错,
是把干扰项提前关进笼子。

你控制不了流量池的心情。但你可以控制"谁在什么条件下被测"。

如果给你一次机会重做上个月的 A/B 测试,你会怎么排组?

三删掉区组,才看得清真正的利润

案例的后半段很有意思。

在 Minitab 的分析里,工程师先跑了包含"区组"的模型。结果发现:"区组(批次差异)"并不显著。

这意味着,两批溶液的浓度其实没什么区别。所有的差异,都是温度和浸泡时间造成的。

于是他们在最终模型里把区组删掉了,得到了更纯粹的结论。

注意这一步的顺序:先放进去验证,确认不显著,才删掉。
而不是"我猜它不重要,所以不测"。
这两件事看起来一样,其实是反的。

出海算账也是完全一样的逻辑。

很多老板觉得:"我这个月亏了,是因为换了新运营。"

你做个区组分析,把月份季节波动、平台新政、汇率变化这些变量剔除掉,可能会发现——

核心原因还是 CPC 跑飞了、
退款率失控了。

你不是招错人。你是把一个结构性问题,归咎到了一个人身上。

这也是为什么,只有把外部干扰项搞清楚,你才算得清真实的保本线和净利。

第四段 · 归因

算账不是把锅都背自己身上,
而是把真正的雷排出来。

找错原因和没找原因,代价是一样的——你都会对着错的地方使劲。

你觉得店铺最近单量下滑,最主要的外部干扰是什么?

四写在最后

肯特工厂通过区组设计,看清了清洗溶液的底层逻辑。

而我们做的事本质相同:用算账模型和盲测机制,帮你排除掉假象,看清产品真实的底牌。

世界给你的数据,从来都是脏的。
能不能洗出干净的那部分,决定了你是操盘还是赌博。
声明:文中「户外用品老板」为化名,情节基于真实客户沟通整理,涉及可识别信息已做脱敏处理。
肯特钢铁厂螺旋钻案例为 Minitab 公开教学案例,此处仅作方法论引用,非商业合作。
本文为方法论科普,不构成任何效果承诺。

💬 说说你的情况

不用注册,填个昵称就能留言。踩过的坑、卡住的环节、不服的结论,都可以写在这。 我不删差评,只删广告。

评论区加载中…
读者福利

看到这里的,送你一个笔记本毛毡包

这篇讲的是统计学,能读到这里的都是真爱。
所以搞个小福利,限量 10 个,先到先得。

1 转发这篇到朋友圈
2 集满 20 个赞
3 截图发给客服艾理,备注「毛毡包」

客服艾理微信:

ailii2000

· 仅限前 10 名,以客服收到截图的时间为准
· 邮费由我们承担,不收取任何费用
· 活动解释权归冷启动实验室所有

💬 算完了,想让人替你看一眼?
留下一个微信或邮箱,24 小时内顾问会先帮你把这一单的利润算清楚,再谈要不要投。
留个联系方式 →

测之前先排干扰,比测完再后悔便宜得多

测测你被哪些干扰项骗了 →

明码标价 · 每档写清不包含什么

冷启动实验室 · 只做能算清的生意

继续读这几篇