去年冬天跟一个做支付的朋友吃饭,他说他们团队最怕的从来不是发版失败。发版失败顶多是流水线挂掉,CI 红一片,谁都知道该干嘛。真正让人后背发凉的是另一种情况——版本上线两周,日志一切正常,错误率曲线平得跟桌面似的,然后某个大客户的结算对不上账了。
灰度发布这个词被说得太顺口了。好像只要把流量切成 1%、5%、50%,风险就自动被稀释掉。不是的。切流量是其中最表面的动作,藏在后面的是一整套关于观测能力和决策速度的工程约定。
灰度真正要解决的,是“我不知道这次改动会坏在哪里”这件事。如果事先就知道坏在哪,直接写个断言做个校验就行了,压根用不着灰度。
切流量的粒度决定了你能看见什么
按用户 ID 哈希分流是最常见的做法,好处是同一个用户在灰度期间体验一致,不会刷新一下界面就变了个样。代价也很明显——用户活跃度差异极大。10% 的活跃用户可能贡献了 60% 的请求量。你切了 10% 的人,观测到的却是 60% 的负载特征。
那按请求随机切?同一个用户会来回横跳。读接口无所谓,有状态的操作就麻烦了。下单、支付、写库、客户端本地缓存,横跳就是灾难。用户看着自己的购物车一会儿有一会儿没有,客服电话会先炸。
IP 段、地域、设备型号、渠道包,这些维度各有各的偏差,而且偏差本身往往不可知,要等灰度跑完、数据拉出来对比才恍然大悟。
还有个更隐蔽的坑,辛普森悖论。整体看灰度组转化率更高,分渠道拆开一看,每个渠道都是对照组赢。原因通常是灰度组不小心多收了几个高价值渠道的流量。这种错误不会报警,只会悄悄塞给你一个错误结论。

对照组的纯度比样本量重要得多。我见过有人为了“多攒点数据”,把灰度比例一路调到 50%,结果对照组被污染——运营同时在搞活动,两边用户的重叠和互斥关系没人说得清。灰度不是抽样调查,它更接近一场控制变量的实验。变量没控住,样本再大也是噪声。
指标选错,灰度就是一场自我安慰
多数团队的灰度看板长这样:QPS、错误率、P99 延迟、CPU 使用率。四个指标全绿,点继续放量。
问题在于,它们只能告诉你系统没塌。系统没塌,和这次改动是好的,是两件事。
一个推荐算法的调整,错误率永远是零,延迟甚至可能更低,因为新模型更简单。但用户点击率掉了 8%,三天之后才发现。一条风控规则收紧,接口全是 200,可误杀率上去了,绑卡失败率涨了,投诉工单在第四天堆起来。
所以灰度阶段要盯的是带业务含义的指标,而且要提前定义好什么叫“变坏了”。这个“提前”很关键。发版之后再讨论阈值,一定吵成一锅粥,因为那时候每个人都能找到对自己有利的解释。
我比较认同一套做法。上线前把指标分三档。
红线指标,比如支付成功率、登录成功率、核心接口错误率,任何一个跌破阈值就自动停止放量。观察指标,比如某个功能的转化漏斗、平均会话时长,允许波动,但要人来判断。护栏指标,比如下游依赖的调用量、数据库连接数,防止你的新逻辑把旁边的系统拖垮。
红线那档必须自动。人看盘会困,会走神,会觉得再等五分钟说不定就恢复了。等不回来的。
观察期多长合适?这取决于你的流量周期。电商看一周,因为工作日和周末的用户行为完全不同。B 端产品看一个完整的业务周期,有些审批流一周才走完一圈。如果灰度流量只覆盖了每一天里最闲的几个小时,那观测到的数据基本没有参考价值。
还有个细节常被忽略——对照组本身也在变。你从 5% 放到 20%,新涌进来的用户可能和老用户的行为模式不一样。所以对比要看同一批人的前后变化,而不是不同批次横着比。

回滚这件事写进设计文档的人不多

做过大促的工程师都知道,能回滚比能上线重要。
但很多事情是回不去的。数据库加了字段、加了索引、做了数据回填,这些在业务上不可逆。代码能回滚,数据不会自己长回去。
常见的处理方式是向后兼容。新字段先加上,允许为空,代码先写不读;下一个版本开始读;再下一个版本才清理旧逻辑。一个字段的生命周期横跨三次发版,听着啰嗦,但这是唯一能让回滚真正成立的办法。
配置和开关是另一摊。资深的团队会把功能开关当代码来管理:谁加的、什么时候删、影响哪些场景,都能查。不然两年之后,一个没人敢动的开关会静悄悄地改变系统行为,然后所有人对着它猜谜。
麻烦在于开关有组合效应。三个开关各自看着无害,同时打开却可能走进一条谁也没测过的路径。开关的数量增长是指数级的,能删就删,别攒着。
还有人把灰度当成免责声明。“我们灰度过了,出问题不怪我们。”这种心态挺要命的。灰度走完只说明这次改动在你的观测范围内没暴露问题,不代表它是对的。
拍板的人是谁

最后说个非技术的。
灰度放到 100% 之前,得有人签这个字。很多团队的问题是——没人知道该谁签。
研发说功能没问题,产品说需求就是这样,运维说资源够用。三方都觉得可以先上,但三方都没真正把“如果坏了”这件事扛在肩上。
健康一点的做法是明确一个责任人,通常是这次改动的主导者。他负责判断灰度数据,负责决定继续还是回滚,也负责在出事的时候第一个被叫起来。听着有点残酷,可责权对等之后,很多糊弄就会自然消失。
说白了,灰度发布是一套降低不确定性的工具,它没本事把风险变成零。它能做的是——把“上线之后才发现”变成“上线过程中发现”,把一个周末的紧急抢修变成一次十分钟的回滚。
这个差别够大了。
不过话说回来,工具再好,也架不住有人闭着眼睛按下放量按钮。技术从来不是瓶颈,习惯才是。