凌晨三点十七分,告警群又炸了

三点十七分。手机震了三下。
我摸黑抓起来,眼睛都没睁开,脑子里已经在过可能性:是上游支付超时?还是昨晚那次发布没清缓存?结果都不是——磁盘使用率 81% 的告警。一个跑了半年的阈值,从来没人调过,也没人知道 81% 到底危险在哪。
这种事一个月发生三次以上,你就会开始怀疑:我们干的这叫 SRE 吗,还是叫高级值班员。
说句实话,我见过太多团队把 SRE 当成一次改名活动。运维组换块牌子,JD 上加点“可靠性”三个字,然后一切照旧:人被电话叫醒,服务照样挂,复盘会开成批斗会。半年之后老板问,可靠性提升了吗?没人答得上来。
它不是运维的升级版,是另一条路
Google 当年搞出这个词,核心其实就一句话:用写软件的方式去解决运维问题。
注意,不是“运维顺便写点脚本”。差别大了。脚本是救火的,今天这个盘满了写个清理,明天那个服务卡了写个重启。软件是有产品思维的——它得有人维护,得能测,得在别人手里跑得起来。你半夜爬起来干的那件事,如果第二次、第三次还是手动做,那就是在交利息。
还有个常被忽略的硬约束:Google 给 SRE 的运维工作占比划了条线,大概一半。超了,多出来的活儿就得推回给研发。听起来很爽对吧?但这背后是权力结构问题,不是技术问题。你让一个没有话语权的团队去“推回给研发”,推得动吗。
所以我一直觉得,判断一个公司是不是真在做 SRE,别看组织架构图,看两件事:变更的决策权在谁手上,以及故障之后会不会有人被骂。

错误预算,那把让人不舒服的尺子

可靠性这东西最大的麻烦在于——它没法说自己“够了”。
99.9% 听着挺唬人,摊到一个月是四十三分钟左右的不可用。四十三分钟,一个季度可能一次大故障就吃完了。这就是错误预算的来历:不追求零故障,而是把“可以坏多久”变成一个明明白白的数字。
好玩的地方在这儿。预算还有剩,发布就放开跑,出点小问题也别太紧张;预算烧穿了,那就冻结变更,所有人坐下来把稳定性捡回来。它把“要不要发”这个吵了无数次的架,变成一道算术题。
但我得给个边界:这套东西对没有真实用户量的产品基本没用。内部后台、日活几百的系统,硬编一个 99.99% 出来,纯属自娱自乐。SLO 得从用户能感知的路径倒推——登录、下单、支付,而不是从你手上那堆中间件指标里挑几个顺眼的。挑错了,你会得到一堆绿色的图和一个骂街的客服团队。
还有个坑:SLO 定完就锁进抽屉。三个月不看,等出事才想起来。那还不如不定,至少不浪费大家开会的时间。
值班这件小事,最能照出一个团队的成色
我特别爱问一个问题:你们几个人轮流 on-call?
回答“两个人”的,我基本就懂了。轮值人数少于五六个,人会废掉。不是身体扛不住,是那根弦一直绷着,周末不敢喝酒,看电影要调静音,久而久之变成一种慢性的消耗。而消耗掉的那个人,往往是最懂这套系统的人。
再往下问:告警有多少条是真的?
我见过一个团队,Prometheus 上挂着四百多条规则,其中三百多条从来没被人真正处理过。这就是典型的告警疲劳——狼来了喊太多次,真出事那次大家已经麻了。治理它没什么高深技巧,就是拉出过去一个月的告警,一条条过,删掉没行动的、合并同源的、把阈值调成有意义的。脏活,但有效。
至于复盘。我的态度很直接:追责的复盘等于什么都没干。人一旦知道说出真相会被挂起来,他下次只会给你一份漂亮报告。无指责复盘不是道德高尚,是纯粹的功利计算——你要的是信息,不是情绪出口。

想动手,先从这几件不酷的事开始

不用一上来就搞平台、搞自研系统。真的。
先把核心链路的三到五个 SLI 找出来,请求成功率、延迟分位、错误率,够用了。然后给它们各定一个 SLO,宁可定松一点,别定完第二周就烧穿,那会让人彻底不信这套。
接着干掉最痛的那个 toil。不是最炫的那个,是最痛的那个——比如每次扩容都要人肉改配置、每次发布都要登十台机器看日志。衡量标准很简单:这件事上个月占了你多少小时。挑占据时间最多的那个,把它自动化掉,然后看下个月省下来多少。省下来的时间,别急着接新需求,留一点给“让系统更不容易坏”的事。
最后是值班。定清楚谁在什么时间段负责,升级路径是什么,什么级别的问题可以打电话叫人,什么级别等天亮。这套规则写下来之前,所有人对“紧急”的理解都不一样,那才是真正的混乱来源。
哦对,还有一条容易被忘的:把上面的东西写进文档,让新来的人能看懂。我见过太多团队,整套流程全在一个老哥脑子里,他一休假,线上就成了黑箱。这不算 SRE,这叫单点故障,只不过故障的是人。
说到底,SRE 不是一套工具,是一连串取舍。要快要稳,要自动化要人工兜底,这些矛盾不会消失。能做的,是把它们摆到台面上,用数据吵,而不是用嗓门吵。
凌晨三点十七分那通电话,下次最好别再响了。就算响,也应该是真的事。