智汇 IT
城启新篇

SRE在故障与人性之间搭桥

凌晨两点十七分。手机在桌上震,像一只被踩了尾巴的猫。支付成功率从 99.93% 掉到 97.1%。值班群里有人问,要不要重启?别急。重启是最贵的按钮。先把最近十分钟的变更、依赖、错误率、延迟曲线拉到一块看。这个动作,就是 SRE 的日常起点。

很多人把 SRE 理解成高级运维。说实话,这个误解害人不浅。SRE 的全称是 Site Reliability Engineering,站点可靠性工程。重点不在“站点”,也不在“工程”两个字有多酷,而在用工程手段给可靠性定价。可靠性不是越高越好,它要跟业务阶段、用户容忍度、成本放在同一张桌子上谈。

它不负责消灭故障 它负责让故障可承受

系统一定会坏。硬盘会坏,光纤会被挖断,代码会有 bug,云厂商也会抖。SRE 不承诺零故障,那是销售话术。SRE 要做的是:故障发生时,影响面可控,恢复路径清晰,信息同步不靠吼。说白了,把混乱变成流程,把流程变成肌肉记忆。

我见过一个团队,告警群里有三百多条未读。每条都红色。值班同学一边吃饭一边翻手机,最后麻了。为什么?因为告警没有分等级,也没有跟用户影响挂钩。CPU 高一点也告,磁盘 80% 也告。告警疲劳比故障更可怕。真正的故障来了,反而没人信。

SRE值班工程师凌晨处理支付告警场景
SRE值班工程师凌晨处理支付告警场景

后来他们做了三件事。第一,把告警从“原因”改成“症状”。用户支付失败率升高,告警。某个内部队列堆积,先别叫醒人。第二,每个告警必须带 runbook 链接,写清楚先看什么、后看什么、找谁。第三,每周清理一次告警规则,连续两周没动作的,降级或者删掉。效果?值班群安静了。但故障恢复时间短了。对吧,安静不等于没事,是噪音少了。

SLI 选错 后面全是自嗨

SLI 是服务质量指标。SLO 是目标。错误预算就是 1 减去 SLO。听起来像缩写游戏,实际很残酷。选错 SLI,整个团队会围绕一个假信号加班。比如你盯 CPU 利用率,用户根本不关心。用户关心的是:页面能不能打开,订单能不能提交,视频能不能播。所以,SLI 要从用户路径反推。

支付系统,SLI 可以是成功支付请求占比,也可以端到端延迟 P99。内容社区,SLI 可以是首屏加载时间、推荐流可用性。别贪多。三个以内。每个 SLI 要能回答一句话:这个数字跌了,用户会不会骂人。

SRE服务等级目标SLI监控大盘示意图
SRE服务等级目标SLI监控大盘示意图

SLO 也别定 100%。100% 意味着没有发布窗口,没有维护时间,成本无限大。99.9% 和 99.99% 之间,差的不只是一个九,可能是几台机器、一条专线、一个专职团队,还有无数个失眠夜。错误预算就是拿来花的。这个月预算还剩很多,可以推新功能。预算快烧完,先修稳定性。这是刹车片,不是 KPI 大棒。

事故复盘不是找凶手

故障结束,群里开始复盘。最怕听到一句:这次是谁操作的?这句话一出来,没人敢说真话。SRE 推的是无责复盘。不是不追责,而是先把系统缺陷挖出来。人都会犯错,但系统应该让人犯不了大错,或者犯了错也能兜住。

复盘要问:为什么这个变更没有灰度?为什么监控没有提前发现?为什么回滚花了四十分钟?行动项要具体。谁,什么时候,做什么,怎么验证。别写“加强意识”。那等于没写。可以写:下周把支付服务回滚脚本从手动改成一键,演练一次,录屏存档。这才叫落地。

还有一点,开发团队要一起 on-call。如果开发永远不接告警,SRE 就变成人肉防火墙。时间久了,关系一定崩。SRE 不是保姆。SRE 是教练,也是守门员。让写代码的人感受凌晨三点的电话,很多设计会自觉变好。这话有点狠,但真有用。

行动清单 别等下次故障

行动清单 别等下次故障
行动清单 别等下次故障
  • 挑一条核心用户路径:从登录到下单到支付,画出依赖图。别画全公司架构,画用户会走的那条路。
  • 给每个关键依赖定 SLI:延迟、错误率、饱和度。饱和度要谨慎,它只是参考,不是判决书。
  • 设一个会痛但不会死的 SLO:先跑一个月,看错误预算消耗速度,再调。别一次定死。
  • 告警只留症状:每个告警配 runbook,每周删一批。值班手机不是圣诞树,别挂太多灯。
  • 复盘行动项进 backlog:跟产品需求一样排期。没人跟进的复盘,就是故事会。

还有个反直觉的点。SRE 做得好,平时看起来没什么存在感。没有惊天动地的抢修,没有凌晨四点的英雄故事。系统稳稳的,发布顺顺的,大家该下班下班。这很无聊。但无聊的可靠性,才是最好的可靠性。如果你们团队天天救火,别急着招 SRE。先看看,是不是把 SRE 当成了更贵的消防员。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:SRE在故障与人性之间搭桥
文章链接:https://www.itcdj.com/news/906.html