凌晨两点四十一,手机在床头柜上跳。电话告警。摸黑爬起来,开电脑,连 VPN,眯着眼看了一眼——磁盘 inode 使用率 92%。
那一刻脑子里只有一个念头:昨天这个点,它也响过。
同一台机器,同一条规则,同一个人被吵醒两次。第一次没人当回事,第二次自然也没人当回事。问题不在 inode。问题在于,这条告警本身就已经废了。
告警为什么会变成背景噪音

很多人第一次配告警的心态是「我要覆盖所有异常」。CPU 到 80% 报一次,内存剩 500M 报一次,接口 P99 过 1 秒报一次。听着挺全。可一台机器上跑 200 个实例,一秒钟能弹出来四十条。
值班群当场炸成烟花。
然后人就开始做筛选了。手指一划,不看。久了连点开都懒得点——反正九成是虚的。到这里,监控这套东西其实已经失效了,只是没人正式宣布而已。你花了几十万搭的链路追踪、日志平台、时序库,最后败给一句「又来了」。
阈值告警最大的幻觉,是以为数字能代表用户体验。
举个真实的账:某次接口 P99 从 200ms 涨到 800ms,值班的兄弟半夜被叫起来查了三小时,最后发现全发生在凌晨两点,一次交易都没有。而另一回,支付失败率从 0.1% 爬到 1.2%,持续了四十分钟,CPU、内存、连接数——干干净净,一点波澜都没有。资源指标长得好看,用户已经在下单页面上骂娘了。
只盯资源,本质上是在自我安慰。你监控的是机器有没有不舒服,而不是用户有没有拿到结果。
一条告警该带多少信息
先说标题。别写「CPU 告警」,那等于没说。写成这样:【支付】订单创建接口 5xx 比例 3 分钟内超过 5%。谁受影响、影响多大、从什么时候开始,一眼能读完。
正文里至少要塞进四样东西:受影响的业务面、当前水位、看哪个看板的直达链接、以及——找谁。最后这条最容易被忽略。没有 runbook、没有负责人,值班的人第一反应就是打开群问「这是啥?」,三分钟没了。故障定位的头五分钟,通常不是被技术难住的,是被信息缺失拖住的。

再说分级。P0 打电话,P1 电话加 IM,P2 只发 IM,P3 进工单慢慢看。这套东西谁都会写,难的是守住 P0 的边界。如果一周能出五次 P0,那 P0 就不是 P0,它变成了「比较严重」的同义词。而「比较严重」等于「不重要」。
还有两个特别省命的配置:静默和抑制。
发布窗口自动静默,这是常识。抑制规则更微妙——机器批量重启的时候,一台报 200 条,两百台就是四万条。正确的做法是让「实例不可达」去抑制「该实例上的所有应用告警」。这中间有个坑:抑制配错了,真故障也会被一起吞掉。所以抑制规则上线前,最好拿一次真实演练压一遍,别等出大事才发现自己被蒙着眼睛。
从硬阈值挪到 SLO 那一步
阈值告警有个死结:定低了天天响,定高了漏得干净。中间那条线,其实根本不存在,因为业务本身就是波动的。
后来我们把几个核心链路换成了 SLO 思路。比如「下单成功率,30 天不低于 99.9%」,然后监控错误预算的燃烧速度。1 小时烧掉 14 倍速度,立刻叫人;6 小时烧掉 6 倍,发个消息先看着。这套逻辑的好处是,它天然带上了「用户视角」——讨论的不再是 CPU 到没到 80,而是我们还有多少犯错额度。

但也得说清楚边界。SLO 不是万能药。内部管理后台、一次性的数据迁移脚本、按天跑的批处理任务,硬套燃烧率模型会非常别扭。它们没有稳定的请求量,也没有「用户」这个概念。对这类东西,老老实实做心跳检测和结果校验,比什么 SLO 都实在。
技术选型上,时髦不等于合适。这个我吃过亏。
最后落到的还是人

工具再花哨,值班的是一具会困、会烦、会想辞职的肉体。
所以我们后来定了个土办法:每周花一小时做告警治理。就一小时,不看别的,只干一件事——把上周所有响过的告警翻出来,逐条问:它响的时候,有人需要做动作吗?没有?那就删掉、调阈值、或者改成分钟级的汇总。连续做三个月,告警总量掉了七成,有效告警占比从不到 20% 涨到 65% 左右。
两个指标值得挂着看:每周告警条数,和有效告警占比。前者反映系统健不健康,后者反映你的规则健不健康。哪个连续两周变差,就该开会聊聊了。
还有个反直觉的提醒。别把告警响应速度当绩效指标。一旦挂上考核,人的第一反应永远不是「怎么修好」,而是「怎么让它别再响」——调阈值、加静默、把规则注释掉。数据好看了,故障还在那儿蹲着。
让电话只在真出事的时候响。
这话听着像废话,但真做到不容易。它意味着你得放弃「全覆盖」的安全感,得承认有些异常就是不值得半夜把人拽起来。睡得踏实的团队,第二天处理线上问题的时候,手反而更稳。
那天晚上我处理完 inode,顺手把那条规则的阈值从 90% 提到 95%,加了个「持续 10 分钟」的条件,又挂了自动清理脚本的链接。它后来再没在两点四十一响过。
挺好的。我需要睡觉。