凌晨三点十七分,手机在枕头边上震。不是一次,是连续十七次。运维群里刷屏,红色的告警卡片一张接一张往上顶。值班的小伙子后来跟我说,那一刻他脑子里只有一个念头——先把手机扣过去。
这就是大多数团队碰AIOps的起点。不是想做什么智能化,是实在被淹了。
告警太多只是表象 关系没理清才是病根
一根网线松动,能炸出多少条告警?我见过一个场景:核心交换机某个端口抖动,三分钟内,应用层超时、数据库连接池耗尽、网关5xx升高、某个八竿子打不着的定时任务失败,加起来两百多条。它们其实是一条。
传统阈值告警是点状思维。每条规则只管自己那一亩三分地,没人负责回答“这几条是不是一回事”。告警降噪的第一层工作,说白了就是补上这个“谁跟谁是一伙的”。
做法有三种。
抑制。上游断了,下游就别报了。便宜,快,但抑制规则写歪了会把真故障一起吞掉。我见过把“主库不可用”抑制掉的配置,理由是“它会引发大量下游告警”。这不是降噪,这是掩耳盗铃。
聚合。按时间窗和标签把相关的合成一条。思路对,麻烦在于窗口多大。30秒?跨分钟传播的故障还是散的。5分钟?两起独立的小故障会被硬捏成一个,排障的人一头雾水。
关联。基于拓扑、调用链、时序相关性去算。准,代价也高——你得先有靠谱的CMDB和链路数据。没有,算法再花哨也是空转。

降噪降过头 等于给排障的人蒙眼

有个说法我特别不爱听:降噪率百分之九十。数字好看。可剩下那百分之十里有没有关键的那一条?
运维不是做数据清洗。漏掉一条核心告警,代价可能是几十分钟的业务中断。评价降噪效果,别看压缩比,看漏报率。这两个指标天生打架。压得狠,必然误杀。取舍在哪儿,取决于业务扛不扛得住。支付链路的告警,宁可吵一点。
再说句实在的,很多团队根本走不到算法那一步。告警标签乱得一塌糊涂——同一个服务,有人写payment-service,有人写pay_svc,还有人写PaymentService。拿这种数据去喂聚类模型,出来的东西能看吗?数据治理枯燥,绕不过去。
根因定位 别指望一个算法包住所有
降噪解决的是“少看几条”,根因定位解决的是“到底哪儿坏了”。后者难得多。
难在哪。分布式系统里故障沿调用链往下传,你看到的表象往往离真相好几跳。信号还是异构的:指标是数值,日志是文本,链路是图,变更是一条时间线上的事件。想让它们互相对齐,先得有时间基准。
我聊过的团队里,变更事件是被低估最严重的一类信号。半夜出故障,八成跟两小时前的发布、配置改动、扩容有关。可不少公司的发布系统和监控系统活在两个世界,互相不认识。把变更事件接进告警时间线,这一个动作带来的定位效率提升,常常比上一套花哨的图算法还大。
拓扑也一样。调用链能告诉你A调B,但告警关联需要的是“谁能影响谁”。这个方向性,链路数据里有,只是得有人把它抽出来做成可查询的图。做成了,一次查询就能回答“这条告警的上游有哪些”。做不成,就只能靠人在心里画。

落地的顺序 比选什么模型重要得多

见过太多项目,一上来就选算法,选完发现没数据。顺序反了。
合理的路径大概是这样。先统一告警标签体系,服务名、集群、环境、负责人,一个都不能含糊。这步做完,靠规则就能吃掉三到四成的噪音。然后接入变更事件,把时间线对齐。再往上,才是基于拓扑和历史共现做关联。最后才轮到异常检测和根因推断那类模型。
每一步都能单独产出价值,也都能单独停下来。这点很重要。AIOps不是一锤子买卖,它更像持续调参——规则会腐烂,拓扑会变,业务在长,昨天好用的关联今天可能就失灵。
还有件事别忽略:人的反馈。值班同学点一下“这条是噪音”“这条是真故障”,这些标注就是最贵的训练数据。系统得能吃到它,还得真的用上它,而不是攒在库里落灰。
凌晨三点的电话不会消失。但让它少响几次,让响的那次能直接指到病灶,这件事做得到。前提是别把降噪当按钮按,它是一整套关于关系的工作。