智汇 IT
城启新篇

别急着上AIOps先看看凌晨三点的告警群

那天凌晨三点十七分,值班群弹了四百多条消息。真的,四百多条。

老张后来跟我讲,他第一反应不是打开监控,是先看群。因为群里有人在骂。有人在问“是不是又挂了”。还有人直接@了所有人。等他把笔记本翻开、VPN 连上、翻到第三个 dashboard,二十分钟没了。

故障本身不大。某个下游服务的连接池配置被人改小了,雪崩了大概十一分钟。可这十一分钟里,告警像漏水的龙头,一直响。响到后来没人看内容,只看颜色。红的先点,黄的等等。这就是很多团队的日常。所以这两年一提 AIOps,大家眼睛都亮了——让机器替我值班,多好。

问题在于,机器替你值班有个前提:你的值班本身得有点章法。

告警泛滥不是病它是症状

先把话说清楚。AIOps,展开是 Algorithmic IT Operations,核心是用算法处理运维数据,做异常检测、告警收敛、根因定位这些事。它不是某一款软件,也不是买来插上电就灵的盒子。

那为什么大家的告警会泛滥成这样?

我见过最离谱的一个环境:Prometheus 一套,Zabbix 一套,云厂商自带监控一套,APM 一套,日志平台还配了一套规则。五套系统,五种告警格式,五个入口。同一个数据库抖动,能发出十七条不同措辞的告警。这还只是基础层。

再往上,微服务一拆,一个用户请求穿过七八个服务。每个服务都有自己的超时、重试、熔断。上游超时触发告警,中游重试触发告警,下游限流也触发告警。用户那边其实只是慢了半秒。运维这边已经炸了。

还有阈值。大部分团队用的还是静态阈值——CPU 超过 80% 就报。可你的业务有早高峰晚高峰,有促销有半夜跑批。静态阈值要么太松,真出事的时候没反应;要么太紧,天天狼来了。

运维值班室大屏告警风暴监控画面
运维值班室大屏告警风暴监控画面

说实话,这里面技术问题只占一半。另一半是组织问题。告警治理这事,做得好没人夸,做不好也没人罚。谁愿意花两周去清理别人写的规则?

算法能帮到哪一步到哪一步就该停

先讲它能干的。

一是动态基线。别再用固定阈值了,让模型去学这条曲线平时长什么样——周一到周五的上午十点,和周日凌晨三点,本来就不是一回事。偏离基线到一定程度才报。对付周期性业务特别有效。

二是告警收敛。把同一时间窗内、拓扑上相邻的告警聚成一个事件。十七个告警变成一个,值班的人一眼就知道“哦,是数据库那边”。顺带说一句,收敛这件事用规则也能做,不一定非要上模型。

三是根因关联。这个稍微复杂点,靠的是调用链拓扑加上时序相关性——谁先异常,谁后异常,谁在依赖链的下游。做得好,能把排查时间从半小时压到五分钟。

微服务调用链路拓扑根因定位示意图
微服务调用链路拓扑根因定位示意图

再说它干不了的。

数据质量差,模型就是在垃圾里找规律。业务变更频繁、流量模式天天变,基线会一直漂。还有冷启动——刚开始那几个月,误报只会更多不会更少。很多团队就栽在这一段。上了系统,误报翻倍,值班同学骂了两周,项目直接下线。挺可惜的。

从一条链路开始别铺开

从一条链路开始别铺开
从一条链路开始别铺开

如果你现在正准备搞这件事,我给一个不太性感但管用的顺序。

先数数。把过去两周的告警导出来,按来源、按时间、按服务分组。算一个信噪比:真正需要人处理的占多少?很多团队一算,发现九成是噪音。这个数字摆在会上,比任何 PPT 都好使。

再做收敛。不用模型,规则先顶上。同名告警五分钟内合并,同主机同类型的聚簇,重复的直接压掉。这一步做完,群里通常能安静一半。

然后加上下文。每条告警后面挂上:属于哪条业务链路,最近半小时有没有发布,相关版本号是哪个。运维看到“这是刚上线的 v2.3.1 引起的”,判断速度完全不一样。

接着做变更关联。这可能是性价比最高的一环。生产事故里相当大一部分跟变更有关。把发布记录和告警时间线对齐,很多事情不用 AI 也能一眼看穿。

最后才上动态基线和根因分析。选一条核心链路,就一条。跑上三个月,把误报率、平均定位时间记下来。有效果再铺开。

还有一条,别把人工确认的通道砍了。算法给建议,人做决策。至少在相当长一段时间里,得是这样。

它不是替人值班是让人少干蠢事

回到老张那个凌晨。

后来他们把告警做了一轮收敛,又把发布系统和监控打通。效果怎么说呢,没那么神。群里还是会有消息,还是会有人在半夜被叫醒。但那次他看着屏幕,能一眼定位到是哪个服务的哪个配置变更,前后花了六分钟。以前要二十分钟。

这就够了。

AIOps 的价值不在“无人值守”这种口号上。它真正的用处,是让人从机械的筛选动作里解放出来,把精力留给判断。至于那些指望买套系统就一劳永逸的——嗯,工具没问题,问题从来是没人替你理解自己的系统。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:别急着上AIOps先看看凌晨三点的告警群
文章链接:https://www.itcdj.com/news/1044.html