智汇 IT
城启新篇

AIOps在夜班电话里才见真章

凌晨两点,南京软件谷。雨下得像有人在楼顶倒水。值班手机响了。不是一声,是四十声。订单服务超时,MySQL 连接池告警,Redis 延迟飙红。

群里瞬间炸锅。AIOps 平台弹出一张卡片:根因疑似订单服务实例 3。所有人往那个方向冲。十分钟后,真正的凶手找到了——网关证书过期。那一刻,没人说话。老周骂了句脏话。

这就是 AIOps 的真实开局。不性感。不智能。甚至有点狼狈。

告警不是不够多 是没法看

很多团队对 AIOps 的第一期待是降噪。告警太多了,收敛一下。对,但别停在收敛。告警像地铁早高峰,你把人群赶到一个站台,人还是那些人。真正要解决的是:哪一条值得现在起床。

静态阈值最坑。CPU 80% 就报?批处理任务笑了。磁盘 90% 就报?日志轮转没跑完而已。AIOps 做动态基线,看周期性,看同环比,看服务黄金指标。延迟、流量、错误、饱和度。这四个先搞清楚,比买一堆算法有用。

告警降噪只是入口。上下文才是止血钳。一条告警旁边,最好有最近变更、发布记录、Kubernetes 事件、依赖拓扑、Trace 样本。没有这些,AI 只能猜。猜对了是运气,猜错了是事故。

运维值班室告警风暴大屏实拍
运维值班室告警风暴大屏实拍

根因分析最怕只给结论

RCA 根因分析,听起来像破案。实际更像拼图。拓扑是一块,指标是一块,日志是一块,变更是一块。少一块,结论就歪。

我见过一个平台,特别敢说。每次故障都给你一个红点:就是它。问为什么。答:算法置信度 87%。再问证据。没了。这种结论,老运维不敢信。新同学更不敢动。

好的 AIOps 输出,应该能让人追问。时间线在哪。哪条指标先异常。哪个变更在前。哪个调用链断掉。置信度不是护身符,可解释性才是。根因不是唯一答案,是一组可验证的假设。

落地时别贪。先把 CMDB 和标签体系弄干净。service、env、region、version、trace_id。再把发布、配置、扩缩容事件接进来。日志里没 trace_id,链路就断。断了的链路,AI 也接不上。

微服务链路追踪与告警时间线关联界面图
微服务链路追踪与告警时间线关联界面图

团队协作比模型精度更要命

有个银行客户,AIOps 根因准确率演示时到了九成。上线后没人用。为什么?前三次狼来了。一次说数据库,实际是网络。一次说应用,实际是证书。值班同学被折腾怕了。

后来他们没换模型。换的是界面。每条告警旁边加证据面板,点击能跳曲线、日志、变更、工单。再加一个反馈按钮:准 / 不准。三个月后,采纳率上来了。模型还是那个模型。人的信任,是产品问题,不是算法问题。

流程也得跟上。告警谁来认领。多久闭环。误报谁复盘。自动化工单别只建不关。Runbook 要像消防通道,平时别堵,出事能跑。AIOps 不是替代值班,是让值班少背锅。

SRE夜班处理告警工单场景图
SRE夜班处理告警工单场景图

别急着买平台 先做三件小事

别急着买平台 先做三件小事
别急着买平台 先做三件小事

如果预算有限,或者团队可观测性还没打好,别急着上大平台。真的。先做三件事。

第一,统一标签。服务名、环境、地域、版本、实例。别今天叫 order-svc,明天叫 order_service。第二,把变更事件喂进告警流。发布、回滚、配置修改、扩缩容,全打时间戳。第三,每周挑三个误报,做根因。是阈值问题,就改。是依赖缺失,就补。是重复告警,就合并。

指标别只看告警总量。看 MTTA、MTTR、有效告警比。有效告警比这个数,特别诚实。分母是总告警,分子是最后真需要人动手的。低于两成,平台再炫也是噪音制造机。

边界也要说清楚。光纤被挖断,硬盘物理损坏,突发流量打崩冷门接口。这些 AIOps 预测不了。它擅长的是重复出现、有历史规律、有上下文关联的故障。别把它当水晶球。它更像一个记性很好的夜班助手。有时靠谱。有时添乱。你得知道什么时候信它。

回到那个南京雨夜。老周后来把证书巡检补上,把变更事件接进平台。下一次手机响,只响了一次。不是 AI 突然神了。是数据终于凑齐了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:AIOps在夜班电话里才见真章
文章链接:https://www.itcdj.com/news/964.html