AIOps落地的真实体感
上周三在徐庄软件园边上的小龙虾店，碰上个做生鲜电商的运维老周。
他刚跟我吐槽完新上的AIOps系统，说花了大几十万，618大促前还差点捅出大娄子。
说这话的时候，他手里攥的半只十三香小龙虾都凉了，眉头皱得能夹死蚊子。
真的，现在一提到AIOps，好像所有运维团队不上就落伍了，厂商的发布会拍得像科幻片，说什么能自动定位故障、自动恢复业务，值班人员甚至可以睡大觉。
实际呢？
那些被吹上天的自动告警为啥成了噪音源
老周他们之前的告警体系是什么样的？每天平均弹2300多条告警，90%都是没用的。什么磁盘使用率超过70%，CPU波动5%，某个边缘节点的网络丢包0.1%，根本不需要人处理。
当时对接的AIOps厂商销售拍着胸脯说，上线之后告警量直接降90%，值班效率提3倍。
结果第一天上线，凌晨两点值班的小伙子手机直接被打炸了，前前后后弹了1200多条告警，其中800条是之前根本不会触发的。最离谱的一条，是某台测试环境的日志里出现了timeout关键字，直接给人打了紧急电话。小伙子从被窝里爬起来，套上衣服就往机房冲，跑了二十分钟到现场才发现，是测试环境的流量串到了生产环境的监控里，根本不是什么生产故障。
不过话说回来，这事真不是AIOps本身的问题。
老周后来跟我说，当时对接的实施工程师，连他们家有多少个微服务、多少个边缘节点都没数清楚，就拿了一套开源的通用告警数据集，直接把模型往他们的系统上套。连他们家做生鲜电商，大促前的流量本来就是平时的10倍这个基本事实都没考虑，那些通用的阈值当然不准。
说白了，就是拿别人的鞋往你脚上套，能合脚才怪。
别把AIOps当成替代运维的黑盒
老周他们老板当初拍板上AIOps，初衷也简单——想少招几个运维，把值班的活全扔给机器。
毕竟现在AI炒得这么热，连写代码都能让Copilot代劳，运维那点重启服务、扩容的活，还能搞不定？
结果真的出了事。
上个月他们家的订单库连接池打满，AIOps倒是第一时间识别出了异常，按照预设的自动执行脚本，直接把几个非核心服务给重启了。问题是它根本分不清哪个是核心哪个是非核心，把正在跑的生鲜履约服务给停了，直接导致300多笔订单没及时推到分拣中心，当天就赔了小两万的用户优惠券。
那次事故之后，老周干的第一件事，就是把所有自动执行的权限全给关了。现在不管模型识别出什么问题，都只能弹提示，要真的需要操作，必须有人工确认才能执行。
很多人对AIOps的误解就在这。
觉得它是个能全自动干活的机器人，买过来就能帮你把所有运维的活都干了。其实根本不是。它本质上就是个帮你把几百台机器的日志、指标、链路数据串起来的助手，能帮你从一堆乱麻里快速圈出可能的问题点，但它根本不知道你业务的优先级。
同样是服务重启。把用户端的APP网关停了，那是天大的事，半小时就能让用户骂到你客服电话爆线。把内部的月度报表服务停了，哪怕停三个小时，都没几个人会注意到。这些业务侧的优先级，是没法靠通用模型学出来的，必须靠自己团队的运维人员一点点喂进去。
说实话，我见过太多团队花了大价钱买了全套的商业AIOps系统，最后只用了个告警聚合的基础功能，连根因分析的模块都没开过。为啥？就是一开始就没搞清楚自己要啥，被厂商的炫酷演示给忽悠瘸了。
普通人能落地的AIOps最小路径
真的别被那些厂商的宣传给唬住了。
不是说要花几十万上百万买个全套系统，才算用上了AIOps。对大多数中小团队来说，能把最基础的告警降噪跑通，就已经解决80%的痛点了。
我之前认识的南京本地做政务系统的运维团队，一开始就没买贵的商业版，自己用开源组件搭了个最小的告警聚合工具，先攒了3个月的真实告警数据，让模型慢慢学哪些告警是重复的、哪些是根本不需要处理的。就这么跑了半年，现在每天的告警量直接降了85%，值班的人终于不用熬到凌晨接电话了，前后成本也就花了几万块，比那些动辄几十万的商业系统好用多了。
别上来就追求全自动的炫酷功能。先从告警降噪开始，把每天的无效告警量压下来，让值班的人能把精力放在真正重要的问题上，这就已经值回票价了。
等这个功能跑顺了，再慢慢加根因分析的模块。每次出了故障，都把当时的日志、指标、处理流程喂给模型，让它慢慢熟悉你家的业务逻辑。
还有个最基本的原则——所有的自动操作权限必须先关到最小。哪怕模型的准确率再高，也不能让它直接动手改生产环境的配置、重启服务，必须有人工审核的环节。毕竟机器算得再准，也担不起一次生产事故的责任。
真的。
AIOps从来不是什么能一步到位的神药。
它就是个需要你慢慢养的工具。你给它喂的业务数据越多，它就越好用。要是你连自己家的系统有多少个接口、哪个服务出问题会影响核心交易都没摸清楚，就算买了最贵的系统，最后也只能摆着看。
哦对，刚才老周最后跟我说，现在他把自动权限关了之后，AIOps虽然没那么“智能”了，但至少不会再半夜把人薅起来处理测试环境的问题，也算没白花钱。
你看，就这么简单的事，很多人一开始就是想复杂了。