真正值钱的灾备演练从来不是走流程
2026-10-29 22:38:53
作者：
fawen
上周跟一个做金融IT的老同事吃饭。
他说他们刚花了三天搞完年度灾备演练，演练报告写了四十七页，所有指标全绿，老板在群里发了三个大拇指的表情，转头就问他明年能不能把演练预算砍一半，毕竟看起来啥问题都没出。
他当时差点把手里的冰可乐喷出来。
全绿的演练报告 往往藏着最要命的坑
很多人对灾备演练的认知，还停留在“按流程走一遍交差”的阶段。
提前一周发通知，所有业务团队收到消息：下周三我们要做核心系统灾备切换，非必要上线全停，大促活动改期，大流量操作往后推。切换当天，刻意把生产流量压到平时的30%，所有链路提前顺过三遍，点一下切换按钮，监控上的数值跳得比上班打卡还准时，五分钟切完，十分钟切回来，全程零报警。
报告里写“业务连续性能力达到预期水平”，盖个章，存档，完事。
企业核心业务系统灾备切换监控大屏实拍
说白了，这跟学校开运动会之前的彩排没区别——所有路线提前走熟，所有道具提前摆好，甚至连观众的鼓掌时机都提前定好，上台的时候当然顺顺利利。可真遇到操场着火的紧急情况，谁会提前给你把疏散通道的门全开好，再把人群按方队排整齐等着跑啊？
真正有价值的灾备演练，从来不会提前给所有相关方打预防针。我之前跟做零售系统的运维团队聊，他们的演练规则里，值班人员甚至不知道当天有没有演练。可能早上九点半正在开周会，监控突然弹出来核心数据库主节点失联的红色报警，所有人得在无预案的状态下按平时练的流程切流量，切完了还要逐秒复盘刚才的反应速度，哪一步卡了，哪个权限没开，哪条链路的带宽不够。
这才叫演练。
那种提前把所有路障清干净的“表演式演练”，本质上就是自欺欺人。真出事的时候，你总不能给光缆挖断的施工队打个电话，说麻烦你等我们提前顺完流程再挖吧？
演练的代价 从来不是准备那几天的人力
很多老板算灾备演练的账，算的永远是那几天投入的人天，觉得不就是拉个群，点个按钮，写个报告吗？能花多少钱？
贵的地方根本不在这。
你要是真搞无预告的随机演练，就得承担演练本身带来的风险——比如切流量的时候发现，灾备节点的系统版本比生产环境旧了两个安全补丁，切过去之后某个第三方支付的回调接口不兼容，那可能真的会影响正常营业。
麻烦就在于，你得在“演练要测出真问题”和“演练不能影响正常业务”之间找平衡。有的团队怕担责任，干脆把演练的范围缩到最小：就切个测试环境的节点，反正跟生产没关系，怎么折腾都不会出事，报告照样写得漂亮。
运维团队灾备演练故障复盘会议现场
我见过最离谱的一次演练，是某互联网团队为了不影响业务，把演练窗口选在凌晨两点到四点。那个时间点本来用户量就低，就算切的时候出点问题，影响也微乎其微。结果真遇到机房空调故障宕机的时候，是工作日的下午三点，在线流量是平时的五倍，值班的人照着凌晨练的流程切，切了二十分钟都没切成功——因为凌晨的时候根本没测过高并发下的灾备节点承载能力，节点刚接住流量就被打崩了。
白练了。
好的演练从来不会追求“零故障”
好的演练从来不会追求“零故障”
很多人对演练的期待是，全程顺顺利利，没有任何报错，大家按流程走一遍，散会。
错了。
演练的核心目标从来不是全程顺畅，而是提前把所有藏在链路里的雷踩出来。
比如切的时候发现，之前配的数据同步策略漏了两张核心业务表，两边的数据差了三个小时；比如切到灾备节点之后，安全组的规则没配全，外部用户根本访问不了服务；比如值班的人找了十分钟，才发现自己根本没有灾备环境的操作权限——这些问题，如果你演练的时候不发现，真出事的时候就是能让整个系统瘫几个小时的大雷。
说实话，我最烦那种演练完了开复盘会，全是挑好听的说，“本次演练圆满成功，达到预期目标”。合着花了那么多人力和时间，就为了说一句圆满成功？那不如把这些钱拿出去给团队发团建经费，至少大家还能吃顿好的。
不对。
一次合格的演练，复盘的时候要是找不出来三个以上之前没发现的问题，那这次演练基本就是白搞。比如你发现原来灾备环境的存储容量只够撑四个小时的业务数据，那等真的主库挂了，你切过去跑四个小时就存不下新数据了，这要是真出事，损失多少钱？早发现早补，总比真塌了强。
现在很多公司把灾备演练做成了应付监管的任务——监管要求每年搞一次，那我们就搞一次，拍点照片，写点报告，交上去完事。根本没想过，你做灾备的核心目的，不是为了应付检查，是真的遇到机房着火、光缆被挖断、勒索病毒加密的时候，你的业务能接着转，不会因为系统瘫了几个小时，把攒了几年的用户信任全赔进去。
别觉得这事玄。
我接触过的一个小团队，之前连续两年的演练都是走流程，结果去年夏天机房漏雨，主服务器全泡了，他们慌慌张张切灾备，切了六个小时才把业务恢复。那六个小时里，用户下不了单，客服电话被打爆，算下来的直接损失，够他们认认真真搞十年真刀真枪的演练。
后来他们改了演练规则。
无预告的随机演练，才是真正能测出灾备能力的标尺。每个季度随机挑一个工作日，无预告触发一次局部故障，要求值班团队按流程处置，每次复盘出来的问题，一周内必须改完。现在他们切灾备的时间，已经从最早的两个小时，缩到了八分钟。
快吗？
也没多快。但真出事的时候，八分钟和两个小时的差别，可能就是能不能留住核心用户的区别。
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
文章名称：
真正值钱的灾备演练从来不是走流程
文章链接：https://www.itcdj.com/it/264.html