凌晨两点十七分,手机响了。不是闹钟。是告警。
一家做生鲜电商的客户,订单服务五分钟内错误率从 0.3% 冲到 41%。值班的同学披上外套爬起来,打开电脑,第一件事不是翻代码——是看昨天有没有人发版。有。晚上十点,一个所谓的小改动。
四十分钟后恢复。损失不大。真正难受的是另一件事:这套系统半年前刚花三个月做过一次高可用改造,钱花了,PPT 讲得非常漂亮。
所以问题到底出在哪?
冗余堆出来了 但没人敢按下那个开关

不少人对高可用的理解,停留在多搞几台。主库挂了下备库,机房炸了走异地,进程死了自动重启。听着挺周全。可现实里更常见的样子是:备库延迟三十秒,谁也不知道;异地机房半年没跑过真实流量;DNS 的 TTL 设成十分钟,真出事的时候,光等解析生效就够你喝一壶。
这种状态我一般叫它伪冗余。硬件上确实摆了两份,逻辑上还是一份。因为切换这件事,从来没有被真正执行过一次。

判断冗余是真是假,其实只要问一个问题:上一次真实切换,是什么时候,谁按下去的。
如果答案是去年、或者是某个人名、或者没人记得——那你的高可用,目前只存在于图纸上。
还有一层更隐蔽的。切换本身会带来新的故障。新实例是冷的,连接池空着,JIT 没预热,缓存是冰的。流量一倒过去,它先崩给你看。行业里管这个叫切换即雪崩。所以真正做过演练的团队,会在切换前做两件小事:预热连接、按比例放量。听起来像细节,实际是生死线。
熔断降级写了 但只写在文档里
降级预案,几乎每个团队都有。多半躺在某个 Wiki 的子目录里,最后一次编辑时间是三年前。
真出事的时候你去看,有三个坑。第一,找不到。第二,找到了,开关埋在一个没人知道 key 的配置中心里。第三,就算找到了,也没人有权限改。
我说句实话,这种预案等于没有。好用的降级长什么样?开关收敛到一两个地方;触发条件写死,比如错误率超过多少、耗时超过多少;责任人明确到人,不是写到某个群里。

更关键的是,平时要真的拉一下。大促前挑一个小时,把推荐、评论、积分这些非核心链路真的关掉,看看主流程还活不活得下来。关的过程中会暴露一堆问题:某个页面写死了调推荐接口,某个前端没做兜底,某个定时任务依赖评论表。这些问题,只有真关的时候才会跳出来。
顺便提醒一句,降级要保证幂等。关掉再打开,别把库存和积分算成两遍。这类脏数据的清理成本,往往比那次故障本身高得多。
高可用最后是流程问题 不是技术问题
我做过一个粗略的统计,绝大多数线上故障,追到最后都指向变更。发版、改配置、加索引、调参数。真正因为硬件炸掉、网线被挖断的,比例低得可怜。
所以与其天天研究架构图,不如老老实实管好发版这件事。一次全量改成每批百分之五、观察十分钟。有回滚脚本,并且回滚脚本每季度真跑一次。上线窗口避开下午五点半。这些事一点都不酷,但它们带来的稳定性提升,比多买两组服务器明显得多。
再聊个容易被忽略的点:不是所有系统都值得四个九。四个九意味着一年的不可用时间不超过五十二分钟,你为此要付的钱和人力,是指数级往上走的。订单、支付、登录,值得。后台财务报表、运营导出,没必要。想清楚边界,把资源压在关键路径上,这本身就是一种高可用设计。

最后给几条明天就能做的事,不复杂:
翻出你的备库,看一眼延迟到底是多少。
把降级开关从 Wiki 挪进配置中心,配好权限。
挑一条非核心链路,真关掉跑一小时。
在群里问一句:上一次真实切换是什么时候。
高可用不是买来的。它是练出来的。凌晨两点的告警,从来不看你的 PPT 写得多好。