
灾备演练从来不是走流程的摆拍
上周跟某城商行的技术负责人吃饭,他刚结束季度灾备演练,衬衫袖子还卷着,说演练结束当天晚上组里人全去吃烤串,没人想复盘。 没人真的想搞演练。毕竟谁愿意牺牲周末或者凌晨的休息时间,对着一堆脚本按步骤点来点去,最后写个几千字的报告交差,换不来任何...

上周跟某城商行的技术负责人吃饭,他刚结束季度灾备演练,衬衫袖子还卷着,说演练结束当天晚上组里人全去吃烤串,没人想复盘。 没人真的想搞演练。毕竟谁愿意牺牲周末或者凌晨的休息时间,对着一堆脚本按步骤点来点去,最后写个几千字的报告交差,换不来任何...

上周跟做电商运维的老陈撸串,他拍着大腿说去年618亏了三百万,原因说出来都丢人——他们提前半个月按三倍流量备了服务器,机房租了双线路,所有能加的监控都拉满了,结果零点刚过,订单系统直接卡成PPT。 不是流量超了。 是订单回调的消息队列,把所...

上周去南京软件大道见个老同事,刚进园区就碰到以前带过的运维小周蹲在消防通道抽烟,眼睛红得像兔子。 熬了两宿。 上周618大促预热,他们团队的订单系统直接崩了三次,半夜爬起来加了八台物理机,告警声吵得隔壁做生鲜电商的团队都过来敲门问是不是服务...

上周跟老周在公司楼下吃夜宵,他灌了半瓶冰啤酒才缓过来——大促前三天,支付链路偶发超时,每次复现都像抽盲盒,查了两天服务器日志、数据库慢查询、甚至把Nginx的访问日志翻了个底朝天,连运维同学都把磁盘IO磨出了火星,愣是没找到根因。最后临时把...

没人喜欢翻日志。你想象一下,凌晨两点的告警电话打过来,你裹着被子爬起来连VPN,登到服务器上面对几万行滚动的日志,连个统一的时间戳都没有,那种崩溃感,干过三年以上后端的人都懂。真的烦。 没人愿意主动碰日志 大部分团队的日志,都是开发随手打的...

上个月跟南京本地某股份制城商行的运维负责人约在珠江路吃鸭血粉丝汤,他把汤勺往瓷碗边重重一磕。 钱花了。 人累了。 效果没见着。 说去年砸了小两百万采购的全套AIOps平台,现在全组12个运维还是习惯凌晨三点爬起来查告警,那平台除了每周自动生...

上周跟一个做电商后端的朋友吃夜宵,他撸串撸到一半突然拍大腿。说上周差点背锅。 团队上线优惠券计算逻辑的更新版本,为了省时间没做灰度,全量推了。结果计算规则的边界条件漏了一个,满减券的抵扣比例多算了三个点,一晚上算下来少了近五十万的营收。整个...

上个月去杭州见个做SaaS的朋友,吐槽说他们团队半年前咬咬牙上了CI/CD,花了小两万买的商业工具,现在全组人都绕着走。 为啥? 搭的流水线太烂了。 每次提交代码,要跑全量单元测试、全量接口测试、代码扫描、镜像构建、部署测试环境,整套流程跑...

上周跟一个做中小团队运维的朋友吃饭,他吐了半小时苦水。团队12个人,硬上了Kubernetes,现在每周要花15个小时排集群的小故障,业务迭代速度比之前用裸机部署还慢30%。 别拿“行业标配”当决策理由 跟朋友吃饭的时候他说,当初团队拍板上...

去年帮苏州一个做小众家居的电商团队扛618大促。之前他们每次大促都要提前两周囤8台云服务器,光配置监控、压测、调带宽就要耗掉后端组一半的人力,结果去年换了Serverless的方案,整个大促峰值跑下来,后端组连半夜的告警电话都没接到。我当时...