
蹲在发布现场摸透DevOps流水线中的质量门禁
上周帮朋友排查他们团队的流水线卡了三个小时的问题,最后发现是质量门禁配错了——本来单元测试覆盖率到60%就放行,结果脚本里写的是覆盖率低于90%直接中断,一个刚上线的老项目,历史代码覆盖率才32%,直接把整个发布堵死了。 这事说出来可笑。十...

上周帮朋友排查他们团队的流水线卡了三个小时的问题,最后发现是质量门禁配错了——本来单元测试覆盖率到60%就放行,结果脚本里写的是覆盖率低于90%直接中断,一个刚上线的老项目,历史代码覆盖率才32%,直接把整个发布堵死了。 这事说出来可笑。十...

上周跟后端组的老周在新街口吃活珠子,他攥着烤串的手都在抖。前一天晚上他们给用户中心加了个新的实名校验字段,没打招呼直接改了原有返回结构,结果五个下游调用方同时炸掉,凌晨两点半整个组在公司会议室蹲到天亮,连外卖的黄焖鸡都凉透了。 说实话,这种...

上周跟几个做基础架构的老朋友喝酒,有个哥们拍桌子说,刚花了三个月把两百多套老系统迁到K8s,本来以为能省点运维成本,结果上周凌晨三点被叫起来——某个业务镜像拉不下来,整个支付链路堵了俩小时。 说白了,他们迁的时候光顾着把程序塞到容器里跑,压...

上个月跟一个做零售的技术团队吃夜宵,值班的运维小哥揉着通红的眼睛吐槽,上周618大促峰值刚过,支付接口的P99延迟突然飙到7秒,全组人对着七八块监控面板翻了快40分钟,才发现是灰度发布的时候流量路由规则配错,把15%的用户请求导到了已经下线...

上周帮一家做制造的朋友看他们的工单系统,打开后台代码仓库的瞬间,我盯着屏幕愣了半分钟。提交记录最后一行停在2016年。写代码的那个工程师,现在已经在北欧做户外向导了。 没人接盘。 你顺着提交记录翻,能看到从2010年开始,前后换了七波开发,...

上周在南京江北的软件产业园,跟几个后端工程师躲在消防通道抽烟。 有人刚把飞书里的效能看板页面关了。 说看了就火大。 三个月前他们公司斥资上了一套行业知名的效能管理平台,目标是半年内把整体研发效率提升40%。平台上线头两周,行政部的人挨个拉着...

上周跟前同事撸串,他刚从连续一周的大促救火里缓过来,眼下的青黑快垂到下巴。 起因说出来都好笑。大促前三天,运维小哥为了扛流量,临时手动扩容了四台应用服务器,顺带给数据库开了个临时的公网访问端口,方便外面的数据分析团队拉数据。大促结束忙到脚不...

上周跟做了八年运维的老周在路边摊撸串。他刚被拉去开了三个小时的复盘会,扣了当月的绩效。原因说出来都有点好笑——测试环境的支付回调地址,被直接带到了生产环境。 没人愿意先碰的烂摊子 谁都没把这个参数当回事。 测试的时候反复用了大半年,从来没出...

上周三凌晨两点十七分,我手机弹了条微信。是阿凯,在雨花台区做本地生活系统运维的老伙计。内容只有三个字:“想杀人。” 等他爬起来连完VPN查完所有日志才发现,那条把他从床上炸起来的最高级告警,是测试环境的Redis内存比阈值多飘了0.2G。跟...

上周去见一个做基础架构的朋友,他刚熬完一个3小时的支付链路故障。散了复盘会出来脸都绿了。 CTO在会上直接拍桌子,说负责网关的组为什么没提前做容量评估,最后当场扣了季度绩效。他说那天散会他在楼梯间抽了三根烟,说这会开的,下次再出故障,没人敢...