上周群里又有人问,Kubernetes 到底该不该上。我没正面回答,反问他:你们团队现在有几个能半夜爬起来看 etcd 日志的人。他半天没吭声。
这问题我问过太多次。答案几乎每次都一样——没有。
Kubernetes 不是不能用。麻烦在于太多人把它当成一个装完就能自动干活的东西。它更像一套分布式操作系统,装好那天,活才刚开始。它解决的是编排问题,不是运维问题。这两件事差得远。
控制面不是黑盒 etcd 才是命门
我见过一个做在线教育的团队,集群跑了挺久,某天下午开始大面积超时。kubectl 敲下去要等十几秒,节点一个个变成 NotReady,Pod 被驱逐,流量打崩。折腾到凌晨才发现,是数据盘 IO 抖动。
etcd 对磁盘 fsync 延迟极其敏感。它慢一点,API Server 就开始排队;排队的连锁反应是 kubelet 心跳上报超时;心跳一超时,调度器就认为节点死了,开始把 Pod 往别处赶。整个过程不需要任何人为失误,全是正常逻辑在放大故障。

所以别急着上多集群。先把单集群的 etcd 备份演练做一遍,把 restore 流程真跑一次。这话听着无聊,但比背十个 CRD 有用。
YAML 通胀是慢性病

声明式是 Kubernetes 最值钱的设计。你把想要的终态写下来,它自己收敛。优雅。
代价是抽象层会不断叠加。一个 Deployment 三四十行,再加 Service、Ingress、ConfigMap、HPA,一套下来几百行。然后你开始用 Helm,values.yaml 写成两百行,再套一层 Kustomize 管多环境覆盖。改个副本数要翻五个文件。我真见过有人写 chart 来生成 chart。不是段子。
麻烦在于,这层抽象很难删。删了要重测,没人敢动。于是配置资产越滚越大,新人上手第一周全在学目录结构,不是学业务。
我的做法很土:能不引入模板就不引入,等三个环境的重复度实在压不住了再抽。CRD 和 Operator 留给真正有状态、真需要自愈能力的组件。无状态服务,老老实实写 YAML,挺好。
调度器不会替你算钱
requests 和 limits 写不对,HPA 就是个随机数生成器。我没夸张。
requests 决定调度器怎么给你分机器。写太小,一个节点塞满 Pod,大家一起抢 CPU;写太大,机器利用率常年趴在三成,账单照付。Java 应用尤其典型,堆内存设了 4G,limit 也写 4G,JVM 光看堆不看堆外,容器一碰 limit 就被 OOMKill。改成堆加两成半的余量,重启次数立刻掉下来。
还有 CPU throttling。limit 卡得紧,监控面板上 CPU 使用率看着很低,可业务在排队。平均值这东西,永远看不出问题。得去看 P99,去看 throttled 计数。

升级和网络都不适合抢跑
Kubernetes 一年发三个小版本,社区维护窗口大概十几个月。旧版本一出支持期,安全补丁就断了。遗留 API 更麻烦,弃用通知发完,通常一年就真删。PSP 被移除那年,不少团队的部署流水线红了整整一周。
所以升级要排期,别攒着。跨两个小版本往上跳,风险不是线性增长。一版一版走,每步跑完回归再加下一步。慢,但稳。
网络这块同理。kube-proxy 的 iptables 模式在 Service 上千之后,规则链匹配开始变慢,IPVS 好一些,eBPF 又是另一个层次。Cilium 确实好用,可你要是没人懂它的 datapath,出问题时只能干瞪眼。CNI 换一次,学费不便宜。
不是所有系统都配得上它

说到底。三台机器,一个单体应用,流量曲线平滑,那你上 Kubernetes 图什么。Docker Compose 配 systemd,或者干脆用托管容器服务,跑得挺舒服。
这话在有些群里说出来是要挨骂的。不过我采访过的运维,私底下基本都认。复杂度是真的,它换来的那套弹性、自愈和标准化,只有在你手工运维扛不住的时候,才划算。
还有个更隐蔽的问题。平台团队搭集群,业务团队提 YAML,中间那条线谁来画?没人认领,集群就是个没人养的公共设施,出事了相互甩锅。
先问自己一个具体问题。你的痛点是发布慢,是机器不够用,还是根本没人管。答案不一样,选型完全不一样。