Kubernetes 把运维逼成系统程序员
2026-11-20 03:27:57
作者:
fawen
先抛一个现场。某团队大促前压测,HPA 阈值设得漂亮,CPU 一到 60% 就扩容。真正流量来了,Pod 从 40 到 300,节点池还停在 80 个。kubectl get pod 一片 Pending。监控大盘红得发紫。值班同学第一反应是调度器坏了。其实没坏。调度器只看 request,不看节点真实 CPU。节点还没注册进来,它拿什么调度。这个坑很常见,也很贵。
调度器不是算命先生
K8s 调度器干的事很窄:给 Pod 找节点。它依赖 kubelet 上报的状态,依赖 apiserver 里的 Node 对象,依赖你写的 requests。没写 requests,它默认 0。这下好了,所有 Pod 都能塞。节点上十几个应用抢 CPU,cgroup 打成一片。到最后 OOMKilled 满地。有人怪 K8s 不稳定,其实是你没告诉它要多少。
requests 和 limits 是一对冤家。requests 管调度,limits 管上限。CPU 超 limits 被 throttle,内存超 limits 被 OOM。QoS 分 Guaranteed、Burstable、BestEffort。不是背名词。它决定节点资源紧张时先杀谁。生产环境别全 BestEffort,除非你想看随机抽奖。
节点压力也有信号。DiskPressure、MemoryPressure、PIDPressure。kubelet 会驱逐。驱逐不是优雅的,取决于 terminationGracePeriodSeconds。设太短,请求断在半路。设太长,节点拖死。这个取舍没人能替你拍板。只能压测。
Kubernetes调度器调度流程与节点资源关系图
etcd 才是集群的胃
很多人装完 kubectl 就以为懂 K8s 了。麻烦在于,控制面所有状态都绕不开 etcd。Pod、Service、ConfigMap、Secret、Lease,全在里面。etcd 慢,apiserver 就慢。apiserver 慢,kubectl 转圈。kubelet 心跳续不上,节点 NotReady。接着 Pod 被驱逐。整条链路像堵车。
etcd 最怕两件事:磁盘 fsync 慢,和对象数量爆炸。机械盘跑生产 etcd,基本等于自找。云盘 IOPS 不够,也悬。还有事件。K8s event 默认保留一小时,量大时能冲垮 apiserver。调 apiserver 的 –event-ttl,或者上事件采集。别让 event 把 etcd 当垃圾桶。
备份呢?etcdctl snapshot save 只是第一步。恢复演练才是真备份。备份没演练过,等于没有备份。没演练过,出事时手抖,命令敲错,集群火化。这里没有玄学,就是纪律。
Kubernetes etcd集群架构与磁盘IO性能关系图
网络这层没人能躲
网络这层没人能躲
Service 一创建,ClusterIP 有了。但包怎么走,很多人不关心。kube-proxy 早期用 iptables,规则多了之后同步慢。IPVS 好一些,但也不是银弹。nftables 模式在 newer 内核里更顺。问题在于,节点上几千条规则,conntrack 表一满,新连接就丢。表现像随机超时。抓包都抓不到。
CNI 插件各有脾气。Calico、Cilium、Flannel,选型不是看 star 数。要看你需不需要 NetworkPolicy,要不要 eBPF,能不能接受 overlay。Cilium 的 eBPF 很猛,调试门槛也高。Flannel 简单,功能也少。Calico 的 BGP 模式在裸金属里好用,在云上可能被 VPC 路由限制。说白了,网络没有免费午餐。
DNS 也常背锅。CoreDNS 副本少,ndots 设得大,外部域名解析先绕一圈 search path。延迟就上来了。调 ndots,开 NodeLocal DNSCache,或者干脆让应用用 FQDN。小改动,省大麻烦。
有状态服务别硬塞
K8s 最初为无状态设计。Deployment 滚动更新,副本随便换。StatefulSet 给了稳定网络标识和存储,但复杂度跳升。MySQL 主从切换、Kafka 分区重平衡、Elasticsearch 脑裂,这些不是 YAML 能解决的。Operator 能封装运维知识,但 Operator 不是零运维。它只是把人的操作写成代码。代码也会错。
存储更现实。PV、PVC、StorageClass、CSI。云盘延迟、IOPS、吞吐,和本地 NVMe 差一个量级。数据库跑在 K8s,可以,但有边界。延迟敏感、IO 密集的核心库,别为了统一而统一。跑在虚拟机或裸金属上,不丢人。
有状态服务上 K8s,先问三个问题:数据怎么备份,故障怎么切,性能够不够。答不上来,先别上。
升级和成本都是慢性病
K8s 版本迭代快,API 弃用也快。Ingress、PSP、CRD 版本,一升级就炸。别等最后一天。先看 deprecation guide,再在测试集群跑。版本 skew 要控制。kubelet 不能比 apiserver 新太多。kube-proxy 和 kubelet 也有兼容窗口。升级不是换镜像,是换秩序。
发布也一样。滚动更新看着优雅,readinessProbe 写错,流量就进到没准备好的 Pod。livenessProbe 写太急,应用启动慢,被反复杀。启动探针 startupProbe 是给慢启动应用的缓冲。别拿 liveness 当万能药。
成本呢?资源 requests 虚高,集群利用率低。requests 太低,稳定性差。VPA 能推荐,但别自动改生产。Cluster Autoscaler 扩节点慢,Karpenter 快,但也要配中断预算。HPA 看 CPU 不一定准,自定义指标更贴近业务。可指标链路一长,故障点又多一个。
凌晨四点,etcd 的 fsync 延迟降下来。Pending 变成 Running。值班的人没发朋友圈。第二天继续调 requests,继续看 conntrack。Kubernetes 没那么神,也没那么差。它把分布式系统的脏活摆到台面上。会的人,省事。不会的人,多交学费。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:
Kubernetes 把运维逼成系统程序员
文章链接:https://www.itcdj.com/news/961.html