凌晨两点十七分,手机在床头柜上震得像个按摩仪。
值班群弹出一张告警截图:订单下游的消费组 lag 突破八百万。那一刻我脑子里只有一个念头——又是谁把消费者给停了?
别急着扩容。真的。我见过太多团队一看到积压就加机器,加完发现堆积速度更快了,因为瓶颈压根不在消费者数量上。
先搞清楚是谁在拖后腿
消息队列积压这件事,本质是生产速率和消费速率的差值在时间维度上的积分。听起来像废话,但大部分人排查的时候直接跳到“加消费者”,忽略了三个更常见的元凶。
第一个,消费线程卡住了。不是没消费能力,是每个线程都在等一个超时三十秒的远程调用。你去看 CPU 和内存,一切正常,甚至有点闲。这种时候加机器纯属浪费钱。
第二个,消息体太大了。之前有个团队把整个订单快照塞进消息里,单条 2MB。broker 的磁盘 IO 直接被拖垮,消费者拉一批消息光网络传输就得好几秒。这种场景下扩容消费者反而会加剧 broker 的负担。
第三个才轮到消费能力本身不够。比如消费逻辑里有复杂计算、有同步写库、有锁竞争。这时候单机吞吐有上限,水平扩展是有效的。

说白了,排查的第一步不是看监控大盘,是去日志里找消费耗时分布。如果 P99 耗时是 P50 的几十倍,那大概率是个别慢请求在拖后腿,跟消费者数量没关系。
扩容不是万能药 但有些场景确实得加
我并不是说扩容没用。去年双十一前,我们有个推送服务,消费逻辑就是纯内存计算加批量写入,单机每秒能处理八千条。平时流量小,三台机器跑得好好的。大促开始后生产速率翻了六倍,lag 开始线性增长。
这种情况扩容立竿见影。因为消费逻辑没有外部依赖瓶颈,加机器就是加吞吐。我们紧急扩到十二台,lag 在二十分钟内降到了零。
但这里有个坑——Kafka 的 partition 数量决定了消费者实例数的上限。如果你只有六个 partition,扩到十二个消费者,有六个就是纯摆设,分不到任何消息。这个细节我在不止一个团队见过踩坑。
RocketMQ 稍微好一点,支持动态调整队列数,但也不是无代价的。队列变多,顺序消息的语义就可能被破坏。所以扩容之前先看一眼 topic 的 partition/queue 配置,对吧。
还有个容易被忽略的点:消费者扩容之后,下游数据库的连接池扛不扛得住。我有次半夜扩了二十个消费者实例,消息是消费得飞快,结果 MySQL 连接数直接打满,整个服务雪崩。那次的教训是,扩容要分层审批,不能只看消息队列这一层。

那些没人告诉你的排查细节
监控面板上的 lag 曲线,有时候会骗人。比如消费者在频繁 rebalance,lag 会呈现锯齿状——突然降下去,又突然涨回来。这种情况加机器只会让 rebalance 更频繁,因为每次新实例加入都会触发一轮再均衡。
还有一种情况:lag 看着在降,但实际上消费速率已经到瓶颈了,只是因为生产端流量在低谷期。等高峰一来,lag 又炸了。这种时候要看消费速率是否跟得上生产速率,而不是看积压量在不在降。
坦白讲,大部分“积压告警”最后都归结到一个很朴素的问题:消费逻辑里有某个依赖变慢了。数据库慢查询、缓存击穿、第三方接口超时——这些才是根因。消息队列本身很少是瓶颈,它只是一个诚实的记录者,忠实地反映出下游的消费速度。
我现在处理积压的流程基本固定了。先看消费耗时分布,再看下游依赖的健康度,最后才评估要不要扩容。整个排查过程通常不超过十五分钟,比手忙脚乱地加机器高效得多。
当然也有例外。如果生产速率是脉冲式的,比如定时任务集中推送,那积压是正常的,只要能在下一个周期前消费完就行。这种场景下不需要任何操作,等就行了。
技术决策最难的部分从来不是“怎么做”,而是“要不要做”。消息队列积压也一样——搞清楚为什么积压,比急着消除积压重要得多。