凌晨两点十七分,手机在床头柜上震了。不是那种消息通知的轻震,是连续三下、间隔两秒的告警脉冲。我闭着眼摸到手机,屏幕亮起来的一瞬间,人清醒了:消息队列的堆积量曲线几乎是垂直向上的,一百二十万条,还在涨。
这种场景,做后端的人多少都遇过。消息队列积压排查与扩容这事儿,说起来好像很简单——积压了就加消费者,扩容呗。可真到凌晨两点你蹲在电脑前的时候,你会发现事情没那么线性。
我见过太多团队在积压发生的第一反应就是加机器。加完发现没用。为什么?因为根本没搞清楚卡在哪儿。
积压的三种面孔你得先分清楚
消息队列积压,表面上看都是“生产快、消费慢”,但拆开来看,完全是三码事。
第一种是消费端变慢了。 最常见。消费者代码没改,但下游依赖的数据库突然抖了,或者调用的外部接口超时从200毫秒变成了3秒。单条消息处理时间从50毫秒涨到800毫秒,消费吞吐量直接掉一个数量级。这时候你加再多消费者机器也没用,瓶颈在数据库连接池或者外部服务那边。
第二种是生产端突增。大促、推送、定时任务撞在一起,瞬间流量是平时的几十倍。这种积压往往有个特点:来得猛,去得也快。只要你消费速率没有低到离谱,队列自己会慢慢消化掉。慌什么呢?先看一眼生产速率曲线是不是已经在往下走了。
第三种比较阴。生产端没变、消费端也没明显变慢,但积压就是持续增长。这种通常是消费者数量不够、分区数不匹配,或者消费者频繁rebalance导致有效消费时间被大量浪费。说实话,rebalance这个问题特别容易被忽略——日志里一堆“Rebalance开始”“Rebalance完成”,你以为正常,实际上消费者有40%的时间在重新分配分区而不是干活。

排查这件事顺序比工具重要

我自己的习惯是,收到告警之后按这个顺序瞄一眼:
第一,看生产速率有没有异常。如果生产端本身就在暴涨,那先别动消费端,确认下游能不能扛住再说。盲目扩容消费者可能把压力直接打到数据库上,数据库一挂,全线崩。
第二,看消费速率的变化拐点。消费速率如果是一条平线突然掉下来,那大概率是消费者出问题了。GC、线程池满了、死锁、或者某个分区的消息处理特别慢拖累了整体。这种时候你得去翻消费者实例的日志,而不是盯着队列的监控面板看。
第三,看消费者组的lag分布。如果所有分区的lag均匀增长,那你加消费者大概率有用。但如果只有两三个分区lag特别高,其他分区都是零,那说明是数据倾斜——某几个key的消息量特别大。这时候加消费者也白搭,因为分区数就那么多,多出来的消费者分不到活干。
这三个步骤走下来,基本十分钟之内能判断出方向。别一上来就打开扩容按钮,真的。
扩容不是加机器那么简单
好,假设你确认了瓶颈就是消费者处理能力不足,接下来要扩容。有几个坑我想认真说一下。
消费者实例数不要超过分区数。 这是Kafka的基本约束。如果你有12个分区,你加到20个消费者实例,多出来的8个就干坐着,一点活都不干,纯粹浪费资源。这时候你要么先扩分区,要么就接受12个消费者的上限。
扩分区要慎重。 增加分区确实能让更多消费者并行工作,但分区数增加了,消息的顺序性保证就弱了。如果你的业务对消息顺序有要求——比如订单状态变更——扩分区之前一定得想清楚,同一个订单的消息是不是还路由到同一个分区。是的,这取决于你的key设计。
扩容之后观察十五分钟再下结论。 新消费者加入会触发rebalance,整个消费者组会暂停消费几秒到几十秒不等。这段时间lag可能会再涨一下,别慌,等rebalance稳定了再判断。
还有一个容易被忘掉的点:扩容消费者之后,每个消费者分到的分区变少了,单实例的线程池、连接池配置可能就不合适了。以前一个消费者处理8个分区,现在处理4个,但线程池还是按8个分区的量配的,资源浪费不说,还可能造成锁竞争。调优要跟着扩容一起动。

有时候答案不在扩容上

我经历过一次印象深刻的故障。消息队列积压到两千万条,团队第一反应就是扩消费者,从8个扩到32个。结果呢?消费速率不但没提升,反而因为rebalance太频繁,整体吞吐量掉了一半。
后来仔细查,发现消费者代码里有个隐蔽的逻辑:每条消息都会去查一次Redis,而Redis当时连接池打满了。32个消费者实例抢那点连接,每个请求排队等连接的时间比业务处理时间还长。最后把连接池从50调到200,消费速率直接翻了四倍。机器一台没加。
说这个是想强调一个事儿:积压排查的终点不一定是扩容。代码里少一次不必要的IO、批量拉取改成分批处理、把同步调用改成异步——这些改动的效果有时候比加十台机器还明显。
不过话说回来,该扩容的时候也别犹豫。流量确实涨了、业务确实需要更多消费能力,那就果断加。但加之前花五分钟确认一下方向,这个时间永远值得花。
凌晨三点零四分,我把消费者实例从8个调到16个,同时把数据库连接池参数改了一下。lag曲线在三点十五分开始掉头向下。三点四十,回到安全水位。我关了电脑,躺回床上,脑子里还在过那几个监控指标——这种事儿干多了就变成肌肉记忆了,但每次深夜被叫醒的时候,还是会在心里骂一句。