智汇 IT
城启新篇

消息队列吞下的复杂度迟早要还回来

凌晨两点,值班群弹出一条告警:订单履约链路消费延迟。运维第一反应是扩容消费者,把实例从 8 台拉到 20 台。延迟没降,反而更高了。

这事我听过不止一次。消息队列最容易骗人的地方就在这——它把同步调用变成异步,看上去解耦了,实际上只是把复杂度从接口里搬到了链路里。搬走的东西不会消失,它会挑一个你最没空的时候回来。

卡住的位点,往往不是消费慢

那次排查到最后的结论很朴素:一条消息处理时抛了异常,代码里 catch 住,重试三次,然后 sleep 三十秒接着重试,没有上限,也没进死信。消费者线程被这一条消息占死,位点不再前进,后面的全堵着。

扩容为什么无效?分区数是固定的。八台机器的时候,八个消费者各拿一个分区;拉到二十台,多出来的十二台在空转,还要参与再均衡。分区数决定并行度的上限,这件事在业务量翻十倍之后才会有人认真对待,通常已经晚了。

还有 rebalance。消费者加入或者退出会触发再均衡,期间整个消费者组停止消费。频繁抖动的原因翻来覆去就那么几个:max.poll.interval.ms 设得太短,一批消息处理时间超标就掉出组;消费者进程退出时没调 close(),得等 session 超时才被踢掉。表现是延迟曲线上一排规律的尖刺,看多了就认识。

延迟高的时候先别翻消费逻辑,先看位点是不是压根没动。

Kafka消费者组分区分配与位点提交机制图
Kafka消费者组分区分配与位点提交机制图

投递语义那一堆名词,落到代码上就是幂等

at-most-once、at-least-once、exactly-once。前两个好理解,第三个最容易被话术包装。说点实话:跨系统做到精确一次,本质是把去重成本转移到了业务侧。Kafka 的事务能保证读-处理-写在自己的体系里原子,可你下游是 MySQL,是第三方支付回调,它不在这个事务里。

所以靠谱的做法只有两条。一是消费端幂等,业务唯一键建去重表,配 唯一索引,重复写入直接失败,简单粗暴。二是本地消息表,把写业务库和发消息塞进同一个数据库事务,再由补偿任务把消息投出去。代价是延迟多几百毫秒,还得有人盯着那张表别涨疯了。

很土。但它不骗人。RocketMQ 的事务消息走半消息加回查,思路一样,都是拿一次额外的确认换一致性。

本地消息表与事务性发件箱模式流程时序图
本地消息表与事务性发件箱模式流程时序图

顺序只在分区内部成立

顺序只在分区内部成立
顺序只在分区内部成立

全局有序基本等于放弃并行。生产者把同一笔订单的事件按 key 哈希打到同一个分区,分区内部有序,分区之间没有任何保证。

麻烦在于热点。一场秒杀,某个 key 的流量占比过半,那个分区就是瓶颈,其余分区闲着看戏。解法是分层:订单维度有序,用户维度不用。或者把 key 拆成 key 加分片号,消费端再做合并——复杂度立刻上一个台阶。

顺序和吞吐,天生打架。谁跟你说两个都要,你就该问他要参数。

积压是信号,不是故障

积压是信号,不是故障
积压是信号,不是故障

监控里那条 lag 曲线涨了,不一定是坏事。大促前压测、离线任务灌数据,涨是正常的。真正要盯的是三件事:涨完能不能自己回去、涨的斜率能不能持续、最老那条消息的年龄。

队列最怕的不是慢,是没人知道它什么时候会变成无限积压。

拉取模型的取舍也在这。Kafka 让消费者自己控制节奏,拉多少处理多少,背压天然存在,代价是空轮询浪费一点资源。RabbitMQ 的 push 加 prefetch 是另一种思路,推送及时,但 prefetch 设错了就是一场灾难——设太大,单个消费者扛着一堆没处理完的消息,别的消费者干等着。

保留策略同样是坑。默认七天,听起来很宽容。可消费一旦停了三天没人发现,重启时可能遇到消息已过期被清理——静默丢失,一行错误日志都没有。定期做端到端对账,比盯多少次监控面板都管用。

死信队列设了不等于有人看。我见过死信堆到六位数,因为压根没配告警。死信不是垃圾桶,它是待办清单。要么有人定期捞,要么写脚本自动重放,两样都不做就等于把它当墓碑。

选型这件事,先问自己怕什么

选型这件事,先问自己怕什么
选型这件事,先问自己怕什么

Kafka:吞吐猛,生态全,流处理顺手。代价是运维门槛和 topic 膨胀,元数据一多 controller 会吃力。适合日志、埋点、事件流。

RocketMQ:事务消息、延迟消息、消息轨迹开箱即用,中文文档好找。延迟消息有精度约束,不是任意时刻都行。

RabbitMQ:路由灵活,exchange 能玩出很多花样,小消息低延迟很舒服。但它本质更接近传统 broker,堆积能力有限,大量积压时性能掉得很明显。

Pulsar:存算分离,分区可以扩,多租户友好。代价是组件多,BookKeeper 出问题排查链路长,半夜看存储日志的人是你。

Redis Stream:轻,快,适合已经在用 Redis 且能接受持久化风险的场景。别拿它扛核心链路,内存账单会教你做人。

问题不在哪个最好,而在你怕什么。怕丢消息,就选持久化和副本机制成熟的;怕延迟,就选轻的;怕运维,就选团队里真有人懂的那个。没人懂的那套,再先进也是负债。

最后一句。把消息队列接进系统之前,先想清楚三件事各由谁负责:消费失败怎么办、重复投递怎么办、顺序错乱怎么办。想不清楚就往里接,不过是把 Bug 提前暴露而已。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:消息队列吞下的复杂度迟早要还回来
文章链接:https://www.itcdj.com/news/1031.html