智汇 IT
城启新篇

消息队列正在替谁背锅

先别急着上 看看它在解决什么麻烦

消息队列这个词,第一次听像缓冲区。用起来更像一条下水道。上游吐得猛,下游消化慢,中间那根管子要是没设计好,臭气会倒灌。

很多团队把它当银弹。系统一卡,就说加个消息队列。说实话,这跟胃疼就吃止痛片差不多。问题在现场:服务 A 调服务 B,B 一抖,A 跟着超时,线程池满,雪崩。消息队列把同步调用切成异步投递,A 不用等 B 立刻返回。代价是,一致性从立刻知道,变成最终知道。

消息队列异步解耦架构示意图
消息队列异步解耦架构示意图

我见过一个订单场景。下单后发短信、加积分、通知仓库。同步写,RT 直奔两秒。拆成消息队列后,主链路只写订单库,再丢消息。用户体验确实好了。麻烦在于,短信可能晚到,积分可能重复加,仓库可能先看到取消单。这些不是队列的错,是业务必须接住的烂摊子。

所以第一个判断标准很土:你能不能接受短暂不一致。不能,就别硬上。能,再谈削峰和吞吐。

重复消费不是故障 是默认现实

消息队列的 delivery guarantee 被问烂了。At most once,At least once,exactly once。名字很漂亮。落到生产环境,最稳的往往是 at least once。为什么?因为网络不确认,broker 不敢删,消费者不敢说收过。重复投递几乎躲不掉。

那怎么办。别指望中间件替你擦屁股。消费端做幂等。唯一键、去重表、状态机、版本号,选一个合手的。比如支付回调,拿订单号加流水号建唯一索引。重复消息进来,插入冲突,直接忽略。简单,粗暴,管用。

消息队列消费位点提交与重复消费示意图
消息队列消费位点提交与重复消费示意图

这里有取舍。去重表会涨。Redis set 会吃内存。数据库唯一索引可能成为瓶颈。有人问,能不能用事务消息一次性搞定。可以,但你得接受事务消息的复杂度,还有对特定中间件的绑定。说白了,没有免费的一致性。

还有个常见坑:先提交位点再处理业务。进程一崩,消息丢了。反过来,先处理再提交位点,崩了以后重复。多数业务宁可选重复。所以幂等不是锦上添花,是入场券。

顺序和吞吐的拉扯

需要严格顺序吗。先想清楚,是全局顺序,还是局部顺序。全局顺序意味着一个分区、一个消费者、一条线。吞吐直接跪。大多数场景要的是同一订单、同一用户、同一设备顺序。那就按业务键 hash 到固定分区。

但分区数不是想加就加。加分区,老数据的顺序映射全变。Kafka 里这种操作很别扭。RocketMQ 有顺序消息,但消费并行度也得让路。RabbitMQ 单队列天然顺序,代价是扩展性。每个选择都带着尾巴。

现场更烦的是重试。为了不丢,失败消息进重试队列。重试太猛,下游被打穿。重试太慢,业务积压。还可能有毒消息,一直重试一直失败。最后要靠死信队列兜底。死信不是垃圾桶,得有人看。没人看,它就是新的技术债。

消息队列分区顺序与并发消费关系图
消息队列分区顺序与并发消费关系图

削峰填谷很香 账单也真实

大促前,消息队列常被拉出来当防洪堤。流量洪峰打进 broker,后端按自己能力消费。听起来很美。但 broker 不是无限水池。磁盘、网络、页缓存、副本同步,全是瓶颈。

我采访过一个团队,零点前把队列堆积当成健康指标。结果堆积太多,磁盘告警,副本同步延迟,最后消费端还没崩,存储先崩。后来他们学乖了,给队列设配额,给消费者设并发上限,给死信设告警。运维不是配几个参数,是天天跟容量做斗争。

还有监控。队列长度、入队速率、出队速率、消费延迟、重试次数、死信数量。少一个,出事时就是抓瞎。尤其消费延迟,平均值会骗人。P99 和最大延迟才是夜里叫醒你的那个。

选型别只看吞吐数字

Kafka、Pulsar、RocketMQ、RabbitMQ、NATS。名字很多。选型先问自己几个问题。需要回放历史消息吗。需要多租户吗。团队有没有运维能力。云上还是自建。消息保留多久。顺序要求到什么粒度。

Kafka 强在流处理和生态,吞吐大。但主题多了,运维复杂度也上来。RabbitMQ 路由灵活,低延迟,适合业务解耦。队列一多,管理也累。RocketMQ 在国内场景多,事务消息、延迟消息有现成支持。Pulsar 存算分离很诱人,但引入新组件要谨慎。NATS 轻,适合云原生边缘,但别拿它硬扛所有场景。

别被 benchmark 绑架。别人百万 TPS,你的瓶颈可能在数据库。消息队列解决的是异步、解耦、削峰。它不是数据库,不是缓存,更不是万能胶。

最后一句真话。上消息队列之前,先画数据流。谁生产,谁消费,失败了怎么办,重复了怎么办,积压了怎么办,谁负责。画不出来,先别上。画出来,再选型。否则你只是把同步的坑,翻译成异步的坑。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:消息队列正在替谁背锅
文章链接:https://www.itcdj.com/news/951.html