智汇 IT
城启新篇

实时计算不是把批处理跑得快一点

去年冬天,一个做零售的朋友找我喝酒。他们公司花了八个月,上了 Flink,搭了 Kafka,买了两机柜的机器。

我问他,业务上有什么变化。

他想了半天。说:大屏好看多了。

就这样。

这种事我见得不算少。不是技术不行,技术好得很。是把实时计算当成了一个技术项目,而不是一个决策项目。这两者差得挺远。

八个月做了块大屏

他们的原始需求是“想实时看到库存”。听起来没毛病。于是链路一路往前推:采集用 Canal 抓 binlog,Kafka 做缓冲,Flink 双流 join 库存表和订单流,结果写进 Doris,前端三秒刷一次。

端到端延迟三秒。很漂亮。

问题在于,看库存的人是谁。是补货的运营。补货这个动作,一天做一次。三秒和三小时,对补货来说没有任何区别。

三秒的成本,是三小时的几十倍。

所以第一件事,是搞清楚延迟到底为谁服务。风控要毫秒,推荐要几百毫秒,运营看板分钟级就够,财务对账天级完全能接受。这些不同的人,不该挤在一条链路上。可惜很多团队一开始就把它们塞在了一起,然后为了最苛刻的那个需求,给所有人付钱。

Flink流处理任务状态后端Checkpoint机制示意图
Flink流处理任务状态后端Checkpoint机制示意图

钱烧在状态上

实时计算最贵的不是 CPU,是状态。

Flink 的 state backend 一开 RocksDB,checkpoint 一配,HDFS 或者对象存储的写入量立刻上去。双流 join 的窗口越长,状态越大。有人图省事,状态 TTL 设了三十天,理由是“万一以后要回算”。

机器就是这么烧掉的。

还有一块隐性成本,运维。批任务挂了,重跑就行,最多被人骂一句。流任务挂了,事情复杂得多——checkpoint 能不能恢复,恢复之后会不会重复消费,水位线会不会跳,这些都得现场判断。半夜被叫起来处理背压的工程师,对“实时”这两个字通常没什么浪漫想象。

顺便说个容易被忽略的点:exactly-once 是有边界的。Flink 内部能保证,跟它配合的 sink 支持两阶段提交也能保证。但你要是从 Kafka 算完写进 MySQL,中间那段很可能还是 at-least-once。所以幂等该做还得做,别指望框架帮你兜底。

先把延迟预算写下来

落地之前,我会建议团队做一件很土的事:把数据按时效分档,写在一张纸上。

秒级给谁,分钟级给谁,小时级给谁,天级给谁。每一档后面写上“看到数据之后,谁要在多久内做动作”。

这张纸比任何架构图都有用。

因为它会暴露一件事:很多被叫做“实时”的需求,其实微批就够,甚至定时拉一次就够。我见过一个团队,为了一个每十分钟才看一次的报表,硬是上了完整的流处理,最后维护成本高到没人敢动那段代码。

延迟是有档位的。从 T+1 到分钟级,可能只是改改调度。从分钟级到秒级,得换成真正的流处理。从秒级到百毫秒,就得开始砍东西了,砍 join、砍状态、砍不必要的 enrich。每往前一档,复杂度不是线性增长的。

Kafka消费组Lag堆积与背压监控面板
Kafka消费组Lag堆积与背压监控面板

几条能直接用的判断

几条能直接用的判断
几条能直接用的判断

说了这么多,落到操作上,大概是这样几条。

从一个场景开始,别做平台。平台是结果,不是起点。先解决一个真实且痛的问题,跑顺了再抽公共层。

把端到端拆开算。采集、传输、计算、存储、查询,五段各自的延迟加起来才是用户感知的延迟。查询那一段最容易被忽略——前面辛辛苦苦压到两百毫秒,一个没建索引的宽表查询就给你加三秒。

监控先于业务上线。消费 lag、checkpoint 耗时、背压情况,这三个指标没稳定之前,别急着接业务。

留一条离线兜底链路。流挂了的时候,得有个东西能顶上,哪怕慢。

口径先对齐,再谈实时。这条最反直觉。口径不对的时候,实时只是让错误更快地到达老板的手机。我见过不止一次,实时大屏跑了一个月,最后发现跟财务的口径差了两个数量级——不是流处理的问题,是当初两边对“销售额”的定义就不一样。

我那个朋友后来把链路砍了一半。三秒还是三秒,但机器少了一半,值班的人也少了。他说这才是他想要的实时。

嗯。有时候快一点,不如清楚一点。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:实时计算不是把批处理跑得快一点
文章链接:https://www.itcdj.com/news/958.html