凌晨三点那通电话
我最怕的不是服务器炸了。是运营在群里@我一句:哥,大屏上那数字怎么不动了。
某年双十一第二轮,凌晨两点四十。实时大屏停在12万这个数字上——在线人数。十二万。半个多小时,一动不动。
查下来是反压。上游 Kafka 某个分区数据倾斜,一个 key 的量是其他 key 的四十倍。算子之间的水位线卡在那儿,窗口迟迟不触发。数据没丢,就是不流了。
那一刻我才算真明白:实时计算里最难的从来不是“算”,是“流”。

延迟不是一个数是一个区间

刚接触这块的人,开口第一句几乎都是:能到毫秒吗。
能。但你得先回我一句:你真需要毫秒吗?
实时这东西其实是个光谱。几百毫秒,是风控放行;一两秒,是推荐排序;十秒到一分钟,是运营看板;五分钟嘛……那已经能叫准实时了。把这些混为一谈,上去就喊毫秒级,最后往往是钱花了不少,业务那边感知为零。
早些年流行 Lambda 架构。同一份逻辑,离线写一遍,实时再写一遍。听着挺美。实际呢,两套代码两套口径,对了半天账,两边数字还是差 0.3%。那 0.3% 足够产品经理跟你吵一个下午。
流批一体这四个字,本质上就是想把这个坑填了。可惜填坑本身也是坑。
状态和水位线这些看不见的账
说几个概念,用大白话。
水位线,你可以理解成“这条时间线之前的数据我基本都到齐了”。它是个承诺,也是个猜测。网络乱序一严重,猜早了丢数据,猜晚了窗口就一直不触发——就是我前面那个凌晨三点。
状态,是算子记在小本本上的东西。比如“这个用户过去五分钟点了几次”。小本本放内存里怕丢,放 RocksDB 里怕慢,做 Checkpoint 又怕把磁盘 IO 打满。反正怎么选都得疼一下。
精确一次这说法最容易被误解。它不是魔法,是拿两阶段提交或者幂等写入换来的,代价是延迟和复杂度。很多时候,“至少一次加下游去重”反而更划算——这话我放这儿,信不信随你。

真要上先算三笔账

别急着选型。先算账。
第一笔,延迟账。业务能忍多久?如果答案是“T+1 也行,就是想早点看到”,那你可能只需要把离线调度从凌晨四点提到每小时。别搞流计算。真的。
第二笔,数据账。数据从哪来?binlog 抓变更(CDC),还是埋点上报?埋点有没有丢失、有没有重复、字段会不会突然改名?这些不弄清楚,你的实时任务就是个漂在河面上的泡沫。
第三笔,对账账。你怎么知道它算得对?最土也最管用的办法:拿实时结果跟离线跑一遍比,差异超阈值就告警。很多人跳过这步,然后上线三个月,没人敢用那个数字。
落地的时候还有几个细节值得盯:
· 状态别无限膨胀,该设 TTL 就设
· 别拿事件时间窗口去处理一个本身就没有顺序的数据源
· 留一条回放通道,数据错了能重跑
· 监控里盯反压、Checkpoint 耗时、消费滞后量这三个指标,比盯大盘有用
……
回到那晚。我们最后改的是 key 的加盐策略,把那个热点 key 拆成十六份,下游再合并。凌晨四点十七分,大屏上的数字动了。
群里有人先发了个“?”。然后是一串省略号。
我盯着屏幕,喝了口已经凉透的咖啡。就挺……好的。