智汇 IT
城启新篇

湖仓一体不是把两个词缝在一起

凌晨两点,一个做推荐的朋友发消息过来,说特征表又炸了。

白天 BI 跑报表把集群吃满,晚上训练任务排队排到天亮。他问我,搞个湖仓一体能不能救。

我回他:能救一半。剩下一半是你自己的问题。

先把两边的老毛病摊开看

先把两边的老毛病摊开看
先把两边的老毛病摊开看

数据湖便宜。对象存储按量付费,什么格式都能扔进去,JSON、日志、图片、Parquet,来者不拒。

代价是没人管。三年之后你打开那个桶,两百个目录,命名规则有五六套,谁写的、能不能删,全靠猜。业内管这叫数据沼泽,我觉得更像老家的储藏间。

数仓反过来。schema 卡得死,事务、约束、权限、血缘都有。问题是贵,而且半结构化和非结构化数据进去特别别扭,要么先拆成列,要么塞进一个大字段当摆设。

所以很多团队的真实状态是:一份数据存两遍。湖里一份给算法,仓里一份给报表。

然后口径就开始打架。同一个活跃用户,报表说一千两百万,特征侧说九百八十万。开会两小时,一半时间在对这个数。

湖仓一体最早要解决的就是这件事,别搬了。存储只有一份,上面盖一层能提供事务和 schema 的表格格式,谁想读谁来读。

听起来很顺。麻烦在下面这几层。

真正打架的地方是表格式

Iceberg、Delta Lake、Hudi,这三个名字你一定见过。它们要做的事大同小异:在对象存储这种只能覆盖写、没有事务的地方,模拟出一张有 ACID 的表。

手段是靠元数据层。数据文件本身还是 Parquet,但上面挂了一层清单文件和快照。每次写入生成新快照,老的还留着。时间旅行、回滚、schema 演进,都是从这个结构里长出来的。

这套设计的优雅之处在于,改一次元数据比改一次数据便宜得多。分区演进这种在 Hive 时代能让人哭出来的活儿,现在基本是改个配置。

但元数据本身也会膨胀。快照留太多,查询规划阶段光是读清单就要几秒。过期快照清理策略不是可选项,是必修课。

湖仓一体Iceberg表快照与清单文件元数据层级结构图
湖仓一体Iceberg表快照与清单文件元数据层级结构图

另一个绕不开的坑是小文件。流式入湖最容易踩:一分钟提交一次,一天下来几万个小文件。查询引擎每打开一个文件都要一次网络往返,性能直接塌。

所以 Compaction 得常态化跑。这事没那么玄,就是后台定期把一堆小文件合成大的。但要有人盯着,还得跟写入任务错峰。

还有一个被长期低估的组件:catalog。表存在哪儿、叫什么名字、谁能访问,全归它管。过去大家都用 Hive Metastore,一用十几年,包袱很重。现在 REST catalog 这类方案在推,好处是被各个引擎统一调用,不用每家自己适配一遍。

选表格式的时候,功能对比表能列三十行,但真正决定成败的往往是生态。你用的引擎支不支持,你团队熟不熟。这两条比多一个特性重要得多。

别指望一套引擎通吃

这是我见过最多的幻想。

批处理用 Spark,流用 Flink,交互式查询上 Trino,对延迟敏感的报表再挂一层 Doris 或者 StarRocks 做加速。听着复杂,但现实就是这样。

原因也简单:读和写的优化方向是相反的。写要快、要小批量、要低延迟;读要扫得少、要顺序 IO、要能剪枝。一套引擎同时把两头做到极致,基本不可能。

湖仓一体Flink流式写入对象存储小文件合并Compaction流程示意图
湖仓一体Flink流式写入对象存储小文件合并Compaction流程示意图

流式入湖的延迟和文件数是一对矛盾。想延迟低,就得频繁提交,文件就多;想文件少,就得攒批,延迟就上去。这个权衡没有标准答案,只能按业务定。

我见过团队为了压延迟把提交间隔调到十秒,两周后查询全线变慢。后来加了个 Compaction 任务,凌晨跑,才算稳住。

还有一件事:在数据湖上做点查依然别扭。对象存储的元数据操作延迟摆在那儿,想做到毫秒级,绕不开本地缓存或者列存副本。这时候所谓的一份存储,实际上已经有两份了,只是第二份是引擎自己管的,不算在你头上。

管得住比查得快更难

管得住比查得快更难
管得住比查得快更难

湖的开放性是把双刃剑。

好处是谁都能接。坏处是,谁都能接。表目录从几十张涨到几千张,中间隔了不到两年。然后你会发现没人说得清某张表到底还有没有人在读。

权限这块尤其难受。对象存储的权限模型和 SQL 引擎的权限模型不是一回事,中间隔着一层。行级、列级管控,很多方案还得靠视图绕。

血缘也一样。跨引擎的血缘要打通,需要每个引擎都吐元数据出来,还得有个地方收。工作量不小,但不做的话,改一个字段之前你根本不知道会撞到谁。

成本是最容易失控的。存储便宜,所以没人删数据。快照、临时文件、失败的写入残留,一年下来账单能翻倍。有团队做完治理,存储直接砍掉四成,删的全是没人认领的东西。

所以湖仓一体落地到后面,技术问题会变成流程问题。谁负责建表规范,谁批新增表,快照留多久。这些问题没有技术答案。

什么情况下先别急着上

什么情况下先别急着上
什么情况下先别急着上

数据量不到 TB 级,团队三五个人。这时候上一套湖仓一体,运维成本会比收益先到。

只有单一负载,比如就一个报表场景,也没有非结构化数据要处理。那传统数仓,或者干脆一个 Postgres 加个列存扩展,活得挺好。

团队里没人碰过对象存储、没调过 Spark 参数、没处理过小文件。那也别急。这套东西的坑集中在运维细节上,不是搭起来就完事。

真要上的话,我的建议是先挑一个边缘场景试。别一上来就动核心报表链路。跑三个月,把 Compaction、快照清理、权限模型这几件事摸熟了,再铺开。

还有一句得说:迁移的时候,把旧口径对齐这件事做扎实。我见过太多团队,存储换新了,调度换新了,口径还是乱的。湖仓一体解决的是搬运和存储的问题,统一口径这件事,它替不了你。

工具不背这个锅。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:湖仓一体不是把两个词缝在一起
文章链接:https://www.itcdj.com/news/1037.html