上周跟南京本地一个做连锁零售的技术负责人吃饭,他说去年跟风上的湖仓一体,现在运维成本比之前数仓、数据湖分开部署的时候还高30%。我当时夹菜的手都顿了下。
坑全踩了一遍。
先把账算清楚再谈架构
很多团队一开始动湖仓一体的念头,说白了就是被PPT里“一套架构搞定所有数据场景”的话术打动,觉得能省人力、降成本。但麻烦在于,你原来的数仓是跑T+1固定报表的,权限模型严格按部门划分,数据更新节奏慢但稳定性要求极高;另一边的数据湖是存非结构化日志、用户埋点、生产设备传感器数据的,访问灵活但对一致性要求不高。两套系统从底层文件格式到元数据管理逻辑,根本就不是一套思路。
不是接个网关、把两边的接口连起来就算成了。

我见过最离谱的一个团队,为了赶项目里程碑,把原来数仓里的所有表原封不动搬到湖的对象存储层,连原来按天切分的小文件分区规则都没改。结果上线第一次跑月度销售报表,整整等了4个小时才出结果,比之前两套系统分开跑的时间还长一倍。问题出在哪?对象存储的访问逻辑本来就不适合存大量几KB、几十KB的小文件,攒了几百万个小文件之后,每次查询要遍历的元数据量直接翻了几十倍。小文件爆炸是湖仓落地最常见的隐性成本,但没有哪个厂商的售前会在初次沟通的时候主动提这个。
别拿“统一”当万能挡箭牌
厂商吹湖仓一体的价值,永远绕不开“打破数据孤岛”“打通结构化与非结构化数据”“同时支撑实时离线建模”这些话术。但你得先问问自己的业务场景,真的需要这些能力吗?
去年采访过一个做汽车零部件制造的技术总监,他们团队一开始也是跟风上了湖仓平台,砸了近两百万,搭了一整套从实时采集到离线计算的链路。上线之后才发现,整个公司的数据科学团队总共就2个人,一年到头也就做个两三次生产设备故障预测的模型,90%的日常需求还是各部门的生产报表、库存对账。反而因为平台迁移,原来跑了五六年的报表任务因为数据格式不兼容,整整耽误了两周的财务对账,财务总监直接冲到技术部拍桌子。

说白了,湖仓一体的核心价值,是当你真的被“数仓和数据湖两边来回导数据,导一次要花大半天,两边的数据还经常对不上”的问题折磨到受不了的时候,才值得投入的架构升级。要是你现在两边导数据的时间加起来,还没每周开数据对齐会扯皮的时间长,真没必要赶这个热闹。架构升级的前提是现有架构真的成为了业务瓶颈,而不是因为同行都在做,你不做就显得技术团队跟不上潮流。
真的,别为了跟行业朋友聊天有谈资,就硬上系统。
落地的代价从来不在硬件上
很多人算湖仓的投入账,只算买服务器、买商业软件授权的钱,完全忽略了人的成本。你原来的数仓团队,都是写SQL、调离线任务、跑报表的熟手,现在上了湖仓,要懂Iceberg、Hudi这些表格式的底层原理,要会调对象存储的访问参数,要处理跨系统的元数据同步问题,这些技能原来的团队根本没有积累。
招人?现在懂湖仓底层原理的工程师薪资有多高,做过技术管理的人都清楚。送团队培训?手里堆着的业务需求还等着排期,哪有整块时间坐下来啃源码?我见过好几个团队,平台硬件都部署完了,核心功能没人会用,最后还是回到原来的老系统上跑业务,新平台成了个只能给领导参观的摆设,投的钱全打了水漂。
还有个更容易被忽略的隐形成本,就是数据治理。原来数仓里的表,权限是按部门严格划分的,谁能看销售数据,谁能看人力薪酬数据,门清。现在把所有结构化、非结构化数据都扔到统一的存储层,要是没有一套完整的行级权限、列级权限的管控规则,哪天核心销售数据被运营部门的人误删了,或者用户隐私数据被随便导出到外部,这个责任谁担?湖仓一体的长期治理成本,往往是前期硬件软件投入的2到3倍。
这事没那么玄。不是说上了一套新架构,你原来欠的治理的账就自动消了。甚至因为平台更复杂,原来的流程漏洞被放大,你要还的“利息”只会更高。
上周再约那个零售的技术负责人吃饭,他说现在团队花了三个月时间,把之前迁过去的几百万个小文件全做了合并压缩,权限模型也按部门的实际访问需求重新搭了一遍,现在报表速度终于回到了之前的水平,运维成本也降回了合理区间。
他喝了口茶说,早知道一开始就不盯着什么“业界最新架构”的名头,先把自己手里的需求理清楚,能少走半年的弯路。