智汇 IT
城启新篇

湖仓一体不是万能补丁

上周在苏州的一家装备制造客户现场,CTO当着整个数据团队的面翻了个白眼。两套跑了三年的核心系统,一套数仓的月度销售报表要从凌晨1点跑到早上8点,算出来的数还经常和财务对不上;另一套对象存储里堆了几十TB的设备巡检图片、传感器日志、产线视频,算法团队想拿这些数据做故障预测,每次要跨三个部门走一周的审批流程,等数据导出来,早就过了故障排查的最佳窗口。

先把概念拆成能用的零件

很多人聊起湖仓一体,上来就堆一堆技术名词,什么流批一体、ACID事务、开放表格式,听得人云里雾里。说白了这事没那么玄。

湖仓一体的核心从来不是技术栈的物理合并,是把之前割裂的两套数据系统的冗余给消掉——之前你要在数仓存一份结构化的业务数据算报表,在数据湖存一份原始的非结构化数据给算法团队用,同一份业务日志要导两遍,权限要配两套,数据口径要对两次,光同步链路的维护成本就占了整个数据团队一半的精力。

湖仓一体架构数据流转示意图
湖仓一体架构数据流转示意图

我见过太多团队把数据湖做成了数据沼泽。什么数据都往里面扔,没有统一的元数据管理,没有清晰的字段定义,存了两年的日志,连当初是谁导进去的都找不着,更别说拿出来用。而传统数仓的问题也很明显,对非结构化数据的支持能力弱,算法团队想做个图片识别模型,根本没法直接在数仓里取到对应的图片字段,只能额外搭一套存储。

落地时最先碰到的不是技术问题

很多厂商的方案PPT做得漂亮,从架构图到性能指标全是满分,但是没人主动提落地的隐形成本。最容易被忽略的代价,是团队的学习成本和存量系统的迁移成本。

去年在上海碰到一个股份制银行的数据负责人,他们听了概念直接停掉了跑了五年的传统数仓,全量把核心业务数据迁到新的湖仓平台。结果上线第三个月,监管要求报送的季度风险报表和老系统的计算结果差了0.3%,整个团队翻了两周的计算日志才发现,新引擎对滑动时间窗口的截断规则和老版本数仓不一样,差出来的数刚好是几个跨季度的节假日交易数据。为了补这个窟窿,整个数据团队连续加了一周的班,最后还被监管部门打回了一次报表。

湖仓一体数据权限管控流程图
湖仓一体数据权限管控流程图

更麻烦的是,很多团队上了平台之后还是没做统一的权限管控,运营部门能直接修改原始的用户行为日志,等算法团队训练模型的时候才发现,同一份日志里的下单时间被人改过三次,最后算出来的用户复购率比实际值高了40%,拿着这个数据给老板报营销预算,差点批了两百万的无效投放。

说穿了,这些问题根本不是湖仓一体本身的锅。你连最基本的数据治理都没做,连字段的业务含义都没统一,就算把全世界最先进的湖仓平台搬过来,最后也只是换了个更贵的沼泽而已。

别为了概念付多余的溢价

现在市场上的方案鱼龙混杂,有的给原来的对象存储加了个SQL查询接口,就敢卖湖仓一体的价格,整体报价比原来的存储方案翻了三倍。销售的话术也统一,说我们是原生湖仓,支持开放格式,流批一体。但是你仔细问他,能不能在同一份数据上同时跑BI的聚合查询和算法的批量训练,能不能不用额外做数据同步就实现权限的统一管控,往往就开始绕圈子。

真正值得为湖仓一体付费的点,从来不是“把湖和仓拼在一块”的物理拼接。是你真的能让一份数据从源头采集进来之后,不管是做报表、做分析、做模型训练,都直接在同一份存储上操作,不用反复导数据,不用反复对口径,不用反复配权限。

我常跟客户说,不是所有团队都需要赶这个时髦。如果你的团队一年的数据量还不到10TB,数据团队总共就两三个人,业务上也没有太多非结构化数据的分析需求,那完全没必要花大价钱上所谓的湖仓一体平台。你用个开源的数仓加个普通的对象存储,搭个简单的同步脚本,就能把日常的需求覆盖完。

真正适合落地湖仓一体的团队,一定是已经碰到了绕不开的痛点:比如算法团队每次取数要等IT部门抽三天数,比如财务出月度报表要熬通宵,比如存了好几年的非结构化数据因为没法统一查询,完全发挥不了价值。这时候再考虑落地湖仓一体,才是真的解决问题,而不是为了追概念给厂商送钱。

上周和那个苏州的制造业CTO约着吃饭,他说现在不追那些花里胡哨的概念了。先把三个最实在的事做完:一是把所有产线传感器的数据采集口径统一,别一会儿用公制一会儿用英制;二是把报表取数的链路从原来的8小时缩短到1小时以内;三是给算法团队开通直接查原始数据的只读权限,不用每次走一周的审批。等这些基础的窟窿补完,再谈湖仓一体的深度落地。

其实技术圈从来都不缺新概念。从数据湖到数据网格,再到现在的湖仓一体,每一波概念出来的时候,总有人吹得神乎其神,说能颠覆所有的数据架构。但是真到落地的时候,大家最后拼的从来都不是概念有多新,是谁能把最基础的事做扎实。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:湖仓一体不是万能补丁
文章链接:https://www.itcdj.com/news/711.html