数据仓库从来不是技术自嗨的产物

上周在南京珠江路的小馆子跟老陈撸串,他是做女装电商的技术负责人,喝到半杯的时候拍桌子骂,说公司刚花了大几十万上的所谓“数据仓库”,运营要个上个月的复购率,技术部查了三天还没出准数,财务和运营报的数差了快12个点,全公司乱成一锅粥。

被误当大数据库的空壳仓库

很多人对数据仓库的误解,说穿了就是把所有业务系统的数据,全抽到一个大容量的存储里就算完事。老陈他们之前就是这么干的。订单、用户、商品、售后所有表一股脑塞进云数仓,连字段映射都懒得做——用户表的“注册渠道”,运营端写的是“抖音短直”,业务库存的是“dy_live”,财务端录的是“抖音直播间”,三个地方三个写法,统计的时候当然能差出十万八千里。

电商多源业务表字段对齐对比示意图
电商多源业务表字段对齐对比示意图

你以为这是仓库?这就是个没分类的杂物间。找东西全靠瞎翻,找错了都不知道是哪步出的问题。更别说很多团队连最基础的数据血缘都没做,哪天开发手滑改了个字段,下游几十张报表直接崩,半夜爬起来救火是常事。太糟心了。

真正的仓库从业务痛点倒推

老陈后来没再砸钱买什么高端数仓产品,先拉着运营、财务、商品部开了三次闭门会,没聊技术架构,就列了三个最急的核心需求:每个月要算清楚各渠道的获客成本和复购率,大促期间要实时看各品类的库存动销,售后退款率要按客服组拆分算绩效。等需求列完,才开始动手搭数仓的分层结构。

最底层是贴源层,把所有业务系统的原表原封不动抽过来,不许随便改字段、删数据,就算后面中间层出了问题,还能从这里捞回原始数据。中间是统一汇总层,把之前乱七八糟的字段全部对齐成一套标准——比如不管之前各系统里对抖音渠道的写法有多乱,只要是抖音直播间来的用户,统一标成“抖音直播”,后续算数直接拉就行,不用再做映射。最上面是业务应用层,直接对着刚才列的三个需求做报表,运营点进去就能看到自己要的数,不用再找技术部排队取数。

电商数据仓库分层架构落地示意图
电商数据仓库分层架构落地示意图

说实话,很多技术团队一上来就想搭个完美的数仓,什么四层五层架构,把能想到的维度全堆上去,结果业务根本用不上,纯纯浪费资源。我见过不少创业公司,刚起步就照着大厂的数仓模板抄,搞了半年花了几十万,最后业务部门连入口在哪都不知道。

别等仓库建完才找业务对齐

这是最多团队踩过的坑。数仓项目从立项到上线,全是技术部关起门来搞,搞了半年觉得终于完美了,拿给业务用才发现,这根本不是对方要的东西。老陈之前就踩过这个坑——技术部自己照着教科书给用户分了RFM等级,什么高价值、潜力、流失用户,结果运营做活动的时候根本不认这套,人家平时都是按用户的购买频次和客单价组合来分层的,技术自己搞的那套,半点儿用都没有。

你说这钱花的冤不冤?后来老陈改了流程,每搭完一层就拉业务过来测:贴源层搞完了,找运营的人抽100条数据跟后台对,是不是跟他们平时看到的数一致;汇总层搞完了,让运营用之前手动算的上个月复购率跟数仓出的数对,差个零点几个百分点没事,差多了就当场找原因改。甚至现在每次发版数仓的表,都会在业务对接群里@对应的负责人,给个测试链接,有问题当天就改,根本不会等全项目做完再上线。效率高多了。

上周再跟老陈撸串,他说现在运营要常规数,基本10分钟内就能出,技术部再也不用天天当取数工具人。他们甚至把数仓的自助分析权限开放给了核心运营,自己想拉什么维度的数,拖拖拽拽就能做报表,技术只需要盯着核心指标的准确性就行。其实啊,数据仓库从来不是什么高大上的技术项目。就是帮大家省点找数的时间,少点跨部门的扯皮。就够了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:数据仓库从来不是技术自嗨的产物
文章链接:https://www.itcdj.com/it/251.html