智汇 IT
城启新篇

数据仓库别被分层架构骗了

凌晨两点。手机在床头柜上震得像得了帕金森。老板在群里丢了一张截图——昨日GMV看板挂了,数据停在前天晚上十一点。

我揉了揉眼睛,打开电脑。VPN连上,发现调度系统里一片红。ODS层有个表没跑完,下游DWD、DWS全卡住。更离谱的是,这个表昨天白天有人手动改过字段类型,没通知任何人。

这就是数据仓库。平时没人夸,出事全找你。

数据仓库分层架构与ETL调度依赖关系图
数据仓库分层架构与ETL调度依赖关系图

分层不是银弹 但没分层会死

分层不是银弹 但没分层会死
分层不是银弹 但没分层会死

很多团队一上来就问我:数据仓库到底分几层?ODS、DWD、DWS、ADS,还是ODS、CDM、ADS?说实话,这个问题本身就有问题。

分层是为了解决职责边界和复用。ODS贴源,尽量别动;DWD做清洗和标准化;DWS按主题聚合;ADS直接给报表。你可以少一层,但不能没有边界。我见过最离谱的,是DWD里直接写业务逻辑,然后ADS又写一遍。同一份GMV,三个地方算出来不一样。问就是“口径不同”。

但分层也有代价。每多一层,就多一次落表,多一次调度依赖,多一份存储。小公司一天几十万条数据,非得搞五层,纯属给自己找活。我的边界是:如果团队少于五个数据开发,业务表少于两百张,ODS到ADS三层就够了。别抄大厂作业,人家一天几十亿条,你一天几十万条,能一样吗?

再说调度。依赖管理是数据仓库的命根子。你得知道谁跑完谁才能跑。Airflow、DolphinScheduler、XXL-JOB,工具不重要,重要的是别让一个手工改表把整条链路搞崩。我们后来加了两个规矩:改表必须走工单,调度任务必须配 SLA 告警。简单,但管用。

维度建模还是宽表 这是个问题

另一个常吵的话题:用维度建模还是直接宽表?

Kimball那套星型模型,维度表和事实表,理论上很优雅。但现实里,业务方要的是“打开就能看”。你让他先关联五张表再查,他直接去找Excel了。

所以很多团队走向另一个极端:一张大宽表,几百个字段,什么都有。查询快,开发省事。然后呢?更新慢,口径乱,加个维度要重跑历史。我见过一张宽表,字段从A到Z排到AA到AZ,最后开发自己都找不到某个字段在哪。

我的建议:核心指标用维度建模,保证口径统一和可追溯;探索性分析用宽表,允许冗余,但必须定义清楚刷新频率和责任人。别一棍子打死。

数据仓库维度建模星型模型与雪花模型对比示意图
数据仓库维度建模星型模型与雪花模型对比示意图

还有缓慢变化维。拉链表,听起来很高级。但如果你不是每天都要查历史状态,别上来就拉链。全量快照加日期分区,简单粗暴,够用。真的,我见过太多团队为了拉链而拉链,最后自己都维护不明白。

半夜报警之后 我们改了五件事

半夜报警之后 我们改了五件事
半夜报警之后 我们改了五件事

回到那个凌晨。问题解决之后,我们复盘,定了五条规矩。不是什么最佳实践,就是活生生被逼出来的。

第一,数据质量监控前置。以前是报表出问题才查,现在ODS层入库就校验:主键唯一、字段不为空、枚举值合法。有问题直接阻断,不往下一层跑。宁可今天没数,也别给老板看错数。

第二,所有表必须有负责人。不是团队,是人。一个表一个人。改字段、改逻辑,先找这个人。找不到人?那这表就别建。

第三,调度依赖自动化。别再手动配了。用数据血缘自动解析,或者至少用脚本生成。我们之前手动配依赖,漏了一个,结果DWS跑在DWD前面,数据全是空。笑死。

第四,成本要算账。存储不贵,计算贵。一个全表扫描的SQL,可能烧掉几百块。我们加了查询扫描量限制,超了就报警。不是抠,是让开发有感觉。

第五,文档别写废话。表说明、字段说明、口径说明。不用长篇大论,一句话能说清就行。比如“GMV:已支付订单金额,不含退款”。完事。

说实话,数据仓库这玩意,技术只是一半。另一半是协作习惯。你工具再牛,没人遵守规矩,照样半夜报警。

最后说句实在的。不是所有公司都需要数据仓库。如果你就一个业务库,几张报表,直接BI连MySQL就行,别折腾。数据仓库是给那些数据源多、口径乱、要复用的团队准备的。别为了简历好看硬上。

天亮了。我关掉电脑,老板在群里发了个红包。我领了,八块八。值吗?不知道。但至少今天不用再改那张表了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:数据仓库别被分层架构骗了
文章链接:https://www.itcdj.com/news/870.html