首页 / 资讯 / 数据治理中的数据血缘追踪从来不是画个流程图

数据治理中的数据血缘追踪从来不是画个流程图

上次跟某互联网公司数据组的老陈吃夜宵,他扒拉着烤串吐槽,上周财务对账发现季度营收数差了近3个点,全组人通宵查了两天,才揪出原因——是上周临时加的渠道分层规则,把海外测试环境的1200多笔虚拟订单算进了正式营收口径。

找问题根因的那两天,全靠他们攒了大半年的数据血缘链路顺下来的。换作两年前,遇到这种事,估计得翻遍十几个代码仓库、上百份共享盘的Excel、甚至群聊里的临时通知,才能凑齐完整的数来龙去脉,少说要耗一周。

别把血缘理解成静态的字段映射表

很多人刚接触数据治理中的数据血缘追踪,第一反应就是把数仓里的表、字段之间的依赖关系画成拓扑图,节点连上线,就算完事。

真不是。

真正需要追踪的从来不是写在SQL里的静态依赖,是数据从产生到最终被使用的全生命周期里,每一次流转的加工逻辑、变更记录、操作人信息,甚至那些没被流程记录的人工调整痕迹。

之前见过不少团队,刚上线血缘工具的时候,扫一遍数仓的所有SQL脚本,自动生成一张覆盖几百张表的关联图,界面做的花里胡哨,能点进去看每个字段的来源。真遇到数据报错要溯源的时候,才发现图里全是断点:上周临时加的过滤规则没记,某同事手动改了中间表的几行脏数据没记,运营每天早上手动导的活动明细Excel上传到共享盘的环节,工具根本扫不到。

数据血缘字段级加工逻辑追踪示意图

这种半残的血缘图,还不如没有。你要是真信了图上的链路,顺着找下去找半天,发现中间断了一截,反而更耽误事。

绝大多数团队的血缘都停在“能用但不好用”的阶段

刚做血缘项目的团队,很容易踩一个坑:追求大而全。

从最底层的业务库,到数仓的ODS、DWD、DWS分层,再到最顶层的管理层驾驶舱,恨不得把每一个字段的映射关系都扒得清清楚楚,项目启动就拍胸脯说要做全链路无死角的血缘体系。

结果呢?

项目做了小半年,光梳理各业务线的表结构、字段口径就耗了好几个专职的人力,等工具真跑起来,每天的增量链路更新要跑三四个小时,遇到业务临时改表、加字段,工具半天同步不过来。更麻烦的是,那些没进数仓的零散数据操作,比如个人电脑上存的临时计算脚本、共享盘里的手工Excel、甚至是运营在群里发的在线表格,这些环节的链路,工具根本抓不到。

老陈说他们之前花了大几十万买的商业血缘工具,上线后统计了下,链路覆盖率也就刚过六成,剩下的四成全是零散的人工操作,根本接不进系统。一开始老板还说要把血缘图嵌到数据资产平台里,给全公司的人开放,真开放了才发现,图上一半的路是断的,大家点进去看两次,再也不打开了。

说白了,你工具买的再贵,只要没把那些“上不了正式流程”的零散操作纳入追踪范围,血缘就是个摆在台面上的摆设。

追血缘的核心是算清楚每一次变更的代价

很多人做血缘的初衷从一开始就错了。

不是为了给领导演示的时候,能拉出一张炫酷的动态拓扑图,也不是为了凑数据治理的项目指标,填个覆盖率的数字交差。

真正有价值的血缘追踪,是当你要调整一个指标口径、改一个字段的计算规则的时候,能第一时间算清楚,这次调整会影响哪些下游的报表、哪些业务的结算、甚至哪些对外公开的数据,会产生多大的连锁反应。

之前接触过的一个零售团队,之前改了门店退货的统计口径,因为没追清楚下游的关联链路,导致给全国上百个加盟商的结算金额算错了,前后花了一周多逐一对账,光跟加盟商的沟通成本就花了好几万。要是当时有清晰的血缘链路,改规则之前就能看到,这个口径连着三个结算报表,改之前提前通知,或者先跑一周的并行校验,根本不会出这种低级错误。

数据血缘影响范围溯源排查流程图
数据血缘影响范围溯源排查流程图

很多vendor给你推方案的时候,拍着胸脯说能做到100%全链路覆盖,你别信。只要你们公司还有人用本地Excel传数,还有临时跑的脚本不提交到代码仓库,就不可能有100%无死角的血缘图。

这事没那么玄。

不用追求一步到位。一开始就盯着那几个核心指标——比如每日营收、用户规模、成本核算,这些每天都要报给管理层、甚至要对外披露的数,先把这些数的完整链路摸清楚,不管是写在SQL里的加工逻辑,还是人工导表的环节,都把链路补全。等这部分跑顺了,再慢慢把范围扩到其他非核心的业务指标。

别贪多。

贪多必乱。

你想想,哪天业务方拿着报表上的数来找你,问这个数到底是怎么算出来的,差了0.1个点的误差来源在哪,你不用翻遍代码、找遍聊天记录、问遍所有相关的同事,只要顺着血缘链路点几下,就能看到从数据最初入库,到每一次加工、每一次过滤、每一次人工调整的全流程。那种不用通宵对数的踏实感,是所有被数据报错折腾过的人,才能真正懂的价值。