首页 / 业界 / 正文

数据治理中的数据血缘追踪 别把链路图做成墙上的摆设

上周在南京河西的产业园见客户,下午三点,数仓部的三个工程师围着投影屏皱眉头。他们要给生产部的月度会出一份良品率报表,数改了三版,两边对来对去还是差了1.2个百分点。没人知道报表里那个“良品率”字段,最早是从哪条生产线的采集表来的,中间经过了几次清洗、几次口径调整。

翻了二十多张流转表,连个准确的源头都找不着。

没人愿意接这活。真的,这比加三天班赶需求还闹心。

溯源不是靠翻聊天记录

很多人在做数据治理中的数据血缘追踪时,第一反应是找之前的老员工问,翻半年来的群聊记录,凑出来一张链路图。没用的。人会走,聊天记录会沉,今天你问张工这个字段是怎么算的,他记的还是三个月前的逻辑,现在任务早就改了三版了。

数据血缘全链路追溯逻辑示意图

我见过太多团队,花了三个月把全链路血缘图画完,贴在OA首页当项目成果,过半年再回头核对,图上标着的链路和实际跑的ETL任务,对不上的地方快有三分之一。说白了,血缘追踪从来不是画一张挂在墙上的静态图。血缘追踪的核心,是能跟着数据链路的动态变化实时更新,不是给人看的展品,是真能用来找问题的导航。 很多人踩坑就踩在这,把图做的越美观越好,节点画的五颜六色,箭头标得整整齐齐,唯独忘了图是要跟着实际任务变的,任务变了图不更新,那图就是废纸。

别为了追血缘搞出额外负担

真要落地的时候,最容易走偏的就是贪多。很多团队一开始上来就想追全量链路,从最底层的业务库到最顶层的高管驾驶舱,所有字段、所有任务、所有转换逻辑全要记下来,恨不得把每一次数据的流转都拍个快照存进系统。

没必要。

说实话,上次碰到个做连锁零售的客户,团队五个人,花了半年时间追了全公司12000多个字段的血缘,结果最后复盘发现,日常出问题最多的,也就不到200个核心字段——就是那些要给老板看的营收、毛利、库存周转的数。剩下的那些临时取数用的中间表,追完了也没人看,纯粹是浪费人力。

企业核心数据字段血缘关联拓扑图
企业核心数据字段血缘关联拓扑图

更麻烦的是维护成本。你把全链路都追了,意味着每个新增的字段、每个新上线的任务,都要同步更新到血缘系统里,不然图就不准。很多小团队根本扛不住这个成本。你让业务开发写完ETL脚本,上线前还要额外填个血缘登记表?不出三次,大家就全绕开你的系统自己玩了。真正能落地的血缘追踪,一定是先抓高频出问题的核心链路,而不是一上来就追求大而全的覆盖。 先把那200个最容易出问题的字段的链路摸透,比追一万个没人看的临时字段有用得多。

追对了血缘到底能省什么事

追对了血缘到底能省什么事
追对了血缘到底能省什么事

别把这事当成要应付合规的任务。真用顺了,省的事比你想的多。

之前有个客户,之前碰到过一次数据错漏,全团队找了整整两天——就是月度财务报表里的“客户回款”数,比实际到账少了两百多万,翻了十几张表,才发现是中间某层的清洗任务,把空值的记录直接过滤掉了,而那些空值其实是正常的对公打款,因为系统没有自动匹配上客户ID。等他们把核心链路的血缘搭顺了之后,同样的问题,从报表的字段往上点两下,三秒就能定位到是哪一层的哪个任务出的问题。

还有的时候监管要报数,要证明某个统计指标的计算口径是合规的,不用再翻一堆存档文档找依据,顺着血缘链路直接就能看到每一步的转换逻辑,不用临时抱佛脚凑材料。

哦对,还有个容易被忽略的点。很多人觉得血缘追踪就是数仓团队自己的事,错了。业务端的口径变化,比如市场部说这个月的“新客”定义改成了注册之后完成第一笔下单的人,这个变化如果不同步到血缘链路里,最后追出来的根因还是错的。血缘系统从来不是数仓部门的内部工具,是要把业务端的口径、技术端的链路全串起来的公共基础设施。

前阵子和那个南京客户的数仓负责人吃饭,他说现在他们的血缘系统,就抓了300多个核心字段的链路,每个新上线的ETL任务,只要用现成的调度工具写的,系统自动抓血缘,不用人额外填。现在出数错了,最多半小时就能定位到源头,再也不用一群人对着excel挠头。

这事没那么玄。别搞花架子,先把最常出问题的那几条链路跑通,比啥都强。