数据治理中的数据血缘追踪从来不是画流程图那么简单

上周在南京珠江路的咖啡馆跟三个做了七八年数据平台的老伙计蹲了一下午,聊到他们上个月刚踩的大坑。

上个月他们接了财务部门的需求,要核对应收报表上三个连续季度的偏差值。翻遍了报表系统,愣是找不对偏差是从哪一步算出来的。

先把“血缘”的概念从神坛上拉下来

很多人一听到数据血缘,就自动联想到满屏炫酷的可视化图谱,节点连来连去,看着就有技术含量。说白了,这事没那么玄。

就是你知道每一个数,是从哪个表、哪个字段、经过哪几步加工、最后流到哪个报表里去的。

企业数仓数据血缘追踪全链路示意图
企业数仓数据血缘追踪全链路示意图

麻烦在于,很多团队当初建数仓的时候,根本没想着要留这个追踪链路。

有的是写脚本的人离职了,交接的文档漏了三分之二;有的是中间临时加了个过滤逻辑,上线的时候没人同步给数据组;还有的是直接在BI工具里改了计算公式,连后台数仓都没同步。

上次那个团队的问题就是,财务报表里有个字段是三年前一个离职的开发临时加的。当时他在自己的个人分支里改了计算逻辑,合并上线的时候漏写了变更记录,后来所有人都以为那个字段的口径跟最初的设计文档一致,结果差了三个季度的数,找了整整两周。

这事说出去有点好笑。但真在数据团队待过的人都懂,这种破事太常见了。

真做追踪的时候,没人告诉你的取舍代价

很多厂商卖血缘工具的时候,吹得天花乱坠,说接上去就能自动生成全链路追踪图谱,零成本。

真用起来才知道,哪有那么容易。

得把所有数仓的SQL、ETL脚本、BI的计算逻辑、甚至业务系统的埋点数据,全部拆成结构化的解析节点。这个过程要耗多少人力?一个中等规模的企业,光历史遗留的脚本就有大几千个,有的脚本写得乱到变量名都看不懂,逐行解析依赖关系,至少得两个资深数据开发干俩月。

然后还有个绕不开的坑,就是自动解析的准确率。很多工具能识别常规的SQL join、group by逻辑,但碰到那种自定义的Python脚本、或者藏在存储过程里的嵌套逻辑,识别率能到60%就不错了。剩下的40%就得靠人对着一个个节点去核对,核对错了,后面的血缘链路就是错的——等于你花了大价钱做了个好看的错误图谱。

数据血缘追踪节点解析准确率对比图
数据血缘追踪节点解析准确率对比图

很多团队一开始贪大求全,想把所有系统的血缘全打通,结果搞到一半发现,投入的人力根本兜不住,最后只能把核心的财务、经营报表的链路先理清楚,其他边缘的模块就先放着。

这事没什么丢人的。

别信厂商说的“全自动无人工干预”。真能做到那一步的团队,早就把所有开发流程的规范卡死了——每个脚本上线必须带依赖说明,每次字段变更必须走审批流程,这种团队在行业里本来就没多少。大部分团队都是历史堆出来的技术债,想靠一个工具就把债全还了,哪有那么好的事。

说白了,数据治理从来不是要追求100%的完美,是要先解决最痛的那个问题。上次那个团队最后没买几十万的商业工具,就是把财务核心报表涉及的12张表、37个字段的链路,用人工标注的方式理了一遍,花了不到一周,就把那个偏差值的来源找到了。算下来,比买贵价工具的性价比高多了。

别把血缘追踪做成给领导看的PPT

见过太多团队,做数据血缘追踪,最终的交付物就是一张可视化的大图。领导开会的时候点两下,看着节点连来连去,觉得很厉害。实际用的时候,业务部门根本找不到自己要的数是哪来的。

为啥?因为很多图谱是按技术架构的逻辑画的,什么ODS层、DWD层、DWS层,业务的人根本看不懂。你跟财务的人说,这个字段是从DWD层的交易表关联过来的,人家根本不关心你是哪层,人家就想知道,这个数是不是跟上个月打款的金额对得上,中间有没有被改过。

真正好用的血缘追踪,从来不是给技术团队自己看的。要把技术语言翻译成业务能懂的信息。比如你在一个报表字段旁边,直接标清楚:这个数的原始来源是2023年1月之后的销售订单系统,中间经过了“扣除退款金额”“剔除内部调账订单”两个步骤计算,最近一次更新是昨天凌晨2点,之前有过三次口径调整,分别是哪几个月。

这样业务的人拿到数,才敢用。

上次跟那个团队的人聊天,他们现在做的血缘标注,根本不搞什么复杂的图谱,就是在每个核心报表的字段下面,加个三行的说明,把来源、加工步骤、历史调整记录写清楚,财务的人现在找数的时间,比之前缩短了80%。

说实话,之前我也觉得数据治理中的数据血缘追踪是个很“高大上”的专项项目,直到那次跟他们聊完才明白,所有看起来很玄的技术概念,最终要落地的时候,都是要回到解决具体问题上的。

没有什么一劳永逸的工具,也没有什么完美的架构。你要是上来就想把全公司所有数据的链路都理得清清楚楚,大概率是要碰一鼻子灰的。不如就从业务最痛的那个点开始,先把一个报表的数搞明白来源,再慢慢往外扩。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:数据治理中的数据血缘追踪从来不是画流程图那么简单
文章链接:https://www.itcdj.com/it/138.html