链路追踪数据采样策略不该只盯着百分比
2026-11-18 22:14:42
作者:
fawen
链路追踪数据采样策略,最容易被当成一个配置项。加一行 probability: 0.01。上线。收工。然后事故来了。你翻遍 trace,只看到一堆正常的买菜请求,出问题的那个订单像没存在过。
这不是工具不行。是采样在入口就替你做了选择。问题是,入口哪知道后面会不会炸。
头部采样快但瞎
头部采样,也就是 head-based sampling。请求刚进系统,SDK 或网关就决定这条 trace 留不留。依据可能是 traceId 哈希、随机数、服务名、HTTP 路径,或者上游传下来的采样标记。好处很直接:决定早,成本低,整条链路要么全留要么全丢,不会出现一半 span 在、一半 span 没了的尴尬。
麻烦也在这。决定的时候,系统只知道请求刚来。它不知道这个请求会调用哪个下游,会不会超时,会不会抛错。1% 概率采样,放在一百万请求里,确实能留下约一万条。可如果故障只影响某类低频请求,比如每十分钟一次的对账任务,那 1% 可能直接把它抹掉。你调采样率到 10%,流量又受不了。20%?存储账单先受不了。
有些团队会按规则绕开随机。比如错误码、特定用户、关键接口强制采样。这有用。但规则是静态的。业务在变,故障形态也在变。今天给支付回调加白名单,明天问题出在库存扣减。规则追不上。
还有个隐蔽问题:头部采样一旦决定丢弃,后面再想补就补不回来。你没法让已经丢掉的 span 从磁盘里长出来。所以头部采样适合什么?适合大流量下先保底,适合对成本敏感、对单条 trace 完整度要求没那么高的场景。但它不适合指望它抓住所有疑难杂症。
分布式链路追踪头部采样入口决策流程图
尾部采样保留现场但吃资源
尾部采样,tail-based sampling,逻辑反过来。先把 span 收上来,在收集器或后端按 trace 聚合,等一条 trace 差不多完整了,再决定留不留。判断条件可以很具体:有错误,留;P99 延迟超过三秒,留;某个服务返回了异常状态,留;带特定业务标签,留。剩下的丢。
这听起来像理想方案。确实,很多排障场景靠它救命。尤其是那种“平时不报错,一到大促就偶发超时”的链路,头部采样很容易漏,尾部采样能按延迟阈值捞回来。
代价呢?第一,你得先接住全量数据,再谈丢弃。这跟头部采样完全不是一回事。收集器要缓冲 span,要按 traceId 分组,要处理乱序到达。一个长链路可能跨几十个服务,span 陆续到达,最后一片可能几秒后才来。收集器内存和磁盘压力陡增。第二,等待窗口怎么设?设短了,trace 没拼全就决策,容易误判。设长了,内存里堆着大量半成品。第三,尾部采样本身也可能漏。如果某个服务的 span 根本没上报,或者采样标记在中间断了,聚合出来的 trace 就是残缺的。
我见过一种常见做法:头部先粗采,尾部再精筛。比如应用层按 30% 采样,到了收集器再对错误和慢请求做尾部保留,正常请求只留一小部分。这样兼顾成本和召回。别想着一步到位。
OpenTelemetry Collector 尾部采样处理器架构图
动态采样不是万能药
动态采样不是万能药
固定采样率最省事,也最容易被现实打脸。白天流量大,1% 能留下不少。凌晨流量小,1% 可能几个小时都没几条。更糟的是,故障往往发生在流量突变时。你来不及改配置。
动态采样试图解决这个。按流量、错误率、延迟分位数自动调整采样率。流量涨了,降采样;错误率抬头,临时提高关键路径采样。听着聪明。但动态策略有个前提:你得先知道什么值得采。而很多团队连自己的关键路径都没标清楚。结果动态规则越写越复杂,最后没人敢动。
另一个坑是统计偏差。尾部采样保留错误和慢请求,这没错。可有人拿这批 trace 去算平均延迟。算出来的平均值高得吓人。废话,慢的都留下了,快的都扔了。采样数据可以用来诊断个例,不能直接当全量指标用。要算 SLO,还是得靠指标系统,或者给采样数据加权重。很多争吵就来自这里:一边说 trace 显示 P99 爆了,另一边看监控说没爆。两边都没撒谎,只是数据口径不同。
优先级采样也值得说一句。给核心交易链路 100% 采样,给内部工具 0.1%。合理。但标签会腐化。半年前的核心接口,现在可能已经废弃。新上的关键服务,没人记得加标签。所以采样规则需要定期清理,跟代码一样,不维护就会烂。
采样决策本身也要被观测
采样决策本身也要被观测
大部分团队只监控采样后的数据,不监控采样过程。这很危险。你应该知道:每条 trace 为什么被留,为什么被丢。是随机命中,是错误触发,是延迟触发,还是规则强制。把采样原因写进 span 属性,或者至少在后端记录决策元数据。不然出了问题,你连“为什么没这条 trace”都答不上来。
还要算成本账。span 数量不是唯一指标,属性基数更致命。一个 http.url 带用户 ID,能把索引撑爆。采样率降了,但属性没治理,成本还是下不来。所以链路追踪数据采样策略得和属性规范一起做。该删的标签删,该截断的截断。别把所有东西都塞进 baggages。
还有一层,分层。边缘层做第一道粗筛,收集器做第二道尾部筛选,存储层保留窗口。热存储只留最近几小时全量或高采样,冷存储留聚合和关键 trace。别指望一套采样率打天下。
说白了,采样不是省钱的开关,是取舍。你要问自己:我到底怕漏掉什么。错误,慢请求,特定用户,还是全部都要。答案不同,策略就不同。没有银弹。只有一堆带代价的选项。选一个,接受它的瞎,或者接受它的贵。
免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:
链路追踪数据采样策略不该只盯着百分比
文章链接:https://www.itcdj.com/news/933.html