凌晨三点 告警群先响还是日志先响
凌晨三点,告警群响了。不是 CPU 95% 那种老朋友,而是支付回调成功率掉了两个点。值班的人先开大盘。曲线像被掐住脖子。然后切到日志平台。service:payment AND level:error。一屏红。真正有用的那几行,埋在几十万行重试日志里。日志分析,平时是仓库盘点,出事时是刑侦。别笑。你早晚遇到。
时间对不上 后面全是幻觉

采集那一段 决定后面有没有证据
管道看着简单:采集、传输、缓冲、解析、存储、查询。每段都有代价。Agent 跑业务机上,吃 CPU 吃内存。高峰时跟应用抢资源。用 sidecar 或 DaemonSet 好点,但网络和磁盘 IO 要盯。常见错误:解析放采集端,正则写飞。一条匹配失败,整条进死信。没人看。等出事发现,关键服务日志格式改过,规则没跟。 日志格式变更要像 API 变更一样管。 有版本,有 schema,有回归测试。今天是 json,明天 key=value,后天多个中括号。查询的人骂街。背压也烦。下游 Kafka 慢,Filebeat 或 Fluent Bit 内存涨。最怕把业务机拖死。所以限流、缓冲、丢弃策略要提前定。丢哪些?debug 可以丢,审计不能丢。这个边界写清楚。说实话,很多故障不是查不出,是没采到。或者采到了,被采样干掉了。
字段不是越多越好 索引会先崩
有些团队喜欢把用户 ID、订单号、设备指纹全塞日志。没错,上下文有用。但字段一多,基数爆炸。Loki 这类系统最怕标签高基数。每个用户 ID 当标签,索引先崩。ClickHouse 能扛,但写入和查询成本要算。 日志分析不是把什么字段都扔进去,而是决定哪些字段做索引、哪些留给全文。 这个决定,采集前就要做。事后补,很痛。
查询是手艺 告警是取舍
日志平台用久了会发现,搜索框不是问题。问题是怎么问。新手搜 error。老手搜 level:error AND service:checkout AND trace_id:xxx。更老的手先看时间范围,再排除噪声。健康检查、限流重试、定时任务,先过滤掉。 高信噪比来自排除,不来自多打关键词。 有的系统支持管道查询,像 awk 和 SQL 的混合。会写结构化查询的人,效率是别人几倍。不是玄学。知道字段怎么建索引,先聚合再过滤,别在百万结果里 sort。 告警也一样。直接把 error 数量当告警,会被噪声淹没。更好的做法:聚合后看错误率,看 P99,看特定异常码。日志做上下文。指标做触发。trace 看单次请求。三者拼起来才是现场。只有日志,容易误判。只有指标,不知道为啥。只有 trace,缺全局。保留和脱敏 早做少挨骂
