智汇 IT
城启新篇

日志分析藏在凌晨三点的磁盘告警里

凌晨三点,手机震了。不是P0,是磁盘写满。日志把根分区撑爆。运维群里骂了一句,然后大家默默去删旧索引。这事我采访过不止一个团队,日志分析的第一课,往往不是怎么查,而是怎么活下来。

日志先别急着收

很多团队一上来就上全套。Filebeat、Fluentd、Kafka、Logstash、Elasticsearch,一条龙。结果呢?采集器吃掉CPU,Kafka堆积,ES集群天天黄。麻烦在于,日志不是数据湖,它是有时效的。绝大多数日志的查询价值集中在最近几天。超过两周的,除了合规和审计,基本没人翻。所以保留策略得先想清楚。热、温、冷,分层。别让所有索引都躺在SSD上。

日志分析的第一步是决定什么不收集。 这话反直觉。但真的。debug日志在开发环境开开就行。生产环境开debug,等于给磁盘上刑。可以按级别过滤,按模块采样。有些框架的访问日志,一条请求打十几行,真正有用的就状态码和耗时。结构化,别用正则硬啃。

服务器日志采集代理资源占用监控面板
服务器日志采集代理资源占用监控面板

然后讲日志格式。JSON好,但别嵌套太深。字段名别太长。时间戳统一UTC。这些老生常谈,踩坑的人还是一批接一批。有团队用syslog传JSON,结果消息体被截断,排查半天。说到底是格式没约定好。

查询慢不一定是索引的锅

Elasticsearch慢查询,很多人第一反应是加节点。加完发现还是慢。为什么?分片太多,或者分片太大。单个分片建议几十GB,但这不是铁律。更常见的是,查询写法有问题。比如 wildcard 开头通配符,比如在 text 字段上做聚合。日志分析里,字段类型要提前规划。IP、状态码、耗时,这些该是 keyword 或数值。别全部 dynamic mapping。否则一次查询扫描全量文档。

还有,别把日志当数据库用。JOIN?不存在的。要用日志做业务分析,先 ETL 到 ClickHouse 或 Doris。查询快得不是一点。但代价是数据冗余和同步延迟。取舍看场景。

日志分析的系统里,最贵的不是存储,是人的注意力。 查询慢,人就烦。烦了就不查。不查,日志就白采了。

分布式日志检索集群分片与副本状态图
分布式日志检索集群分片与副本状态图

然后可以讲 Loki 和 ClickHouse。Loki 只索引标签,日志内容压缩存对象存储。省成本。但查询靠暴力扫描,适合排障时按标签缩小范围。ClickHouse 适合结构化日志,写入吞吐高,SQL 查询快。不过维护成本不低。小团队别贪多。

采样和丢弃之间

采样和丢弃之间
采样和丢弃之间

日志量爆炸是常态。全量采集?钱烧得慌。采样?可能漏掉关键错误。怎么办?分层采样。错误日志全留,访问日志按比例。或者按 trace id 采样,保证同一请求的日志完整。这个思路和 APM 的采样一致。代价是统计类分析会有偏差。但排障够用。

有些团队用动态采样。平时低采样,错误率上升自动提高。麻烦在于,采样策略本身要可观测。不然你都不知道丢了什么。

说个现场。一个电商团队,大促前把日志采样率调到1%。结果支付超时问题查不到。因为超时请求的日志被采掉了。后来改成按错误码和耗时阈值保留。所以采样规则得跟着业务走。别一刀切。

告警噪音与根因

告警噪音与根因
告警噪音与根因

日志告警,最容易变成狼来了。错误关键字一配,半夜响个不停。最后大家把告警静音。这就废了。好的做法是聚合。相同错误一分钟内合并,带上下文。更关键的是,把日志告警和指标、链路追踪关联。比如某个接口错误率上升,直接跳转到相关日志和 trace。这需要统一 trace id。没有 trace id,跨服务排障就是大海捞针。

我见过一个团队,用日志分析做根因定位。他们把部署事件、配置变更、日志异常时间线对齐。一次故障,发现是某个配置项在发布时被覆盖。日志里只有一条不起眼的警告。没关联,根本看不见。

日志分析的上限,取决于你能否把日志变成事件。 事件有开始、有结束、有关联。原始日志只是一行行文本。

弃用与重构

弃用与重构
弃用与重构

日志分析系统也会老。索引模板一堆,字段名混乱,采集器版本不一。重构?疼。但有时候不得不做。先从最痛的场景开始。比如只跑通一条排障链路。别想着一次换掉所有。

有些团队转向 OpenTelemetry。日志、指标、链路,一套 SDK。方向对。但日志这块,OTel 还在演进。采集端 agent 资源占用,格式兼容,都是坑。观望可以,全量上要谨慎。

最后,回到磁盘告警。那晚他们删了旧索引,加了保留策略。第二天开会,决定只保留7天热数据,30天冷数据。debug日志默认关闭。然后,终于睡了个好觉。

日志分析这事,没那么玄。就是脏活累活。别追求大而全,先解决一个具体问题。比如,让下一次故障排查少花半小时。这就值了。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:日志分析藏在凌晨三点的磁盘告警里
文章链接:https://www.itcdj.com/news/965.html