日志刷屏的背后，藏着系统雪崩的前兆：聊聊 Logger Rate Limiter（日志速率限制器）

作者：Echo_Wish

前几天，一位做运维的朋友给我发来一张监控截图。

凌晨两点。

某个业务接口因为数据库连接异常开始报错。

本来只是一个普通故障。

结果短短5分钟，日志系统被打爆：

ERROR Database Connection Failed ERROR Database Connection Failed ERROR Database Connection Failed ERROR Database Connection Failed ERROR Database Connection Failed ...

整整几百万条。

最终发生了什么？

• Elasticsearch磁盘告急
• Kafka消息堆积
• 日志采集Agent CPU飙升
• Kibana查询卡死
• 运维手机疯狂报警

最讽刺的是：

真正的问题只有一个。

数据库挂了。

但系统却因为记录同一个错误，把自己搞崩了。

看到这里你会发现一个很有意思的现象：

很多时候，压垮系统的不是故障本身，而是故障产生的日志。