首页/云/可观测性速查/Logstash 持久化队列与死信队列
本包目录(282 条)
监控体系与方法40 条Prometheus 与采集64 条Grafana 与看板53 条
日志平台52 条
链路追踪23 条告警与响应50 条

Logstash 持久化队列与死信队列

持久化队列把事件先落盘再消费:进程重启不丢在途数据,磁盘写满前还会施加背压;解析失败的毒丸事件进死信队列便于事后分析。

可观测性速查云更新于 2026-10-12

logstash.yml 配置

logstash.yml 配置
queue.type: persisted
path.queue: /usr/share/logstash/data/queue
queue.max_bytes: 4gb
queue.checkpoint.writes: 1024

dead_letter_queue.enable: true
dead_letter_queue.max_bytes: 1gb
背压链路:队列满时 Logstash 停止从 Beats 拉取,Beats 侧继续重试与本地缓冲,上限取决于上游磁盘空间。

易错点

  • 路径队列独占使用:多个实例共用同一目录会互相破坏数据
  • 磁盘水位要先于队列 max_bytes 设置监控,磁盘写满时故障面比少写日志大得多

数据来源与参考

  • Elastic 官方文档 · Persistent queues
​‌‌​​‌​​​‌‌​‌‌‌‌​‌‌​​​‌‌​‌‌‌​​‌‌​​‌​‌‌‌​​‌‌‌​​​‌​‌‌​‌​​‌​‌‌‌​​​‌​‌‌​‌​​‌​‌‌​​​‌‌​‌‌‌​‌​​​‌‌​‌‌‌‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌