Skip to content

日志平台

集中式日志平台把分散在应用实例、容器和节点上的日志统一采集、处理、存储和查询。ELK 描述核心处理与检索组件;生产链路通常还会加入 Filebeat、Fluent Bit 或 Fluentd 等采集器,并在高吞吐场景加入 Kafka。

日志链路

层次常用组件核心职责
日志产生Logback、Log4j2、stdout记录事件,不承担远程平台可用性
边缘采集Filebeat、Fluent Bit、Fluentd读取文件或容器日志,记录进度并转发
消息缓冲Kafka削峰、解耦、保留和回放
处理Logstash、Fluentd、Ingest Pipeline解析、清洗、补充上下文和路由
存储检索Elasticsearch索引、检索、聚合与生命周期管理
展示分析KibanaDiscover、Dashboard、告警与管理入口

文档入口

文档内容
ELK 与 FilebeatELK、Filebeat、结构化日志、可靠性和最小配置
KEFKKafka、Elasticsearch、Fluentd、Kibana 的解耦架构

日志链路中的消息缓冲、消费组、Partition、Offset 与可靠性语义,参见消息队列板块的 Kafka;本主题只讨论这些能力如何用于日志采集与分发。

Elasticsearch 的索引、Mapping、查询与集群原理见数据库 / Elasticsearch

学习地图