日志平台
集中式日志平台把分散在应用实例、容器和节点上的日志统一采集、处理、存储和查询。ELK 描述核心处理与检索组件;生产链路通常还会加入 Filebeat、Fluent Bit 或 Fluentd 等采集器,并在高吞吐场景加入 Kafka。
日志链路
| 层次 | 常用组件 | 核心职责 |
|---|---|---|
| 日志产生 | Logback、Log4j2、stdout | 记录事件,不承担远程平台可用性 |
| 边缘采集 | Filebeat、Fluent Bit、Fluentd | 读取文件或容器日志,记录进度并转发 |
| 消息缓冲 | Kafka | 削峰、解耦、保留和回放 |
| 处理 | Logstash、Fluentd、Ingest Pipeline | 解析、清洗、补充上下文和路由 |
| 存储检索 | Elasticsearch | 索引、检索、聚合与生命周期管理 |
| 展示分析 | Kibana | Discover、Dashboard、告警与管理入口 |
文档入口
| 文档 | 内容 |
|---|---|
| ELK 与 Filebeat | ELK、Filebeat、结构化日志、可靠性和最小配置 |
| KEFK | Kafka、Elasticsearch、Fluentd、Kibana 的解耦架构 |
日志链路中的消息缓冲、消费组、Partition、Offset 与可靠性语义,参见消息队列板块的 Kafka;本主题只讨论这些能力如何用于日志采集与分发。
Elasticsearch 的索引、Mapping、查询与集群原理见数据库 / Elasticsearch。