ELK日志基础框架
收集和分析日志是应用开发及运维至关重要的一环,为应对日志产生速度越来越快的问题,传统手段和工具在排错过程显得力不从心,基于现状,本系统采用基于全文搜索引擎Lucene构建的ELKstack平台,是目前主流的日志收集分析解决方案,ELK包含的组件有Logstash、Beats、ElasticSearch、Kibana。
ELK统一日志数据流图
ELK日志系统数据流图
ELK系统进行日志收集的过程可以分为三个环节:
(1)日志收集和导入ElasticSearch;
(2)ElasticSearch进行索引等处理;
(3)可视化操作,查询等;
Logstash可以结合Redis或者Rabbitmq、Kafka等消息中间件收集应用服务器产生的日志,经过简单的过滤等操作后发送到ElasticSearch,ElasticSearch进行相关的索引处理,最后在Kibana进行相关的可视化操作。
问题分析
收集和分析日志是应用开发及运维至关重要的一环,本系统采用的微服务分布式特性导致日志分散,产生日志速度越来越快,传统手段和工具在排错过程显得力不从心,基于现状,本系统采用基于全文搜索引擎Lucene构建的ELKstack平台,是目前主流的日志收集分析解决方案,ELK包含的组件有Logstash、Beats、ElasticSearch、Kibana。
ELK统一日志数据流图
ELK日志系统数据流图
ELK系统进行日志收集的过程可以分为三个环节:
(1)日志收集和导入ElasticSearch
(2)ElasticSearch进行索引等处理
(3)可视化操作,查询等
Logstash可以结合Redis或者Rabbitmq、Kafka等消息中间件收集应用服务器产生的日志,经过简单的过滤等操作后发送到ElasticSearch,ElasticSearch进行相关的索引处理,最后在Kibana进行相关的可视化操作。