收集和分析日志是应用开发及运维至关重要的一环,为应对日志产生速度越来越快的问题,传统手段和工具在排错过程显得力不从心,基于现状,本系统采用基于全文搜索引擎Lucene构建的ELKstack平台,是目前主流的日志收集分析解决方案,ELK包含的组件有Logstash、Beats、ElasticSearch、Kibana。

 

ELK统一日志数据流图

ELK日志系统数据流图

ELK系统进行日志收集的过程可以分为三个环节:

(1)日志收集和导入ElasticSearch;

(2)ElasticSearch进行索引等处理;

(3)可视化操作,查询等;

Logstash可以结合Redis或者Rabbitmq、Kafka等消息中间件收集应用服务器产生的日志,经过简单的过滤等操作后发送到ElasticSearch,ElasticSearch进行相关的索引处理,最后在Kibana进行相关的可视化操作。

问题分析

收集和分析日志是应用开发及运维至关重要的一环,本系统采用的微服务分布式特性导致日志分散,产生日志速度越来越快,传统手段和工具在排错过程显得力不从心,基于现状,本系统采用基于全文搜索引擎Lucene构建的ELKstack平台,是目前主流的日志收集分析解决方案,ELK包含的组件有Logstash、Beats、ElasticSearch、Kibana。

ELK统一日志数据流图

ELK日志系统数据流图

ELK系统进行日志收集的过程可以分为三个环节:

(1)日志收集和导入ElasticSearch

(2)ElasticSearch进行索引等处理

(3)可视化操作,查询等

Logstash可以结合Redis或者Rabbitmq、Kafka等消息中间件收集应用服务器产生的日志,经过简单的过滤等操作后发送到ElasticSearch,ElasticSearch进行相关的索引处理,最后在Kibana进行相关的可视化操作。