基于ELK的分布式应用日志系统的设计和实现

摘要

日志系统是每个业务应用最基本的附属系统，是业务应用运维保障非常重要的组成部分。随着云计算的发展成熟、基础计算资源的云化，业务应用的基础架构发生变化，从传统单一应用向微服务架构方向演化。一个独立的业务系统按照分布式服务的特点进行了业务拆解，进行模块化服务化部署，一个完整业务应用的组成、部署的复杂度大大提高，增加了业务应用故障定位、监控管理的难度。在大数据、人工智能时代的到来，各类行为数据的膨胀，日志系统遇到了新的挑战。本文根据微服务架构下分布式应用部署的特点，分析如何利用ELK开源软件实现一个灵活高效的日志系统，解决微服务架构下分布式应用的服务节点监控以及海量行为数据的收集存储问题。

关键词　日志系统 分布式 ELK 监控 大数据

目录

摘要 I

一、 概述 2

二、 技术要点 3

（一） Elasticsearch 3

（二） Logstash 3

（三） Kibana 3

三、 设计与实现 4

（一） 日志采集 4

1. 容器访问日志 4

2. 应用行为数据 5

（二） 日志解析存储 5

（三） 日志分析监控 7

1. 节点访问占比分析 7

2. Top10访问统计 7

3. 实时访问统计 8

四、 结束语 11

参考文献 12

致谢 14