基于ELK的分布式应用日志系统的设计和实现_开题报告

随着信息技术的发展，信息系统从单机应用逐步演化到集群应用，在一定程度上解决了应用性能的拓展问题，互联网浪潮的到来，单一的集群应用已经远远满足不了需求。云计算的进一步发展，为分布式应用的诞生提供了契机。通过对系统的各项功能在业务层次上进行切分并独立部署，各业务模块通过远程服务协议进行服务和调用，充分发挥了云环境下资源优势。

在云环境下的应用部署提倡“小配多机、按需拓展”，在该类场景下，所面临的环境也比原有的单机或小集群环境复杂的多。云环境下的基础设施、网络环境、应用容器等方面数量上将会远远大于原有的数量，传统的运维手段将很难对应用进行相应的性能预警、故障定位或日志审计[2]等。分布式应用所产生的日志在协议、格式、量级上出现变化。与此同时，大数据及AI的发展，日志数据的价值大大提升，通过机器学习等手段可以反哺业务，为用户提供更加友好、智能的服务。针对该类场景，需要一个在日志收集上灵活，格式转换便捷，存储容量大、查询效率高，界面友好，与深度学习平台兼容的日志系统来支撑。

目前行业内针对日志的不同方向都有了相应的解决方案，在日志交换方面有LinkedIn公司开源的一款分布式的消息系统Kafka [10]，它在系统解耦、冗余、水平拓展等方面有很大的优势，基于主题发布和订阅的特性，还能在服务能力不对称的系统上起到“防火墙”的作用，防止大数量的附属业务系统数据冲垮主干系统；在日志存储分析方面有Apache Hadoop [12]，通过HDFS文件存储系统，支持存储海量数据，通过并行计算MapReduce可以对海量数据进行相应的挖掘和分析。在JavaEE领域，传统的日志框架比如Log4j、logback只是更小粒度的日志生成工具，它们在日志收集、日志分析和处理方面现对乏力[9] 。

ELK是一个开源的完整的日志处理解决方案，提供了日志采集、格式转换、日志存储、日志查询、日志统计分析以及结果展现一整套的功能。ELK由Logstash、Elasticsearch、Kibana组成。Logstash负责完成各类格式、网络协议的日志收集，并支持日志数据格式的解析转换，输出到指定的位置。Elasticsearch负责日志的存储和检索支持，Elasticsearch支持水平拓展部署，可以存储海量数据。Elasticsearch将日志索引化后，可以高效检索和分析，并具备高级聚合分析能力。Kibana对日志的检索和分析提供了一个友好的界面，通过Kibana可以自定义统计报表，也可以通过Kibana完成日志的检索和聚合分析。于此同时Elasticsearch支持与Hadoop结合部署，可以在日志数据完成监控等相应的实时功效后，进行下一步的深层次的挖掘，应用于机器学习和人工智能领域。

目前在设备密集型的行业[2][3] 对ELK也进行相应的应用，通过ELK完成对各类设备的运维监控、故障定位，取得了良好的效果。文献[4][5] 提出在日志分析、微服务方面也通过ELK进行了相应的尝试。文献[8]中也提出了针对分布式应用进行状态监控的办法，分析分布式应用依赖链，发现故障节点及影响范围，但该系统的所有部件将都需要进行定制化开发，系统的可移植性也将会遇到挑战。文献[1]中从数据分析角度提出：经过三代的发展，日志系统由原来的独立存储查询到集中离线处理，再到实时查询分析。ELK是第三代日志处理系统，符合当今的需求。由于ELK良好的兼容性、开发性，可以通过少量代码定制插件即可实现自定义业务需求，通过ELK，可以快速实现分布式应用环境的日志系统。

^范文提纲

一、概述

二、系统架构

（一）日志采集

1访问日志采集

2业务日志采集

（二）日志格式处理

1访问日志解析

2日志数据类型转换

（三）日志存储

（四）日志分析

三、系统实现

（一）日志采集Logstash

（二）日志存储Elasticsearch

（三）日志分析Kibana

四、系统应用

（一）实时访问量统计

（二）TOP10访问分析

（三）服务节点请求分析

五、结束语

参考文献

[1]李祥池（杭州华三通信技术有限公司北京研究所）.基于ELK和Spark Streaming的日志分析系统设计与实现[J].电子科学技术,2015,(6): 674-678[2]刘思尧，李斌（国网宁夏电力公司信息通信公司）.基于ELK的电力信息监控日志审计系统实现[J].电脑知识与技术,2016,第12卷(30): 61-64[3]李静（河钢承钢自动化中心）.ELK日志分析系统在河钢承钢的应用[J].电子技术与软件工程,2017,(15): 62[4]魏山林（西南石油大学计算机科学学院）.基于ELK 的日志分析系统[J].电脑知识与技术,2017,第13卷(5): 69-70[5]黄媛媛，王彬，龙卉，刘学生（中兴通讯）.基于微服务架构的日志系统[J].电子技术与软件工程,2017,(2): 174[6]陈飞，艾中良（华北计算技术研究所）.基于Flume的分布式日志采集分析系统设计与实现[J].软件,2016,第37卷(12): 82-88[7]任凯，邓武，俞琰（南京大学金陵学院；大连交通大学软件学院；东南大学成贤学院）.基于大数据技术的网络日志分析系统研究[J].现代电子技术,2016,(2): 39-41，44[8]沈磊，何娇，胡昊（武汉大学信息管理学院；环境保护部信息中心）.分布式环境应用系统运行状态监控方法研究[J].中国环境管理,2016,(2): 116-120[9]金鑫，朱默宁（光大富尊投资有限公司信息技术部；合肥工业大学管理学院）.一种流量动态可控的异步日志系统设计[J].合肥工业大学学报(自然科学版),2016,第39卷(11): 1493-1497

[10]Kreps J, Narkhede N, Rao J. Kafka: A distributed messaging system for log processing[C].Proceedings of the NetDB. 2011: 1-7.[11]Lee J H, Park M W, Eom J H, et al. Multi-level intrusion detection system and log management in cloud computing[C].Advanced Communication Technology (ICACT), 2011 13th International Conference on. IEEE, 2011: 552-555.[12]White T. Hadoop: The definitive guide[M]. " O'Reilly Media, Inc.", 2012.[13]Turnbull J. The Logstash Book[M]. James Turnbull, 2013.[14]Gormley C, Tong Z. Elasticsearch: The Definitive Guide: A Distributed Real-Time Search and Analytics Engine[M]. " O'Reilly Media, Inc.", 2015.