基于Web的在线交易后台日志系统设计与开发_开题报告

一、文献综述

课题背景

当前随着微服务和分布式架构的兴起，业务系统日趋模块化、扩大化和复杂化，所有的功能模块都是独立部署运行，彼此通过远程调用交互，每一笔业务操作都会通过很多个微服务的处理和调用。为了分析故障、发现性能瓶颈，在这种复杂场景下就需要更加详细的日志信息，因此日志产生量成倍的增长，传统上使用文件保存日志的管理模式存在的问题也一一暴露：支持的存储量不高、处理能力有限、大数据量下查询速度缓慢等等，已经远远不能满足当前存储、查询、分析日志的需求，迫切需要考虑一种大容量复杂场景的日志解决方案--日志系统，日志系统具有以下特征：

这是一个复杂的系统，由若干个独立的应用集成而来，这些应用互相之间有调用关系；

从应用系统中提取日志信息提交到日志系统中，并实现他们之间的关联解耦；

支持近似实时在线分析或离线分析；

具备高可扩展性。即：当日志量增加时，可以通过增加节点（采集节点、存储节点、分析节点）进行水平扩展；

各个流程都使用微服务方式部署，支持动态扩容缩容、支持大规模日志的处理和存储；

基于Web的在线交易是一个典型的网上交易系统，以网络为中心，依靠网络技术，主要使用(s)、websocket协议，应用HTML、XML、java script、ASP、PHP、JSP、servlet等技术，进行发行公告，信息交换，下单传送，交易缔结，交易查询和资金清算等和交易相关联的一系列过程的处理系统。

随着电子信息时代的到来，从上个世纪90年代开始，通过互联网在线交易系统完成的交易与日俱增，并体现出其鲜明的特征：

实时的大容量信息提供。与传统的交易渠道相比，在线交易系统能为更广泛的客户群体实时提供海量的信息情报。

拥有无限的潜在客户群体。依托网络技术，不再受时间和地理位置的制约和限制，使拥有无限的客户群体成为可能。

数字货币流通。通过与银行（或支付机构）系统对接，实现实物货币向数字货币的转换，购买或出售均通过数字货币完成。

即时处理输入的数据，及时地回答。联机事务处理能力，即实时请求/响应能力成为判断系统好坏的一个重要指标。

由于在线交易系统的以上特征，尤其是其支持大量并发用户、资金清算、实时性要求高的特点，随着应用日志规模的不断增大，给系统故障排查以及运行状态分析带来很大的困难，为了高效地使用这些日志信息，必然要求有一套完善、成熟的后台日志系统支撑其功能实现，解决系统安全性问题、分析用户的操作行为、了解系统的运行情况、排查业务异常原因等等，后台日志系统应该具备以下功能实现：

每条日志中都必须包含：Traceid（全局跟踪ID，用来标记一次完整服务调用）、时间戳、调用对象（类或者接口名称）；

记录用户的操作，包括用户插入、更新、删除的数据内容；

记录系统的内部调用，包括调用对象和被调用对象的信息；

记录用户操作故障信息，包括故障信息内容、错误代码等；

记录系统故障信息，包括系统错误信息、系统错误代码等；

各种日志信息的集中存储，传统的日志一般分散地保存在不同的文件中，日志系统将把这些信息统一、集中保存在日志搜索服务器中；

在线实时分析和离线数据分析，通过可视化的界面，用图表的形式表现日志信息，以便于分析；

日志系统不能影响在线交易系统，日志系统的目的是为了保障交易系统的可用性，而不能成为不利因素；

研究目标

实现基于java语言的后台日志系统；

收集各个级别（ERROR、WARNING、INFO、DEBUG等）的日志信息，同步发布到消息中间件中（目的是通过消息中间件解耦、异步下一步的处理过程）；

消费、加工消息中间件中的消息保存到日志搜索服务器中；

通过可视化工具在线实时或离线分析日志数据；

研究内容

日志采集模块。在分布式場景下，各个微服务都配置有日志采集模块，这个日志采集模块负责收集本服务上的各种类型的日志，并将日志发送到日志缓冲上；

日志缓冲。一种高吞吐量的分布式发布订阅系统，分布式的，可扩展的；

日志处理。负责从日志缓冲中取出日志信息，完成从原始数据到标准数据格式的转换、去除、合并等，并保存到日志存储中；

日志存储。创建存储结构，创建索引，提供实时的分布式搜索和分析引擎能力，并提供水平扩展能力；

日志展示。使用了web页面方式提供日志的统计、查询结果的展示，另外提供了日志信息导出的功能；

分析Kafka的运行原理，配置Kafka消息中间件，准备接收日志信息。Kafka可以配置为集群模式，支持高可用、高并发，并实现应用系统和日志系统之间的关联解耦；

分析Log4j的实现原理，通过配置Log4j，使用KafkaLog4jAppender对象将日志同步写入Kafka队列中。当前的应用系统中大都使用Log4j来处理日志信息，使用KafkaLog4jAppender对象最大限度的减少对原有系统的改动、影响；

配置Logstash消费Kafka队列中的日志信息，并存储到Elasticsearch日志搜索服务器中。Elasticsearch搜索服务器可以集群配置，可以实现存储容量和分析能力的水平扩展；

根据业务需要在Elasticsearch中创建索引；

基于Kibana实现数据分析可视化；

二、^范文提纲

1 绪论

1.1 课题的研究背景

1.2 系统开发的意义

1.3 本文结构

2 开发工具与技术

2.1 开发工具介绍

2.1.1 Logstash日志收集工具

2.1.2 Elasticsearch开源分布式搜索引擎

2.1.3 kibana开源的日志分析Web界面

2.1.4 Maven项目管理工具

2.2 Log4j技术分析

2.3 Spring AOP技术

2.4 kafka架构介绍

3 系统总体概要设计

3.1 系统需求分析

3.1.1 功能需求

3.1.2 性能需求

3.2 功能模块设计

3.3 日志数据流程图

3.4 系统开发和运行环境

3.4.1 开发环境

3.4.2 运行环境

4 系统功能模块实现

4.1 日志的生成

4.2 日志传输到kafka

4.3 消费数据到elasticsearch

4.4 在elasticsearch中索引数据

4.5 使用kibana展现分析结果

5 系统环境建设

5.1 Log4j配置

5.2 Kafka集群搭建

5.3 Logstash配置

5.4 Elasticsearch集群搭建

5.5 Kibana安装配置

6 系统监控指标

6.1 Kafka集群监控

6.2 Logstash监控指标

6.3 Elasticsearch集群监控

6.4 Kibana监控指标

7 参考文献 

三、参考文献

著作：

[1]饶琛琳.ELK Stack权威指南(第2版)[M].北京：机械工业出版社. 2017

[2]高凯.实战Elasticsearch、Logstash、Kibana ——分布式大数据搜索与日志挖掘及可视化解决方案[M].北京：清华大学出版社. 2015

[3]（波）库赛,罗格辛斯基.Elasticsearch服务器开发（第2版）[M].北京：人民邮电出版社. 2015

[4]朱林.Elasticsearch技术解析与实战[M].北京：机械工业出版社. 2017

[5]陈雄华,林开雄.Spring3.x企业应用开发实战[M].北京：电子工业出版社. 2012

[6]徐郡明.Apache Kafka源码剖析[M].北京：电子工业出版社. 2017

期刊文章：

[7]志英,徐义.一种基于Log4J的日志输出组件的设计[J].信息技术与信息化.2008（1）:65-67

[8]郭节.基于Log4j改进的日志存储应用研究[J].软件导刊.2011（1）:60-61

[9]陈和.运用开源软件Logstash和ElasticSearch实现DSpace日志实时统计分析[J].现代图书情报技术.2015（5）:88-93

[10]刘思尧,李斌.基于ELK的电力信息监控日志审计系统实现[J].电脑知识与技术.2016（30）:61-64

电子文献：

[11]The Apache Software Foundation.Apache Log4j[Z].apache. ://logging.apache.org/log4j/2.x/ .2017年9月21日

[12]elastic.Logstash Reference[Z].elastic. s://.elastic.co/guide/en/logstash/5.6/index.html .2017年9月26日

[13]elastic.Elasticsearch Reference[Z].elastic. s://.elastic.co/guide/en/elasticsearch/reference/5.6/index.html .2017年9月26日

[14]elastic.Kibana[Z].elastic. s://.elastic.co/guide/en/kibana/5.6/index.html .2017年9月26日