基于Web的在线交易后台日志系统设计与开发

摘要

JAVA NIO技术出现后，随着阿里dubbo框架的开源，Web应用的后台系统使用rpc调用的分布式开发模式成为了当前的流行趋势，在dubbo框架中服务提供者和服务消费者安装在不同的主机（节点）上，而且在大型系统、高并发业务的系统中服务提供者和服务消费者的安装数量达几十、上百、上千个，这些模块分布在不同主机上，同时也提供了高可用的能力。

当业务发生时，数据到底是通过哪个主机、哪个模块提供了服务，每个服务者的性能和耗时是多少等等，这些信息常常是通过日志反映出来的，所以在分布式系统中，日志信息是非常重要和关键的，它对错误跟踪分析、性能评估、趋势预测等业务运维工作的正常开展至关重要。

传统的日志一般使用文件保存，在业务集中在一个主机上发生时没有大问题，但使用分布式技术时，一个业务实现由部署在不同主机上的模块共同完成，传统模式下会产生分布在不同主机上的业务日志，这种模式对日志分析带来很大的困难，这时后台日志系统的产生就是必然和水到渠成的了。

ELK（Elasticsearch、Logstash、Kibana）是一整套非常优秀的开源日志分析和监控工具，使用ELK结合Log4j，通过kafka作为日志缓存器（防止日志浪涌和削峰），这样的组合来实现一套后台日志系统在技术上和经济上都是可行的。

关键词　在线交易系统；后台日志系统；TraceID；ELK

目录

摘要 I

引言 1

第1章 绪论 2

1.1 课题的研究背景 2

1.2 系统开发的意义 2

1.3 本文结构 3

第2章 开发工具与技术 4

2.1 开发工具介绍 4

2.1.1 Logstash日志收集工具 4

2.1.2 Elasticsearch开源分布式搜索引擎 4

2.1.3 kibana开源的日志分析Web界面 4

2.1.4 Maven项目管理工具 5

2.2 Log4j技术分析 7

2.3 Spring AOP技术 8

2.4 kafka架构介绍 8

第3章 系统总体概要设计 10

3.1 系统需求分析 10

3.1.1 功能需求 10

3.1.2 性能需求 10

3.2 功能模块设计 10

3.3 日志数据流程图 10

3.4 系统开发和运行环境 11

3.4.1 开发环境 11

3.4.2 运行环境 11

第4章 系统功能模块实现 12

4.1 日志的生成 12

4.1.1 Trace信息及实现 12

4.1.2 自定义log4j适配器 15

4.1.3 自定义日志工厂类 17

4.1.4 日志类的使用 18

4.2 在分布式环境中传递TraceID 18

4.3 使用AOP添加日志功能 20

4.4 日志传输到kafka 21

4.5 消费数据到elasticsearch 22

4.6 在elasticsearch中索引数据 23

4.7 使用kibana展现分析结果 23

4.7.1 Discover功能 23

4.7.2 基本图表 24

4.7.3 仪表盘 24

第5章 系统环境建设 26

5.1 系统架构图 26

5.2 环境规划 26

5.3 Kafka集群搭建 27

5.3.1 JDK安装 27

5.3.2 zookeeper集群安装 27

5.3.3 kafka安装 28

5.3.4 kafka验证 29

5.4 Elasticsearch集群搭建 29

5.5 Log4j配置 31

5.6 Logstash配置 31

5.7 Kibana安装配置 32

5.8 Elasticsearch安全加固 34

5.8.1 Shield权限管理 34

5.8.2 Search guard权限管理 34

第6章 系统监控指标 36

6.1 Kafka集群监控 36

6.2 Logstash监控指标 36

6.3 Elasticsearch集群监控 36

6.4 Kibana监控指标 37

参考文献 38

致谢 39