自动化运维系统的设计与开

摘要

信息技术飞速发展的今天，计算机系统都是建立在网络之上的、随着系统建设的不断深入发展，信息系统越来越复杂，信息系统软硬件的运行维护已成为了各企业和IT部门普遍关注和不堪重负的问题，如对众多系统的更新扩容、系统监控、系统的异常处置等。因此我们不得不面对一个现实——分布式的主机或系统是难于设计、构建与管理的。首先，分布式系统在操作系统、架构和开发语言上的异构性增加了应用程序发布、部署与移植的难度；其次，分布式系统涉及主机较多，业务增加和发展时，基本上是横向扩展主机来提高计算的能力和可靠性，这样久而久之分布式的网络节点的越来越多，需要大量的手动配置、手动的软件更新发布；而且分布式系统的异常多表现为间歇性错误或功能下降，其内部高度的透明性使得故障的排除需要大量的日志分析。

本文以基于分布式集群物理主机为研究对象，采用“DJANGO+PYTHON”的软件开发思想设计了一套完整的自动化运维方案，覆盖从开发测试到部署运维的整个软件生命周期。1.利用slatmaster与slatmin通信机制以及slat 提供的api接口解决应用程序并发发布、部署的灵活性；2 利用软件git代码管理以及jenkins的设计软件完成持续集成与持续交付的流程架构，使得开发、测试与运维可以更紧密、高效的合作，使得代码管理、集成转变为运行服务的流程自动化；3随着系统的扩展，带来众多的应用组件，大量不同种类的日志成为了运维人员的负担，不方便管理;单个日志文件巨大，无法使用常用的文本工具分析，检索困难;日志分布在多台不同的服务器上，业务一旦出现故障，需要一台台查看日志。因此利用flume+kafka+ELK实现集中化管理日志后，日志的统计和检索、展示；4利用java设计实现了一套故障排查处理机制，即通过调用ES的API接口实现分布式系统节点的运行状态做汇报，这样能对分布节点做故障预警，对故障主机提供远程控制和管理.以上几点的实现在一定程度上降低了分布式集群的管理维护成本，推进了分布式集群的自动化。

关键字：SaltStack、rsync、分布式系统主机、持续集成Jenkins,日志集中收集flume+kafka+ELK，自动化运维。

目录

摘要 3

第一章 引言 5

1.1 研究背景 6

1.2 研究现状&方向 7

1.3 研究内容 7

1.4 研究意义 8

1.5 范文结构 9

第二章 相关技术介绍 10

2.1 SaltStack 概述 10

2.2 JENKins介绍 11

第三章 自动化运维系统需求 13

3.1 IT运维模式分析 13

3.2 IT运维面临的问题 13

3.3 系统涉众的结构分析 13

3.4 系统需求 15

3.4.1 持续集成交付管理 15

3.4.2 批量部署管理 16

3.4.3 远程维护管理 16

3.4.4 故障管理 17

3.4.5 对性能的一般性要求 17

3.5 运行环境&开发环境 18

第四章 自动化运维系统设计与开发 18

第五章 关键支持组件的安装说 31

第六章 总结与展望 37

6.1 前景与展望 37

参考文献 38

致谢 38