基于Golang的可插件化实时监控数据采集系统_开题报告

文献综述

随着Devops、云计算、微服务、容器等理念的逐步落地和大力发展，机器越来越多，应用越来越多，服务越来越微，应用运行基础环境越来多样化，容器、虚拟机、物理机不一而足。面对动辄几百上千个虚拟机、容器，数十种要监控的对象，现有的监控系统还能否支撑的住？来自于容器、虚拟机、物理机、网络设备、中间件的指标数据如何采用同一套方案快速、完整的收集和分析告警？怎样的架构、技术方案才更适合如此庞大繁杂的监控需求呢?

监控是各个领域一道安全保障，当数据中心出现一些隐患时，通过监控系统及时发现，拯救数据中心，挽回不可估量的损失。数据中心里的设备诸多，对其设备的运行情况进行监控非常必要，比如机房温度、服务器磁盘容量、CPU的使用率、网络IO等基础数据以及核心交易系统的业务数据。

监控是整个运维乃至整个产品生命周期中最重要的一环，事前及时预警发现故障，事后提供详实的数据用于追查定位问题。

要做到实时的数据监控，就需要设计一款可以实时采集数据的系统，不断的去采集基础数据以及核心的交易数据推送给监控系统平台。如何快速高效的开发出具备高性能、部署简单的监控数据采集器是设计中的关键。监控数据采集系统主要的功能是实时采集服务器的运行状态数据、性能数据以及业务数据。

Go语言具备Python解释型语言的开发效率，同时又有C/C++的运行性能，语言级别的协程完美支持，很适合作为数据采集的后端开发。基于Go语言去设计监控数据采集系统可以高效的开发，快速的部署和应用，无压力的实时的采集数据。

GoLang语言是谷歌2009发布的第二款开源编程语言。Go语言专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程。Go语言的特色是简洁、快速、安全，并行、有趣、开源，内存管理、数组安全、编译迅速。

数据监控采集系统的国内外发展情况

市场上的监控数据采集系统有很多，包括开源的闭源的，我们可以从任何一个地方下载并使用它，来获取基础设备的性能数据和运行状态。由于开发语言的多样性，开发者的对语言的熟悉程度，以及复杂的业务系统，导致了市场上的监控采集系统也是各有优缺点。

Gmond是Ganglia开源监控系统的数据采集端，主要是用于采集监控系统指标数据如cpu、mem、磁盘利用率、 I/O负载、网络流量情况等，Gmond采用基于C语言编写、根据操作系统定制的插件进行监控。gmond为指标提供了大部分标准插件，而且可以增加更多的用C、C++或Python等语言编写的插件来支持新的指标。

Cacti（英文含义为仙人掌）是一套基于PHP、MySQL、SNMP和RRDtool开发的网络流量监测图形分析工具，它通过snmpget来获取数据使用RRDtool绘图，但使用者无须了解RRDtool复杂的参数。提供了非常强大的数据和用户管理功能，可以指定每一个用户能查看树状结构、主机设备以及任何一张图，还可以与LDAP结合进行用户认证，同时也能自定义模板。在历史数据展示监控方面，其功能相当不错。Cacti通过添加模板，使不同设备的监控添加具有可复用性，并且具备可自定义绘图的功能，具有强大的运算能力（数据的叠加功能）

Zabbix是一个分布式监控系统，支持多种采集方式和采集客户端，有专用的数据采集系统，也支持SNMP、IPMI、JMX、Telnet、SSH等多种协议，它将采集到的数据存放到数据库，然后对其进行分析整理，达到条件触发告警。其灵活的扩展性和丰富的功能是其他监控系统所不能比的。相对来说，它的总体功能做的非常优秀。

Nagios是一个企业级监控系统，可监控服务的运行状态和网络信息等，并能监视所指定的本地或远程主机状态以及服务，同时提供异常告警通知功能等。Nagios可运行在Linux和UNIX平台上。同时提供Web界面，以方便系统管理人员查看网络状态、各种系统问题、以及系统相关日志等    Smokeping主要用于监视网络性能，包括常规的ping、服务器性能、DNS查询性能、SSH性能等。底层也是用RRDtool做支持，特点是绘制图非常漂亮，网络丢包和延迟用颜色和阴影来标示，支持将多张图叠放在一起，其作者还开发了MRTG和RRDtll等工具。

collectd是一个开源的基于c语言实现数据采集器，用来定期收集系统和应用程序的性能指标，同时提供了机制，以不同的方式来存储这些指标值。

Open-Falcon是小米运维部门开源出来的互联网企业级监控系统，目前包括小米、金山云、美团、京东金融、赶集网等都在使用Open-Falcon。Open-Falcon 整体可以分为两部分，即绘图组件、告警组件。“绘图组件”负责数据的采集、收集、存储、归档、采样、查询、展示（Dashboard/Screen）等功能，可以单独工作，作为time-series data的一种存储展示方案。“告警组件”负责告警策略配置（portal）、告警判定（judge）、告警处理（alarm/sender）、用户组管理（uic）等，可以单独工作。

现在市场上有很多不错的第三方监控，比如：监控宝、监控易、听云、还有很多云厂商自带监控，其监控数据采集系统也都是基于Java、Python、ruby等语言实现的监控系统数据采集器，设计原理和功能点都是大同小异，大部分都是做一些基础设备信息的监控数据采集。

现有监控数据采集系统存在的问题

现在是互联网的时代，产品的更新速度可谓是日新月异，如何高效开发、快速交付，快速部署，简单易用已经成为了各个项目开发中的痛点。大多数实时数据监控采集系统，大都是基于C/C++以及JAVA、Python实现的由于语言本身的限制，就会面临这开发效率低、应用体积庞大部署困难、虚拟机占内存，性能不足等问题。

开源的监控数据采集系统最大的特点就是代码公开，免费使用。企业可以通过开发人员定制代码来满足自己的需求，这个优势同样也存在着一定的风险。开源的监控数据采集系统一般都是一些基础性的功能，涵盖的功能点不多，也不能更好的服务于用户。

数据源如此多样，监控数据采集系统的任务自然轻松不了。数据采集从指标上划分可以分为业务指标、应用指标、系统软件监控指标、系统指标。应用监控指标如：可用性、异常、吞吐量、响应时间、当前等待笔数、资源占用率、请求量、日志大小、性能、队列深度、线程数、服务调用次数、访问量、服务可用性等，业务监控指标如大额流水、流水区域、流水明细、请求笔数、响应时间、响应笔数等，系统监控指标如：CPU负载、内存负载、磁盘负载、网络IO、磁盘IO、tcp连接数、进程数等。从采集方式来说通常可以分为接口采集、客户端agent采集、通过网络协议主动抓取（、snmp等）

综上所述，无论客户角度还是从开发者的角度，设计一套基于Golang实现的实时监控数据采集系统是有必要的。

二、^范文提纲

绪论

项目背景及意义

实时监控数据采集系统的必要性

国内外现状分析

数据监控采集系统的国内外发展情况

现有监控数据采集系统存在的问题

Golang特性

Go语言的发展

Go语言的特性

Go语言与采集数据系统

^范文的主要工作

^范文内容及章节安排

本章小结

关键技术

通讯协议

TCP协议

Protobuf数据序列化

Go开发工具

代码管理

依赖管理

Go设计模式

单例模式

迭代模式

组合模式

协程

Go与Cgo

Go调用C

Go调用python

C调用GoLang

Go插件化

Golang插件

C动态库插件

Python插件

本章小结

监控数据采集系统需求分析及功能分析

监控数据采集系统使用的编程语言

监控数据采集系统实现目标

监控数据采集系统各个模块

设备服务器基础监控数据采集模块

日志监控数据采集模块

用户自定义监控数据采集模块

监控数据采集系统设计流程

监控数据采集系统功能分析

基础数据采集

业务数据采集

本章小结

监控数据采集系统的设计与实现

Go开发环境

Go语言环境变量

Go语言在Windows上安装

Go语言在Linux上安装

Go语言IDE liteIDE

监控数据采集系统的架构设计

监控数据采集系统核心模块的设计与实现

消息队列、消息流转

初始化C库、python模块

功能号函数映射

初始化各个基础采集模块、业务采集模块

插件化功能的设计与实现

动态加载C/C++库

动态加载python脚本模块

通过插件加载功能号函数列表

管理模块的设计与实现

各个模块状态管理

系统协程状态管理

当前系统处理的功能号

功能号函数执行耗时

Log模块的设计与实现

日志模块按照大小分片

日志模块定期自动清理

日志模块自动备份打包

本章小结

系统测试

测试用例

测试环境

场景测试

基础数据采集测试

异常数据处理测试

压力测试

本章小结

结论与展望

结论

进一步工作的方向

三、参考文献

[1]许式伟，吕桂华.Go语言编程[M].北京:人民邮电出版社.2012

[2]Willioam Kennedy,Brian Ketelsen,Erik St. Martin.Go语言实战[M].李兆海,译.北京:人民邮电出版社,2017.

[3]元斌.设计模式-单例模式(Go语言描述)[EB/OL].

[4]newgame. Go语言设计模式实践:迭代器(Iterator)[EB/OL].

[5]林荣智.Go语言的并发编程介绍[J].科技展望.2016,22:12.

[6]姚仁捷. Zabbix监控系统深度实践（第2版）.电子工业出版社.2014

[7]ProtocolBuffer[J].s://github.com/protocolbuffers/protobuf.2008

[8]ProtocolBuffer[J]. s://github.com/golang/protobuf.2018

[9]机房监控系统的设计与实现[D]. 徐士斌.南京理工大学.2013

[10]孙慧颖. 服务器监控系统的设计与实现[D].北京交通大学,2017

[11] 杨卫华.高可用架构.Learning as we Go（第5期）[D].北京:人民邮电出版社,2016

[12] 郝林.Go并发编程实战（第2版）[D].北京.人民邮电出版社,2017