论云计算集群资源管理系统_开题报告

一、文献综述

随着互联网技术的快速发展，特别是云计算的迅猛崛起，大规模的请求处理和日益庞大的数据处理需要多台服务器协同工作才能完成，这些多台服务器的集合就是所谓的集群，如何让这个集群高效率、高可靠的完成请求和数据处理，则由集群管理系统来实现。在集群技术出现以前，普通的PC机、工作站、服务器所能提供的能力远远不能满足计算要求。

集群技术，简单地说就是一种将一系列计算机通过网络连接起来，共同协调来完成各种需求。对外提供单一的入口，添加、删除等节点动态配置对用户是透明的。如果节点出现故障，整个集群在用户看来仍可以正常工作。使用价格不高、性能优良的普通计算机构建集群系统代替昂贵的大规模并行机已经成为发展趋势。高性价比、高可靠性、高可用性和高可扩展性的集群系统在人类生产生活中占有越来越重要的地位。

    

集群管理系统经历了三代的框架变化：早期主要是中央式调度器，开源界典型的代表是Hadoop JobTracker的实现。这种设计方式的缺点很明显，扩展性差：首先，集群规模受限，其次，新的调度策略难以融入现有代码中。

为了解决中央式调度器的不足，双层调度器是一种很容易想到的解决之道（实际上是分而治之策略或者是策略下放机制）。双层调度器仍保留一个经简化的中央式调度器，但调度策略下放到各个应用程序调度器完成。这种调度器的典型代表是Apache Mesos和Hadoop YARN，但是双层调度器的缺点也是显而易见的，首先各个框架无法知道整个集群的实时资源使用情况，很多框架不需要知道整个集群的实时资源使用情况就可以运行的很顺畅，但是对于其他一些应用，为之提供实时资源使用情况可以为之提供潜在的优化空间；其次，双层调度器采用悲观锁，并发粒度小，悲观锁通常采用锁机制控制并发，这会大大降低性能。

共享状态调度器克服了双层调度器的以上两个缺点，该调度器将双层调度器中的集中式资源调度模块简化成了一些持久化的共享数据（状态）和针对这些数据的验证代码，而这里的“共享数据”实际上就是整个集群的实时资源使用信息。一旦引入共享数据后，共享数据的并发访问方式就成为该系统设计的核心，而Omega则采用了传统数据库中基于多版本的并发访问控制方式（也称为“乐观锁”, MVCC, Multi-Version Concurrency Control），这大大提升了资源分配的并发性。

   近几年，国内的集群管理技术领域也有自己的发展，比较著名的包括阿里云的伏羲（Fuxi）和腾讯的盖亚（Gaia）。

   阿里云的伏羲应用了“Master/Worker”工作模型，框架类似于Google的Borg（Borg系统为Master/Borglet），提供了一个数据驱动的多级流水线并行计算框架。

    腾讯的Gaia是基于Yarn的通用资源调度平台，提供高并发任务调度和资源管理，实现集群资源共享、可伸缩性和可靠性，单集群可达8800个节点。

二、^范文提纲

1 集群管理系统概述

1.1 集群

1.1.2 集群技术产生背景

1.1.3 集群带来的好处

1.2 集群管理

1.2.1 集群管理系统设计动机

1.2.2 集群管理系统发展

2 几种主流集群管理系统分析

2.1 Borg系统

2.1.1 Borg系统简介

2.1.2 Borg系统集群管理架构分析

2.2 Kubernetes系统

2.2.1 Kubernetes系统简介

2.2.2 Kubernetes系统集群管理分析

2.2.3 Kubernetes系统集群管理总结

2.3 Mesos系统

2.3.1 Mesos系统架构简介

2.3.2 Mesos集群资源管理系统架构分析

2.4 Omega

3 国内集群管理系统

3.1 阿里云伏羲

3.2 腾讯盖亚

4 主流集群管理系统总结

5集群技术未来的发展方向

三、参考文献

[1] Malte Schwarzkopf. Omega-flexible, scalable schedulers for large compute clusters[Z]. ://dl.acm.org/citation.cfm?id=2465386. 2016年3月12日

[2] 龚正. Kubernetes权威指南[M].电子工业出版社.2016

[3] 哈米斯·卡卡迪亚. Mesos：大数据资源调度与大规模容器运行最佳实践[M].电子工业出版社.2015

[4] Andrew Konwinski.Multi-agent Cluster Scheduling for Scalability and Flexibility[Z].://.eecs.berkeley.edu/Pubs/TechRpts/2012/EECS-2012-273.html.2012年12月22日

[5] Abhishek Vermay. Large-scale cluster management at Google with Borg[Z]. ://research.google.com/pubs/pub43438.html.2016年4月2日

[6] 董西成. 解析Google集群资源管理系统Omega[Z]. ://dongxicheng.org/mapreduce-nextgen/google-omega/.2013年4月21日

[7] 杨章显. Kubernetes系统架构简介[Z]. ://.infoq.com/cn/articles/Kubernetes-system-architecture-introduction?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global.2014年10月31日

[8] 王渊命.深入浅出Kubernetes架构[Z].://edu.dataguru.cn/article-8492-1.html.2015年11月26日

[9] 韩陆.深入浅出Mesos(四):Mesos的资源分配[Z].://.infoq.com/cn/articles/analyse-mesos-part-04?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global.2015年6月5日

[10] Thomas ERL.云计算：概念、技术与架构[M].机械工业出版社.2014

[11] 周憬宇.飞天开放平台编程指南——阿里云计算的实践[M].电子工业出版社.2013

[12] 刘亚琼.专访腾讯蒋杰：深度揭秘腾讯大数据平台[Z].://.csdn.net/article/2014-08-29/2821448.2014年9月1日