基于MapReduce模型的并行机调度算法开题报告

全文总字数：3475字

1. 研究目的与意义（文献综述）

1.背景及意义

近年来，“大数据”问题已经成为了许多领域里的一个新的挑战，包括在气象、生物、保健、医学、基因组学、环境研究、互联网搜索、复杂的物理模拟和 其他科学及工程的研究及应用等领域。云计算作为大数据时代的一项重要的基础 架构，主要通过互联网向用户提供计算、存储等各项服务。云计算环境下的调 度管理在很大程度上决定了所提供的云服务质量，因此，它既是云计算服务提供 商关注的重点，也是云计算基础理论研究的热点问题。各大云提供商根据自己已有平台（最著名的有 Amazon 云计算平台、IBM 蓝云平台、Google 云计算平台和 Hadoop开源平台等）的特点，采用不同的调度方法。2008年之后，国内应用和研究Hadoop的企业也越来越多，包括淘宝、百度、腾讯、网易、金山等。淘宝是国内最先使用Hadoop的公司之一；百度在Hadoop上进行广泛应用并对它进行改进和调整，同时赞助了HyperTable的开发。总之，互联网企业是Hadoop在国内的主要使用力量。同样的，很多科研院所也投入到Hadoop的应用和研究中，包括中科院、清华大学、浙江大学和华中科技大学等。

MapReduce调度模型是在大数据时代背景下由Google 提出的用于数据分析的分布式计算框架MapReduce 工件由 Map 与 Reduce 两部分组成, 当一个工件被释放后, 系统将工件自动分成两种类型的任务: Map 工序的任务和 Reduce 工序的任务. 加工排序模型表述如下: 1)每个工件包含Map工序任务和Reduce工序任务; 2)只有当它的Map工序完成后才可以启动加工该工件的Reduce工序; 3) Map工序的任务可以分割且并行加工,即每个Map工序的任务可以分割为多个部分并在多台机器上同时加工; 4) Reduce工序只能在一台机器上连续加工。基于MapReduce模型的生产制造活动如何能高效的进行是近些年平行机调度研究的重要内容，一个高效智能算法的发现并能应用到实际生产中对于社会生产力的提高有着非凡的意义。

2. 研究的基本内容与方案

2. 研究目标

（1）通过阅读大量文献，进行研究和试验，得出现存调度算法的不足之处；

（2）综合现存调度算法的优缺点提出一种改进的基于mapreduce的调度算法。

3. 研究内容

（1）对mapreduce并行编程模型进行研究；

3. 研究计划与安排

2. 进度安排

4. 参考文献（12篇以上）

（1）黄基诞，郑斐峰，徐寅峰.基于mapreduce模型带准备时间的平行机调度优化[j].系统工程理论与实践，2019，39（1）：174-182.

（2）黄基诞，郑斐峰，徐寅峰.基于mapreduce模型带任务分割的平行机调度优化[j].控制与决策，2019，34（7）：1514-07。

（3）valcarce d, parapar j, barreiro a. a mapreduceimplementation of posterior probability clustering and