基于DAG的分布式任务调度系统的设计与实现开题报告

 2022-01-07 21:40:23

全文总字数:3707字

1. 研究目的与意义(文献综述)

任务调度系统在数据平台是非常核心的组件,在日常的数据处理中,定时运行一些业务是很常见的事。比如定时从数据库将新增数据导入数据平台,将数据平台处理后的数据导出数据库或者文件系统。

在一个单机系统,任务并不多的时候通常可以利用linux自带的crontab机制或者spring集成的定时器来实现,配置好参数确定好每天的触发时间。但是就会发现crontab和spring的机制并不能够满足我们的需求。

当任务量增大到一定程度,这些任务开始时间会受很多因素的影响,比如任务之间的依赖关系,以及单机并发量的限制。为了解决单机架构的性能瓶颈分布式架构是目前最好的选择,让工作节点组成一个集群进行统一的维护。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 研究的基本内容与方案

基本内容包括核心的分发任务逻辑,调度的监控报警体系和对接其他系统的api模块。因为工作节点的负载能力有限,不能说有多少任务就都一起分发出去,尤其是很多任务和集群打交道,数据量多达几百gb,执行时间会很长,工作节点承受不了太多任务的执行。所以设计分发的时候就需要考虑到如何在满足阈值的时候停止分发任务。

任务因为各种原因失败,需要通知到任务的拥有者,这就需要报警和监控模块。还包括各种指标的监控,比如工作节点的cpu状况,内存和磁盘占有率等指标。以及任务的整体完成情况都需要有一个完整的监控报警体系。

任务调度系统处于比较核心的位置,数据平台中很多其他的系统需要依赖调度系统的数据和接口,所以将api模块独立拆分成一个服务是很有必要的。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

3. 研究计划与安排

(1)2020/1/13—2020/2/28:确定选题,查阅文献,外文翻译和撰写开题报告;

(2)2020/3/1—2020/4/30:系统架构、程序设计与开发、系统测试与完善;

(3)2020/5/1—2020/5/25:撰写及修改毕业论文;

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

4. 参考文献(12篇以上)

[1]梁福坤. 百度外卖大数据精细化调度系统研究[d].北京化工大学,2018.

[2]张康. 基于quartz的分布式定时任务调度模块的设计与实现[d].南京大学,2019.

[3]孙岩. 基于分布式架构的高可用定时任务调度系统的设计与实现[d].哈尔滨工业大学,2018.

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。