基于部分重复编码的异构云存储系统研究开题报告

全文总字数：3989字

1. 研究目的与意义（文献综述）

云存储是一种网上在线存储模式，由大量的同构或者异构的存储设备组成, 同构指一个存储环境中的所有构件都来自于同一个供应商，或者是间接来自于伙伴关系；异构则指技术来自于不同供应商的混合环境。云存储允许用户随时随地访问数据，这种体系结构被称为分布式存储系统(dss)。

随着大数据时代的到来，数据开始爆炸式增长，一些云计算和服务的出现推动了存储服务器和存储业务的增长。与传统的集中式存储相比，分布式存储系统具有更高的可扩展性和容错能力^[1]，因为大量数据分别存储在多个廉价的存储节点中，以降低存储成本。与此同时，数据存储系统开始面临巨大的挑战，如由分布式存储系统的异常引起的存储节点中的数据丢失，也称之为节点故障。当出现故障时，新来者需要通过从幸存的存储节点中检索数据来修复丢失的数据(称为帮助点)，从而保持分布式存储系统的可靠性。此外，分布式存储系统应该能够提供数据可用性，使用户能够在任何地方以低延迟访问他们的数据^[2]。

早在2014年，中国互联网百度公司单个集群的节点数量就超过了10000。近两年，腾讯云的分布式调度系统 vstation管理和调度单集群的节点数量可达100000。然而数量庞大的节点集群经常会产生如电源损坏、系统维修及网络中断等故障致使节点失效频发。据一些大型分布式存储系统的统计数据表明，平均每天都会有2%左右的节点发生故障^[3]。因此如何及时有效地修复失效节点，确保数据能被正常地读取和下载就显得非常重要。具有节点修复能力的数据容错技术可以保证系统的数据容错能力。良好的容错技术要求存储系统具有低的冗余开销、低的节点修复带宽、低的编译码复杂度等特点。如何降低失效节点的修复带宽、降低磁盘i/o、降低存储系统编译码的复杂度、提高系统的存储效率成为分布式存储中研究的热门方向。而部分重复(fr)码能对故障节点提供精确修复，可以提高分布式存储系统的修复效率和可靠性。

2. 研究的基本内容与方案

本毕业设计的主要研究内容是设计适用于异构云存储系统的部分重复编码方法，并通过仿真实验优化云存储系统的参数配置。目标是根据云存储系统的节点异构性、通信链路异构性以及存储网络的拓扑结构，构造mds-fr码，优化编码参数，使云存储系统能够快速精确地完成数据修复和数据重构。

编码方案采用mds-fr码，该码由外层的最大距离可分码mds和内层的部分重复码fr级联而成，其中mds码指达到辛格尔顿界的码,码信息被分为k个块, 把这k个块编码得到n个分组分别储存在n个节点上。当数据收集器要恢复原始信息时, 就从这n个节点获得数据。当容错性能相同时，mds码的节点存储成本更低，且可以通过重构源文件来恢复丢失的数据，但同时mds的性能有可能成为整个分布式文件系统的容量和性能瓶颈，mds码需要先通过解码重现源文件然后再通过编码来进行节点修复，节点修复带宽过高且计算复杂。

fr码能容忍多节点故障的精确无编码修复，大大减低了修复过程的计算复杂度和修复时间，同时使修复带宽开销和修复局部性最小化,系统故障修复性能得到明显提升。传统的fr码往往基于正则图和斯坦纳系统构造构造方法复杂且仅对特定的参数成立，不能灵活适用于异构分布式存储系统。

3. 研究计划与安排

第1周—第3周：查阅相关文献资料，明确研究内容，了解研究所需的理论知识。确定方案，完成开题报告。

第4周—第5周：熟悉掌握相关理论，完成英文资料的翻译，熟悉相关工具软件的使用。

第6周—第9周：根据给定的存储网络，构造mds-ifr码。

4. 参考文献（12篇以上）

[1] j. wang. w. luo. w. liang. x. liu and x. dong. locally minimum storage regenerating codes in distributed cloud storage systems[j].中国通信,2017,14(11):82-91.

[2] q. yu, c. w. sung and t. h. chan. irregular fractional repetition code optimization for heterogeneous cloud storage[j]. ieee journal on selected areas in communications, 32(5):1048-1060, may 2014.

[3]李鑫,孙蓉,刘景伟.分布式存储系统中容错技术综述[j].无线电通信技术,2019,45(05):463-475.