关系型数据库向NoSQL的数据迁移及存储优化开题报告

1. 研究目的与意义（文献综述）

目的：

随着web2.0的兴起与发展，网络数据飞速增长并且呈现多样化的特点。传统的关系数据库在处理海量数据显得力不从心，暴露出一系列自身的问题。于是，开发者们开始寻求一种新的存储技术应对此问题。在google和amazon的研究带领下,nosql这一概念逐渐为人们熟知，它是一系列非关系型数据库的统称，通常分为以下几类：键值型数据库（如memcached,redis）、文档型数据库（如mongodb,couchdb）、列存储数据库(如hbase,cassandra)、图形数据库（如neo4j），每种类型的数据库都有其自身的特点。大部分nosql数据库都牺牲了数据的一致性以提高响应速度，并且可以部署在由廉价机器组成的集群（除了图形数据库），能够以低成本高效率地处理海量数据，同时具有稳定性高和扩展性好的特点。

基于nosql数据库的优势，越来越多的web应用开始尝试在其上搭建数据中心，如何把关系型数据库的数据迁移到nosql数据库并进行存储优化已成为了开发者关注的问题。关系数据库的数据模型都是范式化的，而nosql数据库为了提高性能大多是反范式化的。由于两种类型数据库的差异，所以在迁移数据前要对表模式重新设计，这个过程需要业务专家参与，确定数据的读取模式。建立好新的，适合nosql数据库的表模式后，才能做数据迁移。如果只是迁移某一个应用的数据库到一种nosql数据库，工作量可能不大，但是如果有多个应用的数据库要迁移，或一个应用的数据库迁移到不同种类的nosql数据库，开发人员将面临很多重复的工作。所以，实现一个半自动化的数据迁移工具十分必要。另外，为了尽量发挥nosql的优势，还要研究如何对数据存储进行优化。

2. 研究的基本内容与方案

基本内容：

（1） 研究关系数据库与nosql数据库的数据模型和特性。通过广泛查阅、分析国内外关于关系数据库和nosql的应用和研究文档，作出归纳总结。

（2） 以mysql和mongodb为例，给出关系型数据库向nosql数据迁移的解决方案；并进一步研究其存储，给出相应的优化方案。

3. 研究计划与安排

（1） 2016/1/11—2016/1/22：查阅参考文献，明确选题；

（2） 2016/1/23—2016/3/7：进一步阅读文献，并分析和总结；配置开发环境，下载相关nosql数据库和数据迁移工具。确定数据迁移的基本方案，完成并提交开题报告；

（3） 2016/3/8—2016/3/22：仔细阅读相关数据迁移工具的源代码，做好前期的技术研究；对本项目进行详细的系统设计、代码设计，规划测试方案。

4. 参考文献（12篇以上）

[1] pramod j.sadalage,martin fowler. nosql精粹[m].爱飞翔译.北京：机械工业出版社,2013.

[2] 佐佐木达也. nosql数据库入门[m].罗勇译.北京：人民邮电出版社，2012.

[3] shashank tiwari. 深入nosql[m].巨成译.北京：人民邮电出版社，2012.