基于虚拟机环境Hadoop 集群的数据仓库及数据平台设计与实施开题报告

1. 研究目的与意义（文献综述）

马云说：很多人没有搞清楚什么是pc互联网，移动互联网就来了，我们还没有搞清楚什么是移动互联网的时候，大数据时代就来了。当今世界云计算，物联网、新兴媒体等新兴信息技术和应。

1、为何要建立基于hadoop集群的数据仓库； 基于魅族科技的手机端，每日上报的几十亿条数据，对于google的传统方式：使用gfs（google 文件系统）用来存储数据；使用mapreduce进行分析；使用bigtable（google的分布式数据存储系统）进行存储索引，但是，随之而来的问题是：

（1）单个存储节点容易崩溃，崩溃后无法访问相关资源；

2. 研究的基本内容与方案

1、设计的任务 根据魅族科技公司的实际业务情景，海量的数据通过手机端的apk中的埋点进行上报：

（1）由于现实环境的限制，只能通过虚拟机进行hdfs集群的部署，计划部署6个虚拟节点，进行数据的存储，其中选取2个作为namenode；

（2）搭建hive环境，搭建数据仓库模型（包括模型框架，设计规范），并建立一个面向“游戏中心”为主题的数据仓库；

3. 研究计划与安排

1）2015.12.30之前：完成毕业设计选题；

2）2016.03.20之前：结合选题和任务书的目标要求，完成开题报告撰写；

3）2016.04.01之前：完成虚拟集群的搭建及相关开发环境和工具的配置；

4. 参考文献（12篇以上）

（2）刘勇军. 面向对象程序设计-c#asp.net实现. 武汉：武汉理工大学出版社，2011.

（3）周栋祥，吴进鲁. asp.net案例精编——适用于vs 2005/2008（配光盘）.北京：清华大学出版社，2009.

（4）tow wbite.hadoop权威指南（第3版）. 北京：清华大学出版社，2014.