大数据与矩阵低秩逼近开题报告

1. 研究目的与意义

大数据是当前计算机、网络、信息学、统计学和社会科学等众多学科交叉形成的一个研究热点，在当今社会的各个领域都涉及到大数据处理与大数据分析。与此同时，另一个与其密不可分的概念即为云计算。对于大数据，其本身主要强调的是一种海量数据数据处理的模式，而且对于数据的真正的部署、实施以及计算、处理。则需要使用云计算的分布式存储(分布式数据库)、分布式计算（MapReduce）以及虚拟化技术(KVM,VMWARE......)等技术。

另一方面矩阵的低秩分解则是在信号处理和数据挖掘等应用中扮演着必不可少的角色，在许多应用中，我们需要使用AX的低秩乘积近似一个给定矩阵Y，对于如何求解AX对，在矩阵阶数很高的情况下都需要耗费巨大的时间。那么能否依托与大数据平台采用云计算方式来对矩阵进行低秩分解，以及该方式的可行性和可信性到底如何，就是本课题研究的目的。

2. 研究内容和预期目标

1. 研究内容：本课题将结合线性代数中的矩阵理论、矩阵和向量分析、线性空间和矩阵分解的低秩逼近等方法，包括数学有关软件，利用矩阵分解、线性代数、结合优化方法等研究在大数据背景下的处理和应用。

2.预期目标1.了解矩阵低秩分解的算法，并能够在单机的环境下进行实施2.将算法中涉及的数据，移植到大数据的平台下，探究云计算方式的可行性

3. 研究的方法与步骤

1) 了解并综述大数据研究问题的具体背景、问题研究历史和处理方法； 2) 使用已有的矩阵理论和矩阵分析，通过matlab处理大数据矩阵的降维方法； 3）运用matlab相关指令和函数实现大数据的数据降维、数据去噪和主成分分析； 4）通过matlab实现大数据建模与误差估计。

5）使用hadoop作为数据存储的中间平台。

6）使用spark作为计算框架 7）对与结果进行误差分析

4. 参考文献

[1] S.Adke,S.Deshmukh,LimitdistributionofahighorderMarkovchain,J.Roy.Statist.Soc.Ser.B50(1998)105–108.[2]A.Berchtold,A.Raftery,Themixturetransitiondistributionmodelforhigh-orderMarkovchainsandnon-Gaussiantimeseries,Statist.Sci.7(2002)328–356.[3]A.Berman,R.Plemmons,NonnegativeMatricesintheMathematicalSciences,ClassicsAppl.Math.,SIAM, 1994.[4]K.C.Chang,K.Pearson,T.Zhang,Perron-Frobenius theorem for[5] W.Ching,M.Ng, MarkovChains:Models,Algorithmsand Applications, Internat. Ser.Oper. Res. Management Sci.,Springer,2006.[6]S.Friedland,S.Gaubert,L.Han,Perron–Frobenius theorem for nonnegative multilinear forms and extensions, LinearAlgebraAppl.438(2013)738–749[7]安俊秀等 Hadoop大数据处理技术基础与实践[M]. 人民邮电出版社 2015[8]董西成 HADOOP技术内幕深入解析MAPREDUCE架构设计与实现原理[M].机械工业出版社 2013

5. 计划与进度安排

1-2周 2022年11/16-02/28: 任务书,导师讲授选题状况和要求等;2-3周 2022年02/24-03/07: 开题报告,导师修改审定开题报告4-14周 2022年03/10-05/23: 毕业论文写作,学生按开题报告撰写论文11-13周 2022年04/28-05/16: 中期检查,汇报课题进展,论文中期检查13-14周 2022年05/12-05/23: 完成论文初稿,论文初稿修改14-15周 2022年05/19-05/30: 论文打印、审阅、定稿16周 2022年06/03-06/06: 论文评阅17周 2022年06/07-06/11: 论文答辩