基于大数据平台的电影推荐系统开题报告

1. 研究目的与意义

Netflix是美国的一家在线影片租赁供应商，为了可以使顾客迅捷便利地选择影片，它发起了高达百万美金的比赛，用于奖励提高影片推荐效率的参赛者。大数据技术已经渗透到各行各业，电影业也面临着愈来愈大的激烈竞争，作为技术人员，不得不考虑采用大数据技术来设计和优化推荐系统。信息化时代下，哪家公司掌握了新技术，便占据了市场的制高点，对企业的发展起着不可估量的作用。

在这个信息泛滥的年代，用户浏览信息也变得飞速，挑剔和急躁，因此，电影推荐系统就显得非常有必要。推荐系统通过点击率高的热门影片或用户的评价等数据，及时为用户提供适宜影片推荐，用户无须浪费大量时间花在寻找符合自己口味的影片，进而提高用户体验的质量，增加网站的访问量，同时也会增强公司的竞争力。

2. 研究内容和预期目标

本系统以基于物品与物品的联合过滤推荐算法为理论，完成一个工程领域的电影推荐系统，采用分模块设计，自底向上逐步实现底层I/O模块、核心的数据处理推荐算法模块、网页电影浏览模块、离线推荐系统模块。底层的I/O模块承担读、写和存储电影推荐系统所用到的相关数据。核心数据处理实现协同过滤算法，作为基于用户的算法执行方式，协同过滤算法在准确性上具有相当大的优势，主要分为基于用户的协同过滤算法UserCF、基于物品的协同过滤算法ItemCF和基于模型的推荐。系统采用基于用户的协同过滤算法提高推荐效率，成为电影推荐系统的核心。电影浏览模块用于用户浏览影片，注册登录系统，对自己所欣赏过的影片进行评价，汇集成大数据集合，供技术人员分析，从而为用户提供符合自身喜好的影片，提高用户体验。

在线推荐系统的算法本身的设计不能太复杂，而且许多网站的数据库都是TB、PB级别，实时读写存储量大的表会比较耗费时间。因此可以把算法分成离线部分和实时部分，先把查询数据库比较多的、可以预先计算的模型先训练好，或者把计算的中间数据先计算好。

3. 研究的方法与步骤

本系统课题涉及到了本科阶段从未接触到的大数据知识点，需要一定的知识积累，从而在准备阶段就课题的可行性和实行的可能方式做了很多构思。最后拟采用下面的研究方法进行课题：

1、大数据相关的底层i/o知识和集群的搭建

2、mapreduce代码的编程、spark的应用和相关环境的使用

4. 参考文献

[1] resnick,paul and varian, hal. recommendersystems[j]. introduction to special section of communications of the acm. vol.1997, 40(3):56-58.

[2] 刘建国，周涛，汪秉宏. 个性化推荐系统的研究进展[j]. 自然科学进展, 2009, 19 (1), 1-15.

[3] 杨志文, 刘 波. 基于hadoop平台协同过滤推荐算法[j]. 计算机系统应用, 2013, (7):108-112

5. 计划与进度安排

序号 起止日期 任务 工作内容

1、 2022-01-16 ~ 2022-02-19 调研 调研，撰写开题报告

2、 2022-02-20 ~ 2022-02-28 查阅文献资料 论文综述和论文目录