基于Scrapy框架的爬虫系统的设计与实现开题报告

全文总字数：4114字

1. 研究目的与意义（文献综述）

1.1目的及意义（含国内外的研究现状分析）

随着互联网的快速发展和广泛的普及，互联网数据信息的爆炸将我们带入了大数据时代，特别是近年来，互联网推动制造业的发展，各种云制造，智能制造等也开始迅猛发展。制造业从各种维度将工业数据进行处理上传，变为可供消费者选择的定制化服务，同时消费者的决策也会及时反馈给制造业，反过来帮助制造业的产品线升级。制造业与消费者间形成一个以数据信息为载体的闭环，提高了资源利用率，同时也帮助了制造业的升级。

2. 研究的基本内容与方案

2.1基本内容

一种基于scrapy框架的分布式小型爬虫系统

3. 研究计划与安排

(1)第1－3周：查阅相关文献资料，明确研究内容，学习毕业设计研究内容所需理论的基础。确定毕业设计方案，完成开题报告。

(2)第4－5周：掌握python语言的基础。寻找爬虫数据源，并对数据源进行汇总。

4. 参考文献（12篇以上）

[1] 中国互联网络信息中心.第36次中国互联网络发展现状统计报告[r/ol].(2019_02_28).www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201902/t20190228_70645.html

[2]刘雯.主流开源爬虫框架比较与分析[j].电子世界,2018(06):65-67.