基于爬虫技术的网站页面变动检测与分析开题报告

 2022-01-02 16:57:39

全文总字数:2742字

1. 研究目的与意义(文献综述)

目的和意义:

在现实生活中,网页页面变动检测和分析是十分重要也是十分有价值的,

1、对别人的网站进行检测变动,有很多的人都需要查看网站的变化并且提醒,比如说股票的股市、天气信息、一些官方发布的最新消息等等。如果通过人工去刷新查询相应的网站非常费神。目前主要的研究方法是通过模拟浏览器对目标网站发起请求,对返回的html的进行dom的结构分析,判断此次请求得到的dom节点是否有变化以及内容的id是否有更新。以此来发送网站更新的消息。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 研究的基本内容与方案

1、基本内容为:

研究爬虫技术使用;web网站结构的分析与处理;数据清洗和抽取;web反爬机制;异步任务;消息推送

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

3. 研究计划与安排

到2020-02-25:完成开题报告并提交

到2020-02-26:完成外文翻译并提交

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

4. 参考文献(12篇以上)

[1]胡越. 网站数据的提取方法的研究[d].湖北大学,2016.

[2]于成龙,于洪波.网络爬虫技术研究[j].东莞理工学院学报,2011,18(03):25-29.

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。