基于固件映像数据的分布式爬虫系统的设计与实现开题报告

1. 研究目的与意义（文献综述）

1.1研究目的及意义

与传统的软件一样，嵌入式设备的固件很可能会有漏洞或是配置错误，这些都会导致运行此固件的设备出现漏洞从而遭受攻击，而通过大量的嵌入式设备来进行研究固件安全性是极其昂贵的，同时在固件运行在通用设备上也是有困难的。因此需要提取嵌入式设备中的固件映像，运用软件方式进行安全检测，但是采用人工的方式从海量的数据中获取大规模的映像数据是一件艰巨的、非常耗时的任务，必须要借助计算机，采用爬虫的相关技术自动从海量的数据中获取所需要的固件映像数据。

相对于软件的漏洞研究而言，硬件的漏洞研究却十分有限。目前嵌入式设备大多处于不设防状态，系统安全面临威胁。文献[1]指出工业嵌入式设备漏洞的主要类型有：拒绝服务漏洞、远程代码执行漏洞、用户访问权限漏洞、信息泄露漏洞，并介绍了相应的漏洞分析方法。文献[2]列举了当前流行的信息防御技术，如：防火墙、入侵检测技术，但这些工具都是针对木马、病毒等软件设计的。并进行了演示验证系统，证明网络硬件漏洞攻击的可能性和隐蔽性。文献[3]给出了对网络硬件设备安全危害程度相关图论分析方法和可拓逻辑分析方法，并进行必要的安全设备信息关联分析和给出必要的解决思路。

2. 研究的基本内容与方案

2.1目标（开发的系统概况描述）

采用当前流行的python爬虫框架scrapy爬取固件映像数据。使用python常见的gui设计包pyqt4设计图形化用户界面，当用户访问界面并在界面输入固态硬件的名称时，爬虫在给定的几个域名中进行全网搜索并找到与输入名称比较相似的固态硬件的url，并将其存入redis分布式数据库中；从站点再根据相应的url爬取对应的硬件内容，并存储在本地的数据库中，如mysql或sqlite等等。

2.2基本内容

3. 研究计划与安排

第1—3周：完成开题报告，书写摘要并完成相关英文文献翻译；用python编写网络爬虫代码，并代入scrapy爬虫框架进行调试。

第4－6周：把完成的爬虫程序与redis链接，能够正确运行。

第7－12周：优化系统，并对算法进行评价；对分布式爬虫进行编写。

4. 参考文献（12篇以上）

[1]尚文利，万明，赵剑明，乔全胜，曾鹏，面向工业嵌入式设备的漏洞分析方法研究[j]，自动化仪表，2015-10-20.

[2]高洪博,李清宝,徐冰,周丽.网络设备硬件漏洞研究[j]，计算机工程与设计,2009,22:5075-5077 5081.

[3]关光福.基于图论和可拓评判的网络硬件设备安全分析方法研究[j].长春工程学院学报(自然科学版),2009,04:76-80.