基于互联网的主题内容提取与存储系统设计与实现开题报告

1. 研究目的与意义

互联网上存在大量的网页，每个网页通常都有一个主题，人们穷于无法有效获取所关注的某个主题相关大量网页，并能对这些网页进行存储和查询管理。针对该问题，本课题设计基于互联网的主题内容提取与存储系统设计与实现。互联网上的网页搜索技术众多，比如：百度，Google等等，这些搜索引擎都有各自的优缺点。随着时间的发展，现在的网页内容日渐丰富，网友的需求也是越来越大。传统的向上不停遍历的方法已经解决不了当今的问题，这时就引进了爬虫这个概念。爬虫作为搜索引擎的核心，帮助网友们在信息量巨大的网页中提取出自己需要的主题内容，然后以便查看。通过爬虫就可以迅速，快捷，准确的获取互联网上网页中的某个主题的内容。如今，爬虫的应用与研究也在迅速发展和深入。

2. 课题关键问题和重难点

爬虫技术，spider，提取内容的处理，页面内容提取这四个关键问题。爬虫技术是整个课题的关键技术，是实现互联网的主题内容提取的核心方法。网络爬虫是一个软件程序，主要用于各大搜索引擎，如：百度等等。它将互联网上的某些网页的所有内容进行阅读并且提取出自己需要的内容，最后将得到的信息存储在数据库中以便查看。Spider相当于一个相当大的容器，作用是将软件的各大组件包含在内，使得各个组件彼此组织起来，可以让组件间可以相互联系。提取内容的处理主要负责页面内容提取后的最终结果的处理，存储到数据库，保存到计算机文件里，可供自己查询到最终需求的结果。页面内容提取也是爬虫软件的主要难点，在互联网网页中提取出所需要的元素或者链接是一个复杂的过程。向目标地址提交请求，获得页面的内容，解析网页，从节点中获取链接，克服了这个难点课题的研究就成功了一大半。

3. 国内外研究现状（文献综述）

前言

现在互联网上网页很多，网友在寻找自己需要的某一网页的主题信息时肯定会花费大量的时间和精力，所以需要研发出这样的一款软件来解决这一问题。软件的关键也是在于如何从网页中提取出相关主题信息，并且存储到数据库中以供网友们进行查看。

一、对网页内容的提取技术的研究综述

4. 研究方案

课题设计方案：

基于互联网的主题内容提取与存储系统设计与实现这个课题的核心就是爬虫技术。

软件的总体结构设计：

5. 工作计划

第一阶段：软件设计的思想。

对此软件的最初设计思想，有什么样的用途，什么样的功能，软件的规模如何，

利用什么来设计软件等等。