基于互联网的海事数据在线采集方法开题报告

全文总字数：4214字

1. 研究目的与意义（文献综述）

随着互联网、物联网等信息技术的加快发展，我国海事信息化管理也不断增强，对于新技术的要求也逐步提高。船舶在水上航行作业、各船舶之间的通信交流、海事管理机构对水域交通的监管等海事活动都需要精确的数据以确保水上交通的安全和通航管理秩序。在环境相对复杂的水域，精确的数据采集可以最大程度地了解周围环境的实际情况，不仅提高了船舶的航行安全，同时也可以记录船舶的动静态数据。一旦发生事故需要对事故进行调查取证时，采集到的海事数据为海事执法提供了最为客观且直接的证据。《海事信息系统顶层设计》中指出，海事发展正向着更加注重精细化管理、注重海事服务水平提升。在现今互联网时代，对海事数据的有效采集可以缓解日益增加的水上安全监管压力和相对不足的监管资源之间的矛盾、可以降低一线工作人员的劳动强度，提高管理水平和工作效率。“十二五”期间，海事部门加强信息化顶层设计，利用互联网、大数据等新技术和新理念，全面推动“智慧海事”建设，在业务应用、安全监督、应急响应、航海保障、公共服务等方面均取得了良好的效果。

在海量的互联网中挖掘到所需的海事数据是必要的。基于Python的网站自动化爬虫程序设计，具有数据采集全、针对性强等优点。网络爬虫实质是一个程序，是一个可以自动提取网页的程序，从海事数据网站下载网页，提取爬取网页的某些内容和信息，可以选择性地从网络上抓取相关的网页和链接，为用户提供数据资源。近十几年来。国内外很多研究人员提出了多种网络爬虫结构和算法，并将其应用到不同的行业和领域。2015年，Quoc等人提出了一个基于地理信息的网络爬虫unicrawl，它可配置在不同的地理位置上分布的可操作一个独立的爬虫的站点，同时也可跨站点来划分爬取的域名空间，进而最大限度地减少站点间的通信成本。许多大型软件公司和企业，根据自身行业特点及需求，也开发出来很多分布式网络爬虫系统。我国在安全监管和应急管理方面，初步构建了由AIS、GPS、VTS、CCTV等组成的海事立体化监管体系。尽管如此，网络爬虫技术在在线采集海事信息方面的运用仍处于初级阶段。有效地利用爬虫技术采集海事数据，并将其综合分析，可促进海事部门数据共享、业务协同，以进一步加强应急管理的预测预警和应急处置能力。

2. 研究的基本内容与方案

2.1 研究目标

在广泛调研国内外对大数据采集方法的基础上，引入网络爬虫技术与海事数据信息的特点相结合。在本地网站上爬取到所需要的文本信息，并将其解析成我们人类能读懂的语言，筛选出有用的海事信息，实现内容爬取的高效及全面。最后对网站进行优化，提高网站质量。

3. 研究计划与安排

1．3月1日-3月15日，查阅相关文献资料，并联系导师，编写开题报告，确定毕业论文的大体内容框架和研究方向。

2．3月16日-3月31日，根据导师意见进一步修正和确定论文方向和具体内容。另外，完成20000个字符的英文文献翻译。

3．4月1日-5月10日，按任务书要求开始论文撰写，进一步完成论文撰写的技术环节，查阅文献，充实内容，保持与指导教师的联系，在此期间完成论文初稿。

4. 参考文献（12篇以上）

4、参考文献

[1] 潘岩,温力平.无线数据采集系统在海事管理中的应用[j].珠江水运,2018(24):68-69.

[2] 罗本成,许世博.我国海事大数据应用现状、前景及对策[j].水运管理,2016,38(05):5-8.