1. 研究目的与意义（文献综述）
1.1研究目的：
信息安全风险评估是信息安全系统的重要组成部分，也是信息安全系统的重要防线。本毕业设计要求在学习大数据分析和数据挖掘技术的基础上，实现对信息系统安全风险的评估。
1.2国内外研究现状分析：
2. 研究的基本内容与方案
2.1基本内容与研究目标：
信息安全风险评估是信息安全系统的重要组成部分，也是信息安全系统的重要防线。如今互联网已进入大数据时代，本文基于大数据技术对信息安全风险进行评估，围绕着海量数据挖掘、大数据技术和信息安全风险评估处理算法进行研究，开发一个基于大数据技术的信息安全风险评估系统。
2.2拟采用的技术方案及措施
2.2.1 采用现有公开的KDDCUP 99 dataset数据集。1998年美国国防部高级规划署（DARPA）在MIT林肯实验室进行了一项入侵检测评估项目收集而来的数据。目的是对入侵检测的研究进行调查和评价。提供了一套待审计的标准数据，其中包括在军事网络环境中模拟的各种入侵。1999年KDD入侵检测竞赛使用此数据集的一个版本。林肯实验室建立了一个环境，为模拟典型美国空军局域网的局域网(LAN)获取9周原始TCP转储数据。他们操作局域网就像一个真实的空军环境，但却充满了多次攻击。原始的训练数据大约是来自七周网络流量的压缩二进制TCP转储数据的4GB。处理成大约500万条连接记录。同样，两周的测试数据产生了大约200万条连接记录。数据总共42项特征，前41项特征共分为四大类：TCP连接基本特征（共9种，序号1-9）、TCP连接的内容特征（共13种，序号10-22）、基于时间的网络流量统计特征（共9种，序号23-31）、基于主机的网络流量统计特征（共10种，序号32-41），最后一列是标记特征。数据在预定义的协议下（如TCP、UDP）从源IP地址到目的IP地址的传递。每个网络连接被标记为正常（normal）或异常（attack），异常类型被细分为4大类共39种攻击类型，其中22种攻击类型出现在训练集中，另有17种未知攻击类型出现在测试集中[5]。
4种异常类型分别是：
DOS（denial-of-service）拒绝服务攻击，例如ping-of-death, syn flood, smurf等；
R2L（unauthorizedaccess from a remote machine to a local machine）来自远程主机的未授权访问，例如guessing password；
U2R（unauthorizedaccess to local superuser privileges by a local unpivileged user）未授权的本地超级用户特权访问，例如buffer overflow attacks；
PROBING（surveillanceand probing） 端口监视或扫描，例如port-scan, ping-sweep等。
2.2.2 采用Hadoop平台对KDD CUP 99 dataset数据集进行数据挖掘、存储、分析[6]。首先，修改数据集格式与编码，用数据编辑工具将数据文件的编码改为“UTF-8”。然后对数据进行储存，数据存储模块由HDFS、MySql和Sqoop来实现，HDFS具有存储超大数据的能力，通过备份功能保证了数据的高可用性和系统容错性能力，作为Hadoop生态系统中的重要组件，大部分并行计算框架。MySql是传统的关系型数据库，可以利用成熟的java后台框架与前端进行数据交互。Sqoop是一种用于在Hadoop和关系型数据库（RDBMS,如MySQL或Oracle）之前传输数据的工具。使用Sqoop可以批量将数据从关系型数据库导入到Hadoop分布式文件（HDFS）及其相关系统（如HBase和Hive）中，也可以把Hadoop文件系统及其相关系统中的数据导出到关系型数据库中。本文利用Sqoop将分布式文件系统中的数据迁移到关系型数据库MySql中。最后对数据进行分析，数据分析模块由MapReduce来完成，MapReduce是Hadoop的一个核心组成框架，使用该框架编写的应用程序能够以一种可靠的、容错的方式并行处理大型集群（数千个节点）上的大量数据（TB级别以上），也可以对大数据进行加工、挖掘和优化等处理。
2.2.3 采用基于网络数据流异常检测的定量指标评估方法。网络系统是一个不断发生变化的动态系统，建立完备的安全威胁态势指标是一个很困难的问题。本文在建立威胁指标时采用主客观相结合的方法，在客观方面以对网络流数据的检测结果为事实依据，在主观方面主要借鉴专家对不同安全事件影响度的分级权重，引入安全事件权重[7]如表2.1所示：
表2.1安全事件权重表
| 事件类型 | 事件特征 | 等级 | 权重 |
| U2R | 试图获得管理员权限 | 高 | 4 |
| DOS | 试图进行拒绝服务攻击 | 较高 | 3 |
| R2L | 试图登录到主机 | 中 | 2 |
| PROBE | 网络扫描 | 低 | 1 |
对于基本的安全威胁要素，可以从网络流、主机服务请求流和服务应答流的检测结果中直接得到。以下态势要素则需要在基本要素和历史信息的基础上进行计算得到：
（1） Network Security Threat Probability(NSTProb): 由网络流检测到的安全事件对整个网络带来的理论安全威胁（在安全威胁被最后一层的检测确认之前，都认为是理论安全威胁）。通过网络流的当前检测结果和知识库中对该类事件的相关历史知识进行计算得到。网络流检测结果用result表示，，其中normal表示正常，abnormal指低于检测阈值，无法确定其为正常还是某类攻击的异常检测结果。attack表示基于包的流量异常检测模型可检出的粗粒度安全事件类型，依据本文实验数据，在文中暂且设。
（2） SubNet Security Threat Probability(SSTProb): 由主机流检测到的具体安全事件对某个分支网络带来的理论安全威胁。该理论安全威胁有可能来源于两个部分的安全事件，因此在计算时要将这两个部分都考虑进去，一是从主机流检测出的与网络流检测结果相匹配的安全事件；二是在网络流未检测出，但在主机流检测出的安全事件。对SSTProb的更新操作分两种情况，在当前时间窗口如果分支网络没有新的安全事件发生，则沿用历史值；如果有新的安全事件发生，则对该值进行更新，更新值中当前值和历史值的权重各占 50%计算公式如下:
。
（3） Host Security Threat(HST): 由主机服务行为检测到的服务异常所反映出的实际威胁，即由第四章基于服务应答流的检测得到的偏离正常行为的程度。该要素主要用于判断由主机流检测出的安全事件是否对主机的正常工作和服务产生了影响，并由此决定是否将该主机加入RealList以及对realcount的值更新。
（4） NDefenceAbility: 网络防御能力，表示从所监控大规模网络入口到各分支网络入口之间所有安全设备体现出的总体防御能力，即安全设备的防御成功率，该数值在知识库中进行记录，并在每一个时间窗口进行更新。该防御能力值也是由历史数据累积得到的一个值，它与安全防护设备对每一类安全事件的防御能力都有关，计算公式为：
其中ClassNum表示安全事件类别数。
（5） HDefenceAbility: 主机防御能力，表示从所有主机的层面所体现出来的综合安全防御能力，该要素从另一个角度反映了网络中用户的整体安全意识，是整个网络安全的一个重要组成部分，计算公式如下：
其中，当前值和历史信息值对更新值的贡献各为50%。
为了全面、客观的对网络安全状况进行评估，在态势要素之上需要建立一套合理的评估指标体系。本文网络安全威胁态势评估指标分为理论安全威胁指数、实际安全威胁指数、安全威胁范围指数和安全威胁可控度指数。
（1） 理论安全威胁指数，即网络中由网络流和主机流检测到的所有安全事件发生的可能性。具体来说主要有两部分：一部分是在大规模网络入口处由网络流检测到，但不确定是否会突破网络内部的安全防护设备并到达内部分支网络的安全事件；另一部分是能够突破安全防护设备的检测，但不确定是否会突破主机安全防护手段的安全事件。相对来说，第一部分对理论威胁指数的影响要小于第二部分，因为第二部分检测到的安全事件可以突破网络中安全防护设备的防护，也就存在着突破主机安全防护软件并对主机产生影响的可能。计算公式如下：
（2） 实际安全威胁指数，即由服务应答流的检测结果所确定的HitList当中的安全事件对网络造成的威胁，设由服务应答流异常检测后确定的事件列表为RealList,则实际威胁指数的计算公式如下：
（3） 安全威胁范围指数，以分支网络为单位，考察在某个时间窗口实际威胁传播到了整个网络中的多少个分支网络内，这是一个百分比指数，计算公式如下：
（4） 安全威胁可控度指数，网络中检测到的实际威胁有一部分是有已知解决方案的，属于可以采取措施进行控制的威胁，另外还有一部分如新攻击、新病毒之类的威胁是当前无法确认的威胁，即无解决方案可参考，本文从这个角度来考察安全威胁的可控制程度。通过该指标可以反映出安全状态在多大程度上可以被改善。这也是一个百分比指数，由安全事件检测中无法确定事件类型的异常结果所占的比例决定。整个模型中，有两处的检测结果同时包含了确定事件和异常事件结果，即网络流的检测和主机流的检测，由于网络流的检测是基于包的粗粒度检测，异常结果包含的原因较为复杂多样，因此在计算时只考虑对主机流的细粒度检测结果，计算公式如下：
NumofAbnormal和NumofEvent可在知识库全网基本信息表中查到，是在流量异常检测过程中得到的数值。
3. 研究计划与安排
第1周（2月24号-3月1号）：完成课题调研、文献阅读和外文翻译，收集相关资料。
第2周（3月2号-3月8号）：收集相关资料。
4. 参考文献（12篇以上）
[1] 龚斯谛. 基于ahp和攻击图的工控系统信息安全风险评估研究[d].南昌航空大学,2017.
[2] 管磊,胡光俊,王专. 基于大数据的网络安全态势感知技术研究[j].信息网络安全,2016，33(09):45-50.
[3] 张坤. 基于ahp和bp的信息安全风险评估研究[d].河北工程大学,2016.
课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
