1. 研究目的与意义（文献综述）
长期以来，运维人员的工作任务十分繁重，运维人员面对着大量复杂的系统报告，而分析这些报告给运维人员带来了巨大的压力。随着移动互联网的兴起，各种移动设备剧增，智能手机等设备几乎到处可见。这些设备的剧增带来了网络结构的变化，相关机构必须扩容，增加网络设备，提高计算能力，改变系统性能来面对用户规模的增长，这些也不可避免地增加了网络运维人员的压力。
对于日常的运维工作来说，一种常见的任务是网络运维人员在系统出错时分析故障出处，从大量可能的出错点中查找原因，而这种查找中相当一部分是对网络日志进行分析，在这种情况下，运维人员将会面对大量的半结构化的日志信息，从中找出故障原因。因此，对于这项常见的任务来说，运维人员需要做的工作非常多。
针对这种情况，我使用基于大数据的相关技术来对运维日志进行事件提取和分类，从各种网络设备采集到的存在于分布式系统中的非结构化的日志信息进行挖掘，给出结构化的事件描述，并将处理后的结构化的事件描述存储在系统中，以便后续研究人员可以使用此信息进行日志事件的分析。具体的分析可以是针对运维日志做出实时故障预测和告警，从而可以帮助运维人员快速了解系统故障原因，并且更加容易地给出解决方案。
2. 研究的基本内容与方案
基本内容：
1. 对事件提取相关算法进行研究，提出合适高效的日志事件提取算法，研究如何将其应用到大数据平台上，利用大数据平台的优势加速其处理过程。
2. 对大数据平台的相关技术进行研究，提出在大规模海量日志信息环境下如何进行高效分析的总体思路，给出技术方案并开发出原型系统。
3. 研究计划与安排
设计的进度安排是：
第1-2周：选题并开始做开题报告。
第3-4周：学习相关知识。
4. 参考文献（12篇以上）
4、参考文献
[1]严玉良，董一鸿，何贤芒等. fsmbus: 一种基于spark的大规模频繁子图挖掘算法[j]. 计算机研究与发展，no.8，2015.
[2]王元卓，靳小龙，程学旗. 网络大数据：现状与展望[j]. 计算机学报，no.6，2013.
课题毕业论文、开题报告、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
