一种大数据驱动的网络安全态势监测及可视化方法
【技术领域】
[0001]本发明属于网络技术、信息安全技术领域，具体涉及一种大数据驱动的网络安全态势监测及可视化方法。
【背景技术】
[0002]当代信息技术的发展推动了数据的产生、收集、传输、共享与分析，使得科学与工程研究日益成为数据密集型的工作。伴随着网络流量的日益增加，攻击的类型和复杂度也逐渐提升，部署在网络上的各种安全系统、设备和平台所提供的安全数据具有广泛分布、跨组织、格式差异大、海量、非数值型等特点，数据维度从单一维度提升至多维，无论从存储还是计算方面，都不能利用传统的存储整合技术完成网络安全态势的实时精确判断。
[0003]另一方面，高维海量的数据增加了安全人员的工作难度:(I)认知负担过重，通过传统的日志分析方式分析人员在一天有限的时间内很难对上亿条报警做出详尽的分析和判断；(2)交互性不够，当发现可疑事件时，现有的分析方式不能够提供相关数据过滤、事件细节显示等功能以帮助分析人员作出进一步有效的判断；(3)缺乏对网络全局的认识，分析人员往往看到的都是单一的数据记录，很难识别出一些复杂的、协作式的和周期漫长的网络异常事件。(4)基于传统数据库的日志分析难以发现一些新的攻击模式，不能提前对攻击的趋势做出预测或提前防范。
【发明内容】
[0004]基于以上的问题，本发明提出了一种实时大数据驱动的网络安全态势监测及可视化方法，能够有效地监测网络安全态势，并全方位展现网络安全态势的可视化结果。
[0005]本发明采用的技术方案如下:
[0006]—种大数据驱动的网络安全态势监测及可视化方法，包括如下步骤:
[0007]I)提取不同维度的网络安全基础数据，包括实时数据和历史数据；
[0008]2)采用实时计算系统Storm与分布式计算系统Hadoop对网络安全基础数据进行存储和处理，其中Hadoop用于处理历史数据，Strom用于处理实时数据；
[0009]3)分布式计算系统Hadoop利用大数据处理方法从历史数据中抽取出关键的安全特征项，并建立数据库表结构，形成网络安全特征知识库；
[0010]4)实时计算系统Strom从实时数据中提取出相关的安全特征项，将其与所述网络安全特征知识库进行特征匹配，并根据匹配结果判定网络安全态势；
[0011 ] 5)对实时计算系统Strom判定的网络安全态势进行动态可视化展示。
[0012]进一步地，步骤I)所述不同维度的网络安全基础数据包括网站、主机、经玮度、IP地址、漏洞、安全等;所述历史数据包括每季度网站扫描评估报告和每季度主机扫描评估报生口 ο
[0013]进一步地，步骤2)对于实时数据的处理过程是:首先将实时数据将发送至海量日志聚合系统Flume，同时在HDFS系统上进行数据备份;Flume将收集到的实时数据发送至分布式消息系统Kafka以做进一步处理；经过Kafka处理后的数据流逐条送入实时计算系统Storm，在Strom中完成所有的实时业务逻辑;最后将处理结果以类似桟的形式压入Redi s存储系统，同时Web前端从Redis中提取结果并进行显示。
[0014]进一步地，步骤2)对于历史数据的处理过程是:将历史数据送至预处理整合模块进行简单的格式处理后，送到分布式计算系统Hadoop进行大数据分析处理，然后将统计的简单数据存至Mysql数据库，将非结构化的数据存储至Hbase数据库，Web前端无需再进行逻辑处理，直接读取数据库中的数据进行展示。
[0015]进一步地，步骤3)所述大数据处理方法包括下列中的一种或多种:聚类与融合、关联分析、熵分析、态势预测;所述安全特征项包括:1P源地址、IP目标地址、事件名称、事件类另U、安全等级、漏洞代号。
[0016]进一步地，步骤5)所述可视化展示包括基于网络实时流量的网络安全可视化和基于历史报告的网络安全可视化，具体的可视化展示的内容包括全球动态攻击图、国内动态攻击图、国内安全态势图、全国安全漏洞分布图、公告栏及其他功能等。
[0017]本发明的有益效果如下:
[0018]本发明为了实现强大的底层分析能力，采用了Hhadoop+Storm分布式架构;为了全面完整反映网络安全态势，提取了网站、主机、经玮度、IP地址、漏洞、安全事件等不同维度的网络安全基础数据;为了得到实时有效的安全态势评判结果，建立了自学习的安全异常特征库;为了全方位展现网络安全态势结果，采用了动态可视化技术。
[0019]本发明借助强大的底层分布式存储与并行计算能力，智能化处理各个网络流量和来自各种安全设备的安全日志，得出当前最有效的网络安全态势评判标准，并在实时数据的驱动下进行实时评判筛选，将结果快速可视化，使安全分析人员能够在第一时间监测当前全网的全局安全态势、关注重点风险舆情。
【附图说明】
[0020]图1是本发明整体方案的技术架构图。
[0021]图2是Storm实现的实时数据网络安全态势分析的整体处理逻辑图。
[0022]图3是ReadBolt模块的处理流程图。
[0023]图4是IPBolt模块的处理流程图。
[0024]图5是RolICountBolt模块的处理流程图。
[0025]图6是FieldRankBolt模块的处理流程图。
[0026]图7是GlobalRankBolt模块的处理流程图。
[0027]图8是海量数据可视化方案示意图。
[0028]图9是国内动态攻击图示意图。
【具体实施方式】
[0029]下面通过具体实施例和附图，对本发明做进一步说明。
[0030]本发明的实时大数据驱动的网络安全态势监测及可视化方法，其整体技术架构如图1所示，其总体上采用hadoop+storm分布式架构，以实现强大的底层分析能力。本发明的基础数据源主要包括:安全设备实时数据，每季度网站扫描评估报告(HTML)，每季度主机扫描评估报告(HTML)。其中安全设备实时数据可以采用网络中心的IDS( Intrus1nDetect1n Systems入侵检测系统)数据等。
[0031]如图1所示，从硬件层面的数据收发服务器收集上述三种数据，其中，实时数据(如SYSLOG，即系统日志)将发送至Flume，同时，在HDFS上进行数据备份。Flume根据定制方案收集到数据后，将其发送至Kafka，进行进一步处理。Flume是一种海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据，同时，提供对数据进行简单处理，并写到各种数据接收方(可定制)的能力。Kafka是一种分布式消息系统，可以处理消费者规模的网站中的所有动作流数据，根据吞吐量的要求而通过处理日志和日志聚合来解决。经过Kafka处理后的数据流将逐条送入实时计算系统Storm，在Strom中，完成所有的实时业务逻辑，比如IP地址-机构信息匹配、地理定位、安全事件类型分类统计、高危研究所信息提取等。最后，将这些处理结果以类似栈的形式压入Redis存储系统，同时，Web前端从Redis中提取结果显不O
[0032]而每季度网站扫描评估报告(HTML)和每季度主机扫描评估报告(HTML)，即图1中的Net.log和Server, log，将送至预处理整合模块进行简单的格式处理后，送到分布式计算系统Hadoop进行大数据分析处理，处理的过程包括聚类、关联、统计等，为了提高分析结果的存储效率，将统计的简单数据存至Mysql数据库，而将非结构化的数据(即图1中的非关系型数据)将存至Hbase数据库，Web前端无需再进行逻辑处理，直接读取数据库中的数据展示即可。
[0033]下面说明本发明技术方案的详细设计。
[0034]1.多维网络安全态势数据的提取、整合与存储方案
[0035]目前中国科学院已在各所部署大量探针用于提取互连网络设备的安全日志和网络流量，将其格式化统一存储于传统数据库或存储设备。这种强制格式化将丢失一些关键信息，并且，为了迎合传统的关系型存储模式，必然给数据查询与分析机制带来很大程度的局限性。
[0036]因此，本发明通过分析各类数据的特点，以保留最完整原始数据为目标，建立多维模型完成维和度量的映射，得到能够反映网络安全态势的全方位数据。而这些数据的存储，则使用HDFS+Mysql+Hbase的多层次存储。
[0037]实时数据与流量接入后，经过简单处理并完成归类，分发到各个接收方消息队列中，等待下一步的存储处理。每个消息队列以topic(会话)为标志进行管理，发布到每个topi C的消息会被均勾的分布到多个parti t 1n (区域)，在接收到订阅消息时，将数据流发布到实时计算系统Storm中，为了系统的可靠性，同时进行HDFS存储。
[0038]静态数据/历史数据接入后，进行关键词提取与预处理，根据内容/数据格式分类存储，形成一