个完整智能的能够反映网络安全态势的基础源数据库。
[0039]2.实时数据驱动的网络安全态势决策方案
[0040]来自底层的实时数据往往具备多种类型，例如网络流量、设备日志、安全报告等，对这些数据的分析处理往往存在秒级甚至分钟级的延时，以至于安全态势分析结果不能实时展示，从而降低了安全监控的有效性。因此，针对实时展示需求，提出了历史与实时联动分析的解决方案，提出利用联动的数据分析代替静态的数据处理，利用历史数据的经验协助现在的实时数据的安全决策。
[0041]基于以上的方案，采用实时计算系统Storm与分布式计算系统Hadoop相结合的技术路线。其中，分布式计算系统Hadoop主要用于对历史数据(即前文提到的每季度网站扫描评估报告和每季度主机扫描评估报告)的分析，实时计算系统Strom则用于对于实时数据的处理与推送。
[0042]分布式计算系统Hadoop整合从底层收集的多维数据，根据定期输入的历史数据(即前文提到的每季度网站扫描评估报告和每季度主机扫描评估报告)，进行数据预处理，并利用聚类与融合、关联分析、熵分析、态势预测等大数据处理方法，从大量的、动态的、模糊的信息安全数据中寻找数据关联性，学习网络异常特征，形成网络安全特征知识库。比如可以从数据中抽取出关键的安全特征项，包括IP源地址、IP目标地址、事件名称、事件类别、安全等级、漏洞代号等;之后，建立数据库表结构，将这些安全特征项存储在多个表项中，形成初始的安全特征库;该初始的安全特征库会定期更新。随着源源不断的数据接入，Hadoop不断更新迭代分析结果，并发现新威胁或进行预测。
[0043]实时计算系统Strom接收实时数据，根据前端业务需求提取关键信息项，并进行必要的归并与丢弃。同时，与网络安全特征知识库进行模糊或精确匹配，如果匹配成功，则将网络安全态势评判结果以WebSocket的形式推送给前端进行展示。
[0044]具体地，当实时计算系统Strom处理完一条实时数据后，提取出相关的安全特征项，与上述初始安全特征库进行特征匹配，匹配的过程如下:
[0045]I)根据IP目标地址，若IP目标地址与网络安全特征知识库中的危急主机IP匹配，则定义该主机安全态势为危机，向上层(前端可视化层)递交结果，并将该主机出现的危急次数加I;
[0046]2)根据该条数据的安全等级，若为低，则直接过滤;若为中，则根据安全事件规则编号匹配该条安全事件属于何种类别;若为分布式拒绝服务攻击(DDOS)，则定义该主机安全状态为危机，向上层递交结果;若为探测扫描攻击，则探测扫描计数器加I，直到达到阈值才将相应的安全事件类型视为高危，向上层递交结果；
[0047]3)网络安全特征知识库维护一张安全事件-漏洞对应表，一般情况下，存在相关漏洞的主机遇到对应安全事件的攻击，大概率会产生严重的后果，因此，当接收到一条安全事件时，在安全事件-漏洞对应表中查找该安全事件的目的主机是否存在相关漏洞，若存在，则将该主机定义为危机状态，同时在危急主机IP表中做特别标注。
[0048]3.海量数据可视化方案
[0049]该方案主要解决如何将海量高维数据以图形图像的方式表现出来，通过在人与数据之间实现图像通信，使人们能够观察到网络安全数据中隐含的模式，能够快速发现规律并发现潜在的威胁。本发明实现的海量数据可视化方案主要分为以下内容:
[0050]I)基于网络实时流量的网络安全可视化
[0051]由于端口扫描、蠕虫攻击、拒绝服务攻击等安全事件在流量方面具有明显的一对一、一对多或多对一的特征，因此，此类攻击事件往往在流量方面出现明显的异常，显示网络流量可以帮助网络安全分析人员快速发现网络攻击，更好地防范和抵御网络入侵事件。因此，采用点对点攻击线条的可视化显示方式，显示包括原IP地址、目的IP地址、源端口、目的端口、协议、时间、攻击类型等信息。同时，在使用该技术的同时辅助其他方法，如采用颜色映射表示不同类型攻击事件等。
[0052]2)基于历史报告的网络安全可视化
[0053]除了实时流量，海量的历史报告也需要根据不同安全需求进行不同维度的可视化展示。包括:全国范围内，主机的安全态势分布/网站安全态势分布;不同安全域下，主机的安全态势分布/网站安全态势分布;IP地址与安全风险值分布关系；网站与安全风险值分布关系等。
[0054]具体的，本发明的安全数据可视化平台可以实现全球动态攻击图、国内动态攻击图、国内安全态势图、全国安全漏洞分布图、公告栏及其他功能等多种可视化内容，如图8所不O
[0055]a)功能页面一:国内动态攻击图
[0056]全国范围内的实时攻击，展示国内各机构、中科院、中科院各研究所之间的相互攻击，在中国地图上显示攻击源1、攻击路径2和攻击目标3，如图9所示。同时在页面四个角落(未在图中示出)分别显示攻击源(ToplO，按发动攻击次数计算)排行榜、攻击目标(ToplO，按发动攻击次数计算)排行榜、实时攻击信息(包含时间、攻击源、攻击源IP、攻击目标、目标IP、攻击类型、攻击端口等)、攻击类型排行榜(ToplO，按攻击类型计算)。
[0057]b)功能页面二:全球动态攻击图
[0058]全球范围的实时攻击，展示全球各个国家对中科院13分院及其合作单位的攻击，在世界地图上显示攻击源、攻击路径和攻击目标，页面布局同上。
[0059]c)功能页面三:国内安全态势图
[0060]页面布局分为左中右三个部分，两侧各三个图标，中间为中国地图。左侧上方为中科院风险值最高的八个研究所，中间为网站漏洞情况，下方循环显示风险值最高的四个网站;右侧上方循环显示各分院的安全态势，中间为主机漏洞情况，下方循环显示风险值最高的四个主机；中国地图上按照风险值的不同显示不同颜色的12分院标记。
[0061 ] d)功能页面四:全国安全漏洞分布图
[0062]页面分为左右两部分，左侧上方为扫描到的安全漏洞情况，数字随机增加到相应的漏洞数量，中间循环展示全国漏洞数量排名(TopS)、Sql注入漏洞排名(TopS)、跨站脚本注入漏洞排名(TopS)等图表，下方循环显示中科院一百多个研究所的安全漏洞情况;右侧中国地图上循环显示全国安全漏洞、Sql注入漏洞、跨站脚本注入漏洞等。
[0063]e)功能页面五:公告栏及其他功能
[0064]页面分为上方、左下、右下三部分，上方为五个功能图标，点击切换到相应的功能页面，左下方循环展示公告，右下方显示安全公告和安全漏洞，可使用标签栏切换，页面最下方显示版权信息。
[0065]4.实时数据网络安全态势分析设计实现(Storm部分)
[0066]本发明中分布式计算系统Hadoop可以采用现有技术实现，故不再具体说明。该第4部分主要说明实时计算系统Storm的具体实现。
[0067]在Storm中，先要设计一个用于实时计算的图状结构，称之为拓扑(Topology)。这个拓扑将会被提交给集群，由集群中的主控节点(Master node)分发代码，将任务分配给工作节点(Worker node)执行。一个拓扑中包括Spout(数据容器)和Bolt(处理单元)两种角色，通过Stream groupings(流分组策略)将拓扑中的Spouts和Bolts连接起来，其中Spout发送消息，负责将数据流以Tuple元组的形式发送出去；而Bolt则负责转换这些数据流，在Bo11中可以完成计算、过滤等操作，Bol t自身也可以随机将数据发送给其他Bolt ο由Spout发射出的Tup I e是不可变数组，对应着固定的键值对。
[0068]本发明开发设计了 IPTopology (IP解析拓扑)，其是由KafkaSpout、ReadBolt、IPBolt、Rol ICountBolt、FieldRankBolt 以及GlobalRankBo It这些模块通过ShuffleGrouping(随机分组)、Fields Grouping(按字段分组)以及Global Grouping(全局分组)连接起来形成的拓扑图。IPTopology主要完成KafkaSpout的配置，向拓扑图中添加Spouts和Bolts，完成运行模式的配置等任务。本发明使用Storm自带的KafkaSpout作为数据源。Kafka是一种分布式的消息处理机制。
[0069]4.1整体处理逻辑
[0070]通过Storm实现的实时数据网络安全态势分析的整体处理逻辑如图2所示，包括如下步骤，其中 KafkaSpout、ReadBolt、IPBolt、RollCountBolt、Fi eldRankBol t 以及GlobalRankBolt这些模块的具体实现将在后文说明:
[0071 ] 1.KafkaSpout不断从外部数据源读取攻击记录，并将攻击记录发射给ReadBolt。
[0072]2.ReadBoIt分析出攻击记录中的攻击源和攻击