一种应用于信息安全运维管理的大数据分析的制作方法
【技术领域】
[0001] 本发明涉及信息安全技术和大数据分析技术领域，尤其涉及到信息系统的安全态 势感知的系统与方法。
【背景技术】
[0002] 随着计算机信息化应用的不断普及和深入，信息系统已经成为支撑各行各业运作 不可缺少的一部分，然而，多层面的安全威胁和安全风险也不断出现。对于一个企业的信息 系统，在信息安全层面，除了访问控制、入侵检测和身份认证等基础技术手段之外，还需要 信息安全运维管理人员能够及时感知信息系统中的异常事件与整体安全态势。对于信息安 全运维管理人员来说，如何从信息系统海量的网络流量中找到最有价值、最需要处理和解 决的信息安全问题，从而保障信息系统的安全状态，是他们最关心也是最需要解决的问题。 与此同时，对于信息安全运维管理者而言，如何描述当前信息系统安全形势的整体状况，如 何预测和判断风险发展的趋势，如何指导下一步的信息安全建设与规划，则是一道持久的 难题。
[0003] 随着大数据技术的逐渐成、应用和推广，大数据技术特有的海量数据挖掘、分布式 等特点，为各行各业的信息系统的异常感知的关键技术创造了突破性的机遇。
[0004] 为此，如何解决信息系统安全运维管理所面临的问题，以及设计出一种用于信息 安全运维管理的大数据分析方案，使得它能够检测出信息系统所存在的已知的网络攻击和 未知的网络攻击即成为尤其是信息系统安全运维管理设计上必须要解决的一个重要课题。
【发明内容】
[0005] 有鉴于此，本发明的主要目的在于提供一种应用于信息安全运维管理的大数据分 析。采用大数据分析技术，实现对信息系统的各种网络网络攻击的感知，无论是已知的网络 攻击，还是未知的网络攻击。
[0006] 为达到上述目的，本发明的技术方案是这样实现的： 本发明提供的一种应用于信息安全运维管理的大数据分析，该方法包括： 构建P2P网络，从SNMP中选择能反映网络实时状态快照的SNMP特征，通过分布式数据 聚类算法为各节点找到收敛效果最佳的SNMP特征之值，计算的SNMP观测，确定所存在的网 络攻击。
[0007] 上述方案中，所述P2P网络，由多个采集终端所组成。
[0008] 上述方案中，所述采集终端，负责通过SNMP采集信息安全设备、路由器、交换机和 服务器的网络流量统计数据。
[0009] 上述方案中，所述SNMP特征选择，由基于相关性的特征选择算法实现，所选择的 SNMP特征包括但不仅限于如下14个相关属性： 侦听状态时的TCP进程数量、开放TCP连接的数量、等待状态时的TCP连接数量、已建 立状态时的TCP连接数量、已接收到SYN状态时的TCP连接数量、等待FIN状态时的TCP连 接数量、开放TCP连接的远程地址的数量、第1台主机与大部分主机的TCP连接数、第2台 主机与大部分主机的TCP连接数、第3台主机与大部分主机的TCP连接数、大部分连接的本 地TCP端口、端口的连接的数量、大部分连接的第2个本地TCP端口、发送TCPRST段的数 量。
[0010] 上述方案中，所述计算的SNMP观测，由收敛效果最佳的SNMP特征的值来实现。
[0011] 上述方案中，所述确定所存在的网络攻击，包括已知的网络攻击和未知的网络攻 击，通过分析SNMP观测来实现。
[0012] 本专利提供一种基于SNMP统计观测的分布式数据挖掘的大数据分析来检测网络 中恶意流量的方法，解决了无法直接对未知的网络攻击进行检测的难题。
[0013]
【附图说明】
[0014] 图1为本发明所述的应用于安全运维管理的大数据分析的分布式智能系统架构； 图2为本发明所述的应用于安全运维管理的大数据分析的流程图。
[0015]
【具体实施方式】
[0016] 下面是根据附图和实例对本发明的进一步详细说明： 图1为本发明所述的应用于安全运维管理的大数据分析的分布式智能系统架构。它 由多个数据采集终端100160所组成，这些采集终端构成了P2P网络。每一个采集终端均有 能够彼此相互通信的多个邻居。因此，每一个采集终端都是P2P网络上的一个节点。通过 SNMP协议，每一个采集终端能够采集服务器、工作站、路由器、交换机、IDS、IPS、防火墙等设 备上的数据。采集的数据包括网络流量的统计，由采集终端周期性地轮询服务器等设备上 的SNMPAgent而得到的。也从采集终端上采集SNMP数据，为了整个系统的安全。在数据 采集的过程中，P2P网络中的所有节点启动一个分布式数据聚类算法，使用自己的SNMP观 测作为一个局部数据集。分布式数据聚类算法的目标就是将一些所谓的"全局数据"分配到 其它的一些簇中，且这些簇由若干组类似的数据实例所组成。所述簇应该具有这样的特征， 使得在同一个组内的两个观测是非常相似的，而属于不同簇的两个测量是完全不相同的。
[0017] 每个簇对应于一个特定的网络流量，这个特定网络流量要么表示一个有规律的网 络活动，要么表示一个对主机或部分网络攻击的存在。
[0018] 然而，一个节点知道某个簇对应于一个特定的网络威胁之后，例如，DoS、或对SSH 密码的暴力攻击或其他。它可以使用这个信息来检测那个威胁。当采集SNMP观测时，如果 它们中的某些落入到已经知道对应于一个攻击的簇，则节点就立即向受影响的主机和/或 系统管理员发送告警，为了告知用户或激活适当的安全对策。随着时间的推移，通过周期性 重复执行分布式聚类算法，以前未知的攻击类型可以确定和潜在的概念漂移的问题也被解 决了。
[0019] 为了更好地理解本专利所提供的系统架构(如图1所示)，我们引进了以下公式： N表示P2P网络的节点数量，它们之间的对称的邻居关系，例如，（n，），当且仅当，n和是 邻居。由此产生的图G= (N，E)描述了P2P网络的拓扑结构。
[0020] 通过周期性地轮询SNMPAgent，每个节点逐步充实其观测数据集的。所有的数据 集属于一个观测域D。每一个观测，由一个数组（，…，）所组成，数组中的每一个元素被标有 一个时间戳和所观测主机h的一个唯一的标识符(例如，IP地址)，以及包含主机h在时刻t 的m个网络流量统计指标值。
[0021] 在某些时候，分布式数据聚类算法是运行在整个P2P网络。当该算法运行时，任何 一个节点，应该仅与该节点在P2P网络中的邻居Adj(n)子集进行通信，
[0023] 分布式算法每次运行之后，每个节点获得一个本地数据集分成k个簇，，…，。更 一般地，该簇算法生成了一个由一个函数组成的数学模型：，分配测量到某一个簇中，依次 地，该簇被归于到某一个可能的网络流量情况中（正常的网络流量，或某种类型的网络攻 击)。依靠所采用的算法，在该算法运行结束，在P2P网络中所有的节点都得到一个完全同 样的模式，或聚集的数据可能略有不同的方式，带来了一定程度的不确定性到所建议的攻 击检测装置。
[0024] 图2为本发明所述的应用于安全运维管理的大数据分析的流程图。200如图1所 示。210选择SNMP特征，一般地，通过SNMP能够得到各种不同的关于网络流量的统计数据： 连接的信息(例如，它们的数量，它们的状态，等)、包、主机、被交换流量的字节数量等。这些 数据均是每一个SNMP观测所包括的；然而，利用所有的这些通过SNMP