一种基于机器学习的网络安全态势感知方法

本发明属于网络安全态势感知，尤其涉及一种基于机器学习的网络安全态势感知方法。

背景技术：

1、传统网络态势感知常用的分析模型包括：

2、endsley模型：endsley将态势感知分为三级，感知(perception)、理解(comprehension)和投射(projection)。感知是指系统将获取网络环境的状态，属性以及相关元素的动态信息。理解则是将感知所获取的信息进行分析，这种分析不仅仅是将所获取的信息进行单个的解读，而是根据重要程度及相关程度将信息整理融合分析获得安全态势图貌，并且随着感知的在时间序列上的变化，理解也会不断的将新的信息融合进来，形成新的安全态势图貌。投射则是通过理解所获得的态势的变化对态势中各个要素当前的状态进行评估。因此根据endsley模型定义，态势感知可以被认为是对系统对环境的一个认知过程，通过感知环境信息，对信息进行分析理解，获得当前的系统状况，分析人员对环境状态进行评估，再获取新的环境信息，构成一个循环的过程。这个过程是动态变化的，因此态势感知也是动态变化的。

3、jdl数据融合模型：jdl将融合过程分为四级，对象细化、态势细化、风险细化和过程细化。对象细化通过结合位置、参数和身份信息来表达个体对象。态势细化则描述了在态势中对象与事件之间的通信影响、纵向横向关系和上下文规律等联系，其重点是研究关联的信息。风险细化则是根据目前的状况预测未来，其技术难度在于不仅要计算可能的结果，还要将结果转换成入侵的意图、技术、威胁程度和当前态势。过程细化则是指这个过程将关注其他过程的执行，即实时监控数据融合过程，确定需要什么样的信息来改善信息融合的产物，确定数据源收集有关信息的要求，以及分配和指导数据源来实现目标任务。

4、ooda控制循环模型：ooda将态势感知循环过程分为四个阶段，观察(observe)、导向(orient)、决策(decision)、行动(act)。ooda建立了一个环形结构，在网络中的物理域、信息域和认知域三个层次进行连续的态势感知。首先，观察是从物理域跨越到信息域，是指信息的收集。导向和决策属于认知域，它包含从信息域收集结构化元素并对其整合分析理解，并输出决策信息返回到信息域。行动从则是从信息域返回物理域，完成循环。ooda在完成一个循环的同时，也对下一个循环做出了补充与修正，这种动态循环的过程能够更全面的进行态势感知。

5、基于机器学习的网络安全态势感知包括：

6、markov模型：markov模型是一种随机化方法，用于描述从一种状态到另一种状态的转变，其概率与各种状态变化相关，该预测模型的核心思想是将历史数据中当前状态转移概率最大的状态作为下一状态。

7、支持向量机(support vector machine,svm)：svm广泛用于分类和回归问题，它是在结构风险最小化与现代统计学理论基础上形成的，它将输入空间向量映射到高维特征空间，即将低维特征空间中的非线性回归问题转换为高维特征空间中的线性回归问题。

8、神经网络(neural networks,nn)：神经网络是一种模拟人脑以期能够实现类人工智能的机器学习技术，典型的神经网络由输入层、隐含层和输出层三层结构组成。

9、基于深度学习的网络安全态势感知包括：

10、循环神经网络(recurrent neural networks,rnn)：在传统的神经网络中，输入层和输出层之间是相互独立的，但在网络安全态势感知预测中，未来时间态势是依赖于历史试课的态势，因此rnn对所有节点执行相同的操作，并且当前时刻的输出依赖于之前的计算结果，所以层与层之间是全连接的，而且前后时序之间隐含层的结点也是相互连接的，因此rnn能够充分利用任意长度序列中的信息，从而保证预测的准确性。

11、长短期记忆网络(long short term memory,lstm)：lstm是一种改进后的rnn，它可以解决rnn无法处理长时依赖的问题，并有效克服此前存在的梯度消失的问题，适合处理时序数据和时延较长的任务。

12、基于分布式多传感器数据融合模型：2000年，bass提出了基于分布式多传感器数据融合的方法进行态势评估，该模型是在ooda控制循环模型之上建立起来的一个态势感知模型，它基于入侵检测模型进行网络安全态势感知。该模型融合低层次的安全事件警告信息，提炼出高层次的态势信息，并依据态势信息做出新的数据模型，用于产生过去未知的知识。并且，在知识的表达上，bass区分了例如模式、算法和数学变换表示的过程式知识以及陈述式知识。但当系统十分复杂即数据流非常大的时候，会使得模型无法有效的进行态势感知。

13、基于改进的afsa-twsvm二叉树多分类模型的网络安全态势评估模型：该模型分为三个步骤。①计算网络安全态势感知数据集中的各类样本的特征平均值，作为该类别的聚类中心，获取五个等级类别的聚类中心oi。②分别计算每个聚类中心到其他聚类中心的距离之和，并将得到的值排序，将和为最大值所属的类别放至第一位并将其聚类中心记为o1，此时剩余四个类别，重复②，排序后取四个中的最大值并记为o2，重复第二步至获取5个重新排序的聚类中心。③将聚类重心o1所对应的样本标记为+1类，o2，o3，o4,o5聚类重心所对应的样本标记为-1类。采用改进的afsa-twsvm算法训练分类模型，得到根节点的分类器。将剩下的采用同样的操作，依次按照oi排列的顺序不断构造二叉树子节点的分类器，直到所有分类器构造完成。

14、基于sa-hhga优化的rbf神经网络算法：该算法分为九个步骤。①根据网络安全态势预测样本确定rbf神经网络的输出层结点个数l和输出层结点个数o，设定最大隐含层节点数量l，根据k-means确定隐含层结点的基函数中心和扩展常数。②采用二进制编码以及实数编码分别对控制基因以及参数基因进行编码，设定初始种群大小q，最大进化代数为g，当前进化代数为gc＝1，模拟退火起始温度为t0＝g，当前温度tc＝t0。③根据初始种群q中每个个体的染色体构建rbf神经网络隐含层，使用最小二乘法确定输出层权值，确定rbf神经网络参数。④根据网络输出的态势值y和诗经评估的态势值y，以及当前神经网络隐含层结点的数量，计算个体的适应度值。⑤判断是否满足最优个体适应度小于阈值，若满足则停止计算确定rbf网络模型，否则转⑥。⑥判断当前进化代数是否达到最大进化代数，若满足则停止计算确定rbf网络模型，否则转⑦。⑦对当前种群进行遗传操作，对染色体进行选择，根据自适应算子调整交叉概率与变异概率，开始交叉和编译操作。⑧产生中间种群，当前代数gc＝gc+1。⑨对中间种群进行模拟退火，得到新一代的种群，将tc＝t0/tc，转③。

15、基于endsley认知模型的态势感知层次清晰直观，广泛应用于各个领域的态势感知模型和框架设计当中，但该模型需要通过建立完整的安全态势图貌，才能评估当前或未来的网络安全状态，态势感知的结果仍然具有滞后性，难以达到事前预防的结果。jdl模型与ooda模型有相似之处，ooda模型的前三个阶段，观察、导向和决策与jdl融合的前三个阶段，对象细化、态势细化和风险细化比较相似，虽然他们的分工不如endsley模型明确，但能更好的适应复杂的网络环境。

16、基于分类的机器学习方法属于监督学习的范畴，有监督学习的一个重要问题是训练数据必须为有标签数据，在实际应用中获取有标签的网络数据是比较困难的，有时甚至是不可能的，更多情况下获取的网络数据是无标签的，因此如何使用较少的不带标签的流量数据和大量无标签流量数据进行半监督的训练是改进的一个方向。

17、对于afsa-twsvm的算法模型对于小样本研究与分析有较好的输出结构，但是当面临真正复杂的网络空间时，数据量的增大会导致模型难以使用。而对于基于sa-hhga优化的rbf神经网络算法，虽然能够使模型有一定的概率跳出局部最优的搜索转而进行全局最优的搜索，但无法保证每次算法获取的参数都是全局最优。

18、总的来说，大部分网络安全态势感知方法都是将环境中所获取的数据从中选择相对独立，与态势相关度高的网络指标进行融合整理，以此获得网络安全态势图貌，而在网络已经遭受严重攻击，出现严重问题之前，所得到的图貌都是正常的，当网络已经被攻击完毕后，态势感知所得出的结果仅仅是帮助决策人员解决网络遭到攻击后的出现的问题，是一种事后补偿的策略，而难以预防或者预测到可能到来的威胁。

技术实现思路

1、针对上述技术问题，本发明提出一种基于机器学习的网络安全态势感知方案。

2、本发明第一方面公开了一种基于机器学习的网络安全态势感知方法。

3、所述方法包括：

4、步骤s1、获取用于进行安全态势感知的网络数据，对所述网络数据进行预处理，所述预处理包括去噪处理和属性关联处理，从而得到所述网络数据的样本数据；

5、步骤s2、对所述样本数据进行聚类，根据聚类中心之间的距离对各个聚类中心进行排序，并划分正类样本数据和负类样本数据；

6、步骤s3、利用所述正类样本数据和所述负类样本数据训练基于人工鱼群算法的支持向量机模型并保存最优参数，利用具有所述最优参数的基于人工鱼群算法的支持向量机模型进行安全态势感知。

7、根据本发明第一方面的方法，在所述步骤s1中：所述去噪处理指去除所述网络数据中除ip地址、mac地址、资产价值、峰值流量、平均流量、最小流量、报警次数、报警频率和事件类别之外的冗余数据；所述属性关联处理指为经去噪处理的每一条网络数据增添价值属性、运行状态属性和防御优先级属性，以得到所述样本数据。

8、根据本发明第一方面的方法，在所述步骤s2中：

9、通过对所述样本数据进行聚类获取五个聚类中心：安全事件、一般网络安全事件、较大网络安全事件、重大网络安全事件、特别重大网络安全事件，其安全等级从高到低；

10、分别计算每个聚类中心到其他聚类中心的距离之和，将所述距离之和按照降序，得到五个聚类中心的排序o1-o5，将o1作为所述正类样本数据，将o2-o5作为所述负类样本数据。

11、根据本发明第一方面的方法，在所述步骤s3中，训练所述基于人工鱼群算法的支持向量机模型包括：

12、设置参数并进行初始化：设置人工鱼群算法的种群规模n、感知距离visual、最大迭代次数trynumber、移动步长step，设置支持向量机的惩罚系数c，并初始化人工鱼xij(cij,σij)；

13、将支持向量机的分类精度作为各个人工鱼xij的实物适应度值，计算初始鱼群的食物浓度值并比较大小，保存最大值及其对应的人工鱼xpq(cpq,σpq)；

14、对每条人工鱼xij执行改进的人工鱼全算法，执行完毕后计算当前鱼群的最大食物浓度值，与原先的最大值进行比较，保留二者中较大的值和对应的人工鱼；

15、判断是否达到最大迭代系数，若是，则保留最优参数pi(c,σ)，将pi作为第i类与其他类分开的支持向量机的输入参数。

16、本发明第二方面公开了一种基于机器学习的网络安全态势感知系统。

17、所述系统包括：

18、第一处理单元，被配置为：获取用于进行安全态势感知的网络数据，对所述网络数据进行预处理，所述预处理包括去噪处理和属性关联处理，从而得到所述网络数据的样本数据；

19、第二处理单元，被配置为：对所述样本数据进行聚类，根据聚类中心之间的距离对各个聚类中心进行排序，并划分正类样本数据和负类样本数据；

20、第三处理单元，被配置为：利用所述正类样本数据和所述负类样本数据训练基于人工鱼群算法的支持向量机模型并保存最优参数，利用具有所述最优参数的基于人工鱼群算法的支持向量机模型进行安全态势感知。

21、根据本发明第二方面的系统，所述去噪处理指去除所述网络数据中除ip地址、mac地址、资产价值、峰值流量、平均流量、最小流量、报警次数、报警频率和事件类别之外的冗余数据；所述属性关联处理指为经去噪处理的每一条网络数据增添价值属性、运行状态属性和防御优先级属性，以得到所述样本数据。

22、根据本发明第二方面的系统，所述第二处理单元具体被配置为：

23、通过对所述样本数据进行聚类获取五个聚类中心：安全事件、一般网络安全事件、较大网络安全事件、重大网络安全事件、特别重大网络安全事件，其安全等级从高到低；

24、分别计算每个聚类中心到其他聚类中心的距离之和，将所述距离之和按照降序，得到五个聚类中心的排序o1-o5，将o1作为所述正类样本数据，将o2-o5作为所述负类样本数据。

25、根据本发明第二方面的系统，训练所述基于人工鱼群算法的支持向量机模型包括：

26、设置参数并进行初始化：设置人工鱼群算法的种群规模n、感知距离visual、最大迭代次数trynumber、移动步长step，设置支持向量机的惩罚系数c，并初始化人工鱼xij(cij,σij)；

27、将支持向量机的分类精度作为各个人工鱼xij的实物适应度值，计算初始鱼群的食物浓度值并比较大小，保存最大值及其对应的人工鱼xpq(cpq,σpq)；

28、对每条人工鱼xij执行改进的人工鱼全算法，执行完毕后计算当前鱼群的最大食物浓度值，与原先的最大值进行比较，保留二者中较大的值和对应的人工鱼；

29、判断是否达到最大迭代系数，若是，则保留最优参数pi(c,σ)，将pi作为第i类与其他类分开的支持向量机的输入参数。

30、本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面所述的一种基于机器学习的网络安全态势感知方法。

31、本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面所述的一种基于机器学习的网络安全态势感知方法。

32、综上，在本发明提出的技术方案中，通过在预处理数据过程中，不仅仅采集网络的基础运行、脆弱性、威胁性、和风险性指标来量化网络安全态势值，还增加了网络中各个设备的运行情况指标以及设备与设备，设备与网络空间的关联情况指标，解决了网络中难以提前检测到有可能到来的攻击的问题。