一种基于对比学习的网络异常流量检测方法

本发明涉及网络异常流量检测研究领域，具体涉及一种基于对比学习的网络异常流量检测方法。

背景技术：

1、随着互联网的不断发展，网络传输业务流量日趋增加，各种攻击事件和网络异常现象更是层出不穷，如何有效地监测网络异常行为和网络异常流量是当前网络空间安全面临的严峻问题。异常流量有许多类型，可能是黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件等。如果网络流量出现异常，那么将危害整个网络，所以必须及时发现流量异常，以将损失降到最少。

2、近年来，传统的机器学习算法已经广泛应用到网络异常流量检测中，如k邻近算法、随机森林算法、朴素贝叶斯等。这些方法虽然能够识别一定的异常但是都存在难以表达复杂函数、泛化能力低的问题。在复杂的网络环境中，这些方法的性能将会大大降低，因此研究人员又将深度学习的算法引入到流量异常检测中，例如卷积神经网络、循环神经网络等。但随着发展，异常流量与正常流量之间的边界慢慢变得更加模糊，导致了错误检测的增加，阻碍了检测模型的进一步优化。在最近的研究中，研究人员发现对比学习能够学习样本之间的相似性和差异性，在数据中挖掘更具有区分度的特征，于是开始将对比学习应用于网络异常流量检测中。如s.lotfi等人提出的论文，network intrusion detection withlimited labeled data using self-supervision，使用对比学习进行更好的特征提取，以解决正常流量与异常流量边界模糊的问题。

3、对比学习是一种无监督方法，每个训练样本需要生成多个正样本(即相似样本)和负样本(即不相似样本)，模型通过控制样本间的距离来识别样本间更微小细致的差别。然而，只使用无监督的方法识别异常流量还存在以下不足：(1)网络流量样本需要通过数据增强生成正负样本进行两两对比，多次对比将造成较大的时间开销；(2)需要选择具有代表性的正、负样本，而网络流量样本没有图片样本那种天然直观的特征属性，正负样本难以选择；(3)难以应用于有监督的方案，在监督方案的检测中，没有自然代表的样本需要将网络流量样本与大量不同类别的样本进行多次比较，通过比较与不同类别样本的相似度才能确定标签，这也将花费大量时间。

技术实现思路

1、本发明的目的是提供一种基于对比学习的网络异常流量检测方法，用以解决现有技术存在的时间开销大、正负样本选择等问题。

2、为了实现上述任务，本发明采用以下技术方案：

3、一种基于对比学习的网络异常流量检测方法，其特征在于，包括构建标签空间位置模型；

4、基于网络流量数据，获取低维网络流量状态；

5、构建网络流量空间位置模型；

6、基于度量空间中的标签位置，计算标签位置与网络流量空间位置的距离；

7、构建网络流量空间位置价值评估模型；

8、基于低维网络流量状态及标签的空间位置距离对各个模型的参数进行调整；

9、基于调整后的所述网络异常流量检测模型，对所述网络流量进行监测预警。

10、进一步地，所述构建标签空间位置模型，包括：

11、将每个标签通过独热编码进行编码；

12、设定度量空间的标签维度数值；

13、构建将标签编码结果转变度量空间位置的标签空间位置模型；

14、基于所述空间位置模型，获得每个标签的度量空间位置。

15、进一步地，所述的获取低维网络数据流量状态包括：

16、构建转化网络流量数据为低维网络流量状态的模型，该模型包括编码器与解码器，两者均为全连接层结构；其中，编码器用于将输入的网络流量数据转化为低维特征状态，解码器用于将所述低维特征状态映射回原始数据空间，并实现数据的重构和恢复；

17、基于所述模型，获得每个网络流量的低维网络流量状态。

18、进一步地，所述构建网络流量空间位置模型，包括：

19、获取所述的低维网络流量状态；

20、构建网络流量空间位置模型，该模型为一个全连接层网络，包括输入层、两个隐藏藏以及输出层；

21、基于网络流量空间位置模型，将所述低维网络流量状态输入，获得其于度量空间中的位置信息；

22、将所述网络流量位置信息添加随机采样的高斯噪音得到最终的网络流量位置信息。

23、进一步地，所述的计算标签与网络流量空间位置的距离包括：

24、获取所述标签与低维网络流量状态的度量空间位置信息；

25、计算所述标签与低维网络流量状态的位置信息在度量空间中的欧几里得距离；

26、基于所述距离，获取度量空间给予的反馈；

27、获得下一个所述低维网络流量状态；

28、将所述状态、反馈、网络流量位置信息存储于经验回放缓冲区。进一步地，所述的经验回放缓冲区r的信息存储格式为：

29、(st,at,rt,st+1)

30、其中，st为输入网络流量空间位置模型的低维网络流量状态，at为网络流量空间位置模型给出的度量空间位置信息，rt为所述计算度量空间距离后所得的反馈，st+1为所述下一个低维网络流量状态。

31、进一步地，所述的构建网络流量空间位置价值评估模型包括：

32、构建网络流量空间位置价值评估模型，该模型为一个多层神经网络，包括用于接收低维网络流量状态及其位置信息并对其进行拼接的输入层、三个隐藏层以及用于输出网络流量空间位置价值的输出层；

33、获取所述低维网络流量状态；

34、基于所述网络流量空间位置模型，获取网络流量空间位置；

35、基于所述网络流量空间位置与低维网络流量状态，网络流量空间位置价值评估模型给出对网络流量空间位置的价值评估。

36、进一步地，对已创建的网络流量空间位置价值评估模型q和网络流量空间位置模型μ，创建目标网络流量空间位置价值评估模型q'和目标网络流量空间位置模型μ'，通过将模型q和μ的权重复制到q’和μ'，初始化目标模型q’和μ的权重参数；两个目标模型q’和μ的结构与原模型q和μ一致，包括输入层、隐藏层和输出层，在每次训练迭代中，通过对目标模型的权重进行加权平均的软更新方式逐渐更新目标模型的权重，以使其逐渐接近于原模型的权重。

37、进一步地，所述的基于网络流量状态及标签的空间位置距离对各个模型的参数进行调整，包括：

38、随机获取所述经验回放缓冲区r中一批先前观察到的信息(st,at,rt,st+1)用于更新模型参数；这批数据于每次更新时随机采样获取，对于每个(st,at,rt,st+1)信息，使用目标网络流量空间位置模型μ'获取网络流量状态st+1于度量空间的位置a’t+1，使用目标网络流量空间位置价值评估模型q’评估网络流量位置a’t+1的价值q'(st+1,a’t+1)，使用网络流量空间位置价值评估模型q，评估位置at的价值q(st,at)；

39、基于td误差和梯度下降的原理更新网络流量空间位置价值评估模型的参数θq；

40、基于梯度上升的原理更新网络流量空间位置模型的参数θμ；

41、基于所述度量空间中网络流量状态位置与标签位置的距离更新标签空间位置模型的参数θρ；

42、基于网络流量空间位置模型的参数θμ与网络流量空间位置价值评估模型的参数θq更新目标网络流量空间位置模型与目标网络流量空间位置价值评估模型的参数；

43、其中，更新网络流量空间位置价值评估模型的参数θq时，构建的网络流量空间位置评估模型损失函数lq如下：

44、

45、其中，n为经验回放缓冲区r中采样信息的总数，q′(st+1,a’t+1)为目标网络流量位置价值评估模型评估的低维网络流量状态st+1在度量空间的位置a’t+1的价值，q(st,at)为网络流量位置价值评估模型评估的低维网络流量状态st在度量空间的位置at的价值，ri为计算网络流量位置at与其标签于度量空间中的位置距离得到的反馈，γ为折扣因子；

46、更新网络流量空间位置模型的参数θμ时，网络流量空间位置模型的损失函数lμ如下：

47、

48、其中，n为经验回放缓冲区r中采样信息的总数，q(st,at)为网络流量位置at的价值，c为标签的总数，d(x,y)为计算度量空间中x与y的距离值，at为低维网络流量状态st在度量空间的位置，lki为第i个低维网络流量状态标签在度量空间中的位置。

49、进一步地，所述的对网络流量进行监测预警包括：

50、获取网络流量并转化为低维网络流量状态；

51、基于所述网络异常流量检测模型，对所述低维网络流量状态进行度量空间位置预测，计算其与不同标签在度量空间中的位置距离；

52、若所述低维网络流量状态与正常流量标签的距离于所有距离中最小，则表明所述网络流量为正常流量，进行下一次的检测；

53、若所述低维网络流量状态与正常流量标签的距离大于与与其他异常流量标签的距离，则表明所述网络流量为恶意流量，输出警报。

54、与现有技术相比，本发明具有以下技术特点：

55、1.本发明基于标签嵌入对比学习及强化学习构建网络异常流量检测模型。度量空间中的网络流量不再是样本间的对比，而是与标签信息进行对比。这种标签嵌入的方法相比于无监督方法中生成新样本进行两两对比的方案，大大减少了对比次数，提高了网络异常流量检测模型的构建效率。而标签信息的嵌入也使得模型构建时无需考虑网络流量正负样本的生成方法和挑选问题。对于每个网络流量类别，其拥有了标签这个自然代表的属性，有监督方案在实施时，也无需与多个不同类别的样本进行对比才能确定类别，只需与标签信息进行对比，这也提高了网络异常流量检测在有监督方案中检测的效率。

56、2.本发明进一步结合了强化学习思想，强化学习根据对比学习反馈的奖励信号，利用目标网络、经验回放、策略优化等技术，提高训练时的稳定性，动态调整对比学习模型的参数，提高网络异常流量监测的准确性，降低误报率，避免影响实际生产中的正常网络通信流量。