一种异常数据检测方法、装置、电子设备及存储介质与流程

本技术涉及数据安全，具体而言，涉及一种异常数据检测方法、装置、电子设备及存储介质。

背景技术：

1、随着互联网技术的发展和普及，网络攻击和黑客入侵已经成为一种常见的威胁。为了保护计算机系统和网络，免受各种恶意攻击，一些防御技术得到了广泛应用。其中，入侵检测系统(intrusion detection system，ids)是应对复杂和不断增长的网络攻击的防御工具之一。在传统的ids中，通常采用基于规则或特征匹配的方法来识别网络中可能存在攻击行为的异常数据。然而，这种方法存在着高误报率和漏报率的问题，并且需要不断更新规则库以适应新的异常数据形式。同时，这些方法往往只能检测已知的异常，无法对未知的异常数据进行有效的检测。如此，如何提供一种能有效面对各种未知异常数据的检测方法，是本领域亟待解决的技术问题。

技术实现思路

1、本技术实施例的目的在于提供一种异常数据检测方法、装置、电子设备及存储介质，用以实现面对未知异常数据也能有效进行异常检测的技术效果。

2、本技术实施例第一方面提供了一种异常数据检测方法，应用于已训练的检测模型；所述检测模型包括变分自编码器vae神经网络，所述vae神经网络包括第一编码器、第二编码器与解码器；所述检测模型利用正常数据进行训练；所述方法包括：

3、将原始数据的原始特征输入所述第一编码器，得到所述原始特征的第一潜在变量；

4、利用所述解码器对所述第一潜在变量进行重构，得到所述原始特征的第一重构特征；

5、将所述第一重构特征输入所述第二编码器，得到所述第一重构特征的第二潜在变量；

6、根据携带所述第一潜在变量的所述原始特征、与携带所述第二潜在变量的所述第一重构特征之间的差异，确定所述原始数据是否为异常数据。

7、在上述实现过程中，通过利用正常数据训练检测模型，以及引入潜在变量，可以让检测模型更好地学习到正常数据的分布，由此能较好地重构出与正常特征相似的重构特征，具有较优的泛化能力。由于检测模型没有学习过异常数据的分布，因此对异常特征重构出的重构特征与异常特征之间相差较大。如此，不管异常数据如何变化或更新迭代，检测模型始终可以自适应地识别出各种异常数据。

8、进一步地，所述将原始数据的原始特征输入所述第一编码器，包括：

9、从所述原始数据中提取所述原始特征，并对所述原始特征进行降维处理；

10、将降维后的所述原始特征输入所述第一编码器。

11、在上述实现过程中，通过降维处理，可以减少特征维度与计算复杂度。将降维后的原始特征作为检测模型的输入，能够提高模型检测效率。

12、进一步地，所述根据携带所述第一潜在变量的所述原始特征、与携带所述第二潜在变量的所述第一重构特征之间的差异，确定所述原始数据是否为异常数据，包括：

13、确定所述原始特征与所述第一重构特征之间的第一差异；

14、确定所述第一潜在变量与所述第二潜在变量之间的第二差异；

15、根据所述第一差异与所述第二差异，确定所述原始数据是否为异常数据。

16、在上述实现过程中，从高维度与低维度同时评估原始特征与第一重构特征之间的相似性。通过增加评估维度，可以使得相似性的评估结果更加准确，继而提高异常数据检测的准确性。

17、进一步地，所述第一差异为所述原始特征与所述第一重构特征之间的l1距离；

18、所述第二差异为所述第一潜在变量与所述第二潜在变量之间l2距离。

19、在上述实现过程中，通过l1距离来表征原始特征与第一重构特征之间的第一差异，以及通过l2距离来表征第一潜在变量与第二潜在变量之间的第二差异，使得可以从多个维度来评估原始特征与第一重构特征之间的相似性，提高评估结果准确性，继而提高异常数据检测的准确性。

20、进一步地，所述根据所述第一差异与所述第二差异，确定所述原始数据是否为异常数据，包括：

21、根据所述第一差异与所述第二差异确定目标差异；

22、若所述目标差异大于预设的差异阈值，确定所述原始数据为异常数据；

23、若所述目标差异小于所述差异阈值，确定所述原始数据为正常数据。

24、在上述实现过程中，通过从高维度与低维度同时评估原始特征与第一重构特征之间的相似性，增加了评估维度，使得相似性的评估结果更加准确，继而提高异常数据检测的准确性。

25、进一步地，所述检测模型还包括与所述vae神经网络连接的生成对抗gan神经网络，所述gan神经网络中的生成器为所述vae神经网络中的解码器，所述gan神经网络还包括判别器；所述检测模型的训练过程包括以下步骤：

26、提取所述正常数据的正常特征；

27、利用所述vae神经网络生成所述正常特征的第二重构特征、所述正常特征的第三潜在变量、以及所述第二重构特征的第四潜在变量；

28、将携带所述第三潜在变量的所述正常特征、与携带所述第四潜在变量的所述第二重构特征输入所述判别器，输出对所述正常特征与对所述第二重构特征的真伪判断结果；

29、基于所述真伪判断结果，对所述判别器与所述vae神经网络进行对抗性训练。

30、在上述实现过程中，通过利用正常数据训练检测模型，并通过重构误差来优化模型，在判别器与vae神经网络进行对抗性训练的过程中可以互相促进，从而提高检测准确率。

31、进一步地，所述方法应用于网络流量检测场景；所述原始数据为网络流量数据；所述原始特征包括流量特征。

32、在上述实现过程中，通过将异常数据检测方法应用到网络流量检测场景中，可以自适应地识别不同类型的攻击行为，从而解决出现的新型攻击以及网络环境变化的影响。

33、本技术实施例第二方面提供了一种异常数据检测装置，应用于已训练的检测模型；所述检测模型包括变分自编码器vae神经网络，所述vae神经网络包括第一编码器、第二编码器与解码器；所述检测模型利用正常数据进行训练；所述装置包括：

34、第一编码模块，用于将原始数据的原始特征输入所述第一编码器，得到所述原始特征的第一潜在变量；

35、重构模块，用于利用所述解码器对所述第一潜在变量进行重构，得到所述原始特征的第一重构特征；

36、第二编码模块，用于将所述第一重构特征输入所述第二编码器，得到所述第一重构特征的第二潜在变量；

37、检测模块，用于根据携带所述第一潜在变量的所述原始特征、与携带所述第二潜在变量的所述第一重构特征之间的差异，确定所述原始数据是否为异常数据。

38、本技术实施例第三方面提供了一种电子设备，所述电子设备包括：

39、处理器；

40、用于存储处理器可执行指令的存储器；

41、其中，所述处理器调用所述可执行指令时实现第一方面任一所述方法的操作。

42、本技术实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现第一方面任一所述方法的步骤。