边缘节点网络流量数据处理方法、装置、设备及介质与流程

本技术涉及云服务器，尤其涉及一种边缘节点网络流量数据处理方法、装置、设备及介质。

背景技术：

1、边缘计算指的是在网络的边缘来处理数据，这样能够减少请求响应时间、提升电池续航能力、减少网络带宽同时保证数据的安全性。在边缘计算环境中，边缘节点容易受到攻击，通过对边缘节点（包括主机、网络设备等）定期进行异常检测，及时发现异常问题，可以有效防范攻击，在很大程度上保证边缘节点的安全性。

2、目前，在对边缘节点的网络流量数据进行检测时，通常结合已知异常行为进行检测，判断边缘节点的网络流量数据是否产生已知异常。

3、然而，现有技术无法检测边缘节点的网络未知异常，边缘计算系统安全性低。

技术实现思路

1、本技术提供一种边缘节点网络流量数据处理方法、装置、设备及介质，以解决现有技术无法检测边缘节点的网络未知异常，边缘计算系统安全性低的技术问题。

2、第一方面，本技术提供边缘节点网络流量数据处理方法，包括：

3、获取网络流量数据集，并获取所述网络流量数据集中的目标样本点；

4、根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点；

5、计算在预设范围内所述目标样本点的已知类型样本局部密度；

6、根据所述已知类型样本局部密度，判断所述目标样本点是否为已知异常样本点；

7、若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点；

8、根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点。

9、本技术提供了一种准确、可靠的能够在网络流量数据中识别出未知异常的方法，当一个样本点属于某种已知异常类型时，其周围大多是与它相似的同类型样本点，它周围的分布情况与大多同类型样本相似，相反地，如果一个样本点不属于任何一种已知类型，那么其周围各种已知类型的样本点较少，其周围分布情况与其他已知类型样本点也有本质上的不同，具体地，若需要识别在网络流量数据集中的目标样本点是否为未知异常样本点，首先确定网络流量数据集中的多个已知异常样本点，通过目标样本点周围的已知类型样本局部密度，可以判断目标样本点是否为已知异常样本点，若目标样本点不是已知异常样本点，那么确定目标样本点为待确定未知样本点，考虑到未知异常类型数据并非孤立的点，为了减少错误判断，提高判断准确性，将待确定未知样本点与预设待确定未知样本点数据集中的样本点数据进行比较，能够准确判断目标样本点是否为未知异常样本点，实现了边缘节点的网络未知异常的准确检测，提高了边缘计算系统安全性。

10、可选地，所述根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点，包括：计算所述待确定未知样本点与所述预设待确定未知样本点数据集中的预设待确定未知样本点的相似度；根据相似度计算结果，确定与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点的个数；若所述个数大于预设相似个数阈值，则确定所述目标样本点为未知异常样本点。

11、这里，本技术通过计算未知样本点与预设待确定未知样本点数据集中的预设待确定未知样本点的相似度，来确定在待确定未知样本点周围是否存在预设数量个相似的未知异常类型，若存在，那么可以确定目标样本点是未知异常样本点，并且与目标样本点相似的预设待确定未知样本点为相同类型的未知异常，实现了对网络数据流量数据未知异常的准确判断，提高了边缘节点网络流量数据异常检测的准确性以及未知异常检测的可靠性，进一步地提高了边缘计算系统的安全性。

12、可选地，在所述若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点之后，还包括：将所述待确定未知样本点添加至预设待确定未知样本点数据集。

13、其中，本技术在确定出每个待确定未知样本点后，都存储待确定未知样本点，以通过存储的多个待确定未知样本点确定可能出现未知异常的待确定位置样本点的相似度，进而准确确定是否出现未知异常样本点并对未知异常样本点进行归类处理，提高了边缘节点网络流量数据异常检测的准确性以及未知异常检测的可靠性，进一步地提高了边缘计算系统的安全性。

14、可选地，在所述根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点之前，还包括：根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型；

15、所述根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点，包括：将所述网络流量数据集输入至已知异常检测模型，通过所述已知异常检测模型的输出结果确定多个已知异常样本点。

16、这里，本技术能够根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型，通过深度神经网络模型能够快速、准确地输出多个已知异常样本点，提高了已知异常样本点的检测效率，进而提高了网络流量数据的异常检测效率。

17、可选地，所述根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型，包括：

18、获取至少一种异常类型的已知异常类型样本；对所述已知异常类型样本进行数据平衡处理，得到预处理后已知样本；根据每个所述预处理后已知样本的已知异常类型，为所述预处理后已知样本添加标签；将添加标签后的预处理后已知样本输入至深度神经网络模型进行训练，得到已知异常检测模型。

19、其中，本技术首先对已知异常类型样本进行数据平衡处理，提高数据可用性及模型准确性，再针对有标签的已知类型数据使用深度神经网络模型进行有监督学习，能够得到已知异常检测模型，实现对已知异常类型的准确、高效检测。

20、可选地，在所述根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点之后，还包括：

21、若所述目标样本点为未知异常样本点，则在所述预设待确定未知样本点数据集中获取多个与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点，并将所述预设待确定未知样本点确定为相似点；

22、为所述未知异常样本点和所述相似点添加未知异常分类标签；

23、根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型。

24、可选地，在所述根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型之后，还包括：

25、获取测试数据集；

26、将所述测试数据集输入至未知异常检测模型，根据所述未知异常检测模型的输出结果判断所述测试数据集中是否存在所述未知异常分类标签对应的异常数据。

27、这里，本技术能够基于未知异常样本点，采用深度神经网络模型进行有监督的学习，进而得到未知异常检测模型，通过未知异常检测模型能够准确、快速地实现对未知异常数据以及未知异常类型的检测，实现了边缘节点的网络未知异常的准确检测，提高了边缘计算系统安全性。

28、第二方面，本技术提供了一种边缘节点网络流量数据处理装置，包括：

29、获取模块，用于获取网络流量数据集，并获取所述网络流量数据集中的目标样本点；

30、第一处理模块，用于根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点；

31、第一计算模块，用于计算在预设范围内所述目标样本点的已知类型样本局部密度；

32、第二处理模块，用于根据所述已知类型样本局部密度，判断所述目标样本点是否为已知异常样本点；

33、第三处理模块，用于若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点；

34、第四处理模块，用于根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点。

35、可选地，所述第四处理模块具体用于：

36、计算所述待确定未知样本点与所述预设待确定未知样本点数据集中的预设待确定未知样本点的相似度；

37、根据相似度计算结果，确定与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点的个数；

38、若所述个数大于预设相似个数阈值，则确定所述目标样本点为未知异常样本点。

39、可选地，在所述第三处理模块用于若所述目标样本点不为已知异常样本点，则确定所述目标样本点为待确定未知样本点之后，还包括：

40、添加模块，用于将所述待确定未知样本点添加至预设待确定未知样本点数据集。

41、可选地，在所述第一处理模块用于根据预设已知异常类型，确定在所述网络流量数据集中的多个已知异常样本点之前，上述装置还包括第一模型建立模块，用于：

42、根据预设已知异常类型，采用深度神经网络模型建立已知异常检测模型；

43、所述第一处理模块具体用于：将所述网络流量数据集输入至已知异常检测模型，通过所述已知异常检测模型的输出结果确定多个已知异常样本点。

44、可选地，所述第一模型建立模块具体用于：

45、获取至少一种异常类型的已知异常类型样本；

46、对所述已知异常类型样本进行数据平衡处理，得到预处理后已知样本；

47、根据每个所述预处理后已知样本的已知异常类型，为所述预处理后已知样本添加标签；

48、将添加标签后的预处理后已知样本输入至深度神经网络模型进行训练，得到已知异常检测模型。

49、可选地，在所述第四处理模块用于根据预设待确定未知样本点数据集和所述待确定未知样本点，确定所述目标样本点是否为未知异常样本点之后，上述装置还包括第二模型建立模块，用于：

50、若所述目标样本点为未知异常样本点，则在所述预设待确定未知样本点数据集中获取多个与所述待确定未知样本点的相似度大于预设相似度阈值的预设待确定未知样本点，并将所述预设待确定未知样本点确定为相似点；

51、为所述未知异常样本点和所述相似点添加未知异常分类标签；

52、根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型。

53、可选地，在所述第二模型建立模块用于根据添加标签后的所述未知异常样本点和所述相似点，建立未知异常检测模型之后，还包括第五处理模块，用于：

54、获取测试数据集；

55、将所述测试数据集输入至未知异常检测模型，根据所述未知异常检测模型的输出结果判断所述测试数据集中是否存在所述未知异常分类标签对应的异常数据。

56、第三方面，本技术提供一种边缘节点网络流量数据处理设备，包括：至少一个处理器和存储器；

57、所述存储器存储计算机执行指令；

58、所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的边缘节点网络流量数据处理方法。

59、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的边缘节点网络流量数据处理方法。

60、第五方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的边缘节点网络流量数据处理方法。

61、本技术提供的边缘节点网络流量数据处理方法、装置、设备及介质，其中该方法若需要识别在网络流量数据集中的目标样本点是否为未知异常样本点，首先确定网络流量数据集中的多个已知异常样本点，通过目标样本点周围的已知类型样本局部密度，可以判断目标样本点是否为已知异常样本点，若目标样本点不是已知异常样本点，那么确定目标样本点为待确定未知样本点，考虑到未知异常类型数据并非孤立的点，为了减少错误判断，提高判断准确性，将待确定未知样本点与预设待确定未知样本点数据集中的样本点数据进行比较，能够准确判断目标样本点是否为未知异常样本点，实现了边缘节点的网络未知异常的准确检测，提高了边缘计算系统安全性。