网络数据的异常行为检测系统及方法与流程

本技术涉及智能化检测，且更为具体地，涉及一种网络数据的异常行为检测系统及方法。

背景技术：

1、随着网络与信息技术的发展，尤其是互联网的广泛普及和应用，信息安全的重要性也在不断提升。近年来，网络信息系统所面临的安全问题越来越复杂，安全威胁正在飞速增长，尤其网络入侵日益严重，网络入侵是指未经授权的个人或组织通过网络渗透到另一个个人或组织的计算机系统或网络中，以获取、修改或破坏数据的行为。网络入侵者通常使用各种技术和工具来寻找系统的弱点，例如漏洞、密码破解、社交工程等，以获取非法访问权限。其造成的系统破坏、信息泄露、数据损毁、非法控制等安全问题对网络的发展造成了巨大的威胁。为了保证网络安全，各种网络安全技术应运而生。

2、网络入侵者可能会在入侵过程中生成异常的网络流量。这可能包括大量的数据传输、非常频繁的连接尝试、大量的未经授权的数据传出等。这些异常流量模式可能与正常的网络通信模式不一致，可以用来检测潜在的入侵行为。

3、因此，期待一种网络数据的异常行为检测系统及方法。利用基于深度学习的深度神经网络模型作为特征提取器对网络安全系统所产生的流量数据和日志文件进行多源数据编码以充分挖掘其内部隐含信息和关联特征，以检测是否有网络入侵的行为。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种网络数据的异常行为检测系统及方法，其首先从网络服务器获取流量数据和日志文件，然后，利用基于深度学习的深度神经网络模型作为特征提取器对网络安全系统所产生的流量数据和日志文件进行多源数据编码以充分挖掘其内部隐含信息和关联特征，并将所挖掘的特征表示通过分类器以得到用于表示是否有网络入侵行为的分类结果，以提高网络数据安全的管控能力。

2、根据本技术的一个方面，提供了网络数据的异常行为检测系统，其包括：

3、扫描数据采集模块，用于获取从网络服务器采集的流量数据和日志文件；

4、时序编码模块，用于将所述网络流量数据按时间维度排列为流量输入向量后通过包含一维卷积层的时序编码器以得到流量特征向量；

5、上下文编码模块，用于将所述日志文件通过包含嵌入层的上下文编码器以得到一维特征向量；

6、一维关联编码模块，用于将所述一维特征向量通过多尺度邻域特征提取模块以得到多尺度邻域特征向量；

7、特征向量融合模块，用于融合所述流量特征向量和所述多尺度邻域特征向量得到分类特征矩阵；

8、优化模块，用于对所述分类特征矩阵进行低维密度域映射以得到优化分类特征矩阵；

9、分类结果生成模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否存在潜在的网络入侵行为。

10、在上述网络数据的异常行为检测系统中，所述时序编码模块，包括：输入向量构造单元，用于将所述多个预定时间点的网络流量数据按照时间维度分别排列为输入向量；全连接编码单元，用于使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；一维卷积编码单元，用于使用时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的关联的高维隐含关联特征，其中，所述公式为：

11、

12、其中，a为卷积核在x方向上的宽度、f为卷积核参数向量、g为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，x表示输入向量，cov(x)表示对所述输入向量进行一维卷积编码。

13、在上述网络数据的异常行为检测系统中，所述上下文编码模块，包括：分词单元，用于对所述日志文件进行分词处理以得到词序列；词嵌入单元，用于将所述词序列中各个词分别输入所述上下文编码器的嵌入层以由所述嵌入层将所述各个词转化为词嵌入向量以得到词嵌入向量的序列；上下文语义理解单元，用于将所述词嵌入向量的序列输入所述上下文编码器的基于转换器的bert模型以得到多个词语义特征向量；级联单元，用于将所述多个词语义特征向量进行级联以得到所述一维特征向量。

14、在上述网络数据的异常行为检测系统中，所述一维关联编码模块，包括：第一邻域尺度编码单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第一卷积层，其中，所述第一卷积层使用具有第一长度的一维卷积核对所述一维特征向量进行一维卷积编码以得到第一尺度邻域关联特征向量；第二邻域尺度编码单元，用于将所述一维特征向量输入所述多尺度邻域特征提取模块的第二卷积层，其中，所述第二卷积层使用具有第二长度的一维卷积核对所述一维特征向量进行一维卷积编码以得到第二尺度邻域关联特征向量；多尺度级联单元，用于将所述第一尺度邻域关联特征向量和所述第二尺度邻域关联特征向量进行级联以得到所述多尺度邻域关联特征向量。

15、在上述网络数据的异常行为检测系统中，所述特征向量融合模块，包括：以如下公式对所述流量特征向量和所述多尺度邻域特征向量进行联合编码以生成所述分类特征矩阵；其中，所述公式为：

16、

17、其中表示向量相乘，m表示所述分类特征矩阵，v1表示所述流量特征向量，v2表示所述多尺度邻域特征向量，表示所述多尺度邻域特征向量的转置。

18、在上述网络数据的异常行为检测系统中，所述优化模块，包括：特征展开单元，用于将所述分类特征矩阵的各个行向量进行特征展开处理以得到多个分类局部特征向量；特征域密度值单元，用于针对于所述多个分类局部特征向量中各个分类局部特征向量，计算所述各个分类局部特征向量的特征域密度值，所述各个分类局部特征向量的特征域密度值为所述各个分类局部特征向量与所述多个分类局部特征向量中其他分类局部特征向量的距离值中最小距离值的倒数，其中，所述各个分类局部特征向量的特征域密度值为所述各个分类局部特征向量与所述多个分类局部特征向量中其他分类特征向量的距离值为两者之间的欧式距离；sigmoid激活单元，用于将所述各个分类局部特征向量的特征域密度值排列为特征域密度输入向量后通过sigmoid激活函数以得到特征域密度映射特征向量；矩阵相乘单元，用于将所述特征域密度映射特征向量分别与所述多个分类局部特征向量进行矩阵相乘以将所述多个分类局部特征向量分别映射到所述特征域密度映射特征向量所在的高维特征空间中以得到所述优化分类特征矩阵。

19、在上述网络数据的异常行为检测系统中，所述分类结果生成模块，包括：全连接编码单元，用于使用所述分类器的全连接层对所述优化分类特征矩阵进行全连接编码以得到全连接编码特征矩阵；概率获得单元，用于将所述全连接编码特征矩阵通过所述分类器的softmax分类函数以得到归属于存在网络入侵的第一概率以及归属于不存在网络入侵的第二概率；分类结果确定单元，用于基于所述第一概率和所述第二概率之间的比较，确定所述分类结果。

20、根据本技术的另一方面，提供了一种网络数据的异常行为检测方法，其包括：

21、获取从网络服务器采集的流量数据和日志文件；

22、将所述网络流量数据按时间维度排列为流量输入向量后通过包含一维卷积层的时序编码器以得到流量特征向量；

23、将所述日志文件通过包含嵌入层的上下文编码器以得到一维特征向量；

24、将所述一维特征向量通过多尺度邻域特征提取模块以得到多尺度邻域特征向量；

25、融合所述流量特征向量和所述多尺度邻域特征向量得到分类特征矩阵；

26、对所述分类特征矩阵进行低维密度域映射以得到优化分类特征矩阵；

27、将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否存在潜在的网络入侵行为。

28、在上述网络数据的异常行为检测方法中，将所述网络流量数据按时间维度排列为流量输入向量后通过包含一维卷积层的时序编码器以得到流量特征向量，包括：将所述多个预定时间点的网络流量数据按照时间维度分别排列为输入向量；使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取出所述输入向量中各个位置的特征值的高维隐含特征，其中，所述公式为：其中x是输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；使用时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取出所述输入向量中各个位置的特征值间的关联的高维隐含关联特征，其中，所述公式为：

29、

30、其中，a为卷积核在x方向上的宽度、f为卷积核参数向量、g为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸，x表示输入向量，cov(x)表示对所述输入向量进行一维卷积编码。

31、在上述网络数据的异常行为检测方法中，将所述日志文件通过包含嵌入层的上下文编码器以得到一维特征向量，包括：对所述日志文件进行分词处理以得到词序列；将所述词序列中各个词分别输入所述上下文编码器的嵌入层以由所述嵌入层将所述各个词转化为词嵌入向量以得到词嵌入向量的序列；将所述词嵌入向量的序列输入所述上下文编码器的基于转换器的bert模型以得到多个词语义特征向量；将所述多个词语义特征向量进行级联以得到所述一维特征向量。

32、与现有技术相比，本技术提供的一种网络数据的异常行为检测系统及方法，其首先从网络服务器获取流量数据和日志文件，然后，利用基于深度学习的深度神经网络模型作为特征提取器对网络安全系统所产生的流量数据和日志文件进行多源数据编码以充分挖掘其内部隐含信息和关联特征，并将所挖掘的特征表示通过分类器以得到用于表示是否有网络入侵行为的分类结果，以提高网络数据安全的管控能力。