一种基于双通道时空特征融合的网络入侵检测方法

1.本发明属于网络安全领域，涉及网络入侵检测技术，具体涉及一种基于双通道时空特征融合的网络入侵检测方法。


背景技术：

2.随着互联网和传感器技术的快速发展，人机交互、设备与设备之间的通信(device to device,d2d)交互使得生活更加便利。然而网络之间的结构越来越呈现出动态性和异构性，从单一的集中式结构到分布式和集中式混合结构，此外，由于大多数传感器设备的低廉和网络缺乏安全有效的防御机制，网络中充斥着各种类型的网络攻击，网络攻击者的攻击技术在不断的发展。例如攻击者可以通过修改军事监视数据来入侵其它国家的水域；也可以通过对监测区域发起分布式拒绝服务攻击(distributed denial of service,ddos)，使节点能量耗尽而消失。攻击者还可以非法访问未授权的传感器网络并篡改数据，破坏了网络的可用性、完整性和可靠性。如何有效的检测网络中的攻击是网络安全领域亟需解决的重要问题。
3.传统的安全机制防火墙、用户身份认证和加密技术等在当今面对日益多样化的攻击类型已经难以识别出经过伪装的攻击，例如，当密钥暴露并被攻击者获取时，加密技术完全失效。
4.入侵检测作为一种主动式防御机制，不仅能够抵御入侵者的网络攻击，也可以增强系统的安全性。入侵检测系统(intrusion detection system,ids)从部署位置的角度来看，划分为基于主机的入侵检测(host-based intrusion detection system,hids)和基于网络的入侵检测(network intrusion detection system,nids)。hids部署在单个主机上，监视主机上所有活动并对可疑行为进行检测，其优点是为监视主机提供较高的安全性能，但效率低。相比之下，nids则不存在这样的问题，它部署在网络的关键位置，通过不断监视网络中的实时流量，从而达到对整个网络和设备的保护。
5.近年来，基于机器学习(machine learning,ml)的方法在网络入侵检测领域受到了极大的关注，并在物联网(internet of things,iot)、无线传感器网络(wireless sensor network,wsn)和车联网(internet of vehicles,iov)中取得了显著的成果。此外，基于深度学习(deep learning,dl)的方法被用来解决ml方法处理高维大数据困难的问题，并提高了检测率。kim-hung le等人(le k h,nguyen m h,tran t d,et al.imids:an intelligent intrusion detection system against cyber threats in iot[j].electronics,2022,11(4):524.)采用卷积神经网络(convolutional neural network,cnn)结构来对网络中的攻击进行检测，缓解了少数攻击样本缺乏条件下难检测的问题，但是提出的cnn模型参数数量庞大，占据资源大，实时性难以保障。lei等人(lei s,xia c,li z,et al.hnn:a novel model to study the intrusion detection based on multi-feature correlation and temporal-spatial analysis[j].ieee transactions on network science and engineering,2021,8(4):3257-3274.)通过特征选择和多特征相关
性分析来减少冗余，采用cnn、长短期记忆网络(long short-term memory,lstm)和深度神经网络(deep neural network,dnn)作为入侵检测模型，取得了较好的检测结果，但是同样存在模型复杂度高的情况，实时性得不到保障。
[0006]
目前，基于深度学习的网络入侵检测，大多数研究要么采用单一cnn来提取网络流量数据的空间特征来检测网络攻击，要么采用单一lstm、rnn来提取网络流量的时序特征来检测网络攻击，或者简单的将cnn和lstm级联起来检测网络攻击，并不能够有效的提取网络流量的空间特征和时序特征，从而导致网络入侵的检测率不高。其次，提出来的模型并未充分考虑iot和wsn等场景存在资源受限的情况，因此，亟需一种能够有效提取网络流量数据的空间和时序特征的轻量级网络入侵检测模型。


技术实现要素：

[0007]
发明目的：为了克服现有技术中存在的不足，提供一种基于双通道时空特征融合的网络入侵检测方法，能够有效提取网络流量数据的空间特征和时序特征，并降低入侵检测模型的复杂性，提高了网络入侵的检测准确率。
[0008]
技术方案：为实现上述目的，本发明提供一种基于双通道时空特征融合的网络入侵检测方法，包括如下步骤：
[0009]
s1：从监控网络中收集网络流量数据，生成待检测样本集；
[0010]
s2：对生成的待检测样本集中的字符型特征进行one-hot编码，并对待检测样本的所有特征进行min-max归一化，得到预处理完的待检测样本集；
[0011]
s3：将预处理完的待检测样本输入到训练好的双通道时空特征融合网络进行检测，得到待检测样本的检测结果；
[0012]
s4：若检测的结果为攻击流量数据，则对监控网络中的数据来源进行隔离，并通知管理员，若检测的结果为正常流量数据，则允许该流量正常通过。
[0013]
进一步地，所述步骤s1中收集的网络流量数据原始格式为pcap格式，首先对每一条pcap格式的网络流量进行解析，得到对应的一个特征向量。
[0014]
进一步地，所述步骤s1中每个特征向量包括流特征、基本特征、内容特征、时间特征和合成特征共五类特征，这五类特征可以划分为字符型特征和数值型特征。
[0015]
进一步地，所述步骤s2中的one-hot编码用于将字符型特征转化为网络入侵检测模型可以处理的二进制数值特征，所述步骤s2的具体过程为：
[0016]
设定一个字符特征有α1,α2,α3,α4四种字符取值，则可以分别编码为(1,0,0,0)、(0,1,0,0)、(0,0,1,0)、(0,0,0,1)，min-max归一化方法将特征向量中的各个特征缩放到0-1之间，减小各个特征之间由于取值的数量级不同造成的影响，如公式(1)所示：
[0017][0018]
其中x和x'为归一化前后的特征，x
max
和x
min
为特征的最大值和最小值。
[0019]
进一步地，所述步骤s3中的双通道时空特征融合网络包括一维向量卷积的空间特征提取模块、状态注意力单元的bigru的时序特征提取模块和分类器模块，所述空间特征提取模块用于提取待检测样本的空间特征，所述时序特征提取模块用于提取待检测样本的时序特征，所述分类器模块用于根据提取的空间特征和时序特征输出检测分类结果。
[0020]
进一步地，所述空间特征提取模块包括3层一维向量卷积层，卷积核数量分别为16,32,32，卷积核大小为3,3,3，步长为2,2,2，激活函数均为修正线性函数relu，在每一层一维向量卷积层后添加一个maxpool1d层，池化大小为2，然后添加flatten层和一个单元数16的全连接层。
[0021]
进一步地，所述时序特征提取模块包括2层bigru，单元数分别为36,18，在第二层bigru后面添加一个dropout层，丢弃率为0.3，然后添加一个状态注意力单元和一个单元数为6的全连接层。
[0022]
进一步地，所述分类器模块包括一个输入单元为22的concatenate层，2个单元数分别为32,16的全连接层，激活函数为修正线性函数relu，每一全连接层后添加一个dropout层，丢弃率分别为0.1,0.1，在最后添加一个输出层，在二分类情况下，输出层单元数为1，激活函数为sigmoid，损失函数为binary_crossentropy，在十分类情况下，输出层单元数为10，损失函数为sparse_categorical_crossentropy，激活函数为softmax。
[0023]
进一步地，所述时序特征提取模块中的状态注意力单元具体为：
[0024]
考虑最后一层双向bigru所有时刻上输出的隐藏状态矩阵其中表示前向时刻和后向时刻在第t时刻的输出，通过公式(2)计算q在状态注意力单元的查询的权重向量w，
[0025]
w＝softmax(tanh(qk+b)v)
ꢀꢀꢀ
(2)
[0026]
其中，k,v,b分别为键矩阵、值矩阵和偏置向量；w是维度为2t的列向量；
[0027]
q输入到状态注意力单元的输出o通过公式(3)计算：
[0028]
o＝w
tqꢀꢀꢀ
(3)。
[0029]
进一步地，所述步骤s3中双通道时空特征融合网络的训练过程为：对双通道时空特征融合网络的参数采用xavier方式初始化，选择交叉熵函数作为损失函数，采用adam优化器，反向传播算法更新参数；选择网络入侵检测基准数据集unsw-nb15作为训练数据集，并对网路入侵检测基准数据集中的字符型特征进行one-hot编码，然后对网络入侵检测基准数据集中的所有特征进行min-max归一化，得到预处理完的训练样本集；将预处理后的训练数据集按网络流量生成的时间顺序输入到双通道时空特征融合网络进行训练，得到训练完的双通道时空特征融合网络入侵检测模型。
[0030]
本发明提供的基于双通道时空特征融合的网络入侵检测方法，充分考虑了网络流量数据特征之间的空间关系和网络流量数据之间的时序关系。通过使用空间特征提取模块提取所述空间特征，使用时序特征提取模块提取所述时序特征。将所述的空间特征和时序特征输入到全连接分类器进行检测，克服了使用单一的cnn结构不能提取网络流量数据之间的时序关系和单一的lstm、rnn结构对网络流量数据特征之间的空间特征提取能力差的问题。
[0031]
有益效果：本发明与现有技术相比，具备如下优点：
[0032]
1、综合考虑了网络流量数据特征之间的空间关系和网络流量数据之间的时序关系，克服了单独采用cnn网络和rnn网络不能有效提取时空特征的缺点，且设计的网络入侵检测模型充分考虑了iot、wsn场景存在资源受限的情况，具有更好的特征表示能力和更高的检测率，提高了网络入侵的检测准确率。
[0033]
2、整个检测方法过程中，需要训练的参数少，减少了计算复杂度和占用资源，大大
降低了检测所需要的时间开销；并通过消融实验验证了每一个组成部分的有效性。
附图说明
[0034]
图1为一种双通道时空特征融合网络入侵检测方法的流程示意图；
[0035]
图2为双通道时空特征融合网络的结构示意图；
[0036]
图3为二分类训练过程损失变化示意图；
[0037]
图4为十分类训练过程损失变化示意图。
具体实施方式
[0038]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0039]
本发明提供一种基于双通道时空特征融合的网络入侵检测方法，如图1所示，其包括如下步骤：
[0040]
s1：从监控网络中收集网络流量数据，收集的网络流量数据原始格式为pcap格式，首先对每一条pcap格式的网络流量进行解析，得到对应的一个特征向量，每个特征向量包括流特征、基本特征、内容特征、时间特征和合成特征共五类特征，这五类特征一共49个特征，其中除proto、service和state为字符型特征，其余为数值型特征，根据这些特征生成待检测样本集；
[0041]
s2：对生成的待检测样本集中的字符型特征进行one-hot编码，并对待检测样本的所有特征进行min-max归一化，得到预处理完的待检测样本集；
[0042]
设定一个字符特征有α1,α2,α3,α4四种字符取值，则可以分别编码为(1,0,0,0)、(0,1,0,0)、(0,0,1,0)、(0,0,0,1)，min-max归一化方法将特征向量中的各个特征缩放到0-1之间，减小各个特征之间由于取值的数量级不同造成的影响，如公式(1)所示：
[0043][0044]
其中x和x'为归一化前后的特征，x
max
和x
min
为特征的最大值和最小值。
[0045]
s3：将预处理完的待检测样本输入到如图2所示的训练好的双通道时空特征融合网络进行检测，得到待检测样本的检测结果；
[0046]
双通道时空特征融合网络包括一维向量卷积的空间特征提取模块、状态注意力单元的bigru的时序特征提取模块和分类器模块，所述空间特征提取模块用于提取待检测样本的空间特征，所述时序特征提取模块用于提取待检测样本的时序特征，所述分类器模块用于根据提取的空间特征和时序特征输出检测分类结果。
[0047]
空间特征提取模块包括3层一维向量卷积层，卷积核数量分别为16,32,32，卷积核大小为3,3,3，步长为2,2,2，激活函数均为修正线性函数relu，在每一层一维向量卷积层后添加一个maxpool1d层，池化大小为2，然后添加flatten层和一个单元数16的全连接层。
[0048]
时序特征提取模块包括2层bigru，单元数分别为36,18，在第二层bigru后面添加一个dropout层，丢弃率为0.3，然后添加一个状态注意力单元和一个单元数为6的全连接层。
[0049]
分类器模块包括一个输入单元为22的concatenate层，2个单元数分别为32,16的全连接层，激活函数为修正线性函数relu，每一全连接层后添加一个dropout层，丢弃率分别为0.1,0.1，在最后添加一个输出层，在二分类情况下，输出层单元数为1，激活函数为sigmoid，损失函数为binary_crossentropy，在十分类情况下，输出层单元数为10，损失函数为sparse_categorical_crossentropy，激活函数为softmax。
[0050]
时序特征提取模块中的状态注意力单元具体为：
[0051]
考虑最后一层双向bigru所有时刻上输出的隐藏状态矩阵其中表示前向时刻和后向时刻在第t时刻的输出，通过公式(2)计算q在状态注意力单元的查询的权重向量w，
[0052]
w＝softmax(tanh(qk+b)v)
ꢀꢀꢀ
(2)
[0053]
其中，k,v,b分别为键矩阵、值矩阵和偏置向量；w是维度为2t的列向量；
[0054]
q输入到状态注意力单元的输出o通过公式(3)计算：
[0055]
o＝w
tqꢀꢀꢀ
(3)
[0056]
双通道时空特征融合网络的训练过程为：对双通道时空特征融合网络的参数采用xavier方式初始化，选择交叉熵函数作为损失函数，采用adam优化器，反向传播算法更新参数；选择网络入侵检测基准数据集unsw-nb15作为训练数据集，并对网路入侵检测基准数据集中的字符型特征进行one-hot编码，然后对网络入侵检测基准数据集中的所有特征进行min-max归一化，得到预处理完的训练样本集；将预处理后的训练数据集按网络流量生成的时间顺序输入到双通道时空特征融合网络进行训练，得到训练完的双通道时空特征融合网络入侵检测模型。
[0057]
s4：若检测的结果为攻击流量数据，则对监控网络中的数据来源进行隔离，并通知管理员，若检测的结果为正常流量数据，则允许该流量正常通过。
[0058]
为了验证上述网络入侵检测方法的有效性和实际效果，本实施例中利用准确率(accuracy)、精确率(precision)、召回率(recall)和f1-score四个评价标准，进行如下实验过程：
[0059]
实验工具：本次实验的硬件系统是windows 10，intel(r)core(tm)i7-8700kcpu，16gb内存。所有技术都在python3.6中使用tensorflow和scikit-learn框架实现。
[0060]
本实验采用unsw-nb15入侵检测基准数据集作为实验数据集，unsw-nb15数据是澳大利亚网络安全中心的网络范围实验室创建的，包括真实的正常活动和合成的当代攻击行为，数据集有257,673个样本，其中175,341个样本在训练集中，其余82,332个样本在测试集中。数据集一共包含10种样本类型：normal、generic、exploits、fuzzers、dos、reconnaissance、analysis、backdoor、shellcode、worms。详细样本数量见表1所示。
[0061]
[0062][0063]
对训练集和测试集进行预处理，采用one-hot编码对proto、service和state进行编码，将数据从49维扩展到196维，使用min-max归一化将所有特征的取值缩放到0-1之间。
[0064]
将预处理后的训练集输入到双通道时空特征融合网络进行训练，网络初始参数采用xavier方式初始化，采用adam优化器，学习率为0.0035，训练数据的批量大小为1024，训练周期数为120，二分类情况下，损失函数为binary_crossentropy，十分类的情况下，损失函数为sparse_categorical_crossentropy。从训练数据集中随机抽取20％作为交叉验证集观察训练过程是否过拟合，双通道时空特征融合网络中的空间特征提取模块、时序特征提取模块和全连接分类器模块具体参数见表2,3,4所示。
[0065]
[0066][0067][0068]
图3和图4分别为二分类和十分类情况下的损失变化图示意图，观察到模型在二分类情况下，训练集损失和验证集损失在前期快速下降，在第50个周期开始趋于收敛，震荡幅度小，且训练集损失和验证集损失没有出现高方差的情况，说明本发明设计的双通道时空特征融合网络在二分类的情况下能够有效的从数据中学习；如图4所示，在十分类的情况下，训练集损失和验证集损失随着训练周期的增加，逐渐趋于收敛，震荡幅度较小，也没有出现训练集损失和验证集损失相差大的情况，并未出现过拟合的现象，验证了本发明设计的双通道时空特征融合网络学习能力强的特点。
[0069]
实验结果，将本发明与随机森林(random forest,rf)、支持向量机(support vector machines,svm)、深度神经网络(dnn)、卷积神经网络(cnn)和双向门控循环单元(bigru)算法进行实验对比，如表5所示为二分类实验结果，如表6所示为十分类实验结果：
[0070]
[0071][0072][0073]
从表5中结果可知，本发明提出的一种基于双通道时空特征融合的网络入侵检测方法在准确率、召回率和f1-score指标上取得了最优的结果，准确率比对比方法提高了8.76％-33.76％，f1-score比对比方法最高多33.16％，最少多6.06％，在准精确率指标上取得了次优的结果，但是相差不大，精确率与最优的svm相差0.74％，综合考虑的四个评价指标，本发明设计的双通道时空特征融合网络在对比算法中取得了最优的结果，与单一的cnn和单一的bigru相比较，本发明在各项指标上显著提升，这验证了本发明的有效性。
[0074]
从表6中结果可知，本发明提出的一种基于双通道时空特征融合的网络入侵检测方法在准确率、精确率、召回率和f1-score四个指标上均取得了最优的结果，在准确率上，提高了11.32％-28.72％；在精确率上，提高了3.37％-26.5％；在召回率上，提高了11.33％-28.73％；在f1-score上，提高了12.2％-35.16％。这验证了本发明在对攻击进行多分类的情况下也取得很好的性能。
[0075]
本发明对预处理后的测试集中82,332个样本进行检测一共消耗的时间为2.149秒，平均每秒处理38311个样本，这表明本发明能够满足现实情况所需要的实时处理能力。
[0076]
本发明设计的双通道时空特征融合网络充分考虑了模型的复杂度，在二类分类情况下，所需要训练的参数数量为64179，在十分类情况下，所需要训练的参数数量为64332.。具有轻量级的特点，这验证了本发明能够适应iot和wsn等存在资源受限的场景下的网络入侵检测。