一种基于log-cosh变分自动编码器的高效检测未知攻击方法

本发明涉及网络安全，具体涉及一种基于log-cosh变分自动编码器的高效检测未知攻击方法。

背景技术：

1、如今互联网的发展已经渗透到生活的各个方面。因此产生了大量的敏感信息，这给黑客们带来了机会。随着互联网的发展，他们对应的攻击方式也在不断演变，越来越多的未知类型攻击也在逐渐出现。网络流量中的这些未知类型攻击不仅占用了网络资源，而且降低了网络间的设备和主机的性能。更可怕的是盗取网络用户的敏感信息。从而危害社会和国家安全。

2、网络用户的行为也在不断变化，准确学习到用户的行为也是一个很大的挑战，导致检测未知攻击准确率较低，并且误报率高于其他技术。因此研究准确检测未知类型攻击的入侵检测系统，已经逐渐成为研究领域内的热点。

3、传统的机器学习方法主要检测已知攻击，由于模型主要依赖预先定义的流量模式或特征，导致未知类型攻击检测方面表现不佳。随着网络结构的不断变化，传统的入侵检测方法不能很好的扩展，当检测未知类型攻击时缺乏一定的适应能力。并且需要标记的数据进行训练，计算成本较高并且容易被人工数据误导。深度学习技术在处理海量高维数据时，具有很大的潜力提取更有效的特征。伴随人工智能和网络安全相结合的热潮，越来越多的学者正在研究如何将深度学习的优势运用于流量分类任务以使其达到更好的分类效果。

4、本发明提出的策略是使用对数双曲余弦(log-cosh)函数设计为重构损失函数。它可以很好的优化输入数据和重构数据之间的潜在空间，进而高效的生成未知类型的攻击。采用了八种方法对未知类型攻击进行提取特征和分类，通过不同方法的对比，选择具有最佳分类精度的方法，使其能够有效检测出未知类型攻击。

技术实现思路

1、本发明所要解决的技术问题在于：针对未知类型攻击的检测率较低的缺陷，提供了有基于深度学习的有效解决方案，即一种基于log-cosh变分自动编码器的高效检测未知攻击方法。使用对数双曲余弦(log-cosh)函数设计了一个高效的重构损失项，它可以更好的模拟真实攻击的离散特征，并且高效的生成未知类型攻击。为了提高检测未知类型攻击的检测率，我们采用了八种方法，对生成的未知类型数据进行提取特征和分类。选择具有最佳精度的方法，保证了检测未知类型攻击的优越性能。这种方法结合了深度学习和机器学习方法，显著的提高了未知类型攻击的检测率。

2、本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

3、步骤1：数据预处理，读取到数据集中的数据后，对数据进行预处理；

4、步骤1.1：读取到数据后，首先删除冗余的数据；

5、步骤1.2：再填充缺失值；

6、步骤1.3：经过归一化处理，输入到模型进行训练；

7、当样本特征的尺度(取值范围)差异较大时，取值范围大的特征会起到主导作用，为了提高训练的性能，必须采用归一化处理。我们在实验中采用min-max归一化。其中，xi表示为第i个特征，(xi)min表示第i个特征的最小值，(xi)max表示第i个特征的最大值。

8、

9、步骤2：设计模型。设计基于log-cosh变分自动编码器检测未知类型攻击的入侵检测模型；

10、步骤2.1：一种基于log-cosh变分自动编码器的高效检测未知攻击方法的结构主要有两个部分组成：生成新型攻击或未知类型攻击的生成器部分和集成八种方法的分类器部分。其整体结构如(图1)所示。

11、前者对输入的数据集进行重构，进而生成新型攻击或未知类型攻击的数据。而后者对数据进行提取特征和分类。这两部分分别进行训练，在第一部分通过训练生成器高效生成新型攻击或未知类型攻击，接着，将原始样本与生成的未知类型攻击样本合并，然后输入到集成分类器中进行训练，选择最佳性能的分类器输出其结果。

12、步骤2.2：生成新型攻击或未知类型攻击的生成器部分，该部分结构如(图2)所示。传统的vae通过多维高斯分布拟合输入的数据，进而学习输入数据的显示分布。传统的变分自动编码器(vae)主要由两部分构成，第一部分是编码器网络qφ(z|x)，其中φ为模型参数。第二部分是解码器网络pθ(x|z)，其中θ为模型参数。编码器网络的主要作用是将输入的数据有效的压缩到潜在低维空间，通俗的讲，将输入的x通过编码器映射到特征变量z中。解码器的作用是将特征变量z重构回数据，换句话说，将特征变量z映射回因此，vae方法可以用来生成数据，即通过解码器将潜在空间特征变量z重构成新数据。总之，传统的vae损失函数公式如等式1所示。

13、lvae＝e[log p(x|z)]-dkl[q(z|x)||p(z)]  (2)

14、具体的说，等式1的vae损失函数主要有两部分，第一部分为对数重构损失项，即数据生成的概率分布ε[logp(x|z)]，第一部分主要目的是最小化x和之间的平方l2损失。第二部分为kullback-leibler(kl)散度dkl[q(z|x)||p(z)]，即通过kl散度的度量最小化预定分布p(z)和学习分布q(z|x)之间的差值。

15、定义的平方l2损失函数，如等式2所示，其中x和分别代表输入向量和重构向量。其中xi表示在x中的第i个样本。表示在中的第i个样本。

16、

17、传统的vae主要用于生成数据，但是也存在一些问题。例如：潜在空间特征变量z维度很低，因此准确的重构数据也是一个挑战。另外，入侵检测数据集通常是离散高维数据构成的，例如cicids2017数据集。因此生成的数据与输入的数据之间的重构损失较大。最终降低生成数据的效率。我们希望平衡等式1中的重构数据与潜在空间之间的权重。但是，在具有微小误差范围中，重构损失的计算值相对较小，这导致对重构损失部分惩罚力度很小。并且使得等式1中的第二部分占主导地位(kl散度)。关于这个问题，考虑到不同大小的损失区域，一个高效的解决方法是当损失很小时进一步增加重构损失的权重，并且防止重构误差线性增加时，重构损失也在增加。所以双曲正切函数能够满足这个方法。因此我们使用log-cosh函数重构损失来代替等式1的对数重构损失项(即第一部分)。使用对数双曲余弦函数使得重构损失更加注重于原点附近，并且当重构误差较大时，它可以有效的防止过多的惩罚。对数双曲余弦函数具体公式如等式3所示。

18、

19、在发明中。我们采用的log-cosh损失函数如等式4所示。x和分别为输入向量和重构向量。

20、

21、本发明使用log-cosh函数重构损失来代替等式1的对数重构损失项(即第一部分)。最后，我们设计的损失函数如等式5所示。

22、

23、通过使用log-cosh做为重构损失的改进vae模型来生成新型和未知类型攻击数据，生成的新型或未知类型攻击数据用来测试模型检测未知攻击的性能。与传统的vae不同我们采用等式5做为数据生成阶段的损失函数，将输入的数据经过编码器映射到潜在空间特征变量z，再将特征变量z输入到训练好的解码器中，进一步来重构数据，最后生成的新型或未知类型攻击数据输入到分类阶段进行分类。

24、步骤2.3：集成八种方法的分类器部分。我们采用了集成八种方法来检测未知类型攻击，该方法混合了机器学习方法和深度学习方法。我们通过结合多层感知机、朴素贝叶斯、决策树、随机森林、支持向量机、逻辑回归、梯度提升和门控循环单元八种方法，目的是提高检测未知攻击的检测率。等式6表明分类阶段的损失函数。yi表示第i个样本的真实值。hθ(x)i表示第i个样本的预测值。n是样本总数。第二阶段的损失函数如下所示：

25、

26、loss为各部分的损失之和，loss1和loss2分别为两个部分的损失。如下所示：

27、l o ss＝l o ss1+l o ss2

28、步骤3：模型训练。通过各个阶段的损失函数计算模型的损失，损失函数变化情况如(图4)所示。训练步骤2中设计的模型，获取最优的模型；

29、本发明包括生成新型攻击或未知类型攻击的生成器部分和集成八种方法的分类器部分。

30、步骤3.1：生成新型攻击或未知类型攻击的生成器部分。首先输入步骤1处理好的数据集，然后循环学习周期和最小批数量，输入的数据到编码器中得到潜在空间特征变量z中，接着潜在空间特征变量z输入到解码器中得到型攻击或未知类型攻击数据。反向传播计算出等式5的损失值和梯度，最后进行梯度下降。直到损失函数收敛，结束循环，输出生成的新型攻击或未知类型攻击数据。得到最优模型。

31、步骤3.2：集成八种方法的分类器部分。将生成的新型攻击或未知类型攻击数据输入到八个分类器中，分别得到八种分类器不同的预测结果，反向传播计算出八种分类器各自的损失和梯度，最后分别进行梯度下降。当损失函数收敛时，输出分类结果，得到最优模型。

32、步骤4：检测分类。测试数据输入到步骤3得到的最优模型中，得到最终检测结果。在得到最优模型后，通过使用经过预处理的测试集的数据对步骤3得到的最优模型进行测试。输出最终测试结果。

33、本发明所具有的优点和积极效果是：本发明相比现有技术具有以下优点：该一种基于log-cosh变分自动编码器的高效检测未知攻击方法，通过采用对数双曲余弦(log-cosh)函数设计了一个高效的重构损失项，它可以有效的捕捉到真实攻击数据的复杂分布，并且模拟其离散特征进行建模，从而高效的生成未知类型攻击。同时采用八种方法对生成的数据进行提取特征和分类，选择具有最佳精度的方法，保证了检测未知类型攻击的优越性能。这种方法结合了深度学习和机器学习方法，可以提高模型精确学习网络流量特征的能力，显著的提高了未知类型攻击的检测率。