基于伪标签半监督多层极限学习机的网络入侵检测方法

本发明属于网络安全，具体地说是基于伪标签半监督多层极限学习机的网络入侵检测方法。

背景技术：

1、多层极限学习机是极限学习机的深度网络，旨在将elm的单隐含层结构拓展为多隐含层结构。作为elm与深度学习的结合，ml-elm通过极限学习机-自编码器逐层提取样本的高级抽象特征，而后通过elm将抽象特征映射到类别标签或期望预测。与elm相比，ml-elm的深度网络结构拥有更强的特征提取与分类能力，更易逼近任意复杂函数。与其他深度学习算法相比ml-elm的网络参数无需迭代微调，极大降低了训练时间。凭借优异的泛化性能与高效的训练效率，ml-elm已逐步应用于机械故障诊断、遥感图像分类、无源目标定位等领域；

2、近年来，研究者对ml-elm进行了深入研究，提出了一系列的改进方法。通过将核风险敏感损失准则融入到ml-elm中，提出了基于最小核风险敏感损失的堆叠极限学习机，旨在提升ml-elm对离群值与噪声的鲁棒性；或是将迁移学习引入到ml-elm中，提出了基于迁移学习的多层极限学习机，采用粒子群算法优化ml-elm网络输出权值，并采用联合分布自适应更新ml-elm的隐含层连接权值；或是通过将网络的全连接结构替换为密集连接结构，提出了密集层次化极限学习机。与原有ml-elm算法相比，d-helm的隐含层输入是所有先前隐含层输出的集合，这有效减少了网络所需的隐含层节点数，加快了算法的训练速度。

3、然而，由于认知与效率的局限，现有样本标签标注技术难以处理大规模的训练样本，导致在网络入侵检测中，采集的网络样本中含有相当多的无标签样本，无标签样本成为算法泛化提升的阻碍。作为有监督学习算法，ml-elm需要样本标签计算网络参数，难以提取无标签样本所包含的特征与类别信息，这限制了其在半监督学习上的应用。针对该问题，近年来的部分研究逐步改变ml-elm的学习模式，扩展其在半监督学习问题上的适用性。与ml-elm相比，通过将原有的elm分类器替换为ss-elm，ss-helm能够处理无标签样本。但是，这些改进ml-elm算法在分类阶段将无标签样本的标签编码置零，仅在特征提取阶段采用了无标签样本的部分信息，信息利用的限制导致了泛化能力的限制。

技术实现思路

1、为了解决上述技术问题，本发明提供基于伪标签半监督多层极限学习机的网络入侵检测方法，以解决背景技术中提出的问题。

2、基于伪标签半监督多层极限学习机的网络入侵检测方法，包括以下步骤：

3、s1、将伪标签与ml-elm相结合，提出基于伪标签的半监督多层极限学习机—pl-ml-elm；

4、s2、pl-ml-elm利用极限学习机-自编码器elm-ae对所有训练样本进行无监督特征提取，逐层初始化网络参数，学习所有样本中的特征信息，赋予隐含层初始参数；

5、s3、通过有标签样本计算分类器的输出权值，并对无标签样本进行类别预测，生成伪标签；

6、s4、将伪标签样本带入网络，构造正则化项，通过有标签样本进行计算分类器输出权值，并对无标签进行类别预测，赋予其伪标签，最后构造伪标签分类损失，平衡有标签样本与伪标签样本损失，更新分类器输出权值，完成网络的训练。

7、优选的，所述极限学习机作为无需迭代微调的特殊单隐含层前馈神经网络，elm随机赋值隐含层输入权值与偏置，并通过最小二乘法求解输出权值，完成网络的训练；

8、假设网络各层节点数分别为d、l、m，由于具有一致逼近性，elm以零误差拟合给定的训练样本其网络输出表示为：

9、

10、其中，wi，bi，βi分别为隐含层节点i的输入权值、偏置与输出权值，wi与bi均为随机生成，g(·)为隐含层节点的激活函数。

11、将式(1)简化为：

12、hβ＝t                                                (2)

13、其中，h，β分别为隐含层输出与输出权值矩阵，其计算方法为：

14、

15、

16、elm计算最优隐含层输出权值，以最小化网络损失，其训练过程描述为以下损失函数：

17、

18、其中，c为正则化参数，用于控制经验误差与结构误差的平衡，对(5)式两侧关于输出权值β求导，并取零，得到输出权值β的计算公式为：

19、

20、其中，i为单位矩阵。

21、优选的，所述elm-ae将自编码器与elm相结合，通过无监督模式快速学习样本的特征表示，elm-ae包括编码器与解码器；编码器对样本进行编码，学习样本内在特征的抽象表示；解码器对编码进行解码，确定特征到样本的重构映射；假设各层节点数分别为d，l，d，对于输入样本elm-ae的隐含层输出的计算方法及其与网络输出之间的关系为：

22、h＝g(wx+b)                                            (7)

23、hβ＝x                                                (8)

24、与elm不同，elm-ae随机生成的隐含层输入权值与偏置进行正交化，即wwt＝i,bbt＝i，elm-ae的隐含层输出权值β的计算方法为：

25、

26、求得β，elm-ae通过式(12)提取样本的抽象特征表示：

27、hnew＝xβt                                             (10)

28、优选的，所述pl-ml-elm引入伪标签技术，通过在有标签样本上训练的网络赋予无标签样本以伪标签，并构造伪标签正则化损失，利用伪标签指导所有样本的半监督特征学习与分类过程。

29、优选的，所述pl-ml-elm可分为无监督预训练、有监督训练、伪标签生成与伪标签训练；设定有标签样本{xl,yl}与无标签样本xu，隐含层节点数d,l1,l2,...,lk,l,m，激活函数g(·)；

30、无监督预训练中，pl-ml-elm将通过elm-ae的逐层贪婪训练，计算隐含层连接权值，提取层次化抽象特征，完成隐含层参数的赋值；pl-ml-elm将所有训练样本作为预训练的输入，同时学习有标签样本与无标签样本，在elm-ae的逐层训练中，各隐含层输出之间的关系表示为：

31、

32、其中βi为第i个elm-ae返回的隐含层连接权值，x＝{xl,xu}为有标签样本与无标签样本的集合，hi为第i个隐含层的输出，通过堆叠elm-ae的层次化训练，pl-ml-elm得到所有隐含层的连接权值与输出，实现隐含层参数的赋值；

33、有监督训练中，pl-ml-elm将有标签样本集输入网络中，根据样本标签计算elm分类器隐含层输出权值，完成有标签样本到其类别标签的映射；对于有标签样本xl，pl-ml-elm通过逐层特征提取，得到有标签样本的抽象特征表示并将抽象特征带入elm分类器中，通过随机产生的连接权值w与偏置b，计算elm隐含层输出hl，而后根据样本标签计算隐含层输出权值β，完成网络训练；elm分类器隐含层输出hl与输出权值β分别通过式(3)与(6)计算，而有标签样本的网络映射由式(12)表示：

34、

35、伪标签生成中，pl-ml-elm将无标签样本输入到已训练网络中，进行标签预测，生成伪标签；对于特定无标签样本通过网络的特征提取与分类过程，得到无标签样本的特征表示elm隐含层输出hu以及无标签样本xi在不同类别上的预测概率通过式(13)对预测概率取极值生成无标签样本xi的伪标签yi，得到所有无标签样本的伪标签

36、

37、伪标签训练中，pl-ml-elm将有标签样本{xl,yl}与伪标签样本{xu,yu}作为网络输入，通过前向传播，计算有标签样本与无标签样本的最终隐含层输出h＝{hl,hu}，通过最小化分类损失，更新隐含层输出权值β，完成网络的再训练；并引入正则化参数λ保持有标签样本与伪标签样本的分类损失平衡，pl-ml-elm的损失函数表示为：

38、

39、其中，右式第一项为结构损失，第二项与第三项分别为有标签样本与伪标签样本的分类损失；通过将式(15)两侧关于输出权值β求导可得：

40、

41、通过将式(16)两侧取零，得到β的封闭解为：

42、

43、通过式(17)更新分类器输出权值β后，pl-ml-elm完成整个网络的训练。

44、优选的，所述pl-ml-elm的训练流程中，输入有标签样本{xl,yl}，无标签样本xu，隐含层节点数正则化系数c，正则化系数λ，激活函数g(·)；输出映射函数f:rd→rm；

45、在无监督预训练阶段，将x＝{xl,xu}作为第i个elm-ae的输入，将hi-1作为第i个elm-ae的输入，随机初始化第i个elm-ae的输入权值与隐含层偏置，对输入权值与隐含层偏置进行正交化，得到正交化的输入权值wi与隐含层偏置bi，按照式(7)计算elm-ae隐含层输出h，根据式(9)计算第i个隐含层输出权值βi，通过式(10)计算第i层隐含层输出hi；

46、在有监督训练阶段，将有标签样本xl作为网络的输入，标签yl作为期望输出，通过式(11)计算层次化抽象特征随机产生elm隐含层输入权值w与偏置b，根据式(3)计算elm隐含层输出hl，按照式(6)计算分类器输出权值β；

47、在伪标签生成阶段，将无标签样本xu作为网络的输入，通过式(12)获得无标签样本的类别预测，根据式(13)生成无标签样本的伪标签yu；

48、在伪标签训练阶段，将有标签样本与伪标签样本{xl,xu}作为网络的输入，标签{yl,yu}作为网络的期望输出，通过式(11)计算层次化抽象特征根据式(3)计算elm隐含层输出h＝{hl,hu}，通过式(17)更新分类器输出权值β，返回映射函数

49、与现有技术相比，本发明具有如下有益效果：

50、1、本发明通过提出名为pl-ml-elm的新型半监督ml-elm，pl-ml-elm将伪标签与ml-elm相结合，通过赋予无标签样本以伪标签，充分利用无标签样本中的类别信息，提升ml-elm的泛化性能。

51、2、本发明构造了伪标签损失正则化项，在ml-elm的交叉熵损失函数中，新增了代表伪标签样本分类损失的正则化项，用以控制有标签样本与伪标签样本的分类损失平衡，防止过拟合现象的发生。

52、3、本发明验证了pl-ml-elm的有效性，通过在多个常用数据集上的综合实验，验证了pl-ml-elm的半监督分类性能优于elm、ml-elm、as-delm与ss-helm方法。