一种网络入侵检测模型构建和网络入侵检测方法及装置与流程

1.本发明涉及网络入侵检测技术领域，具体涉及一种网络入侵检测模型构建和网络入侵检测方法及装置。


背景技术：

2.随着大数据和人工智能技术的飞速发展，网络用户规模不断扩大，引入了更多的网络流量和网络安全问题。入侵检测技术是网络技术不断发展的结果，通过对计算机网络的信息和行为进行监测和分析，判断异常信息的存在，可以有效地检测网络攻击。但随着网络功能的多样化和网络攻击的复杂性，传统的网络入侵检测技术存在准确率不高的问题，故亟待提出一种新的网络入侵检测方法，提高网络入侵检测的准确率。


技术实现要素：

3.因此，本发明要解决的技术问题在于克服现有网络入侵检测技术存在准确率不高的缺陷，从而提供一种网络入侵检测模型构建和网络入侵检测方法及装置。
4.根据第一方面，本发明实施例公开了一种网络入侵检测模型构建方法，所述方法包括：获取网络入侵检测数据集，所述网络入侵检测数据集对应的数据类别标签包括正常网络数据对应的类别标签和多个异常网络数据对应的类别标签；对所述网络入侵检测数据集进行预处理；将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型，所述预设神经网络模型包括特征选择层，用于对输入层的输入特征进行特征选取得到用于训练的特征，所述用于训练的特征为与所述输入特征对应的类别标签的相关性满足预设条件的特征。
5.可选地，所述将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型之后，所述方法还包括：将测试集输入训练好的网络入侵检测模型；根据所述网络入侵检测模型输出的分类置信度预测所述测试集中的数据对应的类别标签，得到检测结果；若检测结果与真实标签偏差大于预设值，对所述网络入侵检测模型的参数进行优化，直至检测结果与真实标签的偏差满足要求。
6.可选地，所述预设神经网络模型基于残差神经网络架构构建得到。
7.可选地，所述特征选择层通过下述方式对输入层的输入特征进行特征选取：
8.获取输入层的输入特征；利用预设模型权重对所述输入特征进行乘积放缩处理；利用预设模型偏置对放缩处理后的特征进行截断处理，得到所述用于训练的目标特征。
9.可选地，所述利用预设模型偏置对放缩处理后的特征进行截断处理，得到所述用于训练的目标特征，包括：计算截断处理后得到的特征的重要性分数；根据重要性分数计算结果对相应的特征进行特征增强；将增强后的特征作为用于训练的目标特征。
10.根据第二方面，本发明实施例还公开了一种网络入侵检测方法，所述方法包括：获取待检测网络入侵数据；利用网络入侵检测模型对所述待检测网络入侵数据进行检测，所述网络入侵检测模型为利用如上述第一方面或第一方面任一可选实施方式所述的网络入
侵检测模型构建方法构建得到的；根据所述网络入侵检测模型的检测结果判定所述待检测网络入侵数据所属类别标签。
11.根据第三方面，本发明实施例还公开了一种网络入侵检测模型构建装置，所述装置包括：数据集获取模块，用于获取网络入侵检测数据集，所述网络入侵检测数据集对应的数据类别标签包括正常网络数据对应的类别标签和多个异常网络数据对应的类别标签；数据集处理模块，用于对所述网络入侵检测数据集进行预处理；模型训练模块，用于将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型，所述预设神经网络模型包括特征选择层，用于对输入层的输入特征进行特征选取得到用于训练的特征，所述用于训练的特征为与所述输入特征对应的类别标签的相关性满足预设条件的特征。
12.根据第四方面，本发明实施例还公开了一种网络入侵检测装置，所述装置包括：数据获取模块，用于获取待检测网络入侵数据；数据检测模块，用于利用网络入侵检测模型对所述待检测网络入侵数据进行检测，所述网络入侵检测模型为利用如上述第一方面活第一方面任一可选实施方式所述的网络入侵检测模型构建方法构建得到的；标签判定模块，用于根据所述网络入侵检测模型的检测结果判定所述待检测网络入侵数据集的类别标签。
13.根据第五方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的网络入侵检测模型构建方法，或执行如第二方面所述的网络入侵检测方法的步骤。
14.根据第六方面，本发明实施方式还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的网络入侵检测模型构建方法，或执行如第二方面所述的网络入侵检测的步骤。
15.本发明技术方案，具有如下优点：
16.本发明提供的网络入侵检测模型构建方法，通过获取网络入侵检测数据集，对所述网络入侵检测数据集进行预处理，将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型。通过对构建的网络入侵检测模型对网络入侵数据进行检测判断是正常网络数据还是异常网络数据，对于网络攻击时的异常信息中夹杂着正常信息，使得传统的网络检测技术准确率不高的问题，采用特征增强的方法，选择出与输入特征对应的类别标签的相关性满足预设条件的特征，使得训练出的模型专注于有意义的特征，同时抑制冗余特征的学习，提高网络入侵检测的准确率。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例中网络入侵检测模型构建方法的一个具体示例的流程图；
19.图2为本发明实施例中网络入侵检测方法的一个具体示例的流程图；
20.图3为本发明实施例中网络入侵检测模型构建装置的一个具体示例的原理框图；
21.图4为本发明实施例中网络入侵检测装置的一个具体示例的原理框图；
22.图5为本发明实施例中电子设备的一个具体示例图。
具体实施方式
23.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
25.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
26.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
27.本发明实施例公开了一种网络入侵检测模型构建方法，如图1所示，该方法包括如下步骤：
28.步骤101，获取网络入侵检测数据集，所述网络入侵检测数据集对应的数据类别标签包括正常网络数据对应的类别标签和多个异常网络数据对应的类别标签；
29.示例性地，对采用的网络入侵检测数据集不做限定，可根据实际情况自行确定，本技术实施例中该网络入侵检测数据集中包括正常网络数据和异常网络数据，本技术实施例采用经过授权的nsl-kdd数据集作为网络入侵检测数据集，nsl-kdd数据集类别标签属性分为正常网络数据对应的类别标签和多个异常网络数据对应的类别标签，其中，异常网络数据对应的类别标签可以包括四类：dos、probe、r2l和u2r，表征了工业物联网可能遇到的网络攻击类型，共存在39种攻击方式。
30.步骤102，对所述网络入侵检测数据集进行预处理；
31.示例性地，本技术实施例中对数据集进行预处理可以包括数据清洗和归一化处理，其中，数据清洗用于对数据集中缺失值进行处理，可通过删除变量和统计量填充的方法，并将处理后的数据集通过reshape()函数转为二维数组，作为网络入侵检测模型的输入。其中，删除变量法，用于若变量的缺失率较高(大于80％)，覆盖率较低，且重要性较低，可以直接将变量删除。统计量填充法，用于若缺失率较低(小于95％)且重要性较低，则根据数据分布的情况进行填充。对于数据符合均匀分布，用该变量的均值填补缺失，对于数据存在倾斜分布的情况，采用中位数进行填补，数据清洗的具体方法仅作为举例，可根据实际需求自行确定。
32.示例性地，归一化处理采用通过下式将数据映射到[0,1]区间，去除数据的单位限制，转化为纯数值，便于之后的加权和比较：
[0033][0034]
其中，x
′
为归一化后的特征值值，x为任一特征原始值，min(x)为该特征在网络入侵数据集样本中的最小值，max(x)为该特征在网络入侵数据集样本中的最大值。本技术实施例对数据集的处理方法仅作为举例，不以此为限。
[0035]
步骤103，将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型，所述预设神经网络模型包括特征选择层，用于对输入层的输入特征进行特征选取得到用于训练的特征，所述用于训练的特征为与所述输入特征对应的类别标签的相关性满足预设条件的特征。
[0036]
示例性地，本技术实施例中将数据集按照预设比例(本技术实施例中按照8:2划分，仅作为举例)划分训练集和测试集，将训练集输入到预设神经网络模型进行训练得到网络入侵检测模型后，通过精确率、召回率、平均准确率、平均准确率均值等指标评估网络入侵检测模型，精确率通过下式计算得到：
[0037][0038]
其中，pr表示准确率，tp为被正确分类的正例数，fp为被错误分类的负例数。
[0039]
召回率通过下式计算得到：
[0040][0041]
其中，re表示召回率，fn为被错误分类的正例数。
[0042]
平均准确率表示的是pr-re曲线下的面积，通过下式计算得到：
[0043]
ap＝∫
01
pr(re)dre
[0044]
其中，ap表示平均准确率，ap值越大，表示网络入侵检测模型的准确度越高。
[0045]
平均准确率均值用来反映网络入侵检测模型的全局性能，表示的是全部类别下平均准确率的均值，通过下式计算得到：
[0046][0047]
其中，map表示平均准确率均值，表示计算每个类别的ap，其中n和n均表示类别的个数。
[0048]
该预设神经网络模型包括的特征选择层可以集成一类别相关性判定辅助网络，通过该辅助网络对输入层的输入特征进行相关性判定，选择与类别标签表征的类别关联性较大、具有代表性的特征；具体的判定方式可以是使用预先训练好的辅助网络对输入层的特征与预定确定的数据类别标签进行相似性判定，相似度越高，表征相应的输入层特征与数据类别标签表征的类别的相关性越大，将相关性满足一定预设条件的特征作为用于模型训练的特征。
[0049]
本发明实施例提供的网络入侵检测模型构建方法，通过获取网络入侵检测数据
集，对数据集进行预处理，将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型。通过对构建的网络入侵检测模型对网络入侵数据进行检测判断是正常网络数据还是异常网络数据；对于网络攻击时的异常信息中夹杂着正常信息，使得传统的网络检测技术准确率不高的问题，采用特征增强的方法，选择出与输入特征对应的类别标签的相关性满足预设条件的特征，使得训练出的模型专注于有意义的特征，同时抑制冗余特征的学习，提高网络入侵检测的准确率。
[0050]
作为本发明一个可选实施方式，步骤103，将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型之后，还包括：将测试集输入训练好的网络入侵检测模型；根据网络入侵检测模型输出的分类置信度预测测试集中的数据对应的类别标签，得到检测结果；若检测结果与真事标签偏差大于预设值，对网络入侵检测模型进行优化，直至检测结果与真实标签的偏差满足要求。
[0051]
示例性地，本技术实施例中，在将训练集输入到预设神经网络模型中之前，权重和偏置的具体数值自行设定，将训练集输入到预设神经网络模型中进行训练得到网络入侵检测模型的过程中，通过反向传播计算损失函数梯度，采用权重优化算法(可根据实际需求选用adam、sgd、adagrad、rmsprop等算法，对具体算法不做限定)进行迭代更新，获取网络入侵检测模型的权重最优解得到最优模型参数，其中，模型参数包括最优权重和偏置，若检测结果与真实标签偏差大于预设值，对网络入侵检测模型参数进行优化，直至检测结果与真实标签的偏差满足要求，其中，对于偏差的要求可根据实际需求自行确定，在本技术实施例中对网络入侵检测模型进行优化，使得检测结果与真实标签一致。
[0052]
作为本发明一个可选实施方式，预设神经网络模型基于残差神经网络架构构建得到。通过基于残差神经网络构建预设神经网络模型可以实现信息更快的向前传播，梯度更快的向后传播，具有更深的层数和更少的参数量，且构建的模型性能良好。
[0053]
作为本发明一个可选实施方式，特征选择层通过下述方式对输入层的输入特征进行特征选取，包括：获取输入层的输入特征；利用预设模型权重对输入特征进行乘积放缩处理；利用预设模型偏置对放缩处理后的特征进行截断处理，得到用于训练的目标特征。
[0054]
示例性地，本发明实施例在残差神经网络中引入额外一层特征选择层对输入层的输入特征进行特征选取，预设模型权重与相应输入特征相对应的元素进行相乘，对输入特征起到放缩效果，根据上述方法得到的偏置使用relu激活函数对放缩后的特征进行截断处理，得到用于训练的目标特征(激活函数的选择可根据实际需求自行确定)。
[0055]
作为本发明一个可选实施方式，利用预设模型偏置对放缩处理后的特征进行截断处理，得到用于训练的目标特征，包括：计算截断处理后得到的特征的重要性分数；根据重要性分数计算结果对相应的特征进行增强；将增强后的特征作为用于训练的目标特征。
[0056]
示例性地，本技术实施例中根据上述方法得到截断处理的特征后，通过计算函数(本技术实施例采用softplus函数，此函数可以将负值映射到接近零的值，并不会更改原始正值，具体函数的使用可根据实际情况自行确定)计算目标特征在每个类别标签下的重要性分数，公式如下：
[0057]
softplus(x)＝log(1+e
x
)
[0058]
其中，x代表每个目标特征，x代表每个目标特征经过归一化处理后的数值。
[0059]
本技术实施例中根据实际需求自行确定重要性分数阈值，根据目标特征对应的重
要性分数只保留不小于重要性分数阈值对应的目标特征，重复上述步骤，得到任一类别下的特征增强后的目标特征作为用于训练的目标特征。本技术中对截断处理的特征进行特征增强可以减少冗余特征对类别分类结果的影响，使模型更加关注对类别分类结果有积极影响的特征。
[0060]
本发明实施例还公开了一种网络入侵检测方法，如图2所示，该方法包括如下步骤：
[0061]
步骤201，获取待检测网络入侵数据；
[0062]
步骤202，利用网络入侵检测模型对待检测网络入侵数据进行检测，所述网络入侵检测模型为利用上述实施例中所述的网络入侵检测模型构建方法构建得到；
[0063]
步骤203，根据网络入侵检测模型的检测结果判定待检测网络入侵数据所属类别标签。
[0064]
本发明提供的网络入侵检测方法，通过获取待检测网络入侵数据，利用网络入侵检测模型对待检测网络入侵数据进行检测，根据网络入侵检测模型的检测结果判定待检测网络入侵数据所属类别标签。本发明通过构建的网络入侵检测模型对网络入侵数据进行实时检测，准确判断网络入侵数据的所属类别标签。
[0065]
本发明实施例还公开了一种网络入侵检测模型构建装置，如图3所示，该装置包括：
[0066]
数据集获取模块301，用于获取网络入侵检测数据集，网络入侵检测数据集对应的数据类别标签包括正常网络数据对应的类别标签和多个异常网络数据对应的类别标签；
[0067]
数据集处理模块302，用于对所述网络入侵检测数据集进行预处理；
[0068]
模型训练模块303，用于将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型，预设神经网络模型包括特征选择层，用于对输入层的输入特征进行特征选取得到用于训练的特征，用于训练的特征为与所述输入特征对应的类别标签的相关性满足预设条件的特征。
[0069]
本发明提供的网络入侵检测模型构建装置，通过获取网络入侵检测数据集，对数据集进行预处理，将预处理后的网络入侵检测数据集中的训练集输入到预设神经网络模型进行训练，得到网络入侵检测模型。本发明通过增加特征增强的方法构建网络入侵检测模型，使模型专注于有意义的特征，提高网络入侵检测模型的准确率。
[0070]
作为本发明一个可选实施方式，模型训练模块303，还包括：模型测试子模块，用于将测试集输入训练好的网络入侵检测模型；检测结果获取子模块，用于根据所述网络入侵检测模型输出的分类置信度预测所述测试集中的数据对应的类别标签，得到检测结果；模型处理子模块，用于若检测结果与真实标签偏差大于预设值，对所述网络入侵检测模型的参数进行优化，直至检测结果与真实标签的偏差满足要求。
[0071]
作为本发明一个可选实施方式，该装置还包括：网络构建模块，用于预设神经网络模型基于残差神经网络架构构建得到。
[0072]
作为本发明一个可选实施方式，所述特征选择层通过下述方式对输入层的输入特征进行特征选取，包括：输入特征获取子模块，用于获取输入层的输入特征；特征处理子模块，用于利用预设模型权重对输入特征进行乘积放缩处理；截断处理子模块，用于利用预设模型偏置对放缩处理后的特征进行截断处理，得到用于训练的目标特征。
[0073]
作为本发明一个可选实施方式，截断处理子模块，还包括：重要性分数计算子模块，用于计算截断处理后得到的特征的重要性分数；特征增强子模块，用于根据重要性分数计算结果对相应的特征进行特征增强；目标特征确定子模块，用于将增强后的特征作为用于训练的目标特征。
[0074]
本发明实施例还公开了一种网络入侵检测装置，如图4所示，该装置包括：
[0075]
数据获取模块401，用于获取待检测网络入侵数据；
[0076]
数据检测模块402，用于利用网络入侵检测模型对所述待检测网络入侵数据进行检测，所述网络入侵检测模型为利用如上述所述的网络入侵检测模型构建方法构建得到的；
[0077]
标签判定模块403，用于根据所述网络入侵检测模型的检测结果判定所述待检测网络入侵数据集的类别标签。
[0078]
本发明提供的网络入侵检测装置，通过获取待检测网络入侵数据，利用网络入侵检测模型对待检测网络入侵数据进行检测，根据网络入侵检测模型的检测结果判定待检测网络入侵数据所属类别标签。通过构建的网络入侵检测模型对网络入侵数据进行实时检测，准确判断网络入侵数据的所属类别标签。
[0079]
本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器501和存储器502，其中处理器501和存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0080]
处理器501可以为中央处理器(central processing unit，cpu)。处理器501还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0081]
存储器502作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的网络入侵检测模型构建方法或网络入侵检测方法对应的程序指令/模块。处理器501通过运行存储在存储器502中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的网络入侵检测模型构建方法或网络入侵检测方法。
[0082]
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器501所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至处理器501。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0083]
所述一个或者多个模块存储在所述存储器502中，当被所述处理器501执行时，执行如图1或图2所示实施例中的网络入侵检测模型构建方法或网络入侵检测方法。
[0084]
上述电子设备具体细节可以对应参阅图1或图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0085]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通
过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
[0086]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入所限定的范围之内。