一种基于概念漂移检测和自适应的恶意流量检测方法

本发明属于网络流量检测领域，涉及一种基于概念漂移检测和自适应的恶意流量检测方法。

背景技术：

1、随着网络流量规模的迅速增大以及网络环境的不断演变，网络流量呈现出日益多样化的趋势。网络环境的高度复杂性、动态性和多样性使得网络流量中特征、行为和模式不断发生变化和演进，即出现概念漂移现象。概念漂移现象的出现导致网络流量的统计特性和时序行为发生显著变化，这也让现有的网络流量分析和恶意流量检测技术在应对新的数据时往往无法自动适应，从而引起较高的误报率和漏报率。因此，如何准确地检测和适应概念漂移现象以提升对恶意流量的检测效果已成为当前网络流量检测领域中的一个重要挑战。

2、为了解决由于概念漂移现象所引起的恶意流量检测模型检测效果变差的问题，学者们致力于开发能够自动检测和适应概念漂移的方法以确保恶意流量检测模型能够持续有效地应对新兴的威胁和恶意行为。现阶段概念漂移检测方法主要分为被动和主动两大类，其中被动方法通过不断接收新数据实例持续更新模型而不会主动检测概念漂移现象，这类方法通常需要大量的计算工作，会消耗大量的人工和时间成本，因而在实际应用中面临极大的挑战；与之相比，主动方法在检测到概念漂移时通过重新训练检测模型以平衡检测准确性，因此具有较高的效率。主动方法通常分为基于数据分布的和基于错误率两大类，其中基于数据分布的概念漂移检测方法通常会考虑来自两个不同时间窗口(包含前一个时间序列行为信息的固定窗口和包含最新数据的滑动窗口)中原始数据模式的分布，并通过数据分布的差异来检测概念漂移现象。相对的，基于错误率的概念漂移检测方法利用检测准确率的下降程度作为指示概念漂移严重程度的间接测量，如果错误率的增加或减少在统计上显着则启动漂移警报。与基于数据分布的概念漂移检测方法相比，基于错误率的检测方法更专注于监测检测器对概念漂移现象检测的性能变化，而在恶意流量检测领域攻击者为了避免被检测到会尽可能少地改变数据分布，因此基于错误率的概念漂移检测方法更适用于恶意流量检测领域。在恶意流量检测领域，基于错误率的概念漂移检测方法能够比较准确地识别概念漂移现象，但当识别出概念漂移后现有的方法会重新训练整个模型，导致计算资源消耗大且存在大量的计算时间延迟。

3、针对上面问题，本发明提出了一种基于概念漂移检测和自适应的恶意流量检测方法cdda-md。首先，使用滑动窗口技术捕获网络流量样本并随机将其划分为训练数据集、验证数据集和测试数据集，基于每个窗口进行数据分析以观察不同窗口内对恶意流量检测的错误率变化。然后，利用长短时记忆网络捕获网络流量验证数据集中时间序列特征的长期依赖性以更全面地分析网络流量的时序关系和动态行为，从而更好地理解网络流量中不同时间步骤之间的信息传递和上下文关系；同时，引入多头自注意力机制解决检测模型在检测过程中由于未对恶意流量判定起更大作用的特征赋予更大的权重而导致特征冗余的问题。接着，通过基于错误率的方法进行网络流量概念漂移现象的检测，并利用检测出的概念漂移现象对检测模型进行增量学习以对其进行动态调整，让模型适应当前网络环境。最后，基于检测到的概念漂移现象利用长短时记忆网络进行恶意流量的准确检测，从而有效地维护网络空间安全。

技术实现思路

1、本发明的目的是为了解决网络环境中存在的概念漂移现象导致恶意流量检测效果出现显著下滑的问题，更加准确地从网络流量中检测出不同类别的恶意流量。为此，本发明提出了一种基于概念漂移检测和自适应的恶意流量检测方法。

2、本发明提供了一种基于概念漂移检测和自适应的恶意流量检测方法，包括：

3、步骤1，使用滑动窗口技术捕获网络流量样本，随机将捕获的网络流量划分为训练数据集、验证数据集和测试数据集，并基于每个窗口进行数据分析以观察不同窗口内对恶意流量检测的错误率变化；

4、步骤2，利用长短时记忆网络捕获网络流量验证数据集中时间序列特征的长期依赖性，引入多头自注意力机制更全面地分析网络流量的时序关系和动态行为，并为对恶意流量判定起更大作用的特征赋予更大的权重；

5、步骤3，利用基于错误率的方法进行网络流量概念漂移现象的检测，并利用检测出的概念漂移现象对检测模型进行增量学习，以对其进行动态调整；

6、步骤4，基于检测到的概念漂移现象利用长短时记忆网络进行恶意流量的检测，从而有效地维护网络空间安全。

7、第一方面，上述步骤1的具体步骤如下：

8、步骤1.1，使用滑动窗口技术捕获网络流量样本，其中每个滑动窗口中包含相同数量的流量样本，随机将原始网络流量划分为训练数据集、验证数据集和测试数据集，训练数据集占数据的70％，验证数据集占数据的10％，测试数据集占数据的20％；

9、步骤1.2，将网络流量训练数据集训练长短时记忆网络模型，长短时记忆网络模型简称为lstm，得到训练好的lstm模型；

10、步骤1.3，将网络流量验证数据集输入训练好的lstm模型中，观察相邻窗口内对概念漂移现象检测的错误率变化以实时监测流量数据。

11、第二方面，上述步骤2的具体步骤如下：

12、步骤2.1，利用lstm模型捕获网络流量验证数据集中时间序列特征的长期依赖性，lstm是一种适用于序列数据建模的神经网络结构，能够有效地处理序列中的长期依赖关系。为了克服神经元“死亡”问题和梯度消失问题，将lstm模型中的relu激活函数换成tanh，tanh激活函数与relu相比可以降低神经元停止学习的风险；此外，为了加速模型的收敛过程，将lstm模型中的adam优化器替换为nadam，nadam是adam优化器与nesterov动量法的结合，能够更有效地收敛到局部最优点以提高模型的收敛速度和性能；

13、步骤2.2，使用多头自注意力机制更全面地分析网络流量的时序关系和动态行为，将“注意力”集中在对恶意流量判定起更大作用的特征以对其赋予更大的权重，筛选掉部分不重要的网络流量信息，从而获取关键的网络流量特征。

14、第三方面，上述步骤3的具体步骤如下：

15、步骤3.1，利用训练好的结合多头自注意力机制的长短期记忆网络在网络流量验证数据集上进行网络流量概念漂移现象的初步判定，计算验证数据集上模型对概念漂移现象检测的平均错误率并将其作为概念漂移检测的初始阈值，结合测试数据集的标准差监测当前网络流量的数据分布变化；为了排除噪声的影响并确保概念漂移检测的准确性，只有当模型连续达到三次或更多次的警告级别时才将判定其发生概念漂移现象，从而帮助提高对概念漂移检测的稳定性和可靠性；

16、步骤3.2，利用步骤3.1检测到的概念漂移现象，采用增量学习方法来更新概念漂移检测模型，使其以更少的时间成本进行动态调整，从而不断适应网络流量中的概念漂移现象。

17、第四方面，上述步骤4的具体步骤如下：

18、步骤4.1，基于步骤3检测到的概念漂移现象，利用lstm模型捕获网络流量数据集中时间序列数据特征的长期依赖性，并使用多头自注意力机制为网络流量中的不同特征赋予不同的权重；

19、步骤4.2，利用lstm模型进行恶意流量的检测，基于检测结果计算其与真实标签的交叉熵损失；

20、步骤4.3，使用反向传播算法更新恶意流量检测模型的参数最小化损失函数，使其适应复杂变化的网络环境，最终输出恶意流量的检测结果，从而有效地维护网络空间安全。

21、与现有技术相比，本发明有益的效果：

22、1、物联网以及工业互联网等网络设备的广泛使用使得网络环境发生较大的变化，这也导致网络中的概念漂移现象经常发生。然而，传统的恶意流量检测模型在检测过程中未考虑概念漂移现象，引发其对恶意流量检测的效果出现显著下滑。为此，本发明在进行恶意流量检测前先识别网络环境中的概念漂移现象，通过概念漂移现象的检测和自适应以提升对恶意流量的检测效果。

23、2、针对物联网以及工业互联网等网络设备会产生大量网络流量，通过滑动窗口技术捕获网络流量并对其进行划分，利用每个窗口中的网络流量进行数据分析以解决现有方法由于对大规模网络流量数据集进行处理而导致的延迟问题，从而提高恶意流量检测的时效性并减少检测过程的计算资源和存储资源。

24、3、针对物联网以及工业互联网等网络设备所产生的网络流量中经常存在概念漂移现象，采用基于错误率的思想检测网络流量中的概念漂移现象，在验证数据集上使用本地验证方法确定概念漂移预警的初始阈值以提高对网络流量的分析效率，通过连续达到三次或更多次警告级别才确认存在概念漂移现象的策略排除网络环境中噪声数据的影响，从而提升对概念漂移的检测准确性。

25、4、当检测到概念漂移后，结合增量学习方法利用收集到的漂移数据对检测模型进行更新以实现模型的自适应，从而让检测模型不断适应当前网络环境的变化。

26、5、由物联网和工业互联网等网络设备产生的数据具有极强的长期依赖性，为此本发明引入长短时记忆网络模型以捕获网络流量特征的长依赖性；此外，将传统长短时记忆网络模型中使用的relu激活函数换成tanh以克服神经元“死亡”问题和梯度消失问题，将传统长短时记忆网络模型中的adam优化器替换为nadam以加速模型收敛；在长短时记忆网络模型基础上引入多头自注意力机制，利用其能够自适应地根据网络流量中各特征对恶意流量检测结果的不同影响为不同的流量特征分配不同的权重，突出关键特征并削弱次要特征的干扰，从而提高对恶意流量的检测能力。