基于机器学习的网络线路流量带宽异常检测方法及系统与流程

本发明涉及网络安全，具体地，涉及一种基于机器学习的网络线路流量带宽异常检测方法及系统。

背景技术：

1、当前基于网络质量监控npm(network performance monitor)平台及静态阈值告警的可用性监控手段，和基于netflow、全流量镜像等分析平台的内容监控手段，均难以覆盖日趋复杂的网络线路运行风险(如：线路质量下降、异常流量带宽等)。为了对网络线路的运行质量进行精细化管理，使用新的网络线路流量带宽异常检测方法迫在眉睫。通过基于机器学习的复合识别方法，对网络线路流量的运行特征进行分类建模识别，结合自动化告警脚本工具进行实时报告，可以有效提升网络线路流量管理精细度，提前对线路运行异常进行预警，并提升异常识别的泛微、准确性和处置效率。

2、专利文献cn113157505b公开了一种带宽自适应的异常流量检测方法，其步骤具体如下：(1)、创建循环序列l；(2)、创建ip-时间的映射表t；(3)、每隔5秒采样一次当前服务器的峰值带宽b0；(4)、将步骤(3)中获取的b0推入到循环队列l中，根据当前的网络总带宽b计算出递增率α，并计算得出当前时候t的滤波带宽值bt；其中：递增率其中αmax＝0.9；滤波带宽值bt＝αb0+(1-α)*bt-1；(5)、将步骤(4)中获取的滤波带宽值bt与三周期前的值进行比较，得到相应的增长率γ；(6)、根据γ判断当前状态，若γ不小于0.5则返回步骤(2)；若γ大于0.5，则发出报警，启动异常流量过滤。该发明仅通过对历史流量进行滤波带宽计算，以相对静态的方式发现带宽变化量的异常，异常场景单一、算法固定、容易产生误报，无法对管理员难以预知、不一定会产生流量变化异常的其他问题(如“线路开通不善、线路质量下降带宽无法顶满等”)进行预警；本发明通过基于卷积神经网络和knn的机器学习算法，结合预设多异常场景的问题场景训练集，随着生产数据和问题场景的不断丰富，对检测模型自动迭代改进，极大拓宽了自动异常检测的场景范围、降低了自动检测的误报率。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于机器学习的网络线路流量带宽异常检测方法及系统。

2、根据本发明提供的一种基于机器学习的网络线路流量带宽异常检测方法，包括：

3、步骤s1：将网络安全设备中的通信流量数据写入数据库，截取数据作为测试集并进行初始化；

4、步骤s2：选择分类方法进行分类计算；

5、步骤s3：针对训练集实验结果的准确性和时间效率两方面进行验证；

6、步骤s4：输入数据并根据模型训练结果进行处置。

7、优选地，在所述步骤s1中：

8、通过snmp协议收集网络安全设备中的通信流量数据写入数据库，网络安全设备包括路由器、交换机、防火墙，从中截取数据作为测试集，其中包含正常流量带宽样本和异常流量带宽样本，异常流量带宽样本覆盖场景包括线路质量下降、异常突增带宽、异常突减带宽；

9、训练集初始化：对于一个特定的流量带宽序列e定义其参数，包括：

10、数据集的时间跨度t根据工作时间、非工作时间、异常活动时间将该序列时间跨度进行分割；

11、对应时间跨度将带宽序列进行分割，并将分割后的带宽序列初始化为一维向量图形。

12、优选地，在所述步骤s2中：

13、分类方法选择：定义时间偏移参数h，其中0％<h<100％，针对符合时间偏移参数的样本使用knn分类算法进行分类，不符合的样本使用cnn分类算法进行分类；

14、knn分类：若t(e)<(100％-h)*t，则使用knn算法对训练序列e进行分类，通过numpy框架将离散队列e向量化为ē，计算向量距离后找到最近的训练集样本得到分类；

15、cnn分类：若(100％-h)*t<t(e)<t，则使用cnn算法对训练序列e进行分类，将离散队列e向量化为ē后生成图像，通过pytorch框架对图像进行训练后得到分类。

16、优选地，在所述步骤s3中：

17、从训练集实验结果的准确性和时间效率两方面进行验证，根据不同比例设置h值后统计分类准确性和耗时，通过最小二乘法进行线性拟合，并使用复合模型，确认按照样本的时间偏移参数使用不同算法的模型复合预期期望；

18、模型优化：随着数据输入的增加，每隔固定时间对模型进行抽样校验优化，根据实际效率情况调整时间偏移比例。

19、优选地，在所述步骤s4中：

20、实时流量数据基于设备的网络通信接口通过snmp协议采集方式自动采集至数据输入平台进行汇总；管理员通过设置自动分析区间t，将(t0-t,t0)时间段数据输入平台后，将具体流量数据自动格式化为预定义的参数字段，再通过自动化脚本的方式同步推送至分类器的数据分析接口；

21、经过训练的机器学习分类模型，在通过数据分析接口获取样本后，根据分类算法进行选择得到识别结果；

22、输入的数据参数经过分类器分类算法选择后，输出识别结果；

23、监控预警系统根据结果，结合输入信息将告警请求通过自动化接口方式推送给告警平台，通过告警平台向相关管理员进行自动告警。

24、根据本发明提供的一种基于机器学习的网络线路流量带宽异常检测系统，包括：

25、模块m1：将网络安全设备中的通信流量数据写入数据库，截取数据作为测试集并进行初始化；

26、模块m2：选择分类方法进行分类计算；

27、模块m3：针对训练集实验结果的准确性和时间效率两方面进行验证；

28、模块m4：输入数据并根据模型训练结果进行处置。

29、优选地，在所述模块m1中：

30、通过snmp协议收集网络安全设备中的通信流量数据写入数据库，网络安全设备包括路由器、交换机、防火墙，从中截取数据作为测试集，其中包含正常流量带宽样本和异常流量带宽样本，异常流量带宽样本覆盖场景包括线路质量下降、异常突增带宽、异常突减带宽；

31、训练集初始化：对于一个特定的流量带宽序列e定义其参数，包括：

32、数据集的时间跨度t根据工作时间、非工作时间、异常活动时间将该序列时间跨度进行分割；

33、对应时间跨度将带宽序列进行分割，并将分割后的带宽序列初始化为一维向量图形。

34、优选地，在所述模块m2中：

35、分类方法选择：定义时间偏移参数h，其中0％<h<100％，针对符合时间偏移参数的样本使用knn分类算法进行分类，不符合的样本使用cnn分类算法进行分类；

36、knn分类：若t(e)<(100％-h)*t，则使用knn算法对训练序列e进行分类，通过numpy框架将离散队列e向量化为ē，计算向量距离后找到最近的训练集样本得到分类；

37、cnn分类：若(100％-h)*t<t(e)<t，则使用cnn算法对训练序列e进行分类，将离散队列e向量化为ē后生成图像，通过pytorch框架对图像进行训练后得到分类。

38、优选地，在所述模块m3中：

39、从训练集实验结果的准确性和时间效率两方面进行验证，根据不同比例设置h值后统计分类准确性和耗时，通过最小二乘法进行线性拟合，并使用复合模型，确认按照样本的时间偏移参数使用不同算法的模型复合预期期望；

40、模型优化：随着数据输入的增加，每隔固定时间对模型进行抽样校验优化，根据实际效率情况调整时间偏移比例。

41、优选地，在所述模块m4中：

42、实时流量数据基于设备的网络通信接口通过snmp协议采集方式自动采集至数据输入平台进行汇总；管理员通过设置自动分析区间t，将(t0-t,t0)时间段数据输入平台后，将具体流量数据自动格式化为预定义的参数字段，再通过自动化脚本的方式同步推送至分类器的数据分析接口；

43、经过训练的机器学习分类模型，在通过数据分析接口获取样本后，根据分类算法进行选择得到识别结果；

44、输入的数据参数经过分类器分类算法选择后，输出识别结果；

45、监控预警系统根据结果，结合输入信息将告警请求通过自动化接口方式推送给告警平台，通过告警平台向相关管理员进行自动告警。

46、与现有技术相比，本发明具有如下的有益效果：

47、本发明通过基于卷积神经网络(cnn)和knn的机器学习算法，通过自动化手段进行线路运行质量识别，针对异常突发情况指导监控预警系统进行告警，最终形成一套高效完备的网络线路流量带宽异常检测系统，提高复杂网络环境中网络带宽异常状态评估的准确性和处理效率。