模型训练方法、网络流量异常检测方法及系统与流程

本发明涉及机器学习、能源互联网与网络安全领域，尤其涉及一种模型训练方法、网络流量异常检测方法及系统。

背景技术：

1、网络流量异常检测是识别网络攻击与潜在安全威胁的重要对策。当前，针对能源、通信等国家关键基础设施的网络攻击，多从现场侧防护薄弱的终端设备发起，如电力终端所涉及的网络安全问题，将直接影响能源互联网的安全稳定运行。

2、相关技术中，由于分布式终端节点自身的特性以及网络环境的复杂性，传统的网络流量异常检测方法部署困难且难以适应局域环境特性，且误报率和漏报率均较高。

3、因此，传统的网络流量异常检测方法存在复杂度高，且准确性能低的问题。

技术实现思路

1、本发明提供一种模型训练方法、网络流量异常检测方法及系统，用以解决传统的网络流量异常检测方法复杂度高，且准确性能低的缺陷。

2、第一方面，本发明提供一种模型训练方法，由局域控制器执行，所述局域控制器与全域控制器相连，所述方法包括：

3、获取公共网络流量数据；

4、将所述公共网络流量数据输入初步训练后的网络流量异常检测专才模型，得到网络流量异常检测专才模型输出的第一逻辑单元值；

5、将所述第一逻辑单元值上传至所述全域控制器；其中，所述全域控制器用于将与其相连的各个局域控制器上传的第一逻辑单元值聚合为第二逻辑单元值，并将所述公共网络流量数据输入预先构建的网络流量异常检测通才模型，得到第三逻辑单元值；

6、接收所述全域控制器发送的第二逻辑单元值和第三逻辑单元值，通过局域知识蒸馏迭代更新网络流量异常检测专才模型，得到训练结果。

7、根据本发明提供的模型训练方法，获取公共网络流量数据，包括：

8、采集公共网络数据包；

9、对所述公共网络数据包进行解析，得到流量特征数据；

10、对所述流量特征数据进行预处理，得到公共网络流量数据；其中，所述预处理包括独热编码处理和特征归一化处理。

11、根据本发明提供的模型训练方法，通过局域知识蒸馏迭代更新网络流量异常检测专才模型，得到训练结果，包括：

12、将所述第二逻辑单元值和所述第三逻辑单元值作为软标签，对网络流量异常检测专才模型和网络流量异常检测通才模型进行局域知识蒸馏；

13、确定局域知识蒸馏中网络流量异常检测通才模型的第一预测损失值、聚合过程的第二预测损失值以及重构焦点损失值；

14、对所述第一预测损失值、所述第二预测损失值以及所述重构焦点损失值进行加权求和，得到联合蒸馏损失值；

15、基于所述联合蒸馏损失值，对网络流量异常检测专才模型进行迭代更新，得到训练结果。

16、根据本发明提供的模型训练方法，在通过局域知识蒸馏迭代更新网络流量异常检测专才模型，得到训练结果之后，所述方法还包括：

17、获取本地网络流量数据；

18、通过所述本地网络流量数据对所述训练结果进行微调，得到微调后的网络流量异常检测专才模型。

19、根据本发明提供的模型训练方法，所述网络流量异常检测专才模型包括：第一特征提取层、第二特征提取层以及第三特征提取层；

20、所述第一特征提取层、所述第二特征提取层以及所述第三特征提取层顺次连接；

21、所述第一特征提取层和所述第二特征提取层均用于提取输入数据的空间特征，所述第三特征提取层用于提取输入数据的时间特征；

22、其中，各局域控制器的网络流量异常检测专才模型间可相互异构。

23、根据本发明提供的模型训练方法，所述网络流量异常检测通才模型包括多个多尺度时空残差模块，所述多个多尺度时空残差模块顺次连接，每个所述多尺度时空残差模块均包括：

24、第一处理单元，用于从多个尺度提取并处理输入数据的空间特征，得到第一结果数据；

25、长短期记忆网络单元，用于提取所述第一结果数据的时间特征，得到第二结果数据；

26、第二处理单元，用于拟合第一处理单元与长短期记忆网络单元提取的时间特征和空间特征的残差并优化，得到输出数据。

27、根据本发明提供的模型训练方法，所述第一处理单元包括：

28、第一卷积层，用于从多个尺度提取输入数据的一级空间特征，得到多个第一特征数据；

29、第一整合层，用于将所述多个第一特征数据进行整合，得到第一整合数据；

30、第二卷积层，用于提取所述第一整合数据的二级空间特征，得到第二特征数据；

31、第一正则化层，用于对所述第二特征数据进行正则化处理，得到第三特征数据；

32、第一激活层，用于对所述第三特征数据进行非线性转换，得到第一结果数据。

33、根据本发明提供的模型训练方法，所述第二处理单元包括：

34、第二整合层，用于将输入数据与所述第二结果数据进行整合，拟合第一处理单元与长短期记忆网络单元提取的时间特征和空间特征的残差，得到第二整合数据；

35、第二正则化层，用于对所述第二整合数据进行正则化处理，得到第三结果数据；

36、第二激活层，用于对所述第三结果数据进行非线性转换，得到输出数据。

37、第二方面，本发明还提供一种网络流量异常检测方法，由局域控制器执行，所述局域控制器与至少一个电力终端相连，所述方法包括：

38、获取所述至少一个电力终端的实时网络流量数据；

39、将所述实时网络流量数据输入网络流量异常检测专才模型，得到所述网络流量异常检测专才模型输出的实时逻辑单元值；其中，所述网络流量异常检测专才模型基于如上任一种所述的模型训练方法训练得到；

40、基于所述实时逻辑单元值，确定至少一个电力终端的网络流量异常检测结果。

41、第三方面，本发明还提供一种网络流量异常检测系统，包括：

42、至少一个电力终端；

43、局域控制器，与所述至少一个电力终端相连，所述局域控制器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述网络流量异常检测方法。

44、本发明提供的模型训练方法、网络流量异常检测方法及系统，通过将公共网络流量数据输入初步训练后的网络流量异常检测专才模型，得到第一逻辑单元值，将第一逻辑单元值上传至全域控制器，以使全域控制器将与其相连的各个局域控制器上传的第一逻辑单元值聚合为第二逻辑单元值，并将公共网络流量数据输入预先构建的网络流量异常检测通才模型，得到第三逻辑单元值，之后接收全域控制器发送的第二逻辑单元值和第三逻辑单元值，通过局域知识蒸馏迭代更新网络流量异常检测专才模型，得到训练结果。由于训练过程利用聚合得到的第二逻辑单元值和预测得到的第三逻辑单元值，配合局域知识蒸馏的方式进行模型训练，可以使训练所得的网络流量异常检测专才模型具备更优的准确性与现实环境适应性，进而提升网络流量异常检测环节的检测精度以及检测效率。