一种基于对比学习的工控物联网异常行为检测方法及系统与流程

本发明涉及一种基于对比学习的工控物联网异常行为检测方法及系统，属于网络安全异常检测。

背景技术：

1、传统的工控系统处于封闭可信环境，采用“两层三级”的防御体系、分层分域的隔离思路，对网络攻击防护能力普遍不足。随着工业互联网的发展，工业设备逐渐智能化，相关业务上云，原有网络安全边界瓦解，安全防护措施失效，传统的互联网安全威胁蔓延至工业企业内部，可能导致设备被操控、生产过程中断、敏感数据泄露，甚至引发工业事故。

2、不同于传统互联网中的信息安全防护，工业互联网安全需要有机融合信息安全和功能安全，还要叠加交织传统工控安全和互联网安全，针对不同的工业互联网防护对象采取相应的安全措施。工业互联网安全监测技术主要指的是对工业互联网防护对象采取资产安全管理、安全监测与审计、网络态势感知等措施，网络异常行为检测技术正是网络态势感知技术的明确应用。网络异常行为检测技术是一种通过不断收集网络数据，利用统计分析、特征规则、数据挖掘和机器学习等方法建立、维护和更新网络行为模型，检测当前用户行为是否超过正常行为阈值来识别出异常行为，可以在不影响网络性能的情况下完成对网络安全性的分析，并能采取积极的响应阻止攻击行为破坏网络，保障网络运行的安全。

3、针对上述问题，现有的网络异常行为检测技术一般可以分为基于规则的网络异常行为检测技术、基于人工特征提取的传统机器学习方法以及不需要显式特征提取而是通过端到端的学习从原始数据中直接获取特征的深度学习方法，其中，基于规则的网络异常行为检测技术的工作原理是通过定义一系列的规则来描述正常的网络行为模式，然后与实际的网络行为进行比较，检测是否存在异常行为。这些规则可以基于特定的行为模式，如暴力破解、恶意软件传播等，也可以基于特定的网络流量特征，如异常的流量大小、频率等，当网络中的行为或流量与预定义的规则不符时，就会被视为异常行为。基于人工特征提取的传统机器学习异常行为检测技术主要是通过训练模型来学习正常网络流量的特征，然后使用这些模型来检测网络中的异常行为，主要流程包括数据特征提取、数据预处理、模型训练以及使用训练好的模型对新的网络流量进行分类从而实现异常检测。如果被分类为异常行为，则可能表示网络中存在安全威胁。当前已有的异常检测技术中，大都是基于人工特征提取的方法实现的。

4、现有技术在一定程度上解决了工控物联网异常行为检测问题，但是仍存在如下不足：

5、基于规则的网络异常行为检测技术存在依赖已知规则、误报率高以及无法应对复杂环境的问题。基于人工特征提取的传统有监督机器学习异常行为检测技术存在特征工程复杂、需要大量标注数据以及检测效果受限的问题。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于对比学习的工控物联网异常行为检测方法，采用全新设计，提升模型对特征信息的学习，进而对工控物联网异常行为实现精确检测。

2、本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于对比学习的工控物联网异常行为检测方法，针对目标工控物联网的工作，按如下步骤a至步骤e，获得目标工控物联网对应的网络异常行为检测模型；然后针对目标工控物联网的实时工作，实时执行如下步骤ⅰ，应用网络异常行为检测模型，实现网络异常行为的实时检测；

3、步骤a.针对目标工控物联网在目标历史时间段内覆盖预设各类型异常网络状态标签、以及正常网络状态标签的各历史时间点，获得目标工控物联网分别在该各历史时间点的真实网络状态标签、以及对应预设各网络数据类型特征的特征值，组成目标工控物联网在该各历史时间点的样本，然后进入步骤b；

4、步骤b.分别针对目标工控物联网的各个样本，将样本中离散型的各个特征值转化为连续型特征值，更新样本；进而更新目标工控物联网的各个样本，然后进入步骤c；

5、步骤c.基于目标工控物联网各样本的副本的数据增强更新，应用网络训练应用，获得各样本分别对应关于网络状态标签的辅助标签，然后进入步骤d；

6、步骤d.分别针对目标工控物联网的各个样本，获得样本中连续型特征值与真实网络状态标签整体的隐藏状态向量，进而获得各个样本分别一一对应的隐藏状态向量，然后进入步骤e；

7、步骤e.基于目标工控物联网的各个隐藏状态向量、以及相对应各样本，根据计算输出网络状态标签与真实网络状态标签之间交叉熵损失、以及全部隐藏状态向量的分层对比损失，以隐藏状态向量为输入，以隐藏状态向量相对应样本中的真实网络状态标签为输出，针对包含softmax的目标分类器进行训练，获得训练后模型，即网络异常行为检测模型；

8、步骤ⅰ.获得目标工控物联网在当前时间点对应预设各网络数据类型特征的特征值，应用网络异常行为检测模型进行处理，即获得目标工控物联网在当前时间点的计算输出网络状态标签，实现网络异常行为的实时检测。

9、作为本发明的一种优选技术方案：所述步骤c包括如下步骤c1至步骤c3；

10、步骤c1.分别针对目标工控物联网各样本的副本，为副本中的连续型特征值添加噪声更新，更新副本，进而更新各个副本，然后进入步骤c2；

11、步骤c2.基于各个副本，以副本中连续型特征值为输入，以副本中真实网络状态标签为输出，针对预设第一神经网络模型进行训练，获得代理任务模型，然后进入步骤c3；

12、步骤c3.分别针对目标工控物联网各样本中的连续型特征值，应用代理任务模型进行处理，获得相应各个网络状态标签，分别构成样本对应关于网络状态标签的辅助标签。

13、作为本发明的一种优选技术方案：所述预设第一神经网络模型为rnn神经网络。

14、作为本发明的一种优选技术方案：所述步骤e包括步骤e1至步骤e3；

15、步骤e1.根据目标工控物联网的各个隐藏状态向量hi，构建全部隐藏状态向量的分层对比损失lhc如下：

16、

17、

18、其中，i表示隐藏状态向量的数量，即样本的数量；pi表示第i个隐藏状态向量对应的辅助标签，pj表示第j个隐藏状态向量对应的辅助标签，pk表示第k个隐藏状态向量对应的辅助标签；hi表示第i个隐藏状态向量，hj表示第j个隐藏状态向量，hk表示第k个隐藏状态向量；yi表示第i个隐藏状态向量对应的真实网络状态标签，yj表示第j个隐藏状态向量对应的真实网络状态标签；f(u,v)＝exp(sim(u,v)/τp)，g(u,v)＝exp(sim(u,v)/τy)，sim(u,v)＝utv/||u||||v||，sim(u,v)表示u与v之间的余弦相似度，exp表示指数函数，α、τp、τy是可调整超参数；然后进入步骤e2；

19、步骤e2.基于目标工控物联网的各个隐藏状态向量hi、以及相对应的真实网络状态标签yi，以隐藏状态向量为输入，以隐藏状态向量相对应样本中的真实网络状态标签为输出，针对包含softmax的目标分类器进行训练，获得训练下目标分类器，并获得计算输出网络状态标签与真实网络状态标签之间交叉熵损失lclass如下：

20、

21、其中，表示训练下目标分类器关于隐藏状态向量hi的计算输出网络状态标签，然后进入步骤e3；

22、步骤e3.按l＝γclclass+γhlhc+λ||θ||2，获得总损失l，若总损失l满足训练溢出条件，则当前循环下步骤e2所获训练下目标分类器即为网络异常行为检测模型；若总损失l不满足训练溢出条件，则返回步骤e1；其中，γc和γh是可调整超参数，θ表示α、τp、τy、以及目标分类器中可调整超参数；λ表示l2正则化系数。

23、作为本发明的一种优选技术方案：所述包含softmax的目标分类器如下：

24、

25、其中，w、b表示目标分类器中可调整超参数。

26、作为本发明的一种优选技术方案：所述步骤b中，分别针对目标工控物联网的各个样本，采用独热编码、标签编码、或者特征嵌入中的任意一种，将样本中离散型的各个特征值转化为连续型特征值，更新样本。

27、作为本发明的一种优选技术方案：所述预设各网络数据类型特征包括流量特征、系统日志特征、系统告警信息特征，其中，流量特征包括tcp流量占比特征、udp流量占比特征、icmp流量占比特征、tcp无负载数据报文数特征、udp无负载数据报文数特征、重传数据包计数特征；系统日志特征包括系统权限变更记录特征、远程登录次数特征、远程登录占比特征、登录失败次数特征、重要指令操作次数特征；系统告警信息特征包括数据库异常告警信息特征、系统异常告警信息特征、设备异常告警信息特征、网络攻击告警信息特征。

28、与上述相对应，本发明还要解决的技术问题是提供一种基于对比学习的工控物联网异常行为检测方法的系统，以模块化设计，执行设计方法，对工控物联网异常行为实现精确检测。

29、本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于对比学习的工控物联网异常行为检测方法的系统，包括数据采集层、网络异常行为挖掘分析层、数据存储管理层、分布式流处理平台kafka，其中，数据采集层经分布式流处理平台kafka与网络异常行为挖掘分析层进行通信；

30、数据采集层内置jnetpcap组件、flume组件，由jnetpcap组件对目标工控物联网的网络数据进行实时采集，并按预设各网络数据类型特征，针对所采集的网络数据实时执行特征提取，再由flume组件将目标工控物联网实时对应预设各网络数据类型特征的特征值进行汇总上传至分布式流处理平台kafka。

31、网络异常行为挖掘分析层内置spark ml机器学习组件、spark streaming流处理组件，基于内置目标工控物联网对应各历史时间点的真实网络状态标签、以及对应预设各网络数据类型特征的特征值的数据库，由spark ml机器学习组件按预设周期执行步骤a至步骤e，获得目标工控物联网对应的网络异常行为检测模型；spark streaming流处理组件通过消息订阅方式读取分布式流处理平台kafka上目标工控物联网实时对应预设各网络数据类型特征的特征值，并调用spark ml机器学习组件训练获得的网络异常行为检测模型进行处理，获得网络异常行为实时检测结果，再上传至数据存储管理层进行存储。

32、作为本发明的一种优选技术方案：所述数据存储管理层基于分布式存储系统hdfs，应用关系型数据库mysql实现数据存储。

33、作为本发明的一种优选技术方案：还包括与数据存储管理层相通信的结果可视化展示层，由结果可视化展示层用于对数据存储管理层中存储的数据进行输出展示、以及交互响应。

34、本发明所述一种基于对比学习的工控物联网异常行为检测方法及系统及系统，采用以上技术方案与现有技术相比，具有以下技术效果：

35、(1)本发明设计一种基于对比学习的工控物联网异常行为检测方法，以对比学习算法进行改进，基于对样本添加辅助标签的设计上，引入分层对比损失函数提升模型对特征信息的学习，再结合交叉熵损失，实现多维损失分析下的网络训练，获得目标工控物联网对应的网络异常行为检测模型，对工控物联网的网络异常行为实现精确检测；并进一步设计相应系统，以模块化设计实现贯穿全方案设计下的应用，实现检测方法在实际应用中的高效执行，准确实现工控物联网的异常检测，提高实际应用下的网络安全性。