一种加固型网络安全监控预警系统及方法与流程

1.本发明涉及网络安全领域，尤其涉及一种加固型网络安全监控预警系统及方法。


背景技术：

2.网络安全是指网络系统的硬件、软件及其系统中的数据受到保护。网络的物理安全是整个网络系统安全的前提，若要确保网络安全，则需要用到专用的网络安全设备。
3.然而，现有市场上的网络安全设备稳固性能不佳，无法固定于工作处，在使用过程中，受到接线的牵拉，容易造成接口的松动，从而造成接触不良、连接断开等问题，给用户的使用造成影响，甚至可能造成网络的安全隐患，从而使数据容易遭受到破坏、更改、泄露。
4.针对上述技术问题，中国专利cn 212114174u揭露了一种新型加固式网络安全设备，其通过螺丝固定板和固定卡扣来提高网络安全设备的安装稳定性。
5.虽然上述设备能够提高网络安全设备的安装稳定性，但在实际使用中，因使用时间长，连接线、接口仍然会发生松动，继而发生接触不良、连接断开等问题，给用户的使用造成影响。


技术实现要素：

6.本发明提供一种加固型网络安全监控预警系统，当连接线和接口发生松动时，加固型网络安全监控预警系统会在图像端得以呈现，基于图像的自动监控，实现对连接线、接口仍然会发生松动进行监控，如出现发生接触不良、连接断开等问题的时，及时报警。
7.加固型网络安全监控预警系统包括：监控单元、感兴趣区域提取单元、孪生单元、度量单元以及加固提示单元；
8.监控单元用于获取待监控网络安全设备的监控图像；
9.感兴趣区域提取单元用于将所述待监测网络安全设备的监控图像通过感兴趣区域识别网络以得到感兴趣区域，所述感兴趣区域为连接线连接区域或接口连接区域；
10.孪生单元用于将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图；其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像；
11.度量单元用于将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型以得到距离特征向量；
12.加固提示单元用于将所述距离特征向量作为分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生加固预警提示。
13.进一步需要说明的是，孪生单元包括：检测图像特征提取子单元，用于将所述感兴趣区域通过包含第一卷积神经网络的孪生网络模型以得到检测特征图；
14.其中，所述检测图像特征提取子单元，进一步用于：
15.使用所述第一卷积神经网络的卷积编码部分对所述感兴趣区域进行深度卷积编码以得到初始卷积特征图；
16.将所述初始卷积特征图输入所述第一卷积神经网络的空间注意力部分以得到第一空间注意力图；
17.将所述第一空间注意力图通过softmax激活函数以得到第一空间注意力特征图；以及
18.计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到检测特征图。
19.进一步需要说明的是，孪生单元，包括：参考图像特征提取子单元，用于将所述参考图像通过包含第二卷积神经网络的孪生网络模型以得到参考特征图，其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像；
20.其中，所述参考图像特征提取子单元，进一步用于：
21.使用所述第二卷积神经网络的卷积编码部分对所述参考图像进行深度卷积编码以得到初始卷积特征图；
22.将所述初始卷积特征图输入所述第二卷积神经网络的空间注意力部分以得到第二空间注意力图；
23.将所述第二空间注意力图通过softmax激活函数以得到第二空间注意力特征图；以及计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到参考特征图。
24.进一步需要说明的是，度量单元包括：
25.第一全连接编码子单元，用于使用所述关系网络的第一全连接层对所述检测特征图进行全连接编码以得到深度检测特征向量；
26.第二全连接编码子单元，用于使用所述关系网络的第二全连接层对所述参考特征图进行全连接编码以得到深度参考特征向量；以及
27.差分子单元，用于计算所述深度检测特征向量和所述深度参考特征向量之间的差分以得到所述距离特征向量。
28.进一步需要说明的是，差分子单元包括：以如下公式来计算所述深度检测特征向量和所述深度参考特征向量之间的差分以得到所述距离特征向量；
29.其中，所述公式为：其中，v1表示所述深度检测特征向量，v2表示深度参考特征向量，表示按位置作差。
30.进一步需要说明的是，加固提示单元包括：
31.全连接编码子单元，用于使用分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
32.分类结果生成子单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
33.进一步需要说明的是，还包括用于对所述感兴趣区域识别网络、所述孪生网络模型、所述基于关系网络的距离度量模型和所述分类器进行训练的训练模块。
34.进一步需要说明的是，所述训练模块还包括：
35.训练数据采集单元，用于获取训练数据，所述训练数据包括训练监控图像、训练参考图像以及是否产生加固预警提示的真实标签值；
36.训练感兴趣区域提取单元，用于将所述训练监控图像通过感兴趣区域识别网络以
得到训练感兴趣区域；
37.训练孪生单元，用于将所述训练感兴趣区域和所述训练参考图像通过所述包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到训练检测特征图和训练参考特征图；
38.训练度量单元，用于将所述训练检测特征图和所述训练参考特征图通过所述基于关系网络的距离度量模型以得到训练距离特征向量；
39.分类损失单元，用于将所述训练距离特征向量作为分类特征向量通过分类器以得到分类损失函数值；
40.特征模式消解损失单元，用于计算所述训练检测特征图和所述训练参考特征图的特征提取模式消解的抑制损失函数值，所述特征提取模式消解的抑制损失函数值与由所述训练检测特征图展开得到的第一特征向量和由所述训练参考特征图展开得到的第二特征向量之间的差分特征向量的二范数的平方有关；以及
41.训练单元，用于以所述分类损失函数值和所述特征提取模式消解的抑制损失函数值的加权和作为损失函数值对所述感兴趣区域识别网络、所述孪生网络模型、所述基于关系网络的距离度量模型和所述分类器进行训练。
42.进一步需要说明的是，所述特征模式消解损失单元还用于：以如下公式计算所述训练检测特征图和所述训练参考特征图的特征提取模式消解的抑制损失函数值；
43.其中，所述公式为：
[0044][0045][0046]
其中v1表示所述训练检测特征图展开得到的第一特征向量，v2表示所述训练参考特征图展开得到的第二特征向量，m1和m2分别是所述分类器对于所述特征向量v1和v2的权重矩阵，‖
·
‖f表示矩阵的f范数，且表示向量的二范数的平方，表示按位置减法。
[0047]
本发明还提供一种加固型网络安全监控预警方法，方法包括：获取待监控网络安全设备的监控图像；
[0048]
将所述待监测网络安全设备的监控图像通过感兴趣区域识别网络以得到感兴趣区域，所述感兴趣区域为连接线连接区域或接口连接区域；
[0049]
将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图；其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像；
[0050]
将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型以得到距离特征向量；
[0051]
将所述距离特征向量作为分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生加固预警提示。
[0052]
从以上技术方案可以看出，本发明具有以下优点：
[0053]
本发明提供的加固型网络安全监控预警系统及方法，对网络安全设备的连接稳定性进行实时监测，以在发现连接线或者接口发生松动时，产生预警提示，进而提示用户来进
行加固。当连接线和接口发生松动时，其会在图像端得以呈现，因此，通过对网络安全设备进行基于图像的自动监控，以从软件端来加固网络安全设备。
附图说明
[0054]
为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1为加固型网络安全监控预警系统实施例示意图。
[0056]
图2为加固型网络安全监控预警系统框图。
[0057]
图3为加固型网络安全监控预警系统架构图。
[0058]
图4为度量单元的框图。
[0059]
图5为训练模块的框图。
[0060]
图6为加固型网络安全监控预警方法流程图。
[0061]
图7为加固型网络安全监控预警方法训练阶段的流程图。
具体实施方式
[0062]
本发明提供一种加固型网络安全监控预警系统是为了解决在网络安全设备的实际使用中，因使用时间长，连接线、接口仍然会发生松动，继而发生接触不良、连接断开等问题，给用户的使用造成影响。
[0063]
本发明选择从软件端来对所述网络安全设备来进行“加固”。具体地，对网络安全设备的连接稳定性进行实时监测，以在发现连接线或者接口发生松动时，产生预警提示，以提示用户来进行加固。更具体地，当连接线和接口发生松动时，其会在图像端得以呈现，因此，在本发明中，通过对网络安全设备进行基于图像的自动监控，以从软件端来加固网络安全设备。
[0064]
具体来讲，监控单元用于获取待监控网络安全设备的监控图像；在本发明实施例中，可在所述网络安全设备上集成部署一个摄像头，以通过所述摄像头来采集待监控网络安全设备的的监控图像。应可以理解，所述网络安全设备的主要监控部位集中于连接线区域，因此，可调整所述摄像头的朝向和位置以使得所采集的监控图像能够聚焦于所述待监控网络安全设备的连接区域。
[0065]
感兴趣区域提取单元用于将所述待监测网络安全设备的监控图像通过感兴趣区域识别网络以得到感兴趣区域，所述感兴趣区域为连接线连接区域或接口连接区域；也就是，通过感兴趣区域识别网络(可以理解为是一种目标检测网络)来提取所述监控图像中的感兴趣区域，即，连接线连接区域或接口连接区域。在一些实施例中，所述感兴趣区域的提取过程也可以通过人工截取来进行，对此，并不为本发明所局限。
[0066]
孪生单元用于将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图；其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像；也就是，通过具有对称网络结构的孪生网络模型的第一卷积神经网络和第二卷积神经网络作为图像特征提取器来分别提取所述感兴趣区域和所述参考图像的高维图像局部特征。
[0067]
度量单元用于将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型以得到距离特征向量。
[0068]
也就是，以基于神经网络的距离度量模型来衡量所述检测特征图和所述参考特征图在高维特征空间中的特征分布之间的差异。
[0069]
加固提示单元用于将所述距离特征向量作为分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生加固预警提示。
[0070]
也就是，以分类器来对所述检测特征图和所述参考特征图在高维特征空间中的特征分布之间的差异进行分类判断，以确定是否要产生加固预警提示。应可以理解，在本发明的技术方案中，当差异过大时，表示检测图像与参考图像之间的差异过大，则大概率有可能发生连接线松动或接口松动，此时需产生加固预警提示，以提示用户来进行人工加固。
[0071]
在本发明的技术方案中，由于作为所述分类特征向量的所述距离特征向量是将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型得到的，因此在训练过程中，分类器的分类损失函数在梯度反向传播时会分别通过所述第一卷积神经网络和所述第二卷积神经网络，从而可能由于异常的梯度发散导致所述第一卷积神经网络和所述第二卷积神经网络的特征提取模式的消解，从而影响所述分类特征向量的分类结果的准确性。
[0072]
本发明中，引入针对所述检测特征图和所述参考特征图的特征提取模式消解的抑制损失函数，表示为：
[0073][0074][0075]
这里，v1和v2分别是所述检测特征图和所述参考特征图展开后得到的特征向量，m1和m2分别是所述分类器对于所述特征向量v1和v2的权重矩阵，‖
·
‖f表示矩阵的f范数，且表示向量的二范数的平方。
[0076]
具体地，所述特征提取模式消解的抑制损失函数通过以交叉熵形式使得分类器相对于不同特征向量的权重矩阵的差异分布与特征向量的真实的特征差异分布保持一致，来保证梯度反向传播时的定向导数在梯度传播的分支点附近得到正则化，也就是，将梯度针对所述第一卷积神经网络和所述第二卷积神经网络的特征提取模式进行过加权，这样，就对特征提取模式的消解进行了抑制，提升了所述检测特征图和所述参考特征图的特征表达能力，也就相应提升了所述距离特征向量的分类结果的准确性。
[0077]
图1图示了根据本发明实施例的加固型网络安全设备的应用场景图。如图1所示，在该应用场景中，首先获取由摄像头c采集的待监控网络安全设备d的监控图像。进而，将所述待监控网络安全设备的监控图输入至部署有加固型网络安全算法的服务器s中，其中，所述服务器能够以所述加固型网络安全算法对输入的所述待监控网络安全设备的监控图进行处理以得到用于表示是否产生加固预警提示的分类结果。
[0078]
在介绍了本发明的基本原理之后，下面将参考附图来具体介绍本发明的各种非限制性实施例。
[0079]
如图2图示了根据本发明实施例的加固型网络安全设备的框图。根据本发明实施例的加固型网络安全系统100，包括：监控单元110，用于获取待监控网络安全设备的监控图
像；感兴趣区域提取单元120，用于将所述待监测网络安全设备的监控图像通过感兴趣区域识别网络以得到感兴趣区域，所述感兴趣区域为连接线连接区域或接口连接区域；训练孪生单元130，用于将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像；度量单元140，用于将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型以得到距离特征向量；以及，加固提示单元150，用于将所述距离特征向量作为分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生加固预警提示。
[0080]
图3图示了根据本发明实施例的加固型网络安全设备的系统架构图。在该系统架构中，首先获取待监控网络安全设备的监控图像。接着，将所述待监测网络安全设备的监控图像通过感兴趣区域识别网络以得到感兴趣区域，所述感兴趣区域为连接线连接区域或接口连接区域。然后，将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像。进而，将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型以得到距离特征向量。然后，将所述距离特征向量作为分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生加固预警提示。
[0081]
在上述加固型网络安全系统100中，所述监控单元110，用于获取待监控网络安全设备的监控图像。如上所述，在网络安全设备的实际使用中，因使用时间长，连接线、接口仍然会发生松动，继而发生接触不良、连接断开等问题，给用户的使用造成影响。因此，期待一种优化的加固型网络安全设备。
[0082]
相应地，在本发明的技术方案中，本发明的发明人考虑到无论在物理端如何加固，都无法避免连接线接触不良或连接断开等问题，因此，选择从软件端来对所述网络安全设备来进行“加固”。具体地，对网络安全设备的连接稳定性进行实时监测，以在发现连接线或者接口发生松动时，产生预警提示，以提示用户来进行加固。更具体地，当连接线和接口发生松动时，其会在图像端得以呈现，因此，在本发明的技术方案中，本发明的发明人尝试通过对网络安全设备进行基于图像的自动监控，以从软件端来加固网络安全设备。因此，首先获取待监控网络安全设备的监控图像。具体地，在本发明实施例中，可在所述网络安全设备上集成部署一个摄像头，以通过所述摄像头来采集待监控网络安全设备的的监控图像。应可以理解，所述网络安全设备的主要监控部位集中于连接线区域，因此，可调整所述摄像头的朝向和位置以使得所采集的监控图像能够聚焦于所述待监控网络安全设备的连接区域。
[0083]
在上述加固型网络安全系统100中，所述感兴趣区域提取单元120，用于将所述待监测网络安全设备的监控图像通过感兴趣区域识别网络以得到感兴趣区域，所述感兴趣区域为连接线连接区域或接口连接区域。也就是，通过感兴趣区域识别网络(可以理解为是一种目标检测网络)来提取所述监控图像中的感兴趣区域，即，连接线连接区域或接口连接区域。在一些实施例中，所述感兴趣区域的提取过程也可以通过人工截取来进行，对此，并不为本发明所局限。
[0084]
在上述加固型网络安全系统100中，所述训练孪生单元130，用于将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检
测特征图和参考特征图，其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像。也就是，通过具有对称网络结构的孪生网络模型的第一卷积神经网络和第二卷积神经网络作为图像特征提取器来分别提取所述感兴趣区域和所述参考图像的高维图像局部特征。特别地，考虑到本发明需要判断连接线或接口是否产生松动，应聚焦于连接线或接口在空间上的分布特征。
[0085]
在一个示例中，在上述加固型网络安全系统100中，所述训练孪生单元130，包括：检测图像特征提取子单元，用于将所述感兴趣区域通过包含第一卷积神经网络的孪生网络模型以得到检测特征图；其中，所述检测图像特征提取子单元，进一步用于：使用所述第一卷积神经网络的卷积编码部分对所述感兴趣区域进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第一卷积神经网络的空间注意力部分以得到第一空间注意力图；将所述第一空间注意力图通过softmax激活函数以得到第一空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到检测特征图。
[0086]
在一个示例中，在上述加固型网络安全系统100中，所述训练孪生单元130，包括：参考图像特征提取子单元，用于将所述参考图像通过包含第二卷积神经网络的孪生网络模型以得到参考特征图，其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像；其中，所述参考图像特征提取子单元，进一步用于：使用所述第二卷积神经网络的卷积编码部分对所述参考图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第二卷积神经网络的空间注意力部分以得到第二空间注意力图；将所述第二空间注意力图通过softmax激活函数以得到第二空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到参考特征图。
[0087]
在上述加固型网络安全系统100中，所述度量单元140，用于将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型以得到距离特征向量。也就是，以基于神经网络的距离度量模型来衡量所述检测特征图和所述参考特征图在高维特征空间中的特征分布之间的差异。
[0088]
图4图示了根据本发明实施例的加固型网络安全设备中度量单元的框图。在上述加固型网络安全系统100中，所述度量单元140，包括：第一全连接编码子单元141，用于使用所述关系网络的第一全连接层对所述检测特征图进行全连接编码以得到深度检测特征向量；第二全连接编码子单元142，用于使用所述关系网络的第二全连接层对所述参考特征图进行全连接编码以得到深度参考特征向量；以及，差分子单元143，用于计算所述深度检测特征向量和所述深度参考特征向量之间的差分以得到所述距离特征向量。
[0089]
在一个示例中，在上述加固型网络安全系统100中，所述差分子单元143，包括：以如下公式来计算所述深度检测特征向量和所述深度参考特征向量之间的差分以得到所述距离特征向量；其中，所述公式为：其中，v1表示所述深度检测特征向量，v2表示深度参考特征向量，表示按位置作差。
[0090]
在上述加固型网络安全系统100中，所述加固提示单元150，用于将所述距离特征向量作为分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生加固预警提示。也就是，以分类器来对所述检测特征图和所述参考特征图在高维特征空间中的
特征分布之间的差异进行分类判断，以确定是否要产生加固预警提示。应可以理解，在本发明的技术方案中，当差异过大时，表示检测图像与参考图像之间的差异过大，则大概率有可能发生连接线松动或接口松动，此时需产生加固预警提示，以提示用户来进行人工加固。
[0091]
在一个示例中，在上述加固型网络安全系统100中，所述加固提示单元150，包括：全连接编码子单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成子单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0092]
在上述加固型网络安全系统100中，还包括用于对所述感兴趣区域识别网络、所述孪生网络模型、所述基于关系网络的距离度量模型和所述分类器进行训练的训练模块200。
[0093]
图5图示了根据本发明实施例的加固型网络安全设备中训练模块的框图。如图5所示，在上述加固型网络安全系统100中，所述训练模块200，还包括：训练数据采集单元210，用于获取训练数据，所述训练数据包括训练监控图像、训练参考图像以及是否产生加固预警提示的真实标签值；训练感兴趣区域提取单元220，用于将所述训练监控图像通过感兴趣区域识别网络以得到训练感兴趣区域；孪生单元230，用于将所述训练感兴趣区域和所述训练参考图像通过所述包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到训练检测特征图和训练参考特征图；训练度量单元240，用于将所述训练检测特征图和所述训练参考特征图通过所述基于关系网络的距离度量模型以得到训练距离特征向量；分类损失单元250，用于将所述训练距离特征向量作为分类特征向量通过分类器以得到分类损失函数值；特征模式消解损失单元260，用于计算所述训练检测特征图和所述训练参考特征图的特征提取模式消解的抑制损失函数值，所述特征提取模式消解的抑制损失函数值与由所述训练检测特征图展开得到的第一特征向量和由所述训练参考特征图展开得到的第二特征向量之间的差分特征向量的二范数的平方有关；以及，训练单元270，用于以所述分类损失函数值和所述特征提取模式消解的抑制损失函数值的加权和作为损失函数值对所述感兴趣区域识别网络、所述孪生网络模型、所述基于关系网络的距离度量模型和所述分类器进行训练。
[0094]
特别地，在本发明的技术方案中，由于作为所述分类特征向量的所述距离特征向量是将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型得到的，因此在训练过程中，分类器的分类损失函数在梯度反向传播时会分别通过所述第一卷积神经网络和所述第二卷积神经网络，从而可能由于异常的梯度发散导致所述第一卷积神经网络和所述第二卷积神经网络的特征提取模式的消解，从而影响所述分类特征向量的分类结果的准确性。因此，优选地，引入针对所述检测特征图和所述参考特征图的特征提取模式消解的抑制损失函数。
[0095]
在一个示例中，在上述加固型网络安全系统100中，所述特征模式消解损失单元260，进一步用于：以如下公式计算所述训练检测特征图和所述训练参考特征图的特征提取模式消解的抑制损失函数值；其中，所述公式为：
[0096][0097]
[0098]
其中v1表示所述训练检测特征图展开得到的第一特征向量，v2表示所述训练参考特征图展开得到的第二特征向量，m1和m2分别是所述分类器对于所述特征向量v1和v2的权重矩阵，‖
·
‖f表示矩阵的f范数，且表示向量的二范数的平方，表示按位置减法。
[0099]
具体地，所述特征提取模式消解的抑制损失函数通过以交叉熵形式使得分类器相对于不同特征向量的权重矩阵的差异分布与特征向量的真实的特征差异分布保持一致，来保证梯度反向传播时的定向导数在梯度传播的分支点附近得到正则化，也就是，将梯度针对所述第一卷积神经网络和所述第二卷积神经网络的特征提取模式进行过加权，这样，就对特征提取模式的消解进行了抑制，提升了所述检测特征图和所述参考特征图的特征表达能力，也就相应提升了所述距离特征向量的分类结果的准确性。
[0100]
综上，根据本发明实施例的所述加固型网络安全系统100被阐明，其对网络安全设备的连接稳定性进行实时监测，以在发现连接线或者接口发生松动时，产生预警提示，进而提示用户来进行加固。更具体地，当连接线和接口发生松动时，其会在图像端得以呈现，因此，通过对网络安全设备进行基于图像的自动监控，以从软件端来加固网络安全设备。
[0101]
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了一种加固型网络安全监控预警方法，图6图示了根据本发明实施例的加固型网络安全方法的流程图。如图6所示，根据本发明实施例的所述加固型网络安全方法，包括步骤：
[0102]
s110，获取待监控网络安全设备的监控图像；
[0103]
s120，将所述待监测网络安全设备的监控图像通过感兴趣区域识别网络以得到感兴趣区域，所述感兴趣区域为连接线连接区域或接口连接区域；
[0104]
s130，将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像；
[0105]
s140，将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型以得到距离特征向量；
[0106]
s150，将所述距离特征向量作为分类特征向量通过分类器以得到分类结果，所述分类结果用于表示是否产生加固预警提示。
[0107]
在一个示例中，在上述加固型网络安全方法中，所述将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，包括：将所述感兴趣区域通过包含第一卷积神经网络的孪生网络模型以得到检测特征图；其中，所述将所述感兴趣区域通过包含第一卷积神经网络的孪生网络模型以得到检测特征图，包括：使用所述第一卷积神经网络的卷积编码部分对所述感兴趣区域进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第一卷积神经网络的空间注意力部分以得到第一空间注意力图；将所述第一空间注意力图通过softmax激活函数以得到第一空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到检测特征图。
[0108]
在一个示例中，在上述加固型网络安全方法中，所述将所述感兴趣区域和参考图像通过包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到检测特征图和参考特征图，包括：将所述参考图像通过包含第二卷积神经网络的孪生网络模型以得到参
考特征图，其中，所述参考图像为连接规范的连接线连接区域图像或连接规范的接口连接图像；其中，所述将所述参考图像通过包含第二卷积神经网络的孪生网络模型以得到参考特征图，包括：使用所述第二卷积神经网络的卷积编码部分对所述参考图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第二卷积神经网络的空间注意力部分以得到第二空间注意力图；将所述第二空间注意力图通过softmax激活函数以得到第二空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到参考特征图。
[0109]
在一个示例中，在上述加固型网络安全方法中，所述将所述检测特征图和所述参考特征图通过基于关系网络的距离度量模型以得到距离特征向量，包括：使用所述关系网络的第一全连接层对所述检测特征图进行全连接编码以得到深度检测特征向量；使用所述关系网络的第二全连接层对所述参考特征图进行全连接编码以得到深度参考特征向量；以及，计算所述深度检测特征向量和所述深度参考特征向量之间的差分以得到所述距离特征向量。
[0110]
在一个示例中，在上述加固型网络安全方法中，所述计算所述深度检测特征向量和所述深度参考特征向量之间的差分以得到所述距离特征向量，包括：以如下公式来计算所述深度检测特征向量和所述深度参考特征向量之间的差分以得到所述距离特征向量；其中，所述公式为：其中，v1表示所述深度检测特征向量，v2表示深度参考特征向量，表示按位置作差。
[0111]
在一个示例中，在上述加固型网络安全方法中，所述将所述距离特征向量作为分类特征向量通过分类器以得到分类结果，包括：使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0112]
在一个示例中，在上述加固型网络安全方法中，还包括用于对所述感兴趣区域识别网络、所述孪生网络模型、所述基于关系网络的距离度量模型和所述分类器进行训练的训练阶段。
[0113]
图7图示了根据本发明实施例的加固型网络安全方法中训练阶段的流程图。如图7所示，在上述加固型网络安全方法中，所述训练阶段，还包括：s210，获取训练数据，所述训练数据包括训练监控图像、训练参考图像以及是否产生加固预警提示的真实标签值；s220，将所述训练监控图像通过感兴趣区域识别网络以得到训练感兴趣区域；s230，将所述训练感兴趣区域和所述训练参考图像通过所述包含第一卷积神经网络和第二卷积神经网络的孪生网络模型以得到训练检测特征图和训练参考特征图；s240，将所述训练检测特征图和所述训练参考特征图通过所述基于关系网络的距离度量模型以得到训练距离特征向量；s250，将所述训练距离特征向量作为分类特征向量通过分类器以得到分类损失函数值；s260，计算所述训练检测特征图和所述训练参考特征图的特征提取模式消解的抑制损失函数值，所述特征提取模式消解的抑制损失函数值与由所述训练检测特征图展开得到的第一特征向量和由所述训练参考特征图展开得到的第二特征向量之间的差分特征向量的二范数的平方有关；以及，s270，以所述分类损失函数值和所述特征提取模式消解的抑制损失函数值的加权和作为损失函数值对所述感兴趣区域识别网络、所述孪生网络模型、所述基于
关系网络的距离度量模型和所述分类器进行训练。
[0114]
在一个示例中，在上述加固型网络安全方法中，所述计算所述训练检测特征图和所述训练参考特征图的特征提取模式消解的抑制损失函数值，包括：以如下公式计算所述训练检测特征图和所述训练参考特征图的特征提取模式消解的抑制损失函数值；其中，所述公式为：
[0115][0116][0117]
其中v1表示所述训练检测特征图展开得到的第一特征向量，v2表示所述训练参考特征图展开得到的第二特征向量，m1和m2分别是所述分类器对于所述特征向量v1和v2的权重矩阵，‖
·
‖f表示矩阵的f范数，且表示向量的二范数的平方，表示按位置减法。
[0118]
综上，根据本发明实施例的所述加固型网络安全方法被阐明，其对网络安全设备的连接稳定性进行实时监测，以在发现连接线或者接口发生松动时，产生预警提示，进而提示用户来进行加固。更具体地，当连接线和接口发生松动时，其会在图像端得以呈现，因此，通过对网络安全设备进行基于图像的自动监控，以从软件端来加固网络安全设备。
[0119]
本发明提供额加固型网络安全监控预警系统及方法可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或电力服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(示例性的讲利用因特网服务提供商来通过因特网连接)。
[0120]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。