基于关键数据通路表示的对抗样本检测方法与流程

本发明属于对抗样本检测技术领域，尤其涉及一种基于关键数据通路表示的对抗样本检测方法。

背景技术

深度学习方法已经在多个领域产生重要应用，如图像识别、语音识别、机器翻译等等。这也使得深度学习技术走出实验室，成为一项真正创造价值的工程技术。尤其开始在医疗诊断自动驾驶等关键场合领域开始使用。而对于深度模型的理解和安全性目前尚未达到要求。这就造成了存在对抗样本可以攻破深度学习模型，使其产生错误的决策与输出。这对于未来深度模型的广泛使用产生了重大隐患。

对抗样本指的是对于输入图片，加入人眼不可察觉的噪声，使得再次输入进深度学习模型，造成最终预测结果与原始输出结果产生较大偏差的样本。如图1所示，左侧为正常样本(大熊猫)，通过对抗攻击算法，加入中间的噪声，得到右侧对抗样本。而当将右侧对抗样本再次输入进深度神经网络中进行预测，会导致最终预测结果产生较大改变(长臂猿)。这种对抗样本的出现，会对未来深度学习技术的应用产生巨大隐患。比如在关键领域如安防摄像、医疗诊断、自动驾驶，当输入加入这种人类不可察觉的微小噪声时，会对最终结果产生巨大影响，将使得深度学习模型的安全性无法得到保障。

现有的设计用于解决此问题的方案主要由两种。

第一种通过改造深度神经网络训练目标函数，使得优化目标函数时能够减少对抗样本的误差在网络内部传播。在优化目标函数中引入相邻层雅克比矩阵范数，作为正则项，约束对抗样本扰动随着网络层数加深而引起的误差传播，让相邻层响应收缩靠近，不至于最终误差过大

第二种通过通过将对抗样本加入到训练集中，重新训练深度神经网络，以便于学得模型能够识别对抗样本。采用集成对抗训练思想，利用多个模型在训练过程中online生成对抗样本，并加入到训练集中进行训练，使得最终模型能够对对抗样本鲁棒。

上述两种方案均有其缺点。

第一种方案只对浅层模型适用。当网络层数加深时，所引入的额外约束会导致学习过程困难，反向传播算法所回传的梯度会受到干扰，导致最终模型性能不佳。

第二种方案则面临需要制造大量样本，需要重新训练消耗大量计算资源问题。而且对于没有考虑过的对抗攻击算法，该方法并不能很好进行检测和防御。

技术实现要素：

为了解决上述技术问题，本发明提出了一种基于关键数据通路表示的对抗样本检测方法，包括：

步骤1：将神经网络中各个隐含层的数据张量均关联一组控制门单元；

步骤2：利用原始样本输出的结果作为自监督信息，对控制门单元发放进行稀疏约束，得到基于交叉熵损失函数和稀疏度平衡参数的优化目标函数；

步骤3：初始化所有控制门单元数值为1表示数据通路全部打开，采用梯度下降算法对同一样本输入进行多轮迭代，每一轮迭代将控制门单元数值限制在[0，10]之间，求得能够达到的最小交叉熵损失函数且样本预测输出类别与原类别保持一致的控制门单元组合作为该样本的关键数据通路；

步骤4：采用二分类器对正常样本和对抗样本分别所对应的关键数据通路特征在高层所产生的差别进行训练，训练结束后利用该二分类器进行对抗样本检测。

所述关键数据通路是由神经网络里关键节点组成的，所述关键节点定义为当神经网络里其他节点被删去，只留下关键节点时，网络的最终输出结果仍然不发生变化。

所述控制门单元值的大小代表节点关键程度，当控制门单元数值为0时，代表对应通道关闭，则对应非关键节点。

所述步骤2中的目标函数为：

s.t.λk≥0，k＝1，2，...，k

其中l为交叉熵损失函数，用以计算原始模型输出概率分布fθ(x)＝[p1，p2，...，pi，...，pm]和加入控制门后的新模型输出概率分布fθ(x；λ)＝[q1.q2，...，qi，...，qm]之间的差距，具体表达式为其中m为输出类别数目，γ为稀疏度平衡参数，k为神经网络层编号，k为神经网络层数，λk为第k层数据张量，pi，qi分别代表了原始模型输出和新模型输出对于第i类预测概率值；θ代表预训练模型参数；x为输入图片；λ为所有控制门单元组成的集合；|λk|1代表了第k个控制门单元的l1范数，用来起到正则化作用，促使控制门单元尽量稀疏为0。

所述步骤4中二分类器所优化的目标函数为：

其中l是损失函数，依分类器而定，对于真实样本图片yi＝1，对于对抗样本图片f(vi)为正常图片的预测输出，为对抗样本的预测输出；yi为正常图片标签值，为1；为对抗样本图片的标签值，为0。

若所述二分类器为adaboost分类器，则损失函数为huberloss；若所述二分类器为gradientboosting分类器，则损失函数为squarederrorloss。

本发明的有益效果在于：利用样本在神经网络里所经过的关键数通路这样特征，使用简单二分类器进行训练，可以在较少样本情况下，达到较高对抗样本检测准确率，增强了深度神经网络的鲁棒性。

附图说明

图1为对抗样本对图片识别造成的影响举例图；

图2为关键节点组成的关键数据通路示意图；

图3为控制门单元在数据张量逐层运算示意图。

具体实施方式

下面结合附图，对实施例作详细说明。

本发明通过发现样本在神经网络中所走过的关键数据通路的差异，来进行对抗检测。具体来说，关键数据通路指的是卷积神经网络(cnn)中各个中间层的关键节点所构成的数据通路。这里节点我们指的是每一个层内部响应的通道值(channel)。而所谓关键，指的是在原神经网络中，如果只保留下这些关键节点上的数据，将其他节点删除掉，最终所预测的结果不会发生改变。具有这种属性的我们称之为关键节点。图2展示了关键节点组成的关键数据通路。其中实心节点代表关键节点，空心节点代表可删去节点。所有关键节点相互连接构成了关键数据通路。对于每个样本有各自的关键数据通路。本发明中利用了对抗样本和正常自然样本，在神经网络中所走过的关键数据通路存在差异，利用二分类器学习这种差异，并应用在对抗样本检测中。

本发明提出了一种基于关键数据通路表示的对抗样本检测方法，包括：

步骤1：将神经网络中各个隐含层的数据张量均关联一组控制门单元；

步骤2：利用原始样本输出的结果作为自监督信息，对控制门单元发放进行稀疏约束，得到基于交叉熵损失函数和稀疏度平衡参数的优化目标函数；

步骤3：初始化所有控制门单元数值为1表示数据通路全部打开，采用梯度下降算法对同一样本输入进行多轮迭代，每一轮迭代将控制门单元数值限制在[0，10]之间，求得能够达到的最小交叉熵损失函数且样本预测输出类别与原类别保持一致的控制门单元组合作为该样本的关键数据通路；

步骤4：采用二分类器对正常样本和对抗样本分别所对应的关键数据通路特征在高层所产生的差别进行训练，训练结束后利用该二分类器进行对抗样本检测。

具体说明如下：

首先我们介绍关键数据通路是如何求得的。关键数据通路是由神经网络里关键节点组成的。而关键节点定义为当神经网络里其他节点被删去，只留下关键节点时，网络的最终输出仍然不发生变化，我们称这样的一些节点为关键节点。各个隐含层的关键节点构成了关键数据通路。对于卷积神经网络里我们认为数据张量的通道维度是对应网络节点。因此在卷积神经网络里寻找关键数据通路的问题，就简化为寻找各个层次数据张量的关键通道。

为此，我们在各个层次的数据张量都关联一组控制门单元，记为λk，对应于第k层数据张量。而关键数据通路可以表示为所有控制门单元合集λ＝{λ1，λ2，...，λk}。其中k代表神经网络最多层数。这些控制门单元在数据张量逐层运算时，被按照对应通道相乘。图3展示的是所述概念，实心矩阵代表关键节点，空心矩阵代表删除节点。其中当控制门数值为0时，代表对应通道关闭，即意味着非关键节点，可以被删去。而非零控制门单元代表对应通道保留，为关键节点。而且控制门单元数值大小代表了关键程度。

而为了求解关键数据通路了，本方法借鉴知识提炼方法(knowledgedistillation)，利用原始样本输出的结果作为自监督信息，并对控制门单元发放进行稀疏约束，得到如下优化目标函数

s.t.λk≥0，k＝1，2，...，k

其中l为交叉熵损失函数，用以计算原始模型输出概率分布fθ(x)＝[p1，p2，...，pm]和加入控制门后的新模型输出概率分布fθ(x；λ)＝[q1，q2，...，qm]之间的差距，具体表达式为其中m为输出类别数目，γ为稀疏度平衡参数。

具体求解关键数据通路过程，初始化所有控制门单元值为1，表示全部打开。我们利用梯度下降算法(gd)，对于同一个样本输入，迭代30轮，学习率为0.1，动量0.9，权重衰减为0，稀疏度平衡参数为0.05。再每一次迭代过程中，为了保证控制门单元非负，且数值稳定，每一次将控制门数值限制在[0，10]之间。最后保留能够达到最小损失函数，且预测输出类别与原类别保持一致的控制门单元组合，代表该样本的关键数据通路。

以上是关于如何求解样本的关键数据通路，接下来是如何利用该数据通路表示进行对抗样本检测。具体方法是对于每个样本，其所学到的控制门则关键数据通路特征v可以表示为

其中concatenate代表将所有控制门单元拼接在一起构成一维向量操作。而对于正常样本x和对抗样本其分别对应的关键数据通路特征v和在高层产生差别，利用二分类器学习出这种差别，即可以实现正常样本和对抗样本的检测区分。具体来说，对抗样本检测分类器f所需要优化的目标函数为

其中l是损失函数，对于真实样本图片yi＝1，对于对抗样本图片损失函数依分类器而定。如对于adaboost分类器，使用huberloss；对于gradientboosting分类器，使用squarederrorloss。当训练结束后，即可以利用该分类器进行对抗样本检测。

此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。