基于三阶级联检测器的图像类对抗样本识别方法及检测器

1.本发明涉及计算；推算或计数的技术领域，特别涉及一种基于三阶级联检测器的图像类对抗样本识别方法及检测器。


背景技术：

2.近些年，深度神经网络在人脸/物体识别、图像分类、自动驾驶等许多具有挑战性的任务中得到了广泛且深度的应用，其表现优于传统的机器学习方法，甚至优于人类。
3.然而，由于深度神经网络缺乏可解释性，并且通常没有明确的决策边界，因此其容易遭受到广泛的网络攻击，包括中毒、规避、后门和模型反转。作为最有害攻击之一的规避攻击(也称为对抗攻击)，是攻击者通过向输入样本的像素添加了难以察觉的小扰动从而形成了对抗样本以实现攻击目的。相较于原自然样本，对抗样本的改变通常肉眼不可见，但此类样本可以欺骗受骗分类器做出高度自信但错误的预测。可以发现，对抗样本的存在，使得深度学习在金融、自动驾驶等领域存在巨大的安全隐患。因此，如何识别与检测此类对抗样本是当前业界重点关注的关键课题之一。
4.为实现上述目标，研究人员进行了诸多尝试，其中惯常采用的策略是基于样本固有的特征属性来构建检测器，通过分析正常样本和对抗样本固有统计属性，包括但不限于样本的距离、核密度和局部固有维数等的差异来实现检测目的。虽然该策略可以通过定义一个高质量的统计指标以有效区分正常样本和对抗样本之间的差异，但是随着对抗攻击方式的增多，检测的不确定性也随之增大，使得检测器出现对某些攻击表现良好，而对另一些攻击则表现不佳的状况，且该策略对攻击部署的置信度参数很敏感，易受未知对抗性样本的影响。另一种基于模型参数的检测方法则通过大量正常样本和对抗样本的训练以提取样本在模型中的重要参数，如神经元的激活值或重要性信息等，从而构建检测器来实现对样本的检测。然而，现有方法在检测器的泛化性和鲁棒性上均有所不足，且在检测过程中存在精度与复杂性难以同时兼顾的缺陷。


技术实现要素：

5.为了克服现有方法在检测器的泛化性和鲁棒性方面的不足，本发明提出了一种基于三阶级联检测器的图像类对抗样本识别方法及检测器，通过对对应输入样本关键路径的提取以及相关三阶级联检测器的构造实现不同图像类对抗样本的识别；利用图神经网络在图特征提取方面聚合能力强的特性以及级联检测器具备低误识别率和高鲁棒性的特点，将深度神经网络中的关键路径构建成图的形式以作为输入进行识别，并将多个检测器级联起来，不仅增强了针对未知攻击方式的检测效果，还解决了攻击者同时掌握神经网络分类器和检测器的内部参数，从而连同检测器和神经网络分类器一起攻击而识别失效的难题。
6.本发明解决其技术问题所采用的技术方案是，一种基于三阶级联检测器的图像类对抗样本识别方法，所述方法读取并解析预训练完成后的深度神经网络模型，如卷积神经网络中的参数，提取深度神经网络模型的关键路径，基于正常样本和对抗样本构建三阶级
联检测器，按照级联策略组合三阶级联检测器，完成对对抗样本的检测与识别。
7.优选地，提取深度神经网络模型的关键路径包括以下步骤：
8.步骤1.1：针对k种攻击方式，在正常样本集中随机抽取指定比例的正常样本，构造k组对抗样本，分别合并为k个正常样本集与相应的k个对抗样本集，将每个正常样本集和对抗样本集按预设比例，如8：2，划分为训练集和待检测样本集，分别标记为di和d
′i，其中，i为组别，i＝1，2，3，...，k，k为正整数，以d
ij
和d
′
ij
分别指第i组训练集与待检测样本集中所抽取的第j个样本，j＝1，2，3，...，n，n为该组样本的数量；
9.步骤1.2：针对d
ij
和d
′
ij
，使用逐层相关传播算法量化m中每层神经元的重要性，提取相应的关键路径。
10.优选地，所述步骤1.2包括以下步骤：
11.步骤1.2.1：将d
ij
与d
′
ij
输入到深度神经网络模型m中，并直接提取每层神经元的激活度a、网络权值w及m所预测类别的置信度cf；其中，网络权值w与m的训练结果直接关联；
12.步骤1.2.2：基于a和w，从m的softmax层前最后一个完全连接层的输出开始，通过式(1)所示的层重要性守恒定律进行重要性反向传播，获得到每个神经元的重要性信息，
[0013][0014]
其中，au代表第u个神经元的激活度，w
uv
代表连接第u个与第v个神经元的权值，sru代表相邻层中前一层第u个神经元的重要性值，prv代表相邻层中后一层第v个神经元的重要性值，∈用于增强显著性，∈∈[0，1]，如0.5，u为相邻层中前一层神经元的个数，v为相邻层中后一层神经元的个数；
[0015]
步骤1.2.3：针对每个d
ij
和d
′
ij
，选取m中每层靠前一定比例，如30％的重要性节点作为该层的关键节点，其中最后一个完全连接层只选取最重要的一个神经元作为该层的关键节点，再将相邻层之间有连接关系的关键节点连接起来，作为针对当前样本在m中的关键路径。
[0016]
优选地，所述三阶级联检测器包括：
[0017]
第一检测器，基于正常样本和对抗样本在主成分分析降维后点分布的显著差异构建；
[0018]
第二检测器，基于正常样本和对抗样本在深度神经网络模型中神经元重要性离散度的显著差异构建；
[0019]
第三检测器，基于正常样本和对抗样本在深度神经网络模型中关键路径的显著差异构建。
[0020]
优选地，所述第一检测器的构建及对对抗样本识别包括以下步骤：
[0021]
步骤2.1：针对对抗样本的训练集di，利用主成分分析方法对其中的样本进行平铺并降维，标记为pi，训练集di中的第j个样本对应降维后的点p
ij
；具体来说，将从训练集中所抽取的第j个样本d
ij
由一个多维矩阵数据平铺成1
×
h的矩阵(h代表该样本所有像素点的个数)后，再降维成2维特征数据，并将其视作为直角坐标系内的一个点p
ij
；
[0022]
步骤2.2：初始化距离阈值ds，此阈值通过训练样本迭代计算得到，计算pi内各元素两两之间的欧氏距离，从pi中选择出与p
ij
距离小于阈值ds的其余坐标点，作为p
ij
邻域范围内的点，统计p
ij
邻域范围内的点中分别属于正常样本集和对抗样本集的点的数量，记为a
和b；
[0023]
步骤2.3：初始化比例阈值ps、式(2)、式(3)
[0024]
a＞(a+b)
×
ps(2)
[0025]
b＞(a+b)
×
ps(3)
[0026]
若a与b满足式(2)，则判定d
ij
为正常样本，若满足式(3)，则判定d
ij
为对抗样本；
[0027]
步骤2.4：通过步骤2.2和步骤2.3训练并计算最优的ds和ps，此处最优是指在精度和识别率间进行权衡，此为本领域技术人员容易理解的内容，本领域技术人员可以基于需求选择最优的距离阈值和比例阈值；
[0028]
步骤2.5：以步骤2.1至步骤2.3的方法及训练得到的ds、ps对待检测样本集d
′i中样本d
′
ij
的类别进行检测，若d
′
ij
不满足式(2)和式(3)，则记作rm
′
ij
，由三阶级联检测器的后续检测器进行检测。
[0029]
优选地，所述第二检测器的构建及对对抗样本识别包括以下步骤：
[0030]
步骤3.1：针对rm
′
ij
，对深度神经网络模型m中每层神经元的重要性由大到小进行排序，并提取其中的下四分位数q1和上四分位数q3；
[0031]
步骤3.2：利用式(4)分别计算di中正常样本集与对抗样本集在深度神经网络模型m中第l层的平均四分位数间距iqr，
[0032]
iqr＝q
3-q1(4)
[0033]
将正常样本集与对抗样本集在第l层的iqr分别记为与当前样本rm
′
ij
在第l层的离散度为l＝1，2，...，l，l为深度神经网络模型m的总层数；
[0034]
步骤3.3：计算rm
′
ij
在m中每层属于正常样本和对抗样本的置信度，如式(5)～式(8)，
[0035][0036][0037][0038][0039]
若层l位于m中的卷积层，则利用式(5)和式(7)分别计算rm
′
ij
在该层属于正常样本和对抗样本的置信度c
n1
(l)和c
a1
(l)；
[0040]
若层l位于m中的线性层，则利用式(6)和式(8)分别计算rm
′
ij
在该层属于正常样本和对抗样本的置信度c
n2
(l)和c
a2
(l)；
[0041]
步骤3.4：利用式(9)和式(10)分别计算rm
′
ij
属于正常样本和对抗样本的层平均置信度cn和ca，
[0042]
[0043]
；
[0044]
步骤3.5：设层平均置信度阈值为qs；
[0045]
若cn大于等于qs，则判定该样本为正常样本；
[0046]
若ca大于等于qs，则判定该样本为对抗样本；
[0047]
若上述两条件均不满足，则记作rm
″
ij
，由三阶级联检测器的后续检测器进行检测。
[0048]
优选地，q1为第25个百分位数，q3为第75个百分位数，即排名在一个降序数组的第75％的数和第25％的数。
[0049]
优选地，所述第三检测器的构建及对对抗样本识别包括以下步骤：
[0050]
步骤4.1：分别利用d
ij
和rm
″
ij
所对应的关键路径、神经元信息以及它们在m中的置信度信息cf，构造由图节点表、图边表和图类别表组成的图数据，分别标记为z和z
′
；其中，图节点表由节点所在的图序号、其所对应神经元的重要性信息与激活度及其所在m中的层相对位置组成，图边表由所有构成关键路径的线段组成，图类别表存储的是所有图的置信度cf与其所对应的类别，包括正常样本集和对抗样本集；
[0051]
步骤4.2：将z和z
′
按照节点和特征的对应关系以及各节点之间的连接关系转化成特征嵌入向量和连接嵌入向量，分别记为x和a，如s个节点的t个特征组成一个s
×
t维的矩阵x，各个节点之间的连接关系也形成一个s
×
s维的邻接矩阵a；
[0052]
步骤4.3：基于x和a构造图卷积神经网络模型g，其层与层之间的特征按式(11)进行传播，
[0053][0054]
其中，i是单位矩阵，是的度矩阵，h
(l)
是第l层的特征，输入层的h为x，σ是非线性激活函数，w
(l)
是第l层的权重向量；
[0055]
步骤4.4：利用式(12)和z训练图卷积神经网络模型g直至收敛，
[0056][0057]
其中，(z，y)代表一个样本构成的图数据z以及对应的真实类别y，(z，y)代表用于训练的所有图数据z以及对应的真实类别集y，az和xz分别代表z的连接嵌入向量和特征嵌入向量，ls为模型输出和真实类别之间的损失值；
[0058]
步骤4.5：利用g判断z
′
的类别，z
′
∈z
′
，并输出最后检测结果。
[0059]
一种检测器，采用基于三阶级联检测器的图像类对抗样本识别方法构建，包括：
[0060]
第一检测器，基于正常样本和对抗样本在主成分分析降维后点分布的显著差异构建；
[0061]
第二检测器，基于正常样本和对抗样本在深度神经网络模型中神经元重要性离散度的显著差异构建；
[0062]
第三检测器，基于正常样本和对抗样本在深度神经网络模型中关键路径的显著差异构建。
[0063]
优选地，第一检测器、第二检测器和第三检测器顺次设置，任一待检测样本被第一检测器或第二检测器判断所属类别后不再由下一级检测器检测，第一检测器或第二检测器或第三检测器输出待检测样本的所属类别。
[0064]
本发明涉及一种基于三阶级联检测器的图像类对抗样本识别方法及检测器，读取并解析预训练完成后的深度神经网络模型中的参数，提取深度神经网络模型的关键路径，基于正常样本和对抗样本构建三阶级联检测器，按照级联策略组合三阶级联检测器，完成对对抗样本的检测与识别。
[0065]
本发明的技术构思为，通过分析正常样本与对抗样本统计属性的显著差异，构建了基于样本本身特征的检测器；通过分析正常样本与对抗样本在深度神经网络模型中关键路径和参数值的显著差异，构建了基于模型参数的检测器。通过将上述两种检测器进行级联使检测器在拥有较强的泛化性与鲁棒性的同时拥有较高的检测精度。
[0066]
本发明的有益效果主要表现在：
[0067]
(1)基于逐层相关传播算法实现了深度神经网络分类器关键路径的快速计算和定位，这有助于提取和分析样本的结构特征；
[0068]
(2)构建的基于三阶级联检测器的图像类对抗样本识别方法拥有较好的泛化性与鲁棒性以及较高的对抗样本检测精度，这不仅有助于准确识别由现有攻击方式所形成的对抗样本并可有效抵御由未知攻击方式所形成的对抗样本，还有助于增加同时攻击分类器与检测器的难度。
附图说明
[0069]
图1为本发明的方法流程图；
[0070]
图2为本发明的检测器的示意图。
具体实施方式
[0071]
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
[0072]
本发明涉及一种基于三阶级联检测器的图像类对抗样本识别方法，所述方法读取并解析预训练完成后的深度神经网络模型中的参数，此深度神经网络模型由图像数据集预训练完成，图像数据集以包括但不限于人、动物、景物或物品等为主体；提取深度神经网络模型的关键路径，基于正常样本和对抗样本构建三阶级联检测器，按照级联策略组合三阶级联检测器，完成对对抗样本的检测与识别。
[0073]
提取深度神经网络模型的关键路径包括以下步骤：
[0074]
步骤1.1：针对k种攻击方式，在正常样本集中随机抽取指定比例的正常样本，构造k组对抗样本，分别合并为k个正常样本集与相应的k个对抗样本集，按预设比例，如8：2划分为训练集和待检测样本集，分别标记为di和d
′i，其中，i为组别，i＝1，2，3，...，k，k为正整数，以d
ij
和d
′
ij
分别指第i组训练集与待检测样本集中所抽取的第j个样本，j＝1，2，3，...，n，n为该组样本的数量；
[0075]
步骤1.2：针对d
ij
和d
′
ij
，使用逐层相关传播算法量化m中每层神经元的重要性，提取相应的关键路径。
[0076]
所述步骤1.2包括以下步骤：
[0077]
步骤1.2.1：将d
ij
与d
′
ij
输入到深度神经网络模型m中，并直接提取每层神经元的激活度a、网络权值w及m所预测类别的置信度cf；
[0078]
步骤1.2.2：基于a和w，从m的softmax层前最后一个完全连接层的输出开始，通过式(1)所示的层重要性守恒定律进行重要性反向传播，获得到每个神经元的重要性信息，
[0079][0080]
其中，au代表第u个神经元的激活度，w
uv
代表连接第u个与第v个神经元的权值，sru代表相邻层中前一层第u个神经元的重要性值，prv代表相邻层中后一层第v个神经元的重要性值，∈∈[0，1]，此处取值为0.5，用于增强显著性，u代表相邻层中前一层神经元的个数，v代表相邻层中后一层神经元的个数；
[0081]
步骤1.2.3：针对每个d
ij
和d
′
ij
，选取m中每层靠前30％的重要性节点作为该层的关键节点，其中最后一个完全连接层只选取最重要的一个神经元作为该层的关键节点，再将相邻层之间有连接关系的关键节点连接起来，作为针对当前样本在m中的关键路径。
[0082]
所述三阶级联检测器包括：
[0083]
第一检测器，基于正常样本和对抗样本在主成分分析降维后点分布的显著差异构建；
[0084]
第二检测器，基于正常样本和对抗样本在深度神经网络模型中神经元重要性离散度的显著差异构建；
[0085]
第三检测器，基于正常样本和对抗样本在深度神经网络模型中关键路径的显著差异构建。
[0086]
所述第一检测器的构建及对对抗样本识别包括以下步骤：
[0087]
步骤2.1：针对对抗样本的训练集di，利用主成分分析方法对其中的样本进行平铺并降维，标记为pi，训练集中所抽取的第j个样本d
ij
由一个多维矩阵数据平铺成1xh的矩阵(h代表该样本所有像素点的个数)而后降维成2维特征数据并分别作为x轴坐标和y轴坐标形成直角坐标系内的一个点，标记为p
ij
；
[0088]
步骤2.2：初始化距离阈值ds，计算pi内各元素两两之间的欧氏距离，从pi中选择出与p
ij
距离小于阈值ds的其余坐标点，作为p
ij
邻域范围内的点，统计p
ij
邻域范围内的点中分别属于正常样本集和对抗样本集的点的数量，记为a和b；
[0089]
步骤2.3：初始化比例阈值ps、式(2)、式(3)
[0090]
a＞(a+b)
×
ps(2)
[0091]
b＞(a+b)
×
ps(3)
[0092]
若a与b满足式(2)，则判定d
ij
为正常样本，若满足式(3)，则判定d
ij
为对抗样本；
[0093]
步骤2.4：通过步骤2.2和步骤2.3训练并计算最优的ds和ps，最合适的ds和ps在精度和识别率之间进行权衡；
[0094]
步骤2.5：以步骤2.1至步骤2.3的方法及训练得到的ds、ps对待检测样本集d
′i中样本d
′
ij
的类别进行检测，若d
′
ij
不满足式(2)和式(3)，则记作rm
′
ij
，由三阶级联检测器的后续检测器进行检测。
[0095]
所述第二检测器的构建及对对抗样本识别包括以下步骤：
[0096]
步骤3.1：针对rm
′
ij
，对深度神经网络模型m中每层神经元的重要性由大到小进行排序，并提取其中的下四分位数q1和上四分位数q3(即排名在一个降序数组的第75％的数和第25％的数)；
[0097]
步骤3.2：利用式(4)分别计算di中正常样本集与对抗样本集在深度神经网络模型m中第l层的平均四分位数间距(iqr)，
[0098]
iqr＝q
3-q1(4)
[0099]
将正常样本集与对抗样本集在第l层的iqr分别记为与当前样本rm
′
ij
在第l层的离散度为l＝1，2，...，l，l为深度神经网络模型m的总层数；
[0100]
步骤3.3：计算rm
′
ij
在m中每层属于正常样本和对抗样本的置信度，如式(5)～式(8)，
[0101][0102][0103][0104][0105]
若层l位于m中的卷积层，则利用式(5)和式(7)分别计算rm
′
ij
在该层属于正常样本和对抗样本的置信度c
n1
(l)和c
a1
(l)；
[0106]
若层l位于m中的线性层，则利用式(6)和式(8)分别计算rm
′
ij
在该层属于正常样本和对抗样本的置信度c
n2
(l)和c
a2
(l)；
[0107]
步骤3.4：利用式(9)和式(10)分别计算rm
′
ij
属于正常样本和对抗样本的层平均置信度cn和ca，
[0108][0109][0110]
其中，l为深度神经网络模型m的总层数；
[0111]
步骤3.5：设层平均置信度阈值为qs；
[0112]
若cn大于等于qs，则判定该样本为正常样本；
[0113]
若ca大于等于qs，则判定该样本为对抗样本；
[0114]
若上述两条件均不满足，则记作rm
″
ij
，由三阶级联检测器的后续检测器进行检测。
[0115]
q1为第25个百分位数，q3为第75个百分位数。
[0116]
所述第三检测器的构建及对对抗样本识别包括以下步骤：
[0117]
步骤4.1：分别利用d
ij
和rm
″
ij
所对应的关键路径、神经元信息以及它们在m中的置信度信息cf，构造由图节点表、图边表和图类别表组成的图数据，分别标记为z和z
′
；其中，图节点表由节点所在的图序号、其所对应神经元的重要性信息与激活度及其所在m中的层相对位置组成，图边表由所有构成关键路径的线段组成，图类别表存储的是所有图的置信度cf与其所对应的类别，包括正常样本和对抗样本；
[0118]
步骤4.2：将z和z
′
按照节点和特征的对应关系以及各节点之间的连接关系转化成特征嵌入向量和连接嵌入向量，分别记为x和a，例如s个节点的t个特征组成一个s
×
t维的矩阵x，各个节点之间的关系也会形成一个s
×
s维的邻接矩阵a；
[0119]
步骤4.3：基于x和a构造图卷积神经网络模型g，其层与层之间的特征按式(11)进行传播，
[0120][0121]
其中，i是单位矩阵，是的度矩阵，h
(l)
是第l层的特征，输入层的h为x，σ是非线性激活函数，w
(l)
是第l层的权重向量；
[0122]
步骤4.4：利用式(12)和z训练图卷积神经网络模型g直至收敛，
[0123][0124]
其中，(z，y)代表一个样本构成的图数据以及对应的真实类别，(z，y)代表用于训练的所有图数据以及对应的真实类别集，az和xz分别代表z的连接嵌入向量和特征嵌入向量，ls为模型输出和真实类别之间的损失值；
[0125]
步骤4.5：利用g判断z
′
的类别，z
′
∈z
′
，并输出最后检测结果。
[0126]
本发明还涉及一种检测器，采用基于三阶级联检测器的图像类对抗样本识别方法构建，包括：
[0127]
第一检测器，基于正常样本和对抗样本在主成分分析降维后点分布的显著差异构建；
[0128]
第二检测器，基于正常样本和对抗样本在深度神经网络模型中神经元重要性离散度的显著差异构建；
[0129]
第三检测器，基于正常样本和对抗样本在深度神经网络模型中关键路径的显著差异构建。
[0130]
第一检测器、第二检测器和第三检测器顺次设置，任一待检测样本被第一检测器或第二检测器判断所属类别后不再由下一级检测器检测，第一检测器或第二检测器或第三检测器输出待检测样本的所属类别。
[0131]
本发明中，按照级联策略组合三个检测器以完成对对抗样本的检测与识别，只要判断得到待检测样本的所属类别后即输出结果，不再继续通过下一级检测器。