一种基于透视变换的提高对抗样本迁移性的方法

1.本发明涉及深度学习、图像分类、数据增强、对抗攻击等技术领域，具体涉及一种利用透视变换来提高对抗样本迁移性的攻击方法。


背景技术：

2.随着深度学习的快速发展，其应用领域越来越广泛，包括人脸识别、目标检测、语音识别、恶意软件检测等，但其安全性问题一直是一个尚待完善的难题。szegedy等人首次发现在图片中加入特定的微妙噪声，可以造成神经网络模型对该图片分类错误。至此，拉开了对抗攻击的序幕。
3.对抗攻击(adversarial attack)，即在神经网络模型的输入样本中，故意添加一些人眼无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出。被污染的输入样本称为对抗样本。对抗攻击分为白盒攻击和黑盒攻击。在白盒攻击环境下，受害者模型的架构、参数、训练集等是已知的，攻击者可以充分利用这些先验知识来达到攻击成功的目的，这种情况比较简单，但是和实际情况不符合，因为这些先验知识在实际情况下都是未知的。相反，黑盒攻击环境下，对受害者模型是完全未知的，这种和实际情况比较符合，是主要研究方向。
4.黑盒攻击又分为基于查询的攻击和基于迁移的攻击。前者利用随机添加噪声并查询模型的输出结果，多次迭代降低真实标签类别的判别率来达到攻击成功的目的，这通常需要耗费较大的查询次数；而基于迁移的攻击，是利用在白盒环境下生成对抗样本，将其迁移到黑盒环境下的受害者模型中去，只需一次即可，但是通常该对抗样本过拟合于源模型，而面临较低的迁移率。因此，研究提高对抗样本的迁移性成为一大热点。
5.透视变换(perspective transformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使得透视面绕迹线旋转某一角度。破环原有的投影光线束，仍能保持透视面上投影几何图形不变的变换。透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换。简单理解的话，可以把透视变换后的成像看作是原图像在不同角度下利用相机拍照得到的成像。


技术实现要素：

6.本发明提出了一种基于透视变换来提高对抗样本迁移性的方法(perspective transformation attack,pta)，它旨在通过一种数据增强的方式，来减少对抗样本在替代模型上的过拟合，从而提高对抗样本迁移性。该发明简单，容易实现，可以和其他基于梯度的攻击方法相结合，并进一步提升对抗样本在黑盒环境下的迁移性。
7.为了实现上述目的，本发明具体实施步骤如下：
8.1、将一批待输入的图片x中的每一张按照透视变换规则进行变换，得到变换后的成像x
t
，透视变换如下：
[0009][0010]
其中是原图中像素点的横纵坐标位置，ws为缩放因子，(x
t
,y
t
)
t
是其对应变换后的像素点的横纵坐标位置，t
θ
(
·
)代表一种透视变换。从上述变换公式可知，透视变换矩阵有8个参数(p
11-p
32
)。根据线性代数知识易知，可以通过四个边框像素点前后对应关系，求得该8个参数，即知道(原图中四个顶点像素坐标)和(变换后四个顶点像素坐标的位置)。为求得原图片四个顶点像素坐标在变换后图像中的位置，我们采用随机获取法，假设原图的宽度和高度分别为w和h，则其中，rand(a,b)表示从a到b中随机选择一个数，λ是一个控制变换程度的参数，取值为(0,1)。
[0011]
2、将步骤1得到的x
t
的像素值规格化到(0,1)，再将其按照数据集的分布特点进行正则化后得到模型输入x
in
。
[0012]
3、将x
in
输入到模型f中，得到输出结果：output＝f(x)；然后根据output计算交叉熵损失值(loss)，并通过loss进行梯度回溯，求得loss关于x
in
的梯度，即
[0013]
4、重复步骤1-3t次，得到t次的平均梯度x
grad
＝x
grad
+x
in
'/t。
[0014]
5、用步骤4的平均梯度x
grad
求得对抗样本x
adv
，即x
adv
＝x
in
+ε
·
sign(x
grad
)，其中ε为允许添加的最大扰动值。然后将x
grad
裁剪到合理值(0，1)，即x
adv
＝clip
(0,1)
(x
adv
)为最终的对抗样本。
附图说明
[0015]
图1是本发明提出的用透视变换提高对抗样本迁移性的流程图。
[0016]
图中，1、一批输入样本图片；2、将待入样本图片进行透视变换后的成像图片；3、将透视变换后的图像正则化后的张量；4、神经网络模型；5、神经网络模型的输出结果；6、生成的对抗样本。


技术特征：
1.一种基于透视变换的提高对抗样本迁移性的方法，其特征在于将输入到神经网络模型中的图片，更换为不同程度的透视变换后的成像图片；并用输入透视变换后的图片得到的梯度来替换原始输入得到的梯度进行梯度下降。2.根据权利要求1所述的一种基于透视变换的提高对抗样本迁移性的方法，其特征在于，可以调整变换后四个顶点坐标位置，得到不同程度的透视变换成像；多次输入不同程度透视变换后的图片，计算最后的平均梯度，在该梯度方向上添加扰动可以减轻对抗样本在源模型上的过拟合，从而提高对抗样本迁移性。3.根据权利要求1所述的一种基于透视变换的提高对抗样本迁移性的方法，其特征在于，该方法可以和其他基于梯度的攻击方法相结合；在结合时，只需将输入的图片替换为透视变换后的图片即可，并且结合后还能进一步提升对抗样本的迁移性。

技术总结
本发明提出了一种基于透视变换的提高对抗样本迁移性的方法。具体涉及深度学习、图像分类、数据增强、对抗攻击等技术领域。该方法可以和其他基于梯度的攻击方法结合，并进一步提升对抗样本的迁移性。为达上述目的，本发明采用将数据增强的方式，来削弱对抗样本在源模型上的过拟合，从而提高对抗样本的迁移性。具体通过透视变换来模拟人眼从不同角度观测到的物体成像，通过输入变换后的图片到神经网络模型，并用该梯度来代替原图片的梯度，减少对抗样本在源模型上的过拟合。在ImageNet数据集上的实验结果表明，本发明提出的方法可以显著提高对抗样本的迁移性，并且，当和其他基于梯度的攻击方法结合时，在当前先进十种防御机制下，平均攻击成功率达到94.7％。这表明目前这些防御方法远远不能抵抗对抗样本。些防御方法远远不能抵抗对抗样本。些防御方法远远不能抵抗对抗样本。


技术研发人员：张汗灵 张健
受保护的技术使用者：湖南大学
技术研发日：2022.06.20
技术公布日：2022/10/13