一种基于PSO的反人脸识别方法与流程

本发明涉及计算机视觉、机器学习领域，特别是涉及一种基于pso的反人脸识别方法。

背景技术：

随着人工智能的快速发展，人脸识别的研究方法从早期的模板匹配、pca主成分分析到人工提取特征，再到如今主流的深度学习，这一技术已经走向成熟并成功应用于市场。

然而研究者发现神经网络存在天然缺陷，通过对抗攻击策略生成的对抗样本会干扰深度学习模型在图像识别等任务上的精度。攻击者通过对抗攻击策略生成带有对抗扰动的数据样本，将该对抗样本输入神经网络会导致模型对其预测发生改变，反映在人脸识别场景中，便是攻击者通过对抗样本可以在人脸识别系统下改变身份从而冒充他人。

目前针对人脸识别的对抗攻击，即反人脸识别的研究，主要是基于白盒人脸识别模型的图像攻击。这样的研究存在一定弊端，主要表现在忽略了：1.现实场景中无法获取人脸识别系统的内部信息；2.图片局部或全局扰动无法部署于真实场景；3.白盒攻击严重依赖模型，泛化能力较差；4.物理攻击引起的危害更大。

鉴于以上的研究盲点，本发明通过粒子群优化的进化策略，生成针对黑盒人脸识别模型的对抗样本，同时利用面部配件约束并物理化对抗扰动，使之可以部署于真实场景，达到较好的物理攻击效果。

技术实现要素：

为了克服现有的人脸识别对抗攻击忽略了对抗扰动的物理可实现性、攻击策略的泛化能力等问题，本发明提供了一种基于pso的反人脸识别方法，不仅考虑到设置黑箱模型模拟真实场景，同时也利用面部配件实现对抗扰动的物理化。

为了解决上述技术问题，本发明提供如下的技术方案：

一种基于pso的反人脸识别方法，包括如下步骤：

s1：数据集预处理：将测试物理攻击的攻击者的人脸图像进行预处理，根据所选人脸识别模型网络的输入要求，对数据进行裁剪对齐；将预处理后的攻击者人脸数据加入数据库，和已有的数据集混合，用于训练人脸分类器；

s2：训练人脸分类器：利用所选人脸识别系统预训练的特征模型，对预处理的数据集进行训练得到人脸分类器，并利用测试集测试分类器精度；

s3：参数设置：设置pso所需的参数以及对抗攻击的参数；

s4：进化寻优：首先进行pso初始化，生成一定数量的不同纯色人脸粒子；在pso的每次迭代中，对全部的粒子进行人脸识别得到相应的标签置信度排名，根据每个粒子的标签置信度排名以及面部配件像素信息计算每个粒子的适应度，更新粒子的个体最优与种群最优，最后更新每个粒子的速度与位置信息，重复迭代直至达到设置的最大迭代次数或者种群适应度收敛；

s5：物理攻击测试：若成功得到对抗样本，则提取对抗样本中的对抗配件，打印并佩戴在对应实验人员上，进行针对该人脸识别模型的物理攻击测试。

进一步，所述步骤s1中，数据库中已有的数据集为从lfw数据集中选取的部分标签构成的子数据集，为不可接触标签，可用于提供目标标签。测试物理攻击的实验人员为可接触的、可佩戴面部配件的可接触标签，区别于lfw数据集中的不可接触标签。模型网络的输入要求为人脸图像的尺寸大小。

再进一步，所述步骤s2中，预训练的特征模型为官方提供的、在其他大型数据集上进行特征提取训练过的模型。同时，预处理的数据集在训练过程中自动划分为80％训练集，20％测试集。

所述步骤s3中，pso进化策略经调整加入惯性因子，采用公式(1)更新粒子的速度信息：

vi＝ω×vi+c1×rand()×(pbesti-xi)+c2×rand()×(gbest-xi)(1)

其中，vi、xi分别为第i个粒子的速度与位置，ω为惯性因子，rand()为介于(0，1)之间的随机数，c1、c2为学习因子，pbesti为第i个粒子的历史最优位置，gbest为种群发现的全局最优位置；

采用公式(2)更新粒子的位置信息：

xi＝xi+vi(2)

采用公式(3)更新惯性因子：

ω^(t)＝(ωini-ωend)(gk-g)/gk+ωend(3)

其中gk为最大迭代次数，ωini为初始惯性因子，ωend为迭代至最大进化代数时的惯性因子；

对抗攻击的参数为：攻击者的真实标签label、冒充对象的目标标签target和对抗扰动的平滑系数κ。

所述步骤s4中，pso初始化时，对于攻击者的原始人脸图像，将渲染上不同纯色面部配件后的初始对抗样本作为不同粒子，扰动的所有像素点处的rgb值作为粒子的位置矩阵x，颜色变化速度作为粒子的速度矩阵v；面部配件的样式包含眼镜框等脸部装饰物；

每次迭代中，算法将所有粒子输入黑盒人脸识别系统进行预测，输出为预测前三的标签置信度排名，表示为top-3，同时也获取每个粒子的扰动像素信息；根据设计的多目标函数计算每个粒子的适应度fitness，多目标函数为扰动的对抗性与平滑性的线性组合；

采用公式(4)计算扰动的对抗性：

其中，scorelabel表示真实标签在top-3中时真实类label的置信度分数，scoretop表示top-3中排名最高的类的置信度分数，当label不在top-3中时，便以置信度排名最高的标签top代替label；scorecurr_target是当前目标的置信度分数，rank表示当前目标curr_target在top-3中的排名。当target不在top-3中时，pso运行在中间模拟过程，函数应该增加mf，mf被设定为一个足够大的惩罚项；

中间模拟过程解决了当目标标签target不在top-3中时pso无法利用模型预测输出信息计算粒子适应度的问题；该过程引入当前目标curr_target作为中间变量，引导解空间向target被返回到top-3的解空间移动。curr_target定义如下：对于一张图像的预测结果：

a.若target在top-3中，则当前目标curr_target为攻击者设定的target；

b.若target不在top-3中，则将第二高置信度分数的类作为当前目标curr_target；若出现前一次迭代预测中未出现的新类，则将新类作为当前目标curr_target；

采用公式(5)、(6)计算扰动的平滑性：

其中ri,j是坐标(i,j)处的扰动像素点的rgb三通道像素值的平均；

采用公式(7)定义多目标函数：

其中κ是多目标函数的平滑系数，x是攻击的原始图像。

所述步骤s5中，直接利用得到的对抗样本，在数字环境中可以被该人脸识别系统错误分类为设定的目标标签；物理攻击测试前，通过提取对抗样本中的对抗配件，通过旋转矫正、放大等操作将其尺寸调整为适应攻击者人脸的尺寸；打印并佩戴实物化的对抗配件，通过摄像头获取攻击者的人脸图像，输入该人脸识别模型进行预测，取得攻击效果。

本发明针对黑盒人脸识别系统，无需获取模型内部参数信息，通过pso进化策略不断调整输入来改变预测输出，最终寻找得到最优的对抗扰动，使得模型的预测达到攻击要求。进而通过佩戴实物化的对抗配件，攻击者可以在人脸识别系统下改变身份标签，冒充他人。

本发明的有益效果为：基于pso的进化策略可以帮助攻击者在不了解人脸识别模型内部信息的情况下，生成隐藏个人身份的对抗面部配件，一定程度上保护个人隐私。最终的对抗效果受打印设备性能影响，但基本能满足实际使用的要求。

附图说明

图1为本发明实施例的一种基于pso的反人脸识别方法的算法流程图。

图2为本发明实施例的部分攻击效果示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。

参照图1和图2，一种基于pso的反人脸识别方法，本发明使用包含了lfw数据集中部分标签的混合数据集，通过pso进化策略生成针对黑盒人脸识别系统的对抗样本，在数字环境与物理环境中攻击人脸识别系统。

本发明包括以下步骤：

s1：数据集预处理：将测试物理攻击的实验者(即攻击者)的人脸图像进行预处理，根据所选人脸识别模型网络的输入要求，对数据进行裁剪对齐；将预处理后的攻击者人脸数据加入数据库，和已有的数据集混合，用于训练人脸分类器；

s2：训练人脸分类器：利用所选人脸识别系统预训练的特征模型，对预处理的数据集进行训练得到人脸分类器，并利用测试集测试分类器精度；

s3：参数设置：设置pso所需的参数以及对抗攻击的参数；

s4：进化寻优：首先进行pso初始化，生成一定数量的不同纯色人脸粒子；在pso的每次迭代中，对全部的粒子进行人脸识别得到相应的标签置信度排名，根据每个粒子的标签置信度排名以及面部配件像素信息计算每个粒子的适应度，更新粒子的个体最优与种群最优，最后更新每个粒子的速度与位置信息，重复迭代直至达到设置的最大迭代次数或者种群适应度收敛；

s5：物理攻击测试：若成功得到对抗样本，则提取对抗样本中的对抗配件，打印并佩戴在对应实验人员上，进行针对该人脸识别模型的物理攻击测试。

所述步骤s1中，数据库中已有的数据集为从lfw数据集中选取的部分标签构成的子数据集，为不可接触标签，可用于提供目标标签。测试物理攻击的实验人员为可接触的、可佩戴面部配件的可接触标签，区别于lfw数据集中的不可接触标签。模型网络的输入要求为人脸图像的尺寸大小。

所述步骤s2中，预训练的特征模型为官方提供的、在其他大型数据集上进行特征提取训练过的模型。同时，预处理的数据集在训练过程中自动划分为80％训练集，20％测试集。

所述步骤s3中，pso进化策略经调整加入惯性因子，采用公式(1)更新粒子的速度信息：

vi＝ω×vi+c1×rand()×(pbesti-xi)+c2×rand()×(gbest-xi)(1)

其中，vi、xi分别为第i个粒子的速度与位置，ω为惯性因子，rand()为介于(0，1)之间的随机数，c1、c2为学习因子，pbesti为第i个粒子的历史最优位置，gbest为种群发现的全局最优位置；

采用公式(2)更新粒子的位置信息：

xi＝xi+vi(2)

采用公式(3)更新惯性因子：

ω^(t)＝(ωini-ωend)(gk-g)/gk+ωend(3)

其中gk为最大迭代次数，ωini为初始惯性因子，ωend为迭代至最大进化代数时的惯性因子；

对抗攻击的参数为：攻击者的真实标签label、冒充对象的目标标签target和对抗扰动的平滑系数κ。

所述步骤s4中，pso初始化时，对于攻击者的原始人脸图像，将渲染上不同纯色面部配件后的初始对抗样本作为不同粒子，扰动的所有像素点处的rgb值作为粒子的位置矩阵x，颜色变化速度作为粒子的速度矩阵v；面部配件的样式包含眼镜框等脸部装饰物；

每次迭代中，算法将所有粒子输入黑盒人脸识别系统进行预测，输出为预测前三的标签置信度排名，表示为top-3，同时也获取每个粒子的扰动像素信息；根据设计的多目标函数计算每个粒子的适应度fitness，多目标函数为扰动的对抗性与平滑性的线性组合；

采用公式(4)计算扰动的对抗性：

其中，scorelabel表示真实标签在top-3中时真实类label的置信度分数，scoretop表示top-3中排名最高的类的置信度分数，当label不在top-3中时，便以置信度排名最高的标签top代替label；scorecurr_target是当前目标的置信度分数，rank表示当前目标curr_target在top-3中的排名。当target不在top-3中时，pso运行在中间模拟过程，函数应该增加mf，mf被设定为一个足够大的惩罚项；

中间模拟过程解决了当目标标签target不在top-3中时pso无法利用模型预测输出信息计算粒子适应度的问题；该过程引入当前目标curr_target作为中间变量，引导解空间向target被返回到top-3的解空间移动。curr_target定义如下：对于一张图像的预测结果：

a.若target在top-3中，则当前目标curr_target为攻击者设定的target；

b.若target不在top-3中，则将第二高置信度分数的类作为当前目标curr_target；若出现前一次迭代预测中未出现的新类，则将新类作为当前目标curr_target；

采用公式(5)、(6)计算扰动的平滑性：

其中ri,j是坐标(i,j)处的扰动像素点的rgb三通道像素值的平均；

采用公式(7)定义多目标函数：

其中κ是多目标函数的平滑系数，x是攻击的原始图像。

所述步骤s5中，直接利用得到的对抗样本，在数字环境中可以被该人脸识别系统错误分类为设定的目标标签；物理攻击测试前，通过提取对抗样本中的对抗配件，通过旋转矫正、放大等操作将其尺寸调整为适应攻击者人脸的尺寸；打印并佩戴实物化的对抗配件，通过摄像头获取攻击者的人脸图像，输入该人脸识别模型进行预测，取得攻击效果。

如上所述为本发明针对黑盒人脸识别系统，通过pso进化策略生成反人脸识别对抗配件的实施例介绍。最终测试结果，如表1所示，

表1

本发明基于进化策略，在时间复杂度上可能劣于其他对抗攻击算法，但在数字环境中的攻击成功率与其他算法相当，并且能将对抗扰动实物化，实现在物理环境中的对抗攻击。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。