基于全尺寸深度图监督的人脸表示攻击检测方法

本发明涉及图像处理和生物安全技术领域，具体涉及一种基于全尺寸深度图监督的人脸表示攻击检测方法。

背景技术：

人脸识别技术目前已得到广泛应用，除了为合法用户提供身份认证阶段的良好体验，也给不法分子提供了侵权的可乘之机。企图用合法用户的人脸照片、视频等手段以借用该用户身份通过人脸识别系统的操作，被称为人脸表示攻击。检测这类攻击的方法，称为人脸表示攻击检测。因此，人脸识别系统不仅要判断摄像头获取到的人脸图片是否属于该合法用户，还需要判断该图片是直接对合法用户本人拍照得到的真实人脸，还是非法用户借助其他攻击载体伪造的攻击人脸，比如印有合法用户人脸的打印纸、显示合法用户人脸图片的电子屏幕等。

人脸表示攻击检测算法的核心在于提取人脸图片中对检测攻击最有辨别性的特征，以此来区别真实人脸图片和攻击人脸图片。大多数方法将人脸表示攻击检测视为二分类问题，借助人脸图片的真假二类标签来监督网络训练，尽管在某些测试集上取得了不错的效果，但该方法难以保证网络学习到的是对检测攻击具有本质辨别能力的特征，且忽视了其他可用的辅助标签信息比如人脸的深度信息。真实人脸是三维的、具有深度信息的生物体，而大多数攻击载体属于无深度信息的二维平面工具，比如打印纸、电子屏幕，因此可以通过重建人脸图片的深度图来区分真实样本和攻击样本。目前有一些研究引入了深度图作为标签信息，但这些研究均将标签深度图进行数倍的尺寸压缩，常见的是从256*256压缩到32*32，损失了较多的标签信息量，导致网络无法充分利用深度图标签进行监督学习。

技术实现要素：

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于全尺寸深度图监督的人脸表示攻击检测方法，该方法采用全尺寸深度图作为标签进行监督建模，使人脸表示攻击检测模型充分学习到真实人脸图片和攻击人脸图片在人脸深度信息上的差异，检测精度高，能够适应不同的光照和采集设备条件下的现实检测场景。

本发明的目的可以通过采取如下技术方案达到：

一种基于全尺寸深度图监督的人脸表示攻击检测方法，所述人脸表示攻击检测方法包括下列步骤：

s1、构建训练集，所述训练集包括真实人脸图片和攻击人脸图片，每张人脸图片均对应两种标签，分别为二分类标签、全尺寸标签深度图，其中，所述二分类标签指示该张人脸图片属于真实人脸图片还是攻击人脸图片的类别值；所述全尺寸标签深度图指示该张人脸图片中人脸区域部分每个像素点对应的深度标签值；

s2、构建基于全尺寸深度图监督的人脸表示攻击检测模型，该攻击检测包括依次顺序连接的下采样模块、上采样模块、深度图预测模块；

下采样模块包括多个串行的下采样单元，依次对输入人脸图片提取更深层次的特征信息，输入人脸图片每经过一个下采样单元，输出特征图的高和宽尺寸缩小、通道数扩大，下采样模块输出多个不同尺度的特征图到上采样模块中；

上采样模块包括多个串行的上采样单元，输入特征图每次经过一个上采样单元，输出特征图的高和宽尺寸扩大、通道数缩小，上采样模块输出高和宽与输入人脸图片尺寸相同的全尺寸特征图到深度图预测模块中；

深度图预测模块将全尺寸特征图转化为高和宽尺寸保存不变、通道数变为1的全尺寸预测深度图，所述全尺寸预测深度图上的每个像素值是对输入人脸图片对应像素点的深度预测值；

s3、构建损失函数和参数优化器对人脸表示攻击检测模型进行训练，得到经过训练的人脸表示攻击检测模型；

s4、将待检测的人脸图片样本输入到经过训练的人脸表示攻击检测模型中，得到全尺寸预测深度图；

s5、计算全尺寸预测深度图的平均预测深度值作为最终得分，与判别阈值进行比较，若最终得分大于判别阈值，则将该人脸图片样本判定为攻击样本，否则判定为真实样本。

进一步地，所述上采样模块中第一个上采样单元的输入是最后一个下采样单元的输出，第二个上采样单元的输入是第一个上采样单元输出和倒数第二个下采样单元输出相加的结果，第三个上采样单元的输入是第二个上采样单元输出和倒数第三个下采样单元输出相加的结果，依次类推，上采样模块最终输出一个高和宽尺寸与输入人脸图片相同、通道数大于输入人脸图片通道数的特征图，即全尺寸特征图。

进一步地，所述真实人脸图片的全尺寸标签深度图通过三维人脸重建领域中的人脸深度图生成算法获得，所述攻击人脸图片的全尺寸标签深度图是与攻击人脸图片高和宽尺寸相同但像素值全为零的图片。

在本发明的假设中，攻击人脸图片是对平面攻击载体(打印纸、电子屏幕等)拍摄得到的，而真实人脸图片是对三维立体的人脸直接拍摄得到的，因此，攻击人脸图片相对真实人脸图片而言不具备深度信息，该假设必须在全尺寸标签深度图上体现。全尺寸人脸深度图可以通过三维人脸重建领域中的人脸深度图生成算法获得，该类人脸深度图生成算法并不区分真实人脸图片和攻击人脸图片，只要输入的是人脸图片，该类人脸深度图生成算法就会输出相应的具有深度信息的全尺寸人脸深度图。因此，本发明仅通过该类人脸深度图生成算法获得真实人脸图片的全尺寸标签深度图，而将攻击人脸图片的全尺寸标签深度图设置为与攻击人脸图片高和宽尺寸相同但像素值全为零的图片。

进一步地，所述全尺寸标签深度图保留了输入人脸图片完整的深度信息，相比于其他将全尺寸标签深度图压缩尺寸后再作为监督标签的方法，直接使用全尺寸标签深度图作为监督标签在标签值上没有信息量损失，使所述人脸表示攻击检测模型在训练阶段拥有更多可学习的标签信息量，从而可学习到对检测任务而言更具有判别力的特征。

进一步地，所述步骤s3在人脸表示攻击检测模型的训练阶段使用独立验证集定期评估模型性能，取验证集上eer(equalerrorrate，等错误率)最低时刻的模型作为最终模型，取该eer对应的阈值作为判别阈值。

进一步地，所述下采样单元包括依次顺序连接的卷积层、batchnorm层、激活层和池化层。

进一步地，所述上采样单元包括依次顺序连接的转置卷积层、batchnorm层和激活层。

进一步地，所述深度图预测模块包括依次顺序连接的卷积层、batchnorm层和激活层。

进一步地，所述损失函数由欧式距离损失和对比深度损失相加组成，设dp表示全尺寸预测深度图，dg表示全尺寸标签深度图，则欧式距离损失公式如下，

对比深度损失公式如下，

其中，k表示由8个3*3大小的对比深度卷积算子构成的算子列表。将每个3*3大小的对比深度卷积算子视为九宫格形状，则每个对比深度卷积算子只有两个位置的数值非零，分别是中心位置和某一个非中心位置，该中心位置数值为1，非中心位置数值为-1，将非中心位置从九宫格的左上角开始顺时针编号，则表示第i个对比深度卷积算子，其-1数值位置处于非中心位置编号i，⊙表示对应位置元素相乘。

进一步地，所述人脸表示攻击检测模型在网络结构上属于全卷积网络(fullconvolutionalnetwork,fcn)，即既不包含任何全连接层，同时使用转置卷积层实现上采样功能。相比于其他将全尺寸标签深度图压缩尺寸后再作为监督标签的方法，使用全尺寸标签深度图作为监督标签虽然使标签信息量变大，但对监督标签的学习任务难度也变大。假设全尺寸标签深度图的高和宽尺寸为256*256，若将全尺寸标签深度图进行尺寸压缩到32*32，虽然损失了标签信息量，但相应地，人脸表示攻击检测模型只需要根据输入人脸图片输出一张32*32的预测深度图，则人脸表示攻击检测模型中仅需要下采样模块和深度图预测模块，无需进行上采样；若将全尺寸标签深度图直接作为监督标签，相应地，人脸表示攻击检测模型则需要根据输入人脸图片输出一张256*256的预测深度图，需要预测的深度图尺寸也显著增加。本发明中的人脸表示攻击检测模型借鉴图像分割领域中经典的全卷积网络，利用基于转置卷积层的上采样模块将下采样模块中输出的小尺寸特征图逐步恢复特征图尺寸，直到得到全尺寸特征图，再通过深度预测模块获得全尺寸预测深度图，从而充分利用全尺寸标签深度图的标签信息进行学习，并且能够获得精确度较高的全尺寸预测深度图。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明中采用全尺寸深度图作为标签进行监督建模，使人脸表示攻击检测模型充分学习到真实人脸图片和攻击人脸图片在人脸深度信息上的差异，检测精度高。

(2)本发明中的人脸表示攻击检测模型对输入人脸图片进行多尺度特征提取，并且对浅层特征和深层特征进行融合，综合全局特征信息和局部特征信息得到全尺寸预测深度图，对光照和设备噪声鲁棒性强，能适应多种不同的现实检测场景。

附图说明

图1是本发明实施例中公开的基于全尺寸深度图监督的人脸表示攻击检测方法的流程图；

图2是本发明实施例中公开的基于全尺寸深度图监督的人脸表示攻击检测方法的网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1和图2所示，本实施例提供一种基于全尺寸深度图监督的人脸表示攻击检测方法，过程如下：

s1、构建训练集，训练集包括真实人脸图片和攻击人脸图片，每张人脸图片均对应两种标签，分别为二分类标签、全尺寸标签深度图，其中，二分类标签是指示该张人脸图片属于真实人脸图片还是攻击人脸图片的类别值；全尺寸标签深度图是指示该张人脸图片中人脸区域部分每个像素点对应的深度标签值。本实施例通过三维人脸重建领域中的人脸深度图生成算法之一的prnet算法获得真实人脸图片的全尺寸标签深度图，而将攻击人脸图片的全尺寸标签深度图设置为与攻击人脸图片高和宽尺寸相同但像素值全为零的图片。

本实施例中基于oulu-npu数据集训练和评估人脸表示攻击检测模型。oulu-npu数据集中包含55个用户的4950段视频，并根据用户id将所有视频文件成分三个独立子集，分别为训练集、验证集和测试集。本实施例中人脸表示攻击检测模型基于单张rgb人脸图片进行检测。在rgb人脸图片输入到人脸表示攻击检测模型之前，先通过mtcnn人脸检测算法获得该人脸图片的人脸框坐标，并根据该人脸框坐标分别对输入人脸图片和全尺寸标签深度图进行裁剪，裁剪后将二者的高和宽尺寸统一缩放到256*256，以便批量训练。同时，将缩放后的输入人脸图片进行零均值归一化，将缩放后的全尺寸标签深度图归一化到0～1，取值越接近1表示实际深度值越大。

s2、构建基于全尺寸深度图监督的人脸表示攻击检测模型，该攻击检测包括三个依次顺序连接的模块，分别是下采样模块、上采样模块、深度图预测模块，如图2所示。

下采样模块由3个下采样单元组成，每个下采样单元依次包括第一卷积层、第一batchnorm层、第一relu激活层、第二卷积层、第二batchnorm层、第二relu激活层、最大池化层。输入人脸图片每经过一个下采样单元，输出特征图的高和宽尺寸缩小一倍、通道数扩大一倍。将输入人脸图片视为的三维矩阵，其形状为(256,256,3)，分别表示高、宽、通道数。将输入人脸图片输入到第一个下采样单元d1后，得到形状为(128,128,64)的特征图f1。将特征图f1输入到第二个下采样单元d2后，得到形状为(64,64,128)的特征图f2的。将特征图f3输入到第三个下采样单元后，得到形状为(32,32，256)的特征图f3的。下采样模块输出特征图f1、特征图f2、特征图f3到上采样模块中。

上采样模块由3个上采样单元组成，每个上采样单元依次包括转置卷积层、batchnorm层、relu激活层，输入特征图每次经过一个上采样单元，输出特征图的高和宽尺寸扩大一倍、通道数缩小一倍。将特征图f3输入到第一个上采样单元u1，得到形状为(64,64,128)的特征图f4。将特征图f2和特征图f4相加后输入到第二个上采样单元u2后，得到形状为(128,128,64)的特征图f5。将特征图f1和特征图f5相加后输入到第三个上采样单元u3后，得到形状为(256,256,32)的全尺寸特征图f6。上采样模块输出全尺寸特征图f6到深度图预测模块中。

深度图预测模块包含第一卷积层、第一batchnorm层、第一relu激活层、第二卷积层，。将全尺寸特征图f6输入到深度图预测模块中，得到形状为(256,256,1)的全尺寸预测深度图dp。

s3、构建损失函数和参数优化器对人脸表示攻击检测模型进行训练，得到经过训练的人脸表示攻击检测模型；

本实施例中，损失函数由欧式距离损失和对比深度损失相加组成，设dp表示全尺寸预测深度图，dg表示全尺寸标签深度图，则欧式距离损失公式如下，

对比深度损失公式如下，

其中，k表示由8个3*3大小的对比深度卷积算子构成的算子列表。将每个3*3大小的对比深度卷积算子视为九宫格形状，则每个对比深度卷积算子只有两个位置的数值非零，分别是中心位置和某一个非中心位置，该中心位置数值为1，非中心位置数值为-1，将非中心位置从九宫格的左上角开始顺时针编号，则表示第i个对比深度卷积算子，其-1数值位置处于非中心位置编号i，⊙表示对应位置元素相乘。

优化器采用adam，初始学习率设置为0.0001，每经过100个epoch，学习率衰减一半。训练阶段的epoch一共设置为500轮。每隔10个epoch在验证集上进行评估，取验证集上eer最低时刻的模型作为最终的模型，取该eer对应的阈值作为判别阈值。

s4、将待检测的人脸图片样本输入到经过训练的人脸表示攻击检测模型中，得到全尺寸预测深度图；

s5、计算全尺寸预测深度图的平均预测深度值作为最终得分，与判别阈值进行比较，若最终得分大于判别阈值，则将该人脸图片样本判定为攻击样本，否则判定为真实样本。

本实施例中的基于全尺寸深度图监督的人脸表示攻击检测模型在oulu-npu数据集里最有挑战性的测试协议4中，取得0.10±0.015的acer(平均分类误差率)。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。