一种基于生成对抗网络的IR图像活体检测方法与流程

一种基于生成对抗网络的ir图像活体检测方法
技术领域
1.本发明涉及计算机视觉领域，特别涉及一种基于生成对抗网络的ir图像活体检测方法。


背景技术：

2.活体检测就是判断一幅给定的图像是否是真人，用来保证人脸识别的安全性，常见的攻击类型有纸质打印人脸，电子屏幕人脸等二维攻击以及头模、面具和硅胶等三维攻击。使用不同的相机模组采集的ir图像之间分布差异较大，这常常导致基于不同的模组采集的数据训练而来的模型之间无法灵活地进行迁移和适配，即，基于已有型号相机模组采集的数据学习的算法模型，在实际应用时必须搭配相同型号的模组进行使用，否则会导致算法性能降低；而对于未知型号的相机模组需要经过数据采集、训练与适配方可使用，大大增加了算法开发的成本。
3.目前的活体检测任务中，总的来说利用到的图像根据模态可以分为rgb、ir和深度三种。大多数论文是针对单目相机的rgb图像做研究；也有融合rgb图像和深度图像的。在实际场景中，工程师尝试将不同相机模组采集的ir图像一起输入cnn(卷积神经网络)进行端到端的训练，尝试学习不同相机模组之间的通用特征，降低噪声的干扰。然而这种简单数据堆砌的方式，依赖于超大量级的数据进行训练才会对模型性能提升具有质的提升，否则只会起到反向作用。目前还没有发现有研究者试图使用多个双目相机采集到的ir图，并结合cnn(卷积神经网络)和gan(生成对抗网络)进行通用ir图人脸活体特征学习的研究。


技术实现要素：

4.因此，本发明旨在提供一种使用生成对抗网络算法来提取不同ir图像之间的通用特征，以解决现有技术中双目活体检测任务中使用不同型号相机采集的ir图像(红外图像)数据分布不一致制约算法模型性能提升的问题。
5.本发明的技术方案为：
6.一种基于生成对抗网络的ir图像活体检测方法，包括步骤：
7.s1、获取训练集数据：获取n(n》＝2)款ir相机采集的训练图像并预处理，得到不同相机的真实人脸图像数据和假人攻击图像数据；
8.s2、构建对抗网络模块：将所述真实人脸图像数据和假人攻击图像数据作为输入，基于生成对抗网络对人脸图像特征进行重构，得到重构人脸图像特征；
9.s3、构建活体检测模块：将所述重构人脸图像特征输入采用全连接层的分类器中，输出分别代表假人攻击分类或真人分类的置信度；
10.s4、训练与推理：对抗网络模块和活体检测模块串联在一起端到端地进行训练与迭代，直至损失函数趋近于恒定值时停止迭代训练，输出数据为假人攻击或真人的结论。
11.进一步的，所述获取训练集数据：获取多款ir相机采集的训练图像并预处理，得到不同相机的真实人脸图像数据和假人攻击图像数据这一步骤，其具体还包括：
12.s11、使用n(n》＝2)款ir相机获取训练用的真实人脸图像和假人攻击图像；
13.s12、基于多任务卷积神经网络对真实人脸图像和假人攻击图像进行人脸检测，得到人脸位置坐标和人脸关键点坐标；
14.s13、根据所述人脸关键点坐标与已标注好的人脸关键点模板进行匹配矫正，筛选出x、y、z轴三个方向角度小于45度的人脸图像；
15.s14、将筛选出来的人脸图像按不同相机分开,得到不同相机的真实人脸图像数据和假人攻击图像数据。
16.进一步的，所述构建对抗网络包括特征生成器和特征判别器，所述基于生成对抗网络对真实人脸图像特征进行重构，得到重构真实人脸图像特征这一步骤，其具体包括：
17.s21、特征生成器根据输入图像数据提取特征；
18.s22、特征判别器对特征来源进行判别；
19.s23、当特征来源被判定错误，对特征生成器和特征判别器进行参数调整；
20.s24、循环步骤s21-s23，直至提取特征的来源被判定为正确。
21.进一步的，所述特征生成器由resnet-9主干网络构成，所述特征判别器由n个残差网络块堆叠，末尾拼接一个输出为n通道的全连接层组成。
22.进一步的，所述特征分类器是一个输出为2通道的全连接层。
23.进一步的，所述对特征生成器和特征判别器进行参数调整具体基于损失函数adversarial loss进行调整，公式如下：
[0024][0025]
上式中，d表示特征判别器，g表示特征生成器，x为样本集，yd代表不同相机，i
[n＝y]
代表样本属于类别n时，在该类别上的权值为1，其他为0。
[0026]
进一步的，所述特征分类器基于损失函数cross-entropy loss进行调整，公式如下：
[0027][0028]
其中，n为样本总数,pi代表真人样本的真人置信度，yi取1。
[0029]
进一步的，所述对抗网络的总体损失函数由adversarial loss和cross-entropy loss加权后得出，损失函数表示为：
[0030]
l
total
＝0.5*l
ada
(g,d)+0.5*l
cls
[0031]
其中，l
ada
表示adversarial loss损失函数；l
cls
表示cross-entropy loss损失函数，两个损失函数的的权重系数为0.5。
[0032]
采用上述技术方案，本发明通过构建对抗网络，将不同相机模组采集的ir图像输入训练完成的网络就可以对假人攻击或真人进行区分，解决了活体检测任务中不同型号相机采集的ir图像(红外图像)数据分布不一致制约算法模型性能提升的问题。通过使用生成对抗网络算法来提取不同ir图像之间的通用特征，以增加活体检测算法的鲁棒性与泛化性。
附图说明
[0033]
图1为本发明生成对抗网络的ir图像活体检测方法步骤流程图；
[0034]
图2为本发明一种实施例中生成对抗网络的ir图像活体检测示意图。
具体实施方式
[0035]
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
[0036]
参照图1和图2，本发明提供了一种基于生成对抗网络的ir图像活体检测方法，包括以下步骤：
[0037]
s1、获取训练集数据：获取n(n》＝2)款ir相机采集的训练图像并预处理，得到不同相机的真实人脸图像数据和假人攻击图像数据；
[0038]
具体的，使用n(n＝3)款ir相机分别采集一定数量的纸质照片、视频等二维攻击，硅胶头套等三维攻击和真人的图像，不同相机采集到的ir图分布差异大，可以模拟现实场景。
[0039]
s2、构建对抗网络模块：将所述真实人脸图像数据和假人攻击图像数据作为输入，基于生成对抗网络对人脸图像特征进行重构，得到重构人脸图像特征；
[0040]
s3、构建活体检测模块：将所述重构人脸图像特征输入特征分类器中，输出分别代表假人攻击分类或真人分类的置信度；
[0041]
s4、训练与推理：对抗网络模块和活体检测模块串联在一起端到端地进行训练与迭代，直至损失函数趋近于恒定值时停止迭代训练，输出数据为假人攻击或真人的结论。
[0042]
进一步作为本方法的优选实施例，所述获取训练集数据：获取多款ir相机采集的训练图像并预处理，得到不同相机的真实人脸图像数据和假人攻击图像数据这一步骤，其具体还包括：
[0043]
s11、使用3款ir相机获取训练用的真实人脸图像和假人攻击图像；
[0044]
s12、基于多任务卷积神经网络对真实人脸图像和假人攻击图像进行人脸检测，得到人脸位置坐标和人脸关键点坐标；
[0045]
具体的，将ir图输入已经训练好的mtcnn(多任务卷积神经网络)人脸检测网络进行人脸检测，得到人脸位置坐标以及若干人脸关键点坐标。
[0046]
s13、根据所述人脸关键点坐标与已标注好的人脸关键点模板进行匹配矫正，筛选出x、y、z轴三个方向角度小于45度的人脸图像；
[0047]
s14、将筛选出来的人脸图像按不同相机分开,得到不同相机的真实人脸图像数据和假人攻击图像数据。
[0048]
具体的，将筛选出来的人脸图像按3款相机分开,并对每款相机的图像按假人攻击图像数据和真实人脸图像数据分开，如图2所示，d1、d2、d3分别代表三款不同相机的数据，三角形代表假人攻击图像数据，正方形真实人脸图像数据。
[0049]
进一步作为本方法的优选实施例，所述构建对抗网络包括特征生成器和特征判别器，所述基于生成对抗网络对真实人脸图像特征进行重构，得到重构真实人脸图像特征这一步骤，其具体包括：
[0050]
s21、特征生成器根据输入图像数据提取特征；
[0051]
s22、特征判别器对特征来源进行判别；
[0052]
s23、当特征来源被判定错误，对特征生成器和特征判别器进行参数调整；
[0053]
s24、循环步骤s21-s23，直至提取特征的来源被判定为正确。
[0054]
具体地，生成对抗网络对真实人脸图像进行重构，提升网络对真实人脸的鉴别能力，换言之，也就对攻击类型具有泛化能力。生成对抗网络由一个特征生成器g和特征判别器d构成，在训练过程中，d会接收g生成的分布近似一致的特征，其功能是对生成器生成的特征来源进行甄别。训练会一直持续到两者进入到一个均衡和谐的状态，即直至d对特征来源判定正确。
[0055]
进一步作为本方法优选实施例，所述特征生成器由resnet-9主干网络构成，所述特征判别器由3个残差网络块堆叠，末尾拼接一个输出为3通道的全连接层组成。
[0056]
进一步作为本方法优选实施例，所述特征分类器是一个输出为2通道的全连接层。
[0057]
进一步作为本方法优选实施例，所述对特征生成器和特征判别器进行参数调整具体基于损失函数adversarial loss进行调整，公式如下：
[0058][0059]
上式中，d表示特征判别器，g表示特征生成器，x为样本集，yd代表不同相机，i
[n＝y]
代表样本属于类别n时，在该类别上的权值为1，其他为0。
[0060]
进一步作为本方法优选实施例，所述特征分类器基于损失函数cross-entropy loss进行调整，公式如下：
[0061][0062]
其中，n为样本总数,pi代表真人样本的真人置信度，yi取1。
[0063]
进一步作为本方法优选实施例，所述对抗网络的总体损失函数由adversarial loss和cross-entropy loss加权后得出，损失函数表示为：
[0064]
l
total
＝0.5*l
ada
(g,d)+0.5*l
cls
[0065]
其中，l
ada
表示adversarial loss损失函数；l
cls
表示cross-entropy loss损失函数，两个损失函数的的权重系数为0.5。
[0066]
具体的，对抗网络模块和活体检测模块串联在一起端到端地进行训练与迭代，其中判别器起到辅助训练作用，目的是为了使得生成器可以提取到更加通用的特征，以便于分类器更好地对假人攻击或真人进行区分。
[0067]
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。