一种单模态静默活体检测方法及系统与流程

1.本发明涉及特征识别技术领域，尤其涉及一种单模态静默活体检测方法及系统。


背景技术：

2.人工智能的发展使得人们的的生活越加的便利，生物特征识别技术就在人们的衣食住行中扮演着重要的角色。在生物特征识别技术的发展过程中，与虹膜识别、指纹扫描、掌形扫描等技术相比，人脸识别技术以其非接触式的用户友好性、廉价采集设备的安装方便性、识别验证的快速有效性在智慧城市建设的许多场合中应用。
3.但人脸识别技术快速发展的背后，存在一个比较大的安全隐患，人脸识别容易遭受到“合法用户的照片、视频、面具”等媒体介质的恶意攻击。其中照片攻击通过高质量的人脸照片对系统进行攻击，这些人脸照片可以是打印照片或者电子照片；视频重放攻击通过重放录制视频对系统进行攻击；面具攻击通过佩戴3d面具等人脸面具对系统进行攻击。这给社会财产及人身安全带来危险，所以需要人脸活体检测技术来防御恶意攻击。
4.现有的人脸活体检测技术主要有动作配合式与静默检测式，动作配合式活体检测需要被检测人做张嘴、眨眼等动作主动完成配合认证，使用体验不佳。如何在给人以良好的使用体验下使用rgb摄像头提高活体检测的准确率是一个技术难题。


技术实现要素：

5.为了解决以上技术问题，本发明提供了一种单模态静默活体检测方法。
6.本发明首先使用rgb摄像头对获取到的人脸进行检测与校正，对获取到的人脸区域图像进行归一化处理以便于模型训；同时对人脸区域图像进行傅里叶变换，获取到幅频图；训练时将归一化后的原图与幅频图同时输入来进行模型训练；
7.模型中添加了triplet attention注意力机制，然后利用训练后的模型进行人脸活体检测。
8.具体步骤如下：
9.通过单目rgb摄像头获取到人脸图像，并对图像做人脸检测与校正。
10.将获取到的图像作为输入，输入到预先训练好的模型模型中，通过卷积与注意力机制以获取所述图像特征，然后通过softmax获取图像预测活体概率与非活体概率。
11.依据上述获取到的活体概率与非活体概率判断待检测图像是否通过检测。
12.进一步的，
13.所述活体检测模型的训练过程包括：
14.从人脸反欺诈数据集中裁剪出真实人脸样本以及虚假人脸样本，将选取的真实人脸样本以及虚假人脸样本按照6:2:2的比例分为训练样本、校验样本和测试样本；
15.数据集加载后同一张图片会通过二维傅里叶变换，然后将低频移到图片中心形成幅频图再和原图同时返回，对原图做图片增强如放大、缩小、剪切；
16.将幅频图与原图同时输入到所述活体检测模型中进行训练。
17.该模型卷积后进行分支处理，主要包含3个分支，其中两个分支分别用来捕获通道维度和空间维度之间的跨通道交互，剩下的一个分支就是传统的空间注意力权重的计算。
18.注意力机制模块的输入数据为人脸图像rgb三通道经过卷积后提取的特征矩阵，注意力机制模块的输出为调整权重后的特征矩阵。经过注意力机制的权重调整，能加强图片中所需关注的特征的提取。
19.构建网络模型的具体操作为：网络模型由10个卷积块、一个flatten层、一个bn层以及两个一维卷积组成，每个卷积块分别由triplet attention、若干残差块以及标准化层组成。
20.网络的输入为单目rgb摄像头获取的待检测人脸归一化处理后的图像，网络的输出为真实或虚假人脸的检测概率，本模型输出为四类分别为真实人脸、照片攻击、视频重放攻击与面具攻击。
21.进一步的，
22.所述构建模型，模型由10个卷积块、一个flatten层、一个bn层以及两个一维卷积组成，每个卷积块分别由triplet attention、若干残差块以及标准化层组成。triplet attention主要由permute函数、池化层、二维卷积组成和激活函数sigmoid组成，主要作用于更好的获取通道与空间信息。模型输入为待检测人脸图像，网络输出为真实或者虚假人脸的概率。
23.构建训练数据集，从人脸反欺诈数据集中裁剪出真实人脸样本与虚假人脸样本，将获取到的真实人脸样本以及虚假人脸样本作为训练样本。具体操作为：对人脸反欺诈数据集每隔5帧获取一张人脸区域图，并对人脸进行人脸检测与校正。
24.将数据集进行归一化处理，以便于模型训练时更快的计算梯度下降。
25.将归一化后的数据集输入到网络中进行训练，计算loss函数，直到达到理想效果。
26.本发明还提供了一种单模态静默活体检测系统，包括：
27.检测模块：通过单目rgb摄像头获取到人脸图像，并对图像做人脸检测与校正；
28.构建模块，用于构件triplet attention和残差网络结合的网络模型
29.训练模块，用于获取训练数据集，并利用数据集对网络模型进行训练
30.检测模块，用训练后的数据模型进行人脸活体检测。
31.服务模块，用opencv搭建实时视频流活体检测服务。
32.本发明的有益效果是
33.(1)在训练时使用傅里叶变换后的幅频图与原图同时拟合的计算方式，在训练时不止关注像素特征也同时关注图片高低频特征，以提高真假人脸预测的准确率，为检测人脸攻击提供更好的技术手段。
34.(2)本发明模型中使用的算子考虑到适配与量化需求，在去除组卷积、空洞卷积等运算复杂的算子的情况下仍能保证准确的识别结果。经测试此模型可适配与国产鲲云、寒武纪的加速卡使用，并在模型量化后能保持在测试集92％以上的准确率。
35.(3)本发明模型可以兼顾空间注意力与通道注意力。对于输入张量，通过旋转操作和残差变换构建维间依赖关系，并以可忽略的计算开销对通道间和空间信息进行编码。三重注意力强调了多维交互而不降低维度的重要性，因此消除了通道和权重之间的间接对应。
附图说明
36.图1是本发明使用的注意力机制示意图；
37.图2是网络模型的准确率示意图；
38.图3是网络模型的学习率示意图；
39.图4是损失函数变化曲线示意图。
具体实施方式
40.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本发明实施步骤如下：
42.步骤1：构建残差卷积网络与注意力机制结合的网络模型；
43.网络模型由10个卷积块、一个flatten层、一个bn层以及两个一维卷积组成，每个卷积块分别由triplet attention、若干残差块以及标准化层组成。以第一个卷积块为例，它由一个二维卷积、一个标准化层、一个triplet attention和一个激活函数leakyrelu组成。二维卷积包含32个3*3、步长为1、padding为0的卷积核，然后顺序为标准化层、triplet attention和leakyrelu。
44.triplet attention主要由permute函数、池化层、二维卷积组成和激活函数sigmoid组成，permute函数主要用来交换c、h、w的维度。triplet attention有3个平行的分支(如图1所示)，其中两个负责捕获通道c和空间h或w之间的跨维交互，最后一个分支类似于cbam，用于构建空间注意力。最终3个分支的输出通过求和平均进行聚合。主要作用于更好的获取通道与空间信息。
45.此网络结构经过测试是可以适配国产加速卡使用的，为适配国产加速卡的模型转换激活函数使用leakyrelu，使用一维卷积来进行线性变换计算。
46.所述网络结构如表1所示：
47.[0048][0049]
表1
[0050]
步骤2：构建数据集，并利用数据集对上述网络模型进行训练；
[0051]
具体操作如下：从人脸反欺诈数据集中裁剪出真实人脸样本以及虚假人脸样本，将选取的真实人脸样本以及虚假人脸样本按照6:2:2的比例分为训练样本、校验样本和测试样本。其中，对人脸反欺诈数据集中每秒25帧共8秒分辨率为640*480的avi格式视频进行人脸样本的截取，通过opencv和dlib对人脸进行检测与校正，视频每隔5帧截取一张人脸图像，将截取后的图像作为数据集。
[0052]
步骤3：利用训练后的网络模型进行人脸活体检测。
[0053]
网络模型训练的具体操作为：
[0054]
1)活体检测模型是一个分类问题，这里做了一个多分类，将输出分成了真实人脸、照片攻击、视频重放攻击和面具攻击这四类，所以将最后一维卷积的输出设为4，分别对应这四类。输出后使用softmax函数计算四个类别的概率，softmax函数为：其中zi为第i个节点的输出值，c为输出节点的个数，即分类的类别个数。
[0055]
2)数据集加载后同一张图片会通过二维傅里叶变换，然后将低频移到图片中心形成幅频图再和原图同时返回，对原图做图片增强如放大、缩小、剪切。
[0056]
3)模型训练时，使用损失函数来判断网络模型预测值与真实值之间的差异，损失
值越小，则模型的准确率越高。模型训练选择交叉熵损失函数来拟合原图预测与真实值，方程如图所示：
[0057][0058]
使用均方差方程来拟合幅频图预测与真实值，方程如下：
[0059][0060]
两个loss的权重都为0.5。将构造好的数据集加载后输入到网络模型中进行迭代训练，选用sgd优化算法来优化损失函数，设置初始学习率为0.1，使用multisteplr来进行学习率随迭代次数进行衰减。批训练样本数batchsize为1024，网络训练迭代次数epoch为25。网络模型的准确率、学习率和损失函数变化曲线如图2、图3以及图4所示。
[0061]
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。