一种基于分层特征联合调制的人脸活体检测方法

本发明涉及计算机视觉的人脸活体检测领域，尤其涉及一种基于分层特征联合调制的人脸活体检测方法。

背景技术：

1、人脸识别技术因其安全性、方便性以及无接触性而被广泛应用于各种身份认证系统中。在人脸识别系统的运行过程中，为了防止其受到物理呈现攻击，如打印攻击、重放攻击(如数字视频、电子图片)和面具攻击，人脸活体检测技术受到了学术界和工业界越来越多的关注。尽管已有工作做出了许多努力，但现有的方法在未知数据域和未知攻击场景下的泛化能力仍然较差。这主要是因为在真实场景收集的图像存在来自高层语义信息(如身份等)和低层特征的混杂因子(如呈现媒介等)的干扰，它们会破坏模型对于细粒度的活体属性相关信息的学习，从而影响模型的判别效果和泛化能力。

技术实现思路

1、有鉴于此，本发明提供一种基于分层特征联合调制的人脸活体检测方法，能够有效消除来自高层语义和底层特征两个维度的干扰对人脸活体检测泛化能力的抑制。

2、本发明实施例解决其技术问题所采用的技术方案是：

3、一种基于分层特征联合调制的人脸活体检测方法，包括：

4、步骤s1，获取带有标签数据的人脸活体图像样本数据；

5、步骤s2，搭建分类网络模型，所述分类网络模型包括多尺度局部差分特征提取模块、局部差分直方图模块ldh、和期望最大特征干预模块iem；所述多尺度局部差分特征提取模块的输入为单通道灰度图，具有3次中心差分卷积处理，拼接每一次中心差分卷积处理结果得到拼接矩阵multiscale_final，将multiscale_final输入平均池化层转换为直方图的向量形式，得到feature作为输出；ldh模块的输入为feature，输出为feature_ldh；拼接feature与feature_ldh，得到cat_ldh_fea作为iem模块的输入；所述iem模块计算出cat_ldh_fea的环境特征evn_fea，拼接cat_ldh_fea与evn_fea，得到cat_ldh_evn_fea，拼接cat_ldh_fea_env与cat_ldh_fea所得结果作为所述iem模块的输出；所述iem模块的输出送入全连接网络层，所述全连接网络层的输出再输入softmax层，所述softmax层的输出即为分类网络模型的输出；

6、步骤s3，利用所述人脸活体图像样本数据及对应的标签数据，对所述分类网络模型进行训练，以提高所述分类网络模型的准确度；

7、步骤s4，实时获取待检测的人脸图像，转换为单通道灰度图输入训练好的分类网络模型，输出分类结果，所述分类结果用于指示所述人脸图像是否为活体图像。

8、较优地，所述分类网络模型的多尺度局部差分特征提取模块中：

9、所述第一次中心差分卷积处理依次通过4个第一卷积单元、第一最大池化层maxpooling_1st、spatialattention空间注意力模块、上采样upsampling_1st模块执行，卷积单元依次由cdc卷积层、bn层、relu激活函数组成，cdc卷积层的卷积核大小为3×3，卷积核每次移动的步数s＝1；maxpooling_1st层的窗口大小为3×3，窗口每次移动2个像素；

10、对于输入至所述分类网络模型的单通道灰度图x_input，依次经过4个所述第一卷积单元的卷积计算后的上层输出进入到maxpooling_1st层，经最大池化后得到输出fmaxpooling矩阵；fmaxpooling进入spatialattention模块，在通道维度上分别做最大池化处理maxpooling以及平均池化处理avgpooling，并将所得的两个输出矩阵叠加为一个二层矩阵；所述二层矩阵经过一个7×7的卷积层、以及经sigmoid激活函数激活之后得到attentionmask矩阵；将fmaxpooling矩阵和attentionmask矩阵相乘，upsampling_1st模块通过对矩阵乘积进行上采样将输出尺寸变为32×32，最终得到的所述第一次中心差分卷积处理的输出结果multiscale_1st；

11、所述第二次中心差分卷积处理依次通过4个第二卷积单元、第二最大池化层maxpooling_2nd、上采样upsampling_2nd模块执行；所述第二次中心差分卷积处理的输入为multiscale_2nd，依次经过4个所述第二卷积单元的卷积计算后的上层输出进入到maxpooling_2nd层，经最大池化后，upsampling_2nd模块进行上采样将输出尺寸变为32×32，最终得到的所述第二次中心差分卷积处理的输出结果multiscale_2nd；

12、所述第三次中心差分卷积处理依次通过3个第三卷积单元、第三最大池化层maxpooling_3rd、上采样upsampling_3rd模块执行；所述第三次中心差分卷积处理的输入为multiscale_3rd，依次经过3个所述第三卷积单元的卷积计算后的上层输出进入到maxpooling__3rd层，经最大池化后，upsampling_3rd模块进行上采样将输出尺寸变为32×32，最终得到的所述第三次中心差分卷积处理的输出结果multiscale_3rd；

13、拼接multiscale_1st、multiscale_2nd、multiscale_3nd，得到multiscale_final；

14、multiscale_final进入avgpooling平均池化层，平均池化后将其变换为直方图的向量形式，得到输出feature，其中，所述avgpooling平均池化层尺寸为1×1。

15、较优地，所述分类网络模型的ldh模块，依次包括第一卷积层、绝对值函数层abs、第二卷积层、relu激活函数层、maxpooling层；所述第一卷积层卷积核为1×1，偏置项设置为-μb，卷积核参数为1，卷积核移动步数s＝1；所述第二卷积层的卷积核为1×1，偏置项设置为1，卷积核参数为-2/wb，卷积核移动步数s＝1；

16、所述多尺度局部差分特征提取模块的输出feature进入所述ldh模块的所述第一卷积层，上层输出依次经过abs层取绝对值、所述第二卷积层计算、relu激活函数层激活、由maxpooling层最大池化，得到feature_ldh作为所述ldh模块的输出；

17、ldh模块的运算公式为：

18、

19、

20、其中，fld是指feature；在第一次的卷积运算fld-μb中，权重取值为1，偏置为-μb；在第二次的卷积运算中，权重为-2/wb，偏置为1；wb和μb是可学习参数，初始赋随机值，经样本训练后收敛。

21、较优地，所述分类网络模型的所述期望最大特征干预模块iem，执行的步骤依次为：

22、利用初始值以及cat_ldh_fea送入em迭代步骤中，进行t次迭代，得到

23、拼接得到环境特征env_fea；

24、拼接cat_ldh_fea、env_fea，得到cat_ldh_fea_env；

25、拼接cat_ldh_fea与cat_ldh_fea_env，所得拼接结果作为所述iem模块的输出。

26、较优地，em迭代公式为：

27、

28、env_fea的计算公式为：

29、

30、cat_ldh_fea_env的计算公式为：

31、cat_ldh_env_fea＝concat(cat_ldh_fea,env_fea)。

32、较优地，所述初始值是利用所述多尺度局部差分特征提取模块连接全连接网络层所得到的分类器计算得出的，将所述人脸活体图像样本数据输入所述分类器，对所有样本的输出结果取平均值得到初始值，其中，预先设置有3个分类器，分别为活体属性类别分类器、攻击媒介类别分类器、捕获介质类别分类器，对应得到的初始值依次为

33、较优地，所述步骤s3包括：

34、步骤s31，批量输入所述人脸活体图像样本数据至所述分类网络模型，得出各人脸活体图像样本的分类结果；

35、步骤s32，根据所述人脸活体图像样本数据对应的标签数据，计算分类结果损失；

36、步骤s33，根据所述分类结果损失反向调节所述分类网络模型中的参数，以提高所述分类网络模型的准确度，具体为通过交叉熵损失函数计算损失并反向传播损失，更新参数，直至训练完预先设定的epoch数量。

37、由上述技术方案可知，本发明实施例提供的基于分层特征联合调制的人脸活体检测方法，首先获取人脸活体图像样本数据，并对人脸活体图像样本数据进行标注，得到标签数据；搭建分类网络模型，分类网络模型包括多尺度局部差分特征提取模块、局部差分直方图模块ldh、和期望最大特征干预模块iem；利用人脸活体图像样本数据及对应的标签数据，对分类网络模型进行训练，以提高分类网络模型的准确度；实时获取待检测的人脸图像，转换为单通道灰度图输入训练好的分类网络模型，输出分类结果，分类结果用于指示人脸图像是否为活体图像。本发明首先对人脸的特征进行解耦，使其分解成活体属性特征、成像媒介相关特征和捕获设备相关特征，然后利用因果推断的后门调节对不同环境的特征进行组合，这可以模拟变换的真实场景，实现有效去除底层信息中的混杂因子。