一种基于密集注意力的轻量级人脸关键点检测方法

本发明属于计算机视觉与人工智能领域，具体涉及一种基于密集注意力的轻量级人脸关键点检测方法。

背景技术：

1、有关人脸的技术在日常生活中应用广泛，人脸关键点技术作为很多人脸下游任务(例如：人脸识别、表情分析、三维重建等)的基础，在计算机视觉领域中，是一个重要的研究方向。人脸关键点检测是指给定人脸图像，定位出人脸面部的关键点，包括眉毛、眼睛、鼻子、嘴、脸部轮廓区域的点，由于受到姿态和遮挡等因素的影响，关键点检测是一个富有挑战性的任务。随着深度学习网络模型在图像处理中应用的效果越来越好，神经网络体积越来越大，结构也越来越复杂，预测和训练需要的硬件资源也逐步增多，往往只能在高算力的服务器中运行深度学习神经网络模型。移动设备因硬件资源和算力的限制，很难运行复杂的深度学习网络模型。因此轻量级的人脸关键点检测模型的研究对于各种人脸下游任务的发展具有重大意义。

技术实现思路

1、为解决以上现有技术存在的问题，本发明提出了一种基于密集注意力的轻量级人脸关键点检测方法，该方法包括：获取待检测的人脸图像，将待检测的图像输入到训练好的基于密集空洞自注意力的轻量级人脸关键点检测模型中，得到轻量级人脸关键点；基于密集空洞自注意力的轻量级人脸关键点检测模型包括四个模块，其中第一模块和第二模块均由图像下采样模块和密集空洞自注意力模块组成，第三模块和第四模块由图像下采样模块和通道注意力模块组成；

2、对基于密集空洞自注意力的轻量级人脸关键点检测模型进行训练的过程包括：

3、s1：获取人脸数据集，将数据划分为训练集和测试集，其中训练集用于训练模型，测试集用户对训练后的模型进行测试；

4、s2：对训练集中的数据进行预处理；

5、s3：将预处理后的数据输入到图像下采样模块；

6、s4：将经过下采样的图像输入到第一模块中和第二模块中进行特征提取；

7、s5：将提取的特征图输入到第三模块和第四模块中进行通道注意力特征提取，得到具有边缘信息的特征图；

8、s6：将具有边缘信息的特征图输入到全连接层中，得到轻量级关键点识别结果；

9、s7：根据轻量级关键点识别结果计算模型的损失函数，不断调整参数，当损失函数最小时完成模型的训练。

10、优选的，采用图像下采样模块对数据进行处理的过程包括：图像下采样模块为卷积核大小为4的卷积层；通过卷积层对输入的图像数据进行下采样，得到大小为64×64的人脸图像。

11、优选的，采用第一模块和第二模块对输入的图像进行特征提取的过程包括：

12、s41：采用第一模块的上采样模块将上一模块的特征进行下采样，得到初始特征图；

13、s42：将初始特征图分别输入到密集空洞自注意力模块和边缘特征提取网络中，得到第一特征图和初始边缘特征图；

14、s43：将初始边缘特征和第一特征图进行融合，将融合后的特征图输入到全连接层中，得到具有初始边缘特征信息的第二特征图；

15、s44：采用第二模块的上采样模块将第二特征图进行上采样；

16、s45：将初始边缘特征图和经过第二模块的上采样模块处理后的特征图进行融合，并将融合后的特征输入到第二边缘特征提取网络中，得到边缘特征图；

17、s46：将上采样后的特征图输入到密集空洞自注意力模块中，得到第三特征图；

18、s47：将第三特征图与边缘特征图进行融合，并将融合后的特征图输入到全连接层中，得到具有边缘信息的特征图。

19、进一步的，采用密集空洞自注意力模块对输入的特征图进行处理的过程包括：密集空洞自注意力模块由空洞下采样以及多个自注意力模块组成；对特征进行密集空洞下采样，下采样后的特征尺寸为原来的1/4；其中对特征进行空洞下采样的操作包括对特征重新排列、并重新分块；将各个1/4特征图输入到各个自注意力模块中，且每个注意力模块的输出都会作为下一个注意力模块的输入，得到第一特征图。

20、优选的，通道注意力模块为在通道维度上做注意力操作，该模块的输入为一个正则化后的特征y，尺寸为h×w×c，通过3个不同的线性层，得到q，k，v，尺寸为hw×c；其表达式为：

21、x＝softmax(qt·k)·v

22、本发明的有益效果：

23、本发明提出了一个轻量级的网络结构，在前期更多的关注空间信息，随着后期通道信息的增加，更注重通道信息的提取，可以有效的提取鲁棒的特征。该技术还使用了一种新颖的下采样方法-空洞下采样，在不损失感受野和空间信息的情况下减小特征尺寸；本发明设置有密集注意力模块，每个模块的输出都作为下一个模块的输入，以提取更鲁棒的特征；本发明提出的隐式边缘引导模块可以让模型在前期学习到更多边缘特征，由于关键点大部分都落在边缘强度大的位置，便于后续关键点的精确预测。

技术特征：

1.一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，包括：获取待检测的人脸图像，将待检测的图像输入到训练好的基于密集空洞自注意力的轻量级人脸关键点检测模型中，得到轻量级人脸关键点；基于密集空洞自注意力的轻量级人脸关键点检测模型包括四个模块，其中第一模块和第二模块均由图像下采样模块和密集空洞自注意力模块组成，第三模块和第四模块由图像下采样模块和通道注意力模块组成；

2.根据权利要求1所述的一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，对训练集中的数据进行预处理包括：对训练集中的数据进行清洗，将清洗后的图像进行裁剪，并对裁剪后的图像进行随机旋转和翻转处理。

3.根据权利要求1所述的一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，采用图像下采样模块对数据进行处理的过程包括：图像下采样模块为卷积核大小为4的卷积层；通过卷积层对输入的图像数据进行下采样，得到大小为64×64的人脸图像。

4.根据权利要求1所述的一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，采用第一模块和第二模块对输入的图像进行特征提取的过程包括：

5.根据权利要求4所述的一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，采用密集空洞自注意力模块对输入的特征图进行处理的过程包括：密集空洞自注意力模块由空洞下采样以及多个自注意力模块组成；对特征进行密集空洞下采样，下采样后的特征尺寸为原来的1/4；其中对特征进行空洞下采样的操作包括对特征重新排列、并重新分块；将各个1/4特征图输入到各个自注意力模块中，且每个注意力模块的输出都会作为下一个注意力模块的输入，得到第一特征图。

6.根据权利要求5所述的一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，对特征进行密集空洞下采样的公式为：

7.根据权利要求5所述的一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，采用自注意力模块对输入的特征图进行处理的公式为：

8.根据权利要求1所述的一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，通道注意力模块为在通道维度上做注意力操作，该模块的输入为一个正则化后的特征y，尺寸为h×w×c，通过3个不同的线性层，得到q，k，v，尺寸为hw×c；其表达式为：

9.根据权利要求1所述的一种基于密集注意力的轻量级人脸关键点检测方法，其特征在于，模型的损失函数为：

技术总结
本发明属于计算机视觉与人工智能领域，具体涉及一种基于密集注意力的轻量级人脸关键点检测方法，该方法包括：获取待检测的人脸图像，将待检测的图像输入到训练好的基于密集空洞自注意力的轻量级人脸关键点检测模型中，得到轻量级人脸关键点；基于密集空洞自注意力的轻量级人脸关键点检测模型包括四个模块，其中第一模块和第二模块均由图像下采样模块和密集空洞自注意力模块组成，第三模块和第四模块由图像下采样模块和通道注意力模块组成；本发明提出了一个轻量级的网络结构，在前期更多的关注空间信息，随着后期通道信息的增加，更注重通道信息的提取，可以有效的提取鲁棒的特征。

技术研发人员：高新波,蒋雪,张颜
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/12