一种基于多尺度特征融合的人脸检测方法

本发明属于计算机视觉的目标检测领域，具体的说是涉及一种基于多尺度特征融合的人脸检测方法。

背景技术：

1、人脸检测是一种生物特征识别技术，它的目的是在一幅图像中找出所有的人脸位置，并用矩形框标记出来。随着深度学习、图像处理、模式识别等技术的快速发展，近年来出现了许多基于深度神经网络的人脸检测方法，这些方法能够处理非约束环境下的多类别、多尺度、密集小目标的人脸检测问题，大大提高了人脸检测的性能和速度。目前，人脸检测已经广泛应用于公安、安全、海关、金融、军队、机场、边防口岸、安防等多个重要行业及领域。

2、主流的人脸检测算法有基于几何特征的方法、基于模板的方法和基于深度学习的方法。其中，基于深度学习的人脸检测算法是目前最为流行和快捷的一种方法。该方法通过训练一个卷积神经网络来实现对人脸的检测，其优点是可以自动地从原始图像中提取出具有判别性的特征，从而实现对人脸的快速、准确地检测。

3、多尺度融合在人脸检测的应用主要是为了解决不同尺度的人脸检测问题，提高检测的准确率和速度。目前主流多尺度融合的方法有以下几种：使用多个尺度的图像输入，然后将其结果进行融合，例如mtcnn；使用金字塔结构来融合不同层次的特征图，例如fpn、spp、psp、aspp等；使用注意力机制或空洞卷积来增强感受野和特征表达，例如fan、convmixer、tridentnet等；

4、上述方法均在人脸检测领域取得不错的效果，但受限于算力与场景要求，上述多尺度融合方法没有考虑不同尺度特征对检测结果的重要性，融合效果不佳，性能提升不大，同时检测速度会有所下降，如何在有限的算力下进行充分的融合信息，对于检测不同场景的人脸尤为重要。

技术实现思路

1、为了解决上述技术问题，本发明提出了一种多尺度融合的人脸检测方法，该方法通过selective-scale-fpn进行多尺度融合，并通过ac-context module模块扩大感受野，同时对多尺度信息拼接，进一步提升检测性能，在widerface数据集上进行验证，实验证明本发明的算法比现有方法具有更好的检测性能。

2、为了达到上述目的，本发明是通过以下技术方案实现的：

3、本发明是一种基于多尺度特征融合的人脸检测方法，该方法包括如下步骤：

4、步骤1，将可见光图像输入人脸目标检测网络中，输出多个多维矩阵特征图，所述人脸目标检测网络以resnet基础；

5、步骤2，将多个多维矩阵特征图输入选择性多尺度特征金字塔selective-scale-fpn模块进行多尺度特征融合，以特征金字塔为基础，采用多核注意力机制进行加权融合；

6、步骤3，再输入非对称卷积感知模组ac-context module进行特征精炼与扩大感受野，采用非对称卷积模块ac block，对多尺度特征层进行拼接；

7、步骤4，输出多个特征图用于预测不同尺寸的目标。

8、本发明的进一步改进在于：所述selective-scale-fpn其数学公式如下：

9、pi＝wi×fi+wi+1×fi+1

10、其中pi为第i层输出特征层，wi与wi+1分别为第i层多核注意力权重的和第i+1层多核注意力权重，由多核注意力机制所得。

11、本发明的进一步改进在于：所述多核注意力机制等价的公式如下所示：

12、s＝fc(gap(fi+fi+1))

13、wi，wi+1＝softmax(fc(s)，fc(s))

14、其中fi与fi+1分别为第i层输入特征层和第i+1层输入特征层，gap为全局平均池化，fc为全连接层，softmax为softmax函数。

15、本发明的进一步改进在于：步骤3所述非对称卷积模块ac block公式如下：

16、o＝conv3×3(p)+conv3×1(p)+conv1×3(p)

17、其中conv3×3，conv3×1，conv1×3分别表示卷积核大小为3×3，3×1，1×3的卷积运算。

18、本发明的进一步改进在于：步骤3所述非对称卷积感知模组ac-context module模块由五个非对称卷积模块ac block组成，假设p的通道数为c，其数学公式如下：

19、

20、其中ac_block(a|in_c＝x，out_c＝y)指的是ac_block输入为a，其通道数为x，经过ac_block的运算后，输出通道数为y；concat()指特征层通道数上的拼接。

21、本发明的有益效果是：

22、本发明以fpn为基础提出了一种选择性多尺度特征金字塔(selective-scale-fpn)用于特征融合，selective-scale-fpn通过添加多核注意力机制实现了一种融合充分，考虑多尺度融合的特征金字塔结构，提高了人脸检测性能。

23、本发明提出了一种新的模块ac-context module用于目标检测的主干网络，能够以很小的代价增加检测的性能，ac-context module能够考虑多尺度信息以及具有更强的提取特征能力，更有助于人脸检测。

24、本发明利用计算机的卷积运算技术和gpu的高速计算性能，实现快速、高精度的人脸检测；以resnet网络进行特征提取；使用selective-scale-fpn进行特征融合，并使用ac-context module模块进行特征精炼，做到了充分融合信息以及丰富语义信息，极大程度地提升人脸检测的性能。

技术特征：

1.一种基于多尺度特征融合的人脸检测方法，采用端到端的方式训练，其特征在于：所述人脸检测方法包括如下步骤：

2.根据权利要求1所述的一种基于多尺度特征融合的人脸检测方法，其特征在于：在所述步骤2中，所述多尺度特征金字塔selective-scale-fpn模块以特征金字塔(fpn)为基础，采用多核注意力机制进行加权融合。

3.根据权利要求2所述的一种基于多尺度特征融合的人脸检测方法，其特征在于：所述步骤2中，所述多尺度特征金字塔selective-scale-fpn模块的数学公式如下：

4.根据权利要求3所述的一种基于多尺度特征融合的人脸检测方法，其特征在于：所述多核注意力机制的数学表达式如下：

5.根据权利要求1所述的一种基于多尺度特征融合的人脸检测方法，其特征在于：在步骤3中，所述非对称卷积模块ac block表达式为：

6.根据权利要求1所述的一种基于多尺度特征融合的人脸检测方法，其特征在于：步骤3中，所述非对称卷积感知模组ac-context module模块由五个ac block组成，假设p的通道数为c，其数学公式如下：

技术总结
本发明属于计算机视觉的目标检测领域，公开了一种基于多尺度特征融合的人脸检测方法，包括步骤1、将可见光图像输入人脸目标检测网络中，输出多个多维矩阵特征图；步骤2、将多个多维矩阵特征图输入选择性多尺度特征金字塔模块进行多尺度特征融合；步骤3，将多尺度特征融合后的图像输入非对称卷积感知模组模块进行特征精炼与扩大感受野，采用非对称卷积模块，对多尺度特征层进行拼接；步骤4，输出多个特征图用于预测不同尺寸的目标。本发明提高了选择多尺度融合的特征金字塔用于特征融合，以新的模块用于目标检测的主干网络，能够以很小的代价增加检测的性能，提高了人脸检测性能。

技术研发人员：马腾飞,王桢,秦豪,尹海涛
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/15