一种口罩佩戴模式识别方法、装置和电子设备与流程

本技术涉及图像数据处理，尤其涉及一种口罩佩戴模式识别方法、装置和电子设备。

背景技术：

1、从公共卫生安全角度出发，公共场所的口罩佩戴模式识别装置以被广泛应用。当待检测目标经过口罩佩戴模式识别装置时，口罩佩戴模式识别装置抓取人脸图像并进行图像分析。当发现目标未佩戴口罩则发出告警。更为严格的口罩佩戴模式识别装置需要对未正确佩戴口罩、正确佩戴口罩，以及未佩戴口罩三种模式分别给出告警。

2、现有技术中主要是利用深度卷积神经网络进行口罩佩戴模式识别，利用未佩戴口罩的样本图像、正确佩戴口罩的样本图像和未正确佩戴口罩的样本图像训练深度卷积神经网络，使训练后的深度卷积神经网络具有识别上述三种口罩佩戴模式的能力，但由于佩戴口罩与未正确佩戴口罩两种图像特征较为相近，基于上述深度卷积神经网络进行识别，对这两种模式容易产生混淆。

3、针对上述问题，现有技术还提出了基于级联网络的口罩佩戴模式识别方法，在检测网络之后级联一个专门的口罩识别网络对口罩佩戴模式进行精细化识别，但相关方案中没有公开级联的口罩识别网络如何保证口罩佩戴模式在不同域之间的适应情况，同样存在无法准确识别未正确佩戴口罩模式和正确佩戴口罩模式，对未正确佩戴口罩模式和正确佩戴口罩模式易产生混淆。

技术实现思路

1、本技术实施例提供了一种口罩佩戴模式识别方法、装置和电子设备，以解决或部分解决上述问题。

2、本技术实施例采用下述技术方案：

3、第一方面，本技术实施例提供一种口罩佩戴模式识别方法，包括：

4、获取人脸图像，并对所述人脸图像进行图像分区处理，得到鼻部所在的第一子图像和口部所在的第二子图像；

5、利用口罩佩戴识别模型的特征提取网络分别对所述人脸图像、所述第一子图像和第二子图像进行特征提取，得到所述人脸图像的全局特征图、所述第一子图像的第一局部特征图和所述第二子图像的第二局部特征图；

6、利用所述口罩佩戴识别模型的特征融合网络对所述全局特征图、第一局部特征图和第二局部特征图进行特征融合，得到融合特征图；

7、利用所述口罩佩戴识别模型的检测头网络对所述融合特征图进行检测，得到所述人脸图像的口罩佩戴模式的识别结果。

8、可选地，所述特征提取网络包括全局特征提取子网络、第一局部特征提取子网络和第二局部特征提取子网络，利用口罩佩戴识别模型的特征提取网络分别对所述人脸图像、所述第一子图像和第二子图像进行特征提取，包括：

9、利用所述全局特征提取子网络对所述人脸图像进行特征提取，得到所述人脸图像的全局特征图；

10、利用所述第一局部特征提取子网络对所述第一子图像进行特征提取，得到所述第一子图像的第一局部特征图；

11、利用所述第二局部特征提取子网络对所述第二子图像进行特征提取，得到所述第二子图像的第二局部特征图。

12、可选地，利用所述全局特征提取子网络对所述人脸图像进行特征提取，得到所述人脸图像的全局特征图，包括：

13、对所述人脸图像进行两层3x3卷积处理，得到第一卷积处理结果；

14、对所述第一卷积处理结果进行最大池化处理，得到第一最大池化处理结果；

15、对所述第一最大池化处理结果进行多层3x3卷积处理，得到第二卷积处理结果。

16、可选地，所述全局特征提取子网络包括感受野分支，对所述第一最大池化处理结果进行多层3x3卷积处理，得到第二卷积处理结果，包括：

17、利用所述感受野分支对所述第二卷积处理结果进行卷积处理，得到第三卷积处理结果；

18、分别对所述第二卷积处理结果和所述第三卷积处理结果进行空间金字塔池化处理，得到第一空间金字塔池化处理结果和第二空间金字塔池化处理结果；

19、将所述第一空间金字塔池化处理结果和第二空间金字塔池化处理结果进行通道拼接，得到所述人脸图像的全局特征图。

20、可选地，所述第一局部特征提取子网络和所述第二局部特征提取子网络的网络结构相同，利用所述第一局部特征提取子网络对所述第一子图像进行特征提取，得到所述第一子图像的第一局部特征图，包括：

21、对所述第一子图像进行两层3x3卷积处理，得到第四卷积处理结果；

22、对所述第四卷积处理结果进行最大池化处理，得到第二最大池化处理结果；

23、对所述第二最大池化处理结果进行多层3x3卷积处理，得到第五卷积处理结果；

24、对所述第五卷积处理结果进行空间金字塔池化处理，得到所述第一局部特征图。

25、可选地，获取人脸图像，包括：

26、利用训练好的目标检测模型对包含人脸目标的待检测图像进行目标检测，得到人脸目标检测结果，所述人脸目标检测结果包括矩形框的位置和尺寸；

27、根据所述矩形框的位置和尺寸对所述待检测图像进行人脸目标分割处理，得到所述人脸图像。

28、可选地，对所述人脸图像进行图像分区处理，得到鼻部所在的第一子图像和口部所在的第二子图像，包括：

29、获取所述人脸图像的分区方向和分区方向对应的分区比例；

30、在所述分区方向上，按照所述分区比例对所述人脸图像进行分区处理，得到所述第一子图像和所述第二子图像。

31、可选地，获取所述人脸图像的分区方向和分区方向对应的分区比例，包括：

32、将所述矩形框的垂直边框所在的垂直方向作为分区方向；

33、根据所述垂直边框的尺寸确定所述分区比例。

34、第二方面，本技术实施例提供一种口罩佩戴模式识别装置，包括：

35、图像处理单元，用于获取人脸图像，并对所述人脸图像进行图像分区处理，得到鼻部所在的第一子图像和口部所在的第二子图像；

36、特征提取单元，用于利用口罩佩戴识别模型的特征提取网络分别对所述人脸图像、所述第一子图像和第二子图像进行特征提取，得到所述人脸图像的全局特征图、所述第一子图像的第一局部特征图和所述第二子图像的第二局部特征图；

37、特征融合单元，用于利用所述口罩佩戴识别模型的特征融合网络对所述全局特征图、第一局部特征图和第二局部特征图进行特征融合，得到融合特征图；

38、特征识别单元，用于利用所述口罩佩戴识别模型的检测头网络对所述融合特征图进行检测，得到所述人脸图像的口罩佩戴模式的识别结果。

39、第三方面，本技术实施例提供一种电子设备，包括处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述实施例的口罩佩戴模式识别方法。

40、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述实施例的口罩佩戴模式识别方法。

41、本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：本技术实施例以人脸图像、鼻部所在的第一子图像和口部所在的第二子图像为待识别图像，利用口罩佩戴识别模型的特征提取网络分别从上述三种图像中获得全局特征图和口部局部特征图与鼻部局部特征图，此时利用特征融合网络将三种特征图融合后所得到的融合特征图更能够表达人脸上口部与鼻部处被口罩的遮挡情况，基于该融合特征图进行口罩佩戴模式识别，能够避免图像模式较为相近导致混淆识别的问题，提高了口罩佩戴模式的识别精度。