基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质与流程

[0001]
本发明涉及主动安全防御性驾驶技术领域，尤其涉及基于关键点定位及图像分类的驾驶员口罩佩戴检测方法、设备、介质。


背景技术：

[0002]
现有技术主要基于cnn神经网络改造已有的人脸检测模块，通过增加目标检测类别来实现口罩佩戴检测。该方法由于要重新训练神经网络并且口罩种类多，因此需要大量的戴口罩人脸数据；对于多数已有主动安全防御系统的车载终端设备来说需要对原有架构进行改造，开发成本高；检测类别数增加导致模型训练收敛难度上升，最终模型推理速度下降，精度下降；同时将戴口罩检测与人脸检测耦合在一起，限制了人脸检测模型与其他模块的对接应用，这在车载设备计算资源有限这一情况下设计不合理。


技术实现要素：

[0003]
为了克服现有技术的不足，本发明的目的在于提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，解决了目前市面上的车载终端驾驶员口罩检测方案存在对原有架构改造大，训练数据需求量大，与人脸检测模块耦合度高等问题。
[0004]
本发明提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，包括以下步骤：
[0005]
人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；
[0006]
关键点定位，定位所述人脸区域图像中的人脸关键点坐标；
[0007]
口罩识别，通过所述人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，通过所述两侧唇角关键点生成待识别区域，将所述待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。
[0008]
进一步地，所述人脸检测步骤中，通过mobile-ssd神经网络检测采集的驾驶员图像中的人脸。
[0009]
进一步地，所述通过mobile-ssd神经网络检测采集的驾驶员图像中的人脸包括以下步骤：
[0010]
图像预处理，对采集的驾驶员图像进行缩放和归一化处理；
[0011]
模型计算，通过mobile-ssd神经网络对预处理后的图像进行模型计算，输出人脸目标置信度和位置。
[0012]
进一步地，所述模型计算步骤中，若在图像中检测到人脸，则对人脸位置区域进行裁剪，得到人脸区域图像，跳转至所述关键点定位步骤，若未在图像中检测到人脸，则获取下一帧图像进行处理。
[0013]
进一步地，所述关键点定位步骤中，采用mobile-ldnet进行定位所述人脸区域图
像中的人脸关键点坐标，网络架构采用deepwise轻量级神经网络结构进行设计，输入为人脸图像，输出为人脸关键点坐标。
[0014]
进一步地，所述口罩识别步骤中，采用透视变换对当前人脸图像基于标准脸进行校正。
[0015]
进一步地，所述口罩识别步骤中，所述口罩模板库的建立为通过选取多种材质颜色的口罩，逐一佩戴并录制正脸图片，截取图片中面部口罩区域图像，组建口罩图像模板库。
[0016]
进一步地，所述口罩识别步骤中，通过所述两侧唇角关键点生成待识别区域具体为以两侧唇角关键点连线中心点为中心绘制矩形区域作为待识别区域。
[0017]
一种电子设备，包括：处理器；
[0018]
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。
[0019]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。
[0020]
相比现有技术，本发明的有益效果在于：
[0021]
本发明提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，包括以下步骤：人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；关键点定位，定位人脸区域图像中的人脸关键点坐标；口罩识别，通过人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，通过两侧唇角关键点生成待识别区域，将待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。本发明涉及一种电子设备和存储介质，用于执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。本发明基于常规车载终端设备原有人脸检测模块，通过添加关键点定位与模板匹配判别进行口罩检测。由于关键点定位只需要5点检测，可采用现有公开数据集；通过增加关键点定位与模板匹配判别来实现口罩检测，使得口罩检测与人脸检测功能模块解耦，方便在多数已有架构上做拓展，可行性高；采用关键点定位后可获取较精准的口腔部位位置，因此特征集中，可以采用简单的模板匹配算法进行口罩识别判断，计算速度快，对于新增的口罩类型只需要增加模板即可，不需要重复采集数据训练模型。
[0022]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
[0023]
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0024]
图1为本发明的基于关键点定位及图像分类的驾驶员口罩佩戴检测方法流程图。
具体实施方式
[0025]
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施
例。
[0026]
基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，如图1所示，包括以下步骤：
[0027]
口罩模板库建立，选取多种材质颜色的口罩，逐一佩戴并录制正脸图片，截取图片中面部口罩区域图像，组建口罩图像模板库；
[0028]
人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；本实施例中，通过mobile-ssd神经网络检测采集的驾驶员图像中的人脸，具体包括以下步骤：
[0029]
图像预处理，对采集的驾驶员图像进行缩放和归一化处理，以满足神经网络的输入要求；本实施例中，将图像缩放为300x300尺寸，并除以255进行像素值归一化。
[0030]
模型计算，通过mobile-ssd神经网络对预处理后的图像进行模型计算，输出人脸目标置信度和位置，若在图像中检测到人脸，则对人脸位置区域进行裁剪，得到人脸区域图像，跳转至关键点定位步骤，若未在图像中检测到人脸，则获取下一帧图像进行处理。
[0031]
关键点定位，定位人脸区域图像中的人脸关键点坐标；优选的，关键点定位步骤中，采用mobile-ldnet进行定位人脸区域图像中的人脸关键点坐标，网络架构采用deepwise轻量级神经网络结构进行设计，输入为人脸图像，输出为人脸关键点坐标。本实施例中，将人脸区域图像缩放至96*96宽高图像，并除以255进行像素值归一化；采用mobile-ldnet神经网络进行推理；获取推理结构为5个人脸关键点坐标。
[0032]
口罩识别，通过人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，以两侧唇角关键点连线中心点为中心绘制矩形区域作为待识别区域，将待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。本实施例中，采用透视变换对当前人脸图像基于标准脸进行校正。
[0033]
应当理解的是，人脸检测步骤与关键点定位步骤均采用神经网络实现，网络结构并非固定，可以采用其他网络结构进行替代；口罩识别步骤采用模板匹配进行判断，模板匹配所基于的特征形式并非固定，可采用其他特征替代。
[0034]
一种电子设备，包括：处理器；
[0035]
存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。
[0036]
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。
[0037]
本发明提供基于关键点定位及图像分类的驾驶员口罩佩戴检测方法，包括以下步骤：人脸检测，检测采集的驾驶员图像中的人脸，对人脸位置区域进行裁剪，得到人脸区域图像；关键点定位，定位人脸区域图像中的人脸关键点坐标；口罩识别，通过人脸关键点坐标对当前人脸图像基于标准连进行校正，获得两侧唇角关键点，通过两侧唇角关键点生成待识别区域，将待识别区域与口罩模板库中各口罩与嘴型图片进行特征匹配，返回识别结果。本发明涉及一种电子设备和存储介质，用于执行基于关键点定位及图像分类的驾驶员口罩佩戴检测方法。本发明基于常规车载终端设备原有人脸检测模块，通过添加关键点定位与模板匹配判别进行口罩检测。由于关键点定位只需要5点检测，可采用现有公开数据集；通过增加关键点定位与模板匹配判别来实现口罩检测，使得口罩检测与人脸检测功能
模块解耦，方便在多数已有架构上做拓展，可行性高；采用关键点定位后可获取较精准的口腔部位位置，因此特征集中，可以采用简单的模板匹配算法进行口罩识别判断，计算速度快，对于新增的口罩类型只需要增加模板即可，不需要重复采集数据训练模型。
[0038]
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。