口罩佩戴状态的检测方法、设备、电子装置和存储介质与流程

[0001]
本申请涉及图像识别技术领域，特别是涉及口罩佩戴状态的检测方法、设备、电子装置和存储介质。


背景技术：

[0002]
在疫情防控的过程中，行人佩戴口罩在减轻疫情传播方面至关重要，因此各小区、超市、车站等人群流量较大点地方都有工作人员检查口罩佩戴情况，若行人口罩佩戴不规范，例如口罩只遮住嘴巴或者只是挂在下巴上，工作人员会提示该行人重新戴好口罩。但是该检查方法需要耗费大量人力，并且在人流量大时可能出现漏检等情况。
[0003]
相关技术中，通过相机进行图像识别，来判断行人口罩佩戴状态，具体为，在监控画面中检测到人脸之后，在人脸区域中提取目标区域的纹理特征，若纹理特征包括口罩纹理特征，确定该用户佩戴口罩，然后用具有口罩纹理特征的区域的面积来作为口罩覆盖面积信息，根据该面积信息和人脸区域的比值来判断口罩佩戴是否标准，但是该方法需要预先人为设置口罩纹理数据库来作为对比依据，该工作又需要大量的人力成本。
[0004]
目前针对相关技术中通过口罩纹理特征判断行人是否口罩佩戴是否标准，导致人力成本仍然较高的问题，尚未提出有效的解决方案。


技术实现要素：

[0005]
本申请实施例提供了一种口罩佩戴状态的检测方法、设备、电子装置和存储介质，以至少解决相关技术中通过口罩纹理特征判断行人是否口罩佩戴是否标准，导致人力成本仍然较高的问题。
[0006]
第一方面，本申请实施例提供了一种口罩佩戴状态的检测方法，包括：
[0007]
获取待检测的人脸图像，在所述人脸图像中存在口罩的情况下，获取所述人脸图像中的关键点；
[0008]
根据所述关键点得到所述人脸图像中的感兴趣区域，并获取所述口罩的检测标志，其中，所述感兴趣区域包括人脸五官和/或脸部轮廓中的至少一个区域；
[0009]
根据所述感兴趣区域与所述口罩的检测标志之间的位置关系，判断与所述人脸图像对应的行人的口罩佩戴状态。
[0010]
在其中一些实施例中，所述感兴趣区域包括鼻区域、嘴区域和下巴区域，所述感兴趣区域的获取方法包括：
[0011]
在所述人脸图像的关键点中，获取眼区域关键点、鼻区域关键点、嘴区域关键点和下巴区域关键点；
[0012]
根据所述眼区域关键点和所述鼻区域关键点获取所述鼻区域，根据所述鼻区域关键点和所述嘴区域关键点获取所述嘴区域，根据所述嘴区域关键点和所述下巴区域关键点获取所述下巴区域。
[0013]
在其中一些实施例中，根据所述感兴趣区域与所述口罩的检测标志之间的位置关
系，判断与所述人脸图像对应的行人的口罩佩戴状态包括：
[0014]
在所述检测标志位于所述下巴区域的情况下，判定所述口罩仅覆盖下巴区域，所述口罩佩戴状态为不标准；
[0015]
在所述检测标志位于所述嘴区域的情况下，判定所述口罩覆盖所述嘴区域和所述下巴区域，所述口罩佩戴状态为不标准；
[0016]
在所述检测标志位于所述鼻区域的情况下，判定所述口罩覆盖所述鼻区域、所述嘴区域和所述下巴区域，所述口罩佩戴状态为标准。
[0017]
在其中一些实施例中，在获取所述口罩的检测标志之后，所述方法还包括：
[0018]
根据所述感兴趣区域的边界线与所述口罩的检测标志之间的位置关系，判断所述行人的口罩佩戴状态；
[0019]
其中，所述感兴趣区域的边界线的获取方法还包括：
[0020]
根据所述眼区域关键点确定第一边界，根据所述鼻区域关键点确定第二边界，根据所述嘴区域关键点确定第三边界，其中，所述第二边界和所述第三边界均与所述第一边界平行。
[0021]
在其中一些实施例中，获取所述口罩的检测标志包括：
[0022]
根据所述鼻区域关键点确定所述人脸图像的中心线；
[0023]
获取所述中心线的像素值，根据所述像素值的变化情况确定像素突变点作为所述检测标志。
[0024]
在其中一些实施例中，在确定像素突变点之后，所述方法包括：
[0025]
过所述像素突变点获取所述第一边界的平行线，得到检测边界作为所述口罩的检测标志。
[0026]
在其中一些实施例中，根据所述感兴趣区域与所述口罩的检测标志之间的位置关系，判断与所述人脸图像对应的行人的口罩佩戴状态包括：
[0027]
在所述检测边界低于所述第三边界的情况下，判定所述口罩仅覆盖所述下巴区域，所述口罩佩戴状态为不标准；
[0028]
在所述检测边界位于所述第三边界与所述第二边界之间的情况下，判定所述口罩仅覆盖所述嘴区域和所述下巴区域，所述口罩佩戴状态为不标准；
[0029]
在所述检测边界高于所述第二边界的情况下，判定所述口罩覆盖所述鼻区域、所述嘴区域和所述下巴区域，所述口罩佩戴状态为标准。
[0030]
在其中一些实施例中，判定所述口罩仅覆盖所述嘴区域和所述下巴区域包括：
[0031]
在所述检测边界位于所述第三边界与所述第二边界之间，且所述检测边界与所述第三边界之间的距离大于第一预设距离的情况下，判定所述口罩仅覆盖所述嘴区域和所述下巴区域，其中，根据所述第三边界和所述第二边界之间的距离，以及第一预设比例得到所述第一预设距离。
[0032]
在其中一些实施例中，判定所述口罩覆盖所述鼻区域、所述嘴区域和所述下巴区域包括：
[0033]
在所述检测边界高于所述第二边界，且所述检测边界与所述第一边界之间的距离小于第二预设距离的情况下，判定所述口罩覆盖所述鼻区域、所述嘴区域和所述下巴区域，其中，根据所述第一边界和所述第二边界之间的距离，以及第二预设比例得到所述第二预
设距离。
[0034]
在其中一些实施例中，在判断与所述人脸图像对应的行人的口罩佩戴状态之后，所述方法还包括：
[0035]
获取检测状态；
[0036]
在所述检测状态为防疫的情况下，若所述口罩佩戴状态为不标准，则获取所述行人的身份信息，并禁止所述行人通行；
[0037]
在所述检测状态为识别的情况下，若所述口罩佩戴状态为不标准，则根据预设规则确定是否获取所述行人的身份信息，以及是否允许所述行人通行。
[0038]
在其中一些实施例中，在获取所述口罩的检测标志之前，所述方法还包括：
[0039]
通过灰度变换对所述人脸图像进行图像增强。
[0040]
第二方面，本申请实施例提供了一种口罩佩戴状态的检测设备，所述设备包括确定模块、获取模块和判断模块：
[0041]
所述确定模块，用于获取待检测的人脸图像，在所述人脸图像中存在口罩的情况下，获取所述人脸图像中的关键点；
[0042]
所述获取模块，用于根据所述关键点得到所述人脸图像中的感兴趣区域，并获取所述口罩的检测标志，其中，所述感兴趣区域包括人脸五官和/或脸部轮廓中的至少一个区域；
[0043]
所述判断模块，用于根据所述感兴趣区域与所述口罩的检测标志之间的位置关系，判断与所述人脸图像对应的行人的口罩佩戴状态。
[0044]
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的口罩佩戴状态的检测方法。
[0045]
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的口罩佩戴状态的检测方法。
[0046]
相比于相关技术，本申请实施例提供的口罩佩戴状态的检测方法，通过获取待检测的人脸图像，在人脸图像中存在口罩的情况下，获取人脸图像中的关键点；根据关键点得到人脸图像中的感兴趣区域，并获取口罩的检测标志，根据感兴趣区域与口罩的检测标志之间的位置关系，判断与人脸图像对应的行人的口罩佩戴状态，解决了通过口罩纹理特征判断行人是否口罩佩戴是否标准，导致人力成本仍然较高的问题，在实现降低检测成本的同时，可以提高口罩佩戴状态的检测准确率。
[0047]
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0048]
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0049]
图1是根据本申请实施例的口罩佩戴状态的检测方法的应用环境示意图；
[0050]
图2是根据本申请实施例的口罩佩戴状态的检测方法的流程图；
[0051]
图3是根据本申请实施例的感兴趣区域的获取方法的流程图；
[0052]
图4是根据本申请实施例的68点人脸关键点的示意图；
[0053]
图5是根据本申请实施例的感兴趣区域的边界线示意图；
[0054]
图6是根据本申请实施例的口罩检测标志的获取方法的流程图；
[0055]
图7是根据本申请实施例的口罩检测标志的示意图；
[0056]
图8为本申请实施例的口罩佩戴状态的检测方法的终端的硬件结构框图；
[0057]
图9是根据本申请实施例的口罩佩戴状态的检测设备的结构框图。
具体实施方式
[0058]
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
[0059]
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
[0060]
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
[0061]
本申请提供的口罩佩戴状态的检测方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的口罩佩戴状态的检测方法的应用环境示意图，如图1所示。其中，监控设备102与处理器104通过网络进行通信。监控设备102获取行人待检测的人脸图像，处理器104在人脸图像中存在口罩的情况下，处理器104获取人脸图像中的关键点，根据关键点获取人脸图像中的感兴趣区域，并获取口罩的检测标志，然后处理器104根据感兴趣区域与口罩的检测标志之间的位置关系，判断行人的口罩佩戴状态。其中，监控设备102可以为摄像头或者相机，处理器104可以由服务器或者芯片实现。
[0062]
本实施例提供了一种口罩佩戴状态的检测方法，图2是根据本申请实施例的口罩
佩戴状态的检测方法的流程图，如图2所示，该方法包括如下步骤：
[0063]
步骤s210，获取待检测的人脸图像，在人脸图像中存在口罩的情况下，获取人脸图像中的关键点。
[0064]
本实施例中通过监控设备，例如摄像头或者相机获取人脸图像，通过口罩分类算法确定人脸图像中的口罩存在状态，判断人脸图像中是否存在口罩。具体地，可以采用语义分割算法对人脸图像中的口罩进行识别，例如，基于深度学习的语义分割算法unet，能够使用很少的训练图像得到较为精确的分割结果，同时该算法还能保证较高的图像处理速度，并不会对人脸识别的实时性产生较大影响。通过该语义分割算法能够得到人脸图像中所有属于口罩的像素，从而能够将口罩区域精确地分割出来。
[0065]
在人脸图像中存在口罩的情况下，需要进一步判断行人佩戴口罩是否标准，因此，可以通过人脸关键点提取算法对人脸图像中的关键点进行提取，本实施例中的人脸关键点提取算法可以为21点关键点检测、68点关键点检测或者81点关键点检测。
[0066]
步骤s220，根据关键点得到人脸图像中的感兴趣区域，并获取口罩的检测标志，其中，感兴趣区域包括人脸五官和/或脸部轮廓中的至少一个区域。
[0067]
通常情况下，关键点会标注眉、眼、鼻、嘴和下巴等区域，因此可以根据人脸图像中关键点的位置对人脸图像进行分割得到感兴趣区域的位置，本实施例中的感兴趣区域可以根据实际需求进行设置，例如，可以设置为额头区域、眼区域、眉区域、鼻区域、耳区域、嘴区域和/或下巴区域等等。
[0068]
进一步地，本实施例中口罩的检测标志为用于判断口罩位置的标志，在获取到人脸图像中的口罩之后，可以通过提取口罩区域，根据口罩区域得到检测标志，例如将口罩区域的中心点作为检测标志，或者将口罩区域的部分轮廓线作为检测标志。
[0069]
步骤s230，根据感兴趣区域与口罩的检测标志之间的位置关系，判断与人脸图像对应的行人的口罩佩戴状态。
[0070]
本实施例中检测标志与感兴趣区域之间的位置关系可以为检测标志是否位于感兴趣区域的范围内，例如，在感兴趣区域为鼻区域的情况下，如果检测标志位于鼻区域中，则判定口罩佩戴状态为标准。进一步地，在不同的实际场景下，可以设置多个感兴趣区域，根据检测标志在不同感兴趣区域中的位置，设置多个口罩佩戴状态等级。
[0071]
通过上述步骤s210至步骤s230，本实施例在人脸图像中获取感兴趣区域与口罩的检测标志，根据检测标志与感兴趣区域的相对位置关系，判断行人的口罩佩戴状态，不需要提前录入大量的口罩纹理数据，解决了通过口罩纹理特征判断行人是否口罩佩戴是否标准，导致人力成本仍然较高的问题，在实现降低检测成本的同时，通过位置关系进行检测也可以提高口罩佩戴状态的检测准确率。
[0072]
在其中一些实施例中，在确定人脸图像的口罩存在状态之前，可以在人脸图像中先使用基于深度学习的人脸检测算法得到人脸目标，例如，基于retinanet和tinyyolo的人脸检测算法实现人脸目标的获取。其中，retinanet目标检测算法是一种通用的目标检测算法，通过对图像中的左眼、右眼、鼻尖和嘴角进行检测获取目标，解决了正负样本比例严重失衡的问题。本实施例中采用retinanet的检测头来进行人脸检测。而tinyyolo是在yolo的基础上经过进一步轻量化设计得到的，yolo也是一种通用的目标检测算法，为了能够将本申请中的方法用于内存较小的芯片设备，本实施例中将方法的骨干网络替换为tinyyolo的
轻量化骨干网络，去掉了yolo使用的darknet网络中的残差结构，使用下采样分别为8、16、32的输出特征作为retinanet检测头的输入。
[0073]
在其中一些实施例中，感兴趣区域包括鼻区域、嘴区域和下巴区域，图3是根据本申请实施例的感兴趣区域的获取方法的流程图，如图3所示，该方法包括如下步骤：
[0074]
步骤s310，在人脸图像的关键点中，获取眼区域关键点、鼻区域关键点、嘴区域关键点和下巴区域关键点；
[0075]
步骤s320，根据眼区域关键点和鼻区域关键点获取鼻区域，根据鼻区域关键点和嘴区域关键点获取嘴区域，根据嘴区域关键点和下巴区域关键点获取下巴区域。
[0076]
人脸关键点提取算法是指在给定人脸图像的情况下，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。本实施例中采用68点人脸关键点提取算法进行人脸关键点的提取，图4是根据本申请实施例的68点人脸关键点的示意图，如图4所示，图中序号0至67表示不同的关键点，本实施例中的68点人脸关键点提取算法是利用神经网络非线性映射能力学习面部图像到关键点的映射，得到的面部特征点有着固定的序号顺序，通过这些关键点序号，可以很容易地得到需要的面部感兴趣区域。例如，序号30至35始终代表鼻头的位置，可以作为鼻区域关键点，序号36至45代表眼睛的位置，可以作为眼区域关键点，序号61至63与65至67始终代表嘴唇的中心位置，可以作为嘴区域关键点，序号5至11始终代表下巴的位置，可以作为下巴区域关键点，因此本方法可通过这些关键点来提取感兴趣区域。
[0077]
进一步地，本实施例中将眼区域关键点和鼻区域关键点之间形成的区域作为鼻区域，将鼻区域关键点和嘴区域关键点之间形成的区域作为嘴区域，将嘴区域关键点和下巴区域关键点之间形成的区域作为下巴区域。
[0078]
通过上述步骤s310和步骤s320，本实施例基于68点人脸关键点提取算法对人脸图像中的关键点进行提取，可以提高关键点提取的准确度。
[0079]
在其中一些实施例中，判断行人的口罩佩戴状态的方法具体包括：在检测标志位于下巴区域的情况下，判定口罩仅覆盖下巴区域，口罩佩戴状态为不标准；在检测标志位于嘴区域的情况下，判定口罩覆盖嘴区域和下巴区域，口罩佩戴状态为不标准；在检测标志位于鼻区域的情况下，判定口罩覆盖鼻区域、嘴区域和下巴区域，口罩佩戴状态为标准。本实施例中，感兴趣区域为下巴区域、嘴区域和鼻区域，根据口罩的检测标志在不同感兴趣区域的位置，将口罩佩戴状态划分为仅覆盖下巴区域，覆盖嘴区域和下巴区域，覆盖鼻区域、嘴区域和下巴区域等不同情况，在实际场景中，可以根据检测口罩佩戴状态的具体情况设置惩罚措施，以提醒行人。
[0080]
在其中一些实施例中，可以根据感兴趣区域的边界线与口罩的检测标志之间的位置关系，判断行人的口罩佩戴状态。其中，感兴趣区域的边界线的获取方法包括：根据眼区域关键点确定第一边界，根据鼻区域关键点确定第二边界，根据嘴区域关键点确定第三边界，其中，第二边界和第三边界均与第一边界平行。通常情况下，存在4种口罩佩戴情况：1、未佩戴口罩；2、口罩覆盖鼻子、嘴巴和下巴，视为正常佩戴；3、口罩仅覆盖嘴部；4、口罩仅覆盖下巴。因此，鼻区域、嘴区域和下巴区域为三个重要区域，因此，本实施例中的感兴趣区设置为鼻区域、嘴区域和下巴区域，可以通过关键点来提取感兴趣区域的分界线。
[0081]
图5是根据本申请实施例的感兴趣区域的边界线示意图，如图5所示，本实施例中
依然采用68点人脸关键点提取算法。具体地，在眼区域关键点的36、39、42、45四个点中选取两个点得到第一边界，进一步地，也可以在眼区域关键点中选取最靠近额头的点，过该点作监控图像边缘的平行线得到第一边界，更近一步地，还可以根据口罩两侧的对称点确定标准线，过眼区域关键点中的一个点作标准线的平行线得到第一边界。
[0082]
得到第一边界之后，过鼻区域关键点33作第一边界的平行线作为第二边界，最后在嘴区域关键点的67、66、65三个点中选取最靠近下巴的点，过该点作第一边界的平行线得到第三边界。本实施例中各个感兴趣区域的关键点也可以根据实际场景不同而进行调整，例如，67、66、65三个点可以换做58、57、56。
[0083]
本实施例中，通过将口罩的检测标志与感兴趣区域的边界线进行对比，可以更加准确的得到检测标志与感兴趣区域的位置关系，有利于提高口罩佩戴状态的检测准确率。
[0084]
在其中一些实施例中，考虑到口罩的边缘并不平整，口罩的边缘点可能会对检测标志与感兴趣区域的比较造成误判，因此需要重新确定口罩的检测标志，图6是根据本申请实施例的口罩检测标志的获取方法的流程图，如图6所示，该方法包括如下步骤：
[0085]
步骤s610，根据鼻区域关键点确定人脸图像的中心线。
[0086]
本实施例中，基于68点人脸关键点提取算法，利用鼻区域关键点27、28、29、30来作为人脸图像中的中心线。
[0087]
步骤s620，获取中心线的像素值，根据像素值的变化情况确定像素突变点作为检测标志。
[0088]
在人脸图像中，口罩的像素值与人脸像素值明显不同，因此可以用中心线上的像素值发生突变的点作为检测标志，突变的判断标准可以为相邻像素的像素值之差大于一定阈值。
[0089]
图7是根据本申请实施例的口罩检测标志的示意图，如图7所示，虚线为根据鼻区域关键点确定的中心线，实线内为口罩覆盖的部分，点o为得到的检测标志，点a和点b为口罩的边缘点，明显地，根据点o进行口罩佩戴状态的判断比根据点a和点b进行判断更加准确。
[0090]
进一步地，在通过语义分割得到口罩区域的基础上，可以获取口罩区域轮廓线与中心线的交点，在有多个交点的情况下，将交点中更靠近额头一侧的交点作为检测标志。
[0091]
通过上述步骤s610和步骤s620，通过中心线的像素变化确定口罩的检测标志，可以更加准确地定位口罩在人脸图像中的位置，进而提高口罩佩戴状态的检测准确度。
[0092]
在其中一些实施例中，在确定像素突变点之后，还可以过该像素突变点获取第一边界的平行线，得到检测边界作为口罩的检测标志。由于在人脸图像中，检测边界比像素突变点更加明显和容易识别，因此根据检测边界进行口罩佩戴状态的检测，可以有效提高检测速度和检测准确度。
[0093]
在其中一些实施例中，在得到感兴趣区域的边界和检测边界之后，判断行人的口罩佩戴状态包括：在检测边界低于第三边界的情况下，认为口罩的检测边界在嘴巴以下，判定口罩仅覆盖下巴区域，口罩佩戴状态为不标准；在检测边界位于第三边界与第二边界之间的情况下，认为口罩的检测边界在鼻子和嘴巴之间，且覆盖了嘴巴，因此判定口罩仅覆盖嘴区域和下巴区域，口罩佩戴状态为不标准；在检测边界高于第二边界的情况下，认为口罩完全覆盖了鼻子、嘴巴和下巴，因此判定口罩佩戴状态为标准。本实施例中，通过检测边界
与第一边界、第二边界和第三边界进行位置对比，通过人脸图像中的各个线，可以更加清楚地得到口罩在人脸中的位置，因此可以有效提高检测速度和检测准确度。
[0094]
在其中一些实施例中，还可以通过以下方法判定口罩仅覆盖嘴区域和下巴区域：在检测边界位于第三边界与第二边界之间，且检测边界与第三边界之间的距离大于第一预设距离的情况下，判定口罩仅覆盖嘴区域和下巴区域，其中，根据第三边界和第二边界之间的距离，以及第一预设比例得到第一预设距离，该第一预设比例可以根据实际场景进行灵活设置，例如，设置为2/3；进一步地，还可以通过以下方法判定口罩覆盖鼻区域、嘴区域和下巴区域：在检测边界高于第二边界，且检测边界与第一边界之间的距离小于第二预设距离的情况下，判定口罩覆盖鼻区域、嘴区域和下巴区域，口罩佩戴状态为标准，其中，根据第一边界和第二边界之间的距离，以及第二预设比例得到第二预设距离，该第二预设比例可以根据实际场景进行灵活设置，例如，设置为1/3。具体地，可以根据如下公式1至公式3进行判断：
[0095]
upbound<bound3
ꢀꢀꢀꢀ
公式1
[0096][0097][0098]
在公式1至公式3中，upbound为口罩的检测边界，bound1表示第一边界，bound2表示第二边界，bound3表示第三边界，distance
up3
为检测边界和第三边界之间的距离，distance
23
为第二边界和第三边界之间的距离，distance
up1
为检测边界和第一边界之间的距离，distances
12
为第一边界和第二边界之间的距离。在各个边界满足公式1约束的条件的下，判定口罩仅覆盖下巴区域，在各个边界满足公式2约束的条件的下，判定口罩仅覆盖嘴区域和下巴区域，在各个边界满足公式3约束的条件的下，判定口罩覆盖鼻区域、嘴区域和下巴区域。
[0099]
本实施例中，在对检测边界和感兴趣区域进行位置关系判断时，引入了检测边界与第一边界、第二边界和第三边界之间的距离判断，可以有效避免由于关键点识别误差导致的检测误差，提高检测准确率。
[0100]
在其中一些实施例中，可以设置不同等级的检测状态，以灵活调整针对不同口罩佩戴状态的行人的措施，具体为，在判断与人脸图像对应的行人的口罩佩戴状态之后，获取检测状态，其中，检测状态可以根据实际场景设置为一级、二级和三级，代表不同的检测等级，每个检测等级的严格程度都不相同，在本实施例中，检测状态分为防疫和识别两种，且防疫场景下的检测更为严格。
[0101]
在检测状态为防疫的情况下，若口罩佩戴状态为不标准，则获取行人的身份信息，并禁止行人通行，本实施例中的不标准包括没有佩戴口罩、口罩仅覆盖下巴、以及口罩仅覆盖嘴巴和下巴，行人的身份信息包括姓名、工号等，身份信息可以通过对行人进行人脸识别，将识别结果与预先存储的人脸库进行对比得到。具体地，将待检测人脸图像中的人脸特征与人脸库中预先存储的人脸特征进行匹配，在匹配成功的条件下，将人脸图像中行人的口罩佩戴状态与行人的身份信息进行关联，上传到后端进行统计操作。
[0102]
在检测状态为识别的情况下，若口罩佩戴状态为不标准，则根据预设规则确定是否获取行人的身份信息，以及是否允许行人通行。识别场景下对行人的口罩佩戴要求较低，
是否获取并记录行人的身份信息，以及是否允许行人通行都可以根据实际场景灵活设置。例如，可以设置在行人未佩戴口罩，以及行人的口罩仅覆盖下巴的情况下，获取行人的身份信息，但是不禁止行人通行。
[0103]
通过本实施例中的方法，可以分别设置各个安检口的检测状态，提升安检效果和效率，且各个安检口之间的通行效率互不影响。
[0104]
在其中一些实施例中，在获取口罩的检测标志之前，为了进一步提高口罩覆盖区域特征和人脸特征的差异，需要对人脸图像进行预处理操作，例如通过灰度变换对人脸图像进行图像增强，本实施例中采用直方图均衡化来增强图像。其中，直方图均衡化是一种常用的灰度变换方法，实质上是对图像进行非线性拉伸，重新分配图像的像素值，使一定灰度范围内像素值的数量大致相等，达到图像增强的目的。通常情况下，使用累积分布函数对图像进行映射处理，使得处理后像素在各个灰度范围内均匀分布。
[0105]
累计分布函数单调递增的性质和0到1的值域能够使得像素无论怎样映射都能保证原来的大小关系不变，同时保证像素映射函数的值域在0到255之间，不会越界。如公式4所示：
[0106][0107]
在公式4中，s
k
表示像素的累积概率，n是图像中像素的总和，n
k
是当前灰度级的像素个数，l是图像中可能的灰度级总数，l-1为灰度范围，j表示当前灰度级下的像素编号。对人脸图像中的每个像素求得累计概率后，再乘上灰度范围即可得到每个像素在映射后的灰度值。
[0108]
需要说明的是，相关技术中通过口罩区域的面积与人脸面积的比值来判断口罩佩戴状态是否标准，然而，在遇到人脸姿态过大的情况，例如，人脸与监控设备呈90度，甚至更大的姿态时，关键点区域的纹理特征，口罩的覆盖面积也将有极大的不同，检测准确率会显著下降，在本实施例中，通过口罩的检测标志与感兴趣区域的对比，由于人脸图像中的纵向比例变化较小，即使在人脸姿态过大的情况下，也可以准确判断行人的口罩佩戴状态，进而有效地扩大口罩佩戴状态检测方法的适用范围，便于对不同面部特征的人群进行口罩佩戴状态检测。进一步地，本申请中的方法不需要预先制作口罩纹理模板库进行口罩特征对比，而是利用语义分割技术来得到口罩轮廓，且没有复杂的预设条件，不会因为人脸差异导致识别误差，能够适应更多的人群和场景。
[0109]
需要进一步说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0110]
本申请提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图8为本申请实施例的口罩佩戴状态的检测方法的终端的硬件结构框图。如图8所示，终端80可以包括一个或多个(图8中仅示出一个)处理器802(处理器802可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器804，可选地，上述终端还可以包括用于通信功能的传输设备806以及输入输出设备808。本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端80还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配
置。
[0111]
存储器804可用于存储控制程序，例如，应用软件的软件程序以及模块，如本申请实施例中的口罩佩戴状态的检测方法对应的控制程序，处理器802通过运行存储在存储器804内的控制程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器804可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器804可进一步包括相对于处理器802远程设置的存储器，这些远程存储器可以通过网络连接至终端80。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0112]
传输设备806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端80的通信供应商提供的无线网络。在一个实例中，传输设备806包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备806可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
[0113]
本实施例还提供了一种口罩佩戴状态的检测设备，该设备用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0114]
图9是根据本申请实施例的口罩佩戴状态的检测设备的结构框图，如图9所示，该设备包括确定模块91、获取模块92和判断模块93：
[0115]
确定模块91，用于获取待检测的人脸图像，在人脸图像中存在口罩的情况下，获取人脸图像中的关键点；
[0116]
获取模块92，用于根据关键点得到人脸图像中的感兴趣区域，并获取口罩的检测标志，其中，感兴趣区域包括人脸五官和/或脸部轮廓中的至少一个区域；
[0117]
判断模块93，用于根据感兴趣区域与口罩的检测标志之间的位置关系，判断与人脸图像对应的行人的口罩佩戴状态。
[0118]
本实施例通过获取模块92在人脸图像中获取感兴趣区域与口罩的检测标志，通过判断模块93根据检测标志与感兴趣区域的相对位置关系，判断行人的口罩佩戴状态，不需要提前录入大量的口罩纹理数据，解决了通过口罩纹理特征判断行人是否口罩佩戴是否标准，导致人力成本仍然较高的问题，在实现降低检测成本的同时，通过位置关系进行检测也可以提高口罩佩戴状态的检测准确率。
[0119]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0120]
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0121]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0122]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0123]
s1，获取待检测的人脸图像，在所述人脸图像中存在口罩的情况下，获取所述人脸图像中的关键点。
[0124]
s2，根据所述关键点得到所述人脸图像中的感兴趣区域，并获取所述口罩的检测标志，其中，所述感兴趣区域包括人脸五官和/或脸部轮廓中的至少一个区域。
[0125]
s3，根据感兴趣区域与口罩的检测标志之间的位置关系，判断与人脸图像对应的行人的口罩佩戴状态。
[0126]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0127]
另外，结合上述实施例中的口罩佩戴状态的检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种口罩佩戴状态的检测方法。
[0128]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0129]
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。