一种对人头部穿戴属性的分析识别方法与流程

本发明涉及计算机视觉技术领域，特别涉及一种对人头部穿戴属性的分析识别方法。

背景技术：

对象识别是计算机视觉领域的研究热点，主要是从复杂的图像场景中识别出人们感兴趣的目标，因此，对图像中感兴趣的目标进行分析识别也就越来越重要，其中，在安全生产领域中，通过对人员穿戴等附属物等相关图像进行识别，可及时发现违反安全生产的行为(如未穿安全服，未佩戴安全帽等)，帮助企业规范日常生产生活，尽可能消除安全隐患，因此，本发明提出了一种对人头穿戴属性的分析识别方法。

技术实现要素：

本发明提供一种对人头部穿戴属性的分析识别方法，用以通过设置穿戴属性模型，来实现对目标头部的穿戴属性的有效识别。

本发明提供一种对人头部穿戴属性的分析识别方法，包括：

检测并抓拍待识别视频流中的目标头部图像；

基于穿戴属性模型，确定所述目标头部图像中的目标头部的当前穿戴属性；

基于预先存储的人员数据库，获取与所述当前穿戴属性相关的目标人员，并将所述当前穿戴属性与所述目标人员进行关联标记；

将关联标记结果存储到关联数据库中。

在一种可能实现的方式中，所述检测并抓拍待识别视频流中的目标头部图像的过程包括：

将所述待识别视频流按照预设切割流进行切割处理，获得若干子视频流；

检测每个所述子视频流，并判断所述子视频流中是否存在目标头部；

若存在，基于所述子视频流，抓拍存在有所述目标头部的目标头部图像，并存储。

在一种可能实现的方式中，基于穿戴属性模型，确定所述目标头部图像中的目标头部的当前穿戴属性的过程包括：

获取历史头部图像，标记每个所述历史头部图像的历史穿戴属性，所述历史穿戴属性包括：头部戴帽子、未戴帽子、戴眼镜、未戴眼镜、戴墨镜、未戴墨镜、戴口罩或未戴口罩；

获取所述人员数据库中的目标人脸图像，并对所述目标人脸图像中的目标人脸进行提取，同时对提取的所述目标人脸进行区域分割处理，获得若干个目标区域块；

提取每个所述目标区域块的区域块特征，并基于深度学习模型对每个所述目标区域块的区域块特征进行深度训练，获得人脸学习模型；

将标记的所述历史穿戴属性匹配到对应的所述目标区域块中，并对所述目标区域块进行融合处理，获得融合图像；

基于所述人脸学习模型，对所述融合图像进行训练，获得穿戴属性模型；

基于所述穿戴属性模型，对所述目标头部图像中的目标头部进行识别，确定对应的当前穿戴属性。

在一种可能实现的方式中，所述基于预先存储的人员数据库，获取与所述当前穿戴属性相关的目标人员，并将所述当前穿戴属性与所述目标人员进行关联标记的过程包括：

确定所述人员数据库中每个所述目标人员的历史穿戴概率集；

确定所述历史穿戴概率集中的历史穿戴属性之间的关联度，并对所述关联度进行优先级排序，同时获取优先级排序后的前预设数目个关联度对应的历史穿戴属性；

基于人脸学习模型，识别所述当前穿戴属性对应的人脸图像，并确定所述人脸图像基于所述人员数据库的人脸相似度；

并将所述人员数据库中人脸相似度大于预设相似度的目标人员进行保留，同时判断所保留的目标人员中的与每个所述目标人员相关的前预设数目个关联度对应的历史穿戴属性和当前穿戴属性的穿戴相似度；

并获取所保留的目标人员中的穿戴相似度最高的作为与所述当前穿戴属性关联的目标人员；

将与所述当前穿戴属性关联的目标人员和对应的所述当前穿戴属性进行关联标注。

在一种可能实现的方式中，所述检测每个所述子视频流，并判断所述子视频流中是否存在目标头部的过程包括：

确定所述子视频流的中的每个像素点的像素饱和度；

获取所述子视频流的总像素饱和度，当所述总像素饱和度大于预设饱和度时，判断所述子视频流中存在目标头部；

否则，判定所述子视频流中不存在目标头部。

在一种可能实现的方式中，对提取的所述目标人脸进行区域分割处理，获得若干个目标区域块的过程中，还包括：判断每个所述目标区域块之间的边缘光滑度，并确定所述边缘光滑度的合理性，其过程包括：

获取所有所述目标区域块中的第一目标区域块，确定所述第一目标区域块的边缘曲线，并对所述边缘曲线进行若干个预设点的标注；

将所标注的预设点进行标注曲线的连接，基于预设拟合曲线，判断所述标注曲线是否光滑，若是，判定所述第一目标区域块的边缘光滑度合理，同时判断下一目标区域块的边缘光滑度的合理性；

否则，判定所述第一目标区域块的边缘光滑度不合理。

在一种可能实现的方式中，当判定所述第一目标区域块的边缘光滑度不合理时，还包括：对标注的若干个预设点进行调整处理，所述调整处理的过程包括：

将所有所述预设点进行点到点的线条连接，判断当前预设点到下一预设点的第一线条的第一弯曲度、所述当前预设点到上一预设点的第二线条的第二弯曲度和所述上一预设点到下一预设点的第三线条的第三弯曲度；

基于预先设定的标准坐标系，确定所述当前预设点在所述第一目标区域块中的当前点坐标，同时，确定所述第一弯曲度、第二弯曲度和第三弯曲度构成的待估三角形的待估角度是否在对应的预设角度范围内，若是，对下一个预设点进行判断；

否则，如果所述待估角度小于预设角度范围的最小值，则上一预设点和下一预设点保持不变，对所述当前预设点进行第一位置调整，直到所述待估三角形的待估角度在对应的预设角度范围内；

如果所述待估角度大于预设角度范围的最大值，则当前预设点保持不变，对所述上一预设点和下一预设点进行第二位置调整，直到所述待估三角形的待估角度在对应的预设角度范围内；

当所有所述待估三角形的待估角度在预设角度范围内时，判定所述第一目标区域块的边缘光滑度合理。

在一种可能实现的方式中，确定所述历史穿戴概率集中的历史穿戴属性之间的关联度的过程包括：

确定所述历史穿戴属性的穿戴属性种类；

确定所述目标人员在不同历史视频流中的所述历史穿戴属性；

根据所述历史穿戴属性，确定与所述目标人员相关的每类所述历史穿戴属性的历史穿戴频率，和组合类所述历史穿戴属性的历史穿戴频率；

将确定的历史穿戴频率进行存储，构成所述历史穿戴概率集；

根据确定的所述历史穿戴频率，确定所述历史穿戴属性之间的关联度。

在一种可能实现的方式中，所述检测并抓拍待识别视频流中的目标头部图像之前，还包括：

利用如下筛选方法对所述待识别视频流进行筛选，获得可能包括所述目标头部图像的目标帧，从所述目标帧中抓取所述目标头部图像；

其中，所述筛选方法包括：

步骤1、所述待识别视频流由一位置固定的摄像头所拍摄，确定所述摄像头对应的基础画面，所述基础画面为无人画面；所述基础画面的像素信息矩阵为：

其中，a表示所述基础画面的像素信息矩阵；所述aji为第j行第i个像素的像素值；n为所述基础画面的像素列数；m为所述基础画面的像素行数；

步骤2、获取所述待识别视频流中每一帧视频与所述基础画面之间相应像素的像素值差值：

其中，wji为差值矩阵中第j行第i个像素的像素差值，cji为所述待识别视频流中第k帧画面的第j行第i个像素的像素值，aji为所述基础画面的第j行第i个像素的像素值，所述差值矩阵为δ，可表示为：

所述待识别视频流中第k帧画面的像素信息矩阵可表示为：

步骤3、计算检测差距值；

其中，σ为检测差距值，wji为差值矩阵中第j行第i个像素的像素差值，min{cj1,cj2,…,cjn}为cj1,cj2,…,cjn中的最小值，wjk为差值矩阵中第j行第k个像素的像素差值，n为所述差值矩阵的列数；m为所述差值矩阵的行数；

步骤4、当检测差距值σ大于预设阈值，则判定所述当前视频帧为可能包括目标头部图像的目标帧。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种对人头部穿戴属性的分析识别方法的流程图；

图2为本发明实施例中融合图像的示意图；

图3为本发明实施例中待估三角形的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供一种对人头部穿戴属性的分析识别方法，如图1所示，包括：

步骤1：检测并抓拍待识别视频流中的目标头部图像；

步骤2：基于穿戴属性模型，确定所述目标头部图像中的目标头部的当前穿戴属性；

步骤3：基于预先存储的人员数据库，获取与所述当前穿戴属性相关的目标人员，并将所述当前穿戴属性与所述目标人员进行关联标记；

步骤4：将关联标记结果存储到关联数据库中。

上述待识别视频流是指任何一段视频，且其中是包括目标人员的目标头部的视频流；

上述穿戴属性模型是预先训练好的，且穿戴属性模型主要是为了对识别目标头部是否戴眼镜、是否戴墨镜、是否戴口罩、是否戴帽子等特征；

上述当前穿戴属性可以是上述是否戴眼镜、是否戴墨镜、是否戴口罩、是否戴帽子中的任何一种或多种组合，例如为：戴帽子和戴口罩；

上述人员数据库中的人员是指需要对对其进行穿戴属性分析识别的目标人员；

上述进行关联标记，例如：目标人员a的当前穿戴属性为戴帽子戴眼镜，则将“戴帽子戴眼镜”关联到如映射到目标人员a；

将关联标记结果存储到关联数据库中，是为了对目标人员与当前穿戴属性进行记录和存储，便于后续对其数据进行调用，便于对其目标人员的穿戴属性进行针对性研究。

上述技术方案的有益效果是：通过设置穿戴属性模型，来实现对目标头部的穿戴属性的有效识别。

本发明提供一种对人头部穿戴属性的分析识别方法，所述检测并抓拍待识别视频流中的目标头部图像的过程包括：

将所述待识别视频流按照预设切割流进行切割处理，获得若干子视频流；

检测每个所述子视频流，并判断所述子视频流中是否存在目标头部；

若存在，基于所述子视频流，抓拍存在有所述目标头部的目标头部图像，并存储。

上述按照预设切割流进行切割处理，可以是按照3s/帧对待识别视频流进行切割，其是为了获得子视频流，便于多个进行并行处理，节省后续判断子视频流中存在目标头部的效率，同时也是为了提高其识别目标头像的准确率，如果待识别视频流中只是存在一个子视频流存在目标头部，如果，此时，还是对待识别视频流进行识别判断目标头部的存在与否，其准确率就会大大下降。

上述子视频流在播放过程中，可以通过对该帧的像素值或者信号能量值，实现对目标头像的抓拍，进而获取目标头部图像。

上述技术方案的有益效果是：便于多个进行并行处理，节省后续判断子视频流中存在目标头部的效率，同时也是为了提高其识别目标头像的准确率，为确定目标头部的穿戴属性提供基础。

本发明提供一种对人头部穿戴属性的分析识别方法，基于穿戴属性模型，确定所述目标头部图像中的目标头部的当前穿戴属性的过程包括：

获取历史头部图像，标记每个所述历史头部图像的历史穿戴属性，所述历史穿戴属性包括：头部戴帽子、未戴帽子、戴眼镜、未戴眼镜、戴墨镜、未戴墨镜、戴口罩或未戴口罩；

获取所述人员数据库中的目标人脸图像，并对所述目标人脸图像中的目标人脸进行提取，同时对提取的所述目标人脸进行区域分割处理，获得若干个目标区域块；

提取每个所述目标区域块的区域块特征，并基于深度学习模型对每个所述目标区域块的区域块特征进行深度训练，获得人脸学习模型；

将标记的所述历史穿戴属性匹配到对应的所述目标区域块中，并对所述目标区域块进行融合处理，获得融合图像；

基于所述人脸学习模型，对所述融合图像进行训练，获得穿戴属性模型；

基于所述穿戴属性模型，对所述目标头部图像中的目标头部进行识别，确定对应的当前穿戴属性。

上述获取的历史头部图像、历史穿戴属性都是为了深度学习模型进行训练，便于获取精准的穿戴属性模型；

上述对目标人脸进行提取，是提取的目标人脸的区域轮廓，且对区域轮廓进行区域分割处理，如，鼻子、眼睛、眉毛、嘴巴等区域的分割；

上述区域块特征是指针对目标区域块的独有特征，如：针对眉毛这个目标区域块的区域块特征，如眉毛形状、眉毛颜色等；

上述将历史穿戴属性匹配到对应的目标区域块中，并对目标区域块进行融合处理，获得融合图像，例如：目标区域块a中融合有历史穿戴属性，如：帽子a，此时融合图像如图2所示，且融合处理，可以是指将帽子a重叠覆盖在目标区域块a上。

上述技术方案的有益效果是：通过目标人脸图像和融合图像两种类型图像，对穿戴属性模型进行训练，提高获取穿戴属性的准确性。

本发明提供一种对人头部穿戴属性的分析识别方法，所述基于预先存储的人员数据库，获取与所述当前穿戴属性相关的目标人员，并将所述当前穿戴属性与所述目标人员进行关联标记的过程包括：

确定所述人员数据库中每个所述目标人员的历史穿戴概率集；

确定所述历史穿戴概率集中的历史穿戴属性之间的关联度，并对所述关联度进行优先级排序，同时获取优先级排序后的前预设数目个关联度对应的历史穿戴属性；

基于人脸学习模型，识别所述当前穿戴属性对应的人脸图像，并确定所述人脸图像基于所述人员数据库的人脸相似度；

并将所述人员数据库中人脸相似度大于预设相似度的目标人员进行保留，同时判断所保留的目标人员中的与每个所述目标人员相关的前预设数目个关联度对应的历史穿戴属性和当前穿戴属性的穿戴相似度；

并获取所保留的目标人员中的穿戴相似度最高的作为与所述当前穿戴属性关联的目标人员；

将与所述当前穿戴属性关联的目标人员和对应的所述当前穿戴属性进行关联标注。

上述历史穿戴概率集，可以是通过对历史视频流进行识别，并确定视频流中不同目标人员在不同时刻的头部穿戴属性，且对每个目标人员在不同时刻的穿戴属性进行分类存储和保存，例如，可以是对目标人员进行分类，也可以是对穿戴属性进行分类；

上述确定历史穿戴概率集中的历史穿戴属性之间的关联度，是基于穿戴频率进行确定的；

上述优先级排序，是为了确定目标人员的穿戴爱好，为穿戴相似度提供判断依据，且优先级排序，一般是按照从高到低的顺序排列的；

上述确定前预设数目个关联度对应的历史穿戴属性，是为了更有针对性的判定其穿戴相似度，进一步提高其的识别精度；

上述先通过人脸相似度进行初步判断，其次通过属性相似度进行二次判断，有效的提高确定目标人员的准确性；

上述进行关联标注，例如是针对目标人员添加上标链接，其上标链接是针对当前穿戴属性生成的专属链接。

上述技术方案的有益效果是：通过人脸相似度和穿戴相似度这两种相似度的比对判断，优选出与穿戴相似度最高相匹配的目标人员，便于提高关联目标人员的准确性，且通过将目标人员与对应的穿戴属性进行关联标注，便于及时查看，且可有效的减少后续对其进行调用的时间。

本发明提供一种对人头部穿戴属性的分析识别方法，所述检测每个所述子视频流，并判断所述子视频流中是否存在目标头部的过程包括：

确定所述子视频流的中的每个像素点的像素饱和度；

获取所述子视频流的总像素饱和度，当所述总像素饱和度大于预设饱和度时，判断所述子视频流中存在目标头部；

否则，判定所述子视频流中不存在目标头部。

上述像素饱和度的取值范围在[0,255]之间，上述预设饱和度是预先人为设定好的。

上述技术方案的有益效果是：通过确定子视频流中的像素饱和度，便于有效判定子视频流中是否存在目标头部。

本发明提供一种对人头部穿戴属性的分析识别方法，对提取的所述目标人脸进行区域分割处理，获得若干个目标区域块的过程中，还包括：判断每个所述目标区域块之间的边缘光滑度，并确定所述边缘光滑度的合理性，其过程包括：

获取所有所述目标区域块中的第一目标区域块，确定所述第一目标区域块的边缘曲线，并对所述边缘曲线进行若干个预设点的标注；

将所标注的预设点进行标注曲线的连接，基于预设拟合曲线，判断所述标注曲线是否光滑，若是，判定所述第一目标区域块的边缘光滑度合理，同时判断下一目标区域块的边缘光滑度的合理性；

否则，判定所述第一目标区域块的边缘光滑度不合理。

上述对目标人脸进行区域分割处理，例如是切割成眼睛、眉毛、鼻子、嘴巴四个横向目标区域块；

上述首先确定边缘曲线，是为了对切割后的切割线进行粗定位，然后进行预设点的标注，是为了对切割后的切割线进行精定位，可有效的节省预设点进行标注的时间，还可提高预设点标注的效率；

上述预设拟合曲线，例如是与横向目标区域块相关的标准水平切割线，且基于标准水平切割线确定标注的预设点到标准水平切割线的距离值，根据获取的所有距离值得到的方差值，来确定标注曲线的光滑与否。

上述技术方案的有益效果是：通过对切割后的目标区域块的边缘曲线进行预设点的标注，便于有效的确定其边缘曲线的边缘光滑度的合理性，便于及时调整。

本发明提供一种对人头部穿戴属性的分析识别方法，当判定所述第一目标区域块的边缘光滑度不合理时，还包括：对标注的若干个预设点进行调整处理，所述调整处理的过程包括：

将所有所述预设点进行点到点的线条连接，判断当前预设点到下一预设点的第一线条的第一弯曲度、所述当前预设点到上一预设点的第二线条的第二弯曲度和所述上一预设点到下一预设点的第三线条的第三弯曲度；

基于预先设定的标准坐标系，确定所述当前预设点在所述第一目标区域块中的当前点坐标，同时，确定所述第一弯曲度、第二弯曲度和第三弯曲度构成的待估三角形的待估角度是否在对应的预设角度范围内，若是，对下一个预设点进行判断；

否则，如果所述待估角度小于预设角度范围的最小值，则上一预设点和下一预设点保持不变，对所述当前预设点进行第一位置调整，直到所述待估三角形的待估角度在对应的预设角度范围内；

如果所述待估角度大于预设角度范围的最大值，则当前预设点保持不变，对所述上一预设点和下一预设点进行第二位置调整，直到所述待估三角形的待估角度在对应的预设角度范围内；

当所有所述待估三角形的待估角度在预设角度范围内时，判定所述第一目标区域块的边缘光滑度合理。

上述对目标人脸进行区域分割处理，例如是切割成眼睛、眉毛、鼻子、嘴巴四个横向目标区域块；

如图3所示，其中，f1表示当前预设点，f0表示上一预设点，f2表示下一预设点，且f1与f0的连线表示第一线条的第一弯曲度，f1与f2的连线表示第二线条的第二弯曲度；f2与f0的连线表示第三线条的第三弯曲度，且构成的待估三角形为f0f1f2；

上述标准坐标系，可以是二维坐标系，且可以视为当前预设点的当前坐标为坐标原点(0,0)；

其对应的待估算角度例如是基于横向目标区域块中的预设拟合曲线f进行确定的，如角度f，且设定的预设角度范围为[160°,175°]；

如图3所示，设预设拟合曲线f在待估三角形为f0f1f2的上方，如果待估角度f小于160°，则上一预设点f0和下一预设点f1保持不变，对当前预设点f0进行第一位置调整，即向预设拟合曲线f的方向进行调整；

如果待估角度f大于175°，则当前预设点f1保持不变，对上一预设点f0和下一预设点f2进行第二位置调整，即向靠近预设拟合曲线f的方向进行调整，其目的是，为了通过改变上一预设点和下一预设点的位置，来实现对原预设点和第一线条、第二线条和第三线条的位置幅度的调整，直到待估三角形的待估角度在对应的预设角度范围内，将角度进行调节小，是为了保证在对所有待估角度进行判断时的统一性，提高效率。

上述技术方案的有益效果是：通过对预设点进行调整处理，来实现对标注曲线光滑度的调节，确保其边缘光滑度的合理性。

本发明提供一种对人头部穿戴属性的分析识别方法，确定所述历史穿戴概率集中的历史穿戴属性之间的关联度的过程包括：

确定所述历史穿戴属性的穿戴属性种类；

确定所述目标人员在不同历史视频流中的所述历史穿戴属性；

根据所述历史穿戴属性，确定与所述目标人员相关的每类所述历史穿戴属性的历史穿戴频率，和组合类所述历史穿戴属性的历史穿戴频率；

将确定的历史穿戴频率进行存储，构成所述历史穿戴概率集；

根据确定的所述历史穿戴频率，确定所述历史穿戴属性之间的关联度。

上述穿戴属性种类，如：帽子、口罩等；

上述根据历史穿戴属性，确定与目标人员相关的每类历史穿戴属性的历史穿戴频率，和组合类历史穿戴属性的历史穿戴频率，如：

例如：对于目标人员a，例如，在20张目标头部图像中，其帽子穿戴次数为10次，口罩穿戴次数为20次，帽子和口罩一起穿戴的次数为10次，此时，得到帽子穿戴频率为50％，口罩穿戴频率为100％，其帽子口罩一起穿戴的频率为50％，对应的帽子与口罩之间的关联度为50％。

上述技术方案的有益效果是：通过确定穿戴属性种类和穿戴属性频率，便于更加有效的确定历史穿戴属性之间的关联度。

本发明提供一种对人头部穿戴属性的分析识别方法，所述检测并抓拍待识别视频流中的目标头部图像之前，还包括：

利用如下筛选方法对所述待识别视频流进行筛选，获得可能包括所述目标头部图像的目标帧，从所述目标帧中抓取所述目标头部图像；

其中，所述筛选方法包括：

步骤1、所述待识别视频流由一位置固定的摄像头所拍摄，确定所述摄像头对应的基础画面，所述基础画面为无人画面；所述基础画面的像素信息矩阵为：

其中，a表示所述基础画面的像素信息矩阵；所述aji为第j行第i个像素的像素值；n为所述基础画面的像素列数；m为所述基础画面的像素行数；

步骤2、获取所述待识别视频流中每一帧视频与所述基础画面之间相应像素的像素值差值：

其中，wji为差值矩阵中第j行第i个像素的像素差值，cji为所述待识别视频流中第k帧画面的第j行第i个像素的像素值，aji为所述基础画面的第j行第i个像素的像素值，所述差值矩阵为δ，可表示为：

所述待识别视频流中第k帧画面的像素信息矩阵可表示为：

步骤3、计算检测差距值；

其中，σ为检测差距值，wji为差值矩阵中第j行第i个像素的像素差值，min{cj1,cj2,…,cjn}为cj1,cj2,…,cjn中的最小值，wjk为差值矩阵中第j行第k个像素的像素差值，n为所述差值矩阵的列数；m为所述差值矩阵的行数；

步骤4、当检测差距值σ大于预设阈值，则判定所述当前视频帧为可能包括目标头部图像的目标帧。

上述技术方案的有益效果：利用上述技术可以根据基础画面像素信息得到待识别视频每一帧画面像素信息与所述基础画面像素信息的差值，进而得到检测差距值，从而根据检测差距值筛选出可能包括目标头部图像的目标帧，为检测并抓拍待识别视频流中的目标头部图像提供操作前的筛选工作，这样既减少进行检测并抓拍待识别视频流中的目标头部图像的工作量，又在差距计算时将差距放大化，使得变化较小时也可以筛选出来进一步进行检测与抓拍。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。