基于深度学习的劳保用品佩戴情况检测和身份识别的方法与流程

本发明属于计算机视觉技术领域，具体涉及基于深度学习的劳保用品佩戴情况检测和身份识别的方法。

背景技术：

工厂安全问题一直是社会关心的热点，据2017年全国安全生产数据分析，发现生产安全事故中95％的原因是作业人员的不安全行为导致的，劳保用品更是作为保证员工安全重要的一环。随着机械化技术的发展，一些和破碎、铸造、打磨有关的行业，作业环境粉尘浓度高，因而导致尘肺病多发、群发。人脑是人体最重要的部位，安全帽可以承受和分散落物的冲击力，减轻工作人员头部的损伤。因此对车间、工厂等施工场所进行劳保用品佩戴显得尤为重要。

目前，大多数工厂、施工场所都没有劳保用品检测系统，导致工人懈怠佩戴安全帽、防护口罩，产生诸多安全隐患。工厂对其进行监管和管制往往因为所消耗人力、物力资源太大而放弃，但这项工作是必不可少的，对工作人员以及工厂都有着至关重要的作用。

随着人民对安全性的要求不断提高，工厂、车间需要采取更加有效的管制措施。人工智能技术发展迅速，与各科技领域深度融合，已经在语音识别、计算机视觉等领域产生出了众多创新解决方案。将计算机视觉领域与工厂监管等工作相结合，在减少人力、物力资源的同时，将进一步提高工厂的安全性。劳保产品的佩戴检测如口罩的佩戴检测对于公众安全领域疫情防控方面也有重要意义。

技术实现要素：

针对上述问题本发明提供了基于深度学习的劳保用品佩戴情况检测和身份识别的方法。

为了达到上述目的，本发明采用了下列技术方案：

基于深度学习的劳保用品佩戴情况检测和身份识别的方法，包括以下步骤：

步骤s1：通过互联网爬取图片及工作现场采集图片的方式收集数据，然后制作“工作人员劳保用品佩戴情况检测和身份识别专用数据集”；

步骤s2：数据预处理，对爬取到的照片进行数据清洗、数据扩充然后进行标注，并把图片进行数据集划分；

步骤s3：训练模型，设计并训练基于多种目标检测算法原理的深度模型，对多个深度模型采用stackingensemble的方法进行模型集成；

步骤s4：使用公开数据集采用centerloss训练基于深度学习的人脸识别模型和采用孪生网络构建训练基于深度学习的行人再识别模型；获取应用场所工作人员的身份信息、人脸照片以及行走图片，用于构建工作现场的人脸识别和行人再识别比对数据库；结合该图像数据库对模型进行自适应优化(domainadaptations)；

步骤s5：对工作人员进行劳保用品佩戴情况检测，使用人脸识别模型对未佩戴劳保用品的工作人员进行身份识别，持续监控，并对无法识别工作人员不断进行人脸识别及通过行人再识别模型进行比对，并将佩戴情况及身份信息存储于数据库。

进一步，所述步骤s2中数据扩充：通过尺度变化、随机抠图、色彩变化、添加噪声的方法对数据的数据集进行扩充；

所述步骤s2中数据清洗：针对数据的不完整性以及不准确性，针对有问题的“脏数据”，进行数据清洗，对于不完整数据，进行数据加工或剔除，达到清理的目的；

所述脏数据为爬取的错误无关图片；

所述步骤s2中标注的内容包括劳保用品佩戴情况，劳保用品检测位置并附具定位框和人员身份信息；

所述步骤s2中数据集划分是对于劳保用品佩戴情况检测模型，按8：1：1将数据集划分为训练集、开发集、测试集；人脸识别模型和行人再识别数据集较大，按98：1：1将数据划分为训练集、开发集、测试集。

进一步，所述步骤s3中设计并训练基于多种目标检测算法原理的深度模型的具体操作是，将用于检测的数据集的图像分批次输入到劳保用品佩戴检测网络中，通过卷积层、非线性激活层、roipooling层、注意力激活单元、全连接、跨层连接等网络结构得到特征图，在多个尺度通过多任务学习方式得到劳保用品在图片中的位置坐标；并与训练数据集中位置坐标比较，形成误差损失，通过梯度反传，更新深度模型参数。进一步提升算法对工作人员进行劳保用品佩戴情况检测的性能。

进一步，所述步骤s3中训练基于多种目标检测算法原理的深度模型包括一阶段检测思想、二阶段检测思想、多尺度特征图检测思想、级联检测思想、特征融合检测思想。

再进一步，所述一阶段(one-stage)检测思想是基于端到端的检测方法，遵循yolo类检测方法的思想，同时进行目标类别及位置的预测，特征提取方面主要采用53层的卷积神经网络：这个网络由残差单元叠加而成，可以减缓由于层数增加而导致的梯度消失和梯度爆炸问题。在分类准确度和效率的平衡上，比resnet-101、resnet-152、darknet-19表现更好。训练时采用的损失函数如下：

其中，λcoord、λnoobj表示用于不同损失函数的加权值，分别对应有目标的检测框和没有目标的检测框部分，用于缓解大量没有目标的预测检测框造成的分类损失过大引起模型不稳定的问题；图像被划分为s*s个网格，s²表示输入图像总的网格单元数目；为指示函数，若网格i中存在目标obj，则函数值为1，反之，记为0；指示函数定义为网格单元i的第j个检测框是否负责对物体obj进行预测，若负责预测记为1，反之，记为0，不参与位置损失的计算；指示函数表示网格单元i中的第j个检测框不负责检测目标obj，则值为1，反之，记为0；每个网格单元i中与真实检测框具有最大交叠率的预测检测框负责该目标obj的预测，从而能够得到的值；

x,y分别为检测框中心的横纵坐标，w,h分别为检测框的宽度和长度，i表示第i个网格单元，j表示第j个边界框；c为置信度得分，c为预测的第c类物体，b表示输入图像预测检测框的总数目，pi表示预测目标类别的概率；

xi-x’i表示第i个网格单元中负责进行预测的检测框中心的横坐标预测值-第i个网格单元中检测框中心的横坐标真值；

yi-y’i表示第i个网格单元负责进行预测的检测框中心的纵坐标预测值-第i个网格单元中检测框中心的纵坐标真值；

ci-c’i表示置信度得分预测值-置信度得分真值；

pi(c)-p’i(c)表示预测目标类别概率的预测值-预测目标类别概率的真值；

wi-w’i表示第i个网格单元中负责进行预测的检测框宽度的预测值-第i个网格单元中检测框宽度的真值；

hi-h’i表示第i个网格单元中负责进行预测的检测框长度的预测值-第i个网格单元中检测框长度的真值；

在前向传播过程中，张量降采样变化是通过改变卷积核的步长来实现的；当卷积的步长为2时，每次经过卷积层，图像的高度、宽度缩小一半，共有5次卷积的步长为2，特征图将缩小到原始图像的1/32；损失函数包括四个部分：预测中心坐标损失、预测边界框的宽和高损失、预测置信度损失、预测类别损失，都是通过l2形式给出，并通过超参数λ对其进行加权求和，得到总损失l1，可以提高模型的稳定性。

再进一步，所述二阶段(two-stage)检测思想是基于区域选择的检测算法，

首先提取候选区域，对候选区域提取特征，然后对候选区域进行分类，并且将候选区域回归到与候选区域对应的groudtruth上面；训练的正负样本使用iou作为阈值进行区分，用级联的方式对网络进行训练，即：r-cnn检测方法的多阶段扩展，使用一个阶段的输出作为下一个阶段的候选区域。

r-cnn等模型常使用iou阈值0.5,这样会对正样本的要求太低,导致产生太多不达标的噪声检测(或不合格的候选区域)；提高iou阈值，将会提高分类器的性能，但是随着阈值的提高，训练样本数量将越来越少，容易导致过拟合问题。本发明将根据应用需求调整iou阈值，得到更好的检测结果。

进一步，所述步骤s3中对多个深度模型采用stackingensemble的方法进行模型集成具体操作是：首先对训练数据进行划分，划分为k份，采用类似交叉验证的方法，将其中k-1份作为训练集，另外一份作为验证集；然后对分类器进行训练，得到分类器模型m1、m2…mn，并在剩余的一份数据上进行验证，记为验证集val；重复前述步骤k次，每次从训练集中抽取k-1份训练，一份验证；将k次交叉验证的结果作为该模型的输出；将各个模型的输出与对应真值作为下一层网络的训练数据，则下一层网络学得分类器模型m1、m2…mn对应的权值w1、w2…wn，则模型最后的输出为w1m1+w2m2+…+wnmn；从而模型集成stacking后的输出结果。

进一步，所述步骤s4中采用centerloss训练人脸识别模型具体操作是：

其中，公式(2)前半部分为softmaxloss，能够使得不同工作人员的人脸特征差异变大，尽可能增大类间的距离；为了进一步提高人脸识别模型的识别能力，稳定训练过程，公式后半部分使得提取的特征xi尽量靠近该类样本特征的聚类中心即同一工作人员的人脸尽可能的相似；m表示样本数量，i表示第i个样本，n表示类别的总数目，λ表示调节softmaxloss和centerloss重要性的加权参数，t表示矩阵转置运算，yi表示第yi类对应的类别标签，xi∈r^d是第i个样本对应的特征，维度为d，为该类样本特征的聚类中心，w∈r^d×n表示深度模型最后一个全连接层的权值，wj表示权值矩阵中的第j列，表示权值w中第yi类对应的那列权值；e表示指数计算，表示神经网络输出的张量中所有值的和；公式(2)的损失能够促进模型快速收敛，使得深度神经网络人脸识别模型从人脸数据中对同一个工作人员人脸提取的特征尽可能的相似，具有中心汇聚的特性，得到能够更好区分不同人脸的判别性特征，达到更好的识别效果。

进一步，所述步骤s4中采用孪生网络构建训练行人再识别模型的具体操作是：设计双通路深度卷积网络，为通路分别输入工作人员的查询图像和候选集图像，每条通路采用resnet50卷积神经网络和具有空间注意力机制的网络提取图像的空间特征，两个通路通过共享权值提取同样类型的特征，有利于比较查询图像和候选集图像之间的差异；resnet50网络主要有16个由1x1，3x3，1x1的卷积层组合成的残差单元叠加而成；通过resnet50网络提取图像中的全局特征信息，同时，采用具有空间注意力机制的网络进一步提取特征图像中的局部特征；并且将resnet50网络产生的特征图进行双线性插值调整大小，输入到空间注意力网络，最后将resnet50网络提取到的具有全局特征的特征图和空间注意力网络提取到的具有局部特征的特征图进行融合，得到最终的特征图；

计算当前查询图像的特征图与候选图像数据库中图像的相似度；

用xq表示视频监控中拍到的工作人员图像的特征图，xg表示图像数据库中图像的特征图，d(xq,xg)是二者之间的欧式距离，具体可以表示为：

d(xq,xg)＝||xq-xg||²(3)

其中，d(xq,xg)越小，说明当前查询图像特征图xq和候选图像数据库当前比较的图像特征图xg越相似，即两张图像为同一工作人员的可能性越大；

采用孪生网络(siamesenetwork)提取查询图像和可供对比的工作人员图像数据库中候选图像的特征，训练过程中采用对比损失函数促进模型区分不同工作人员的特征差异，测试时比较查询图像和候选图像特征的欧式距离；

对比损失参数表示为：

lp＝yp*d(xq,xg)+(1-yp)[max(0,α-d(xq,xg))]²(4)

其中，lp表示孪生网络采用的对比损失(contrastiveloss)，max为取最大值的操作，yp为查询图像和比对的候选图像是否为一个人的真实值，若为同一人，取1，不为同一个人，取0，α表示一个阈值。查询图像和候选图像不是同一个人的图像时，如果模型提取的查询图像特征和候选图像的特征过于接近，特征间的距离小于α阈值的时候模型就会产生损失。对比损失函数能够使正样本对的特征距离变小，负样本对的特征距离变大，从而更好地识别当前查询的图像和候选集图像中哪位工作人员的图像更相似，从而识别是哪位工作人员未正确佩戴劳保用品。

进一步，所述步骤s5中运用行人再识别模型进行比对具体操作是：行人再识别模型可以将该监控场景下的人员与历史数据及其他监控拍摄场景下的图像中的人员进行比对，再识别；该监控场景下的人员图像为查询图像，历史数据及其他监控拍摄场景下的图像中的人员为候选集图像，对于无法识别的工作人员，将图像序列输入到训练好的行人再识别模型，根据该工作人员的步态、表观特征，识别该工作人员。

与现有技术相比本发明具有以下优点：

本发明利用深度学习的方法，进行多模型集成，对人员配戴安全帽以及口罩的情况进行检测，准确度高，速度快、实时性好；利用人脸识别以及行人再识别进行人员身份匹配，可以有效处理多种复杂情况下，人员身份难以识别的问题，提高对复杂样本、遮挡样本的身份识别精度；本发明提高施工场所工作人员的安全性，减少安全事故的发生，有着很好的社会价值以及商业价值，应用前景广泛；本发明采用计算机视觉技术，可以大大降低人力、物力的资源消耗，减轻管理人员的工作压力，提高工作人员的安全意识。

本发明可扩展性强，在目前主要检测安全帽和防护口罩的基础上，可视需求加入防护手套、防护眼镜等劳保用品的检测；本发明采用多任务学习方式进行训练，通过共享相关任务之间的特征表示，利用隐含在多个相关任务的训练中的特定领域信息来提高泛化能力，可以使模型更好地概括原始任务；本发明方法对多个深度模型采用stackingensemble的方法进行模型集成，进一步提升算法对工作人员进行劳保用品佩戴情况检测的性能；本发明整体性好，采用人脸识别和行人再识别技术共同识别未佩戴劳保用品的工作人员身份，对人脸、步态、体态、表观等特征进行识别，可以准确的确定工作人员身份配合工厂制度进行管理，提高工厂的安全性。

附图说明

图1系统流程图；

图2劳保用品佩戴情况检测流程图；

图3劳保用品检测模型集成图；

图4one-stage类目标检测算法流程示例图；

图5two-stage类目标检测算法流程示例图；

图6行人再识别检测模型；

图7劳保用品检测模型效果示例1；

图8劳保用品检测模型效果示例2。

具体实施方式

实施例1

本实施例基于深度学习的劳保用品佩戴情况检测和身份识别的方法，

劳保用品佩戴情况检测模型数据集制作，使用爬虫技术爬取互联网图片，包括：安全帽图片、防护口罩图片及其他背景图；

人脸识别模型数据集：采用lfw、colorferet、vgg2等数据集；

行人再识别模型数据集：采用market1501、msmt17等数据集；

使用labelimg工具对图片进行预标注；人脸识别和行人再识别采用公开的数据集，里面已有标注信息。

数据预处理：为了提高数据集的质量，对图像进行了预处理，包括数据扩充、数据清洗等方法。

数据扩充：使用了尺度变化、随机抠图、色彩变化、添加噪声等的方法对数据的数据集进行了扩充。

数据清洗：针对数据的不完整性以及不准确性，针对有问题的“脏数据”，对其进行数据清洗。对于不完整数据，进行了数据剔除，达到清理的目的。

数据集划分：对于劳保用品佩戴情况检测模型，按8:1:1将数据集划分为训练集、开发集、测试集。人脸识别模型和行人再识别数据集较大，故按98：1：1将数据划分为训练集、开发集、测试集。

训练模型：训练劳保用品佩戴情况检测模型：

目标检测一般包括对目标分类和标定目标的位置，采用了两类目标检测算法，其中一类是基于端到端的检测方法，另外一类是基于候选区域的检测方法，并对这两类模型采取stacking的模型集成方法。

对于基于端到端的检测算法，遵循yolo类检测方法的思想，同时进行目标类别及位置的预测，特征提取方面主要采用53层的卷积神经网络，训练时采用的损失函数如下：

其中，λcoord、λnoobj表示用于不同损失函数的加权值，分别对应有目标的检测框和没有目标的检测框部分，用于缓解大量没有目标的预测检测框造成的分类损失过大引起模型不稳定的问题；图像被划分为s*s个网格，s²表示输入图像总的网格单元数目；为指示函数，若网格i中存在目标obj，则函数值为1，反之，记为0；指示函数定义为网格单元i的第j个检测框是否负责对物体obj进行预测，若负责预测记为1，反之，记为0，不参与位置损失的计算；指示函数表示网格单元i中的第j个检测框不负责检测目标obj，则值为1，反之，记为0；每个网格单元i中与真实检测框具有最大交叠率的预测检测框负责该目标obj的预测，从而能够得到的值；

x,y分别为检测框中心的横纵坐标，w,h分别为检测框的宽度和长度，i表示第i个网格单元，j表示第j个边界框；c为置信度得分，c为预测的第c类物体，b表示输入图像预测检测框的总数目，pi表示预测目标类别的概率；

xi-x’i表示第i个网格单元中负责进行预测的检测框中心的横坐标预测值-第i个网格单元中检测框中心的横坐标真值；

yi-y’i表示第i个网格单元负责进行预测的检测框中心的纵坐标预测值-第i个网格单元中检测框中心的纵坐标真值；

ci-c’i表示置信度得分预测值-置信度得分真值；

pi(c)-p’i(c)表示预测目标类别概率的预测值-预测目标类别概率的真值；

wi-w’i表示第i个网格单元中负责进行预测的检测框宽度的预测值-第i个网格单元中检测框宽度的真值；

hi-h’i表示第i个网格单元中负责进行预测的检测框长度的预测值-第i个网格单元中检测框长度的真值；

在前向传播过程中，张量降采样变化是通过改变卷积核的步长来实现的；当卷积的步长为2时，每次经过卷积层，图像的高度、宽度缩小一半，共有5次卷积的步长为2，特征图将缩小到原始图像的1/32。

损失函数包括四个部分：预测中心坐标损失、预测边界框的宽和高损失、预测置信度损失、预测类别损失，都是通过l2形式给出，并通过超参数λ对其进行加权求和，得到总损失l1，可以提高模型的稳定性。

对于boundingbox坐标，以one-stage类方法中yolo-v3模型为例，如图4所示，图中yi-(i＝1,2,3)预测了不同尺度下检测框的中心坐标，长度，宽度和分类概率，运用了多尺度检测思想；首先对采集数据集中的目标检测框中心位置及宽度长度进行聚类，得到锚点框的先验。聚类采用的聚类度量采用各检测框与锚点框(聚类中心)的交叠率iou进行度量，即距离其中锚点框boxa为检测框数据box的聚类中心。

算法将图片分成一些网格，加快计算效率，算法根据数据集中锚点框先验，将分网格判断网格中是否存在检测的目标。网格中心为cx，cy，算法将预测先验修正检测框的坐标：

bx＝σ(tx)+cx(1.1)

by＝σ(ty)+cy(1.2)

bw＝pw*e^tw(1.3)

bh＝ph*e^th(1.4)

其中pw，ph为锚点框先验的检测框大小(宽度和长度)，(cx，cy)是网格中心的坐标，tx，ty为模型预测的检测框boundingbox的位置相对于网格中心的修正量，tw，th为模型预测的检测框大小相对于锚点框先验的检测框大小pw，ph的修正量。通过式(1.1)-(1.4)可以计算预测检测框的位置及大小bx，by，bw，bh。

检测类别预测方面主要采用多标签分类，因此网络结构上将使用多标签多分类所采用的logistic分类器。

对于基于区域选择的检测算法，如附图5所示，在训练的时候，一般会首先提取候选区域，对候选区域提取特征，然后对候选区域进行分类，并且将候选区域回归到与其对应的groudtruth上面。训练的正负样本往往使用iou作为阈值进行区分，r-cnn等模型常使用iou阈值0.5,这样会对正样本的要求太低,导致产生太多不达标的噪声检测(或不合格的候选区域)。提高iou阈值，将会提高分类器的性能，但是随着阈值的提高，训练样本数量将越来越少，容易导致过拟合问题。采用了级联的方式对网络进行训练，即：r-cnn检测方法的多阶段扩展，使用一个阶段的输出作为下一个阶段的候选区域。

对多个深度模型采用stackingensemble的方法进行模型集成：

设目前拥有训练数据集及测试数据集。首先对训练数据进行划分，划分为k份，采用类似交叉验证的方法，将其中k-1份作为训练集，另外一份作为验证集。

如附图3所示，用上述的3份数据对分类器进行训练，得到分类器模型m1、m2…mn，并在剩余的一份数据上进行验证，记为验证集val。重复上面的步骤k次，每次从训练集中抽取k-1份训练，一份验证。将k次交叉验证的结果作为该模型的输出。将各个模型在的输出与对应真值作为下一层网络的训练数据，则下一层网络学得分类器模型m1、m2…mn对应的权值w1、w2…wn，则模型最后的输出为w1m1+w2m2+…+wnmn。从而模型集成stacking后的输出结果。

使用公开数据集采用centerloss训练基于深度学习的人脸识别模型：

对未佩戴劳保用品的工作人员进行身份识别，采用人脸识别模型会提高识别的速度和效率。

其中，公式(2)前半部分为softmaxloss，能够使得不同工作人员的人脸特征差异变大，尽可能增大类间的距离；公式后半部分采用centerloss使得提取的特征xi尽量靠近该类样本特征的聚类中心即同一工作人员的人脸尽可能的相似。m表示样本数量，i表示第i个样本，n表示类别的总数目，yi表示第yi类对应的类别标签，xi∈r^d是第i个样本对应的特征，维度为d，为该类样本特征的聚类中心，λ表示调节softmaxloss和centerloss重要性的加权参数，w∈r^d×n表示深度模型最后一个全连接层的权值，wj表示权值矩阵中的第j列，表示权值w中第yi类对应的那列权值。e表示指数计算，表示神经网络输出的张量中所有值的和，上标t表示矩阵转置运算。公式(2)的损失能够促进模型快速收敛，使得深度神经网络人脸识别模型从人脸数据中对同一个工作人员人脸提取的特征尽可能的相似，具有中心汇聚的特性，得到能够更好区分不同人脸的判别性特征，达到更好的识别效果。

采用孪生网络构建训练基于深度学习的行人再识别模型：

工作人员工作不一定面对摄像头，工作场景可能存在人群相互遮挡或人脸遮挡比如佩戴防护口罩都将影响人脸识别的精度。不依赖于人脸识别，而采用行人再识别方法，对未佩戴劳保用品的工作人员进行身份识别是本发明专利的一大改进。结合步态、行人表观特征，利用行人再识别模型可以有效比对数据库中工作人员的数据，从而确定工作人员的身份。通过卷积神经网络提取特征与数据库中的图片进行比对，当两个张量的l2损失小于阈值，判定为同一人。

采用孪生网络(siamesenetwork)构建训练行人再识别模型，考虑利用卷积神经网络提取图像的空间特征，采用特征级联的思想将特征图的全局特征和局部特征进行加权融合，得到更具判别力的工作人员特征描述。如附图6所示，在训练过程中，首先，以提取表观特征为例，具体操作是：为了查询当前图像是哪个工作人员，可以在工作人员的候选集图像中进行查询。设计双通路深度卷积网络，为通路分别输入工作人员的查询图像和候选集图像，每条通路采用resnet50卷积神经网络和具有空间注意力机制的网络提取图像的空间特征，两个通路通过共享权值提取同样类型的特征，有利于比较查询图像和候选集图像之间的差异。resnet50网络主要有16个由1x1，3x3，1x1的卷积层组合成的残差单元叠加而成；通过resnet50网络提取图像中的全局特征信息；同时，采用具有空间注意力机制的网络进一步提取特征图像中的局部特征；并且将resnet50网络产生的特征图进行双线性插值调整大小，输入到空间注意力网络，最后将resnet50提取到的具有全局特征的特征图和空间注意力网络提取到的具有局部特征的特征图进行融合，得到最终的特征图。

计算当前查询图像的特征图与候选图像数据库中图像即工作人员图像数据库中图像的相似度。

用xq表示视频监控中拍到的工作人员图像的特征图，xg表示图像数据库中图像的特征图，d(xq,xg)是二者之间的欧式距离，具体可以表示为：

d(xq,xg)＝||xq-xg||²(3)

其中，d(xq,xg)越小，说明当前查询图像特征图xq和候选图像数据库当前比较的图像特征图xg越相似，即两张图像为同一工作人员的可能性越大；

构建行人再识别模型采用孪生网络(siamesenetwork)提取查询图像和可供对比的工作人员图像数据库中候选图像的特征，采用对比损失函数促进模型区分不同工作人员的特征差异，测试时比较查询图像和候选图像特征的欧式距离即可。

lp＝yp*d(xq,xg)+(1-yp)[max(0,α-d(xq,xg))]²(4)

其中，lp表示孪生网络采用的对比损失函数(contrastiveloss)，max为取最大值的操作，yp为查询图像和比对的候选图像是否为一个人的真实值，若为同一人，取1，不为同一个人，取0，α表示一个阈值。查询图像和候选图像不是同一个人的图像时，如果模型提取的查询图像特征和候选图像的特征过于接近，特征间的距离小于α阈值的时候模型就会产生损失。对比损失函数能够使正样本对的特征距离变小，负样本对的特征距离变大，从而更好地识别当前查询的图像和候选集图像中哪位工作人员的图像更相似，从而识别是哪位工作人员未正确佩戴劳保用品。

同一个工作人员在不同场景中的图像可能存在很大不同，不同工作人员也可能表观特征非常类似，本发明专利针对这一难题，在行人重识别方法中采用了孪生网络模型使得模型对于同一个人在不同场景中图像提取的特征尽可能的相似，模型对不同人的图像提取的特征尽可能的不同，从而更好地提升了模型对工作人员的识别正确率。通过采用空间注意力机制的网络，提取特征图像中的局部信息，级联全局特征对应的特征图，能够产生更有判别力的特征描述，从而取得更为精确的结果。

本模型采用开源的步态识别模型，得到基于步态轮廓图的深度卷积特征表示，提取人体的姿态信息。然后将步态特征向量与表观特征向量相级联，构成新的特征向量，然后添加卷积层，全连接层进行特征融合，从而提取判别力更强的特征表示。

将提取的表观特征结合步态特征等信息，行人重识别模型可以对遮挡样本进行有效识别，能够对未佩戴劳保用品的工作人员进行识别，增加系统的完整性。

获取劳务人员的身份信息、人脸照片、以及行走照片，并存储于数据库。

将数据库下发至上位机，通过摄像头实时检测应用场景中工作人员佩戴安全帽以及口罩的情况并进行记录。

劳保用品检测流程主要包括两个任务：对劳保用品进行检测，找出未佩戴劳保用品的工作人员。通过人脸识别或者行人重识别算法对未佩戴劳保用品的工作人员进行身份识别。

图2为劳保用品佩戴情况检测流程图所示，首先将拍摄视频抽帧为图片，时间间隔为5帧，实现对劳保用品的实时检测。然后用已经训练完毕和部署完善的劳保用品检测模型对安全帽和防护口罩进行检测，若已佩戴妥当，将继续进行下一帧的检测；若未佩戴，将通过人脸识别模型对工作人员进行身份识别。工作人员工作不一定面对摄像头，相互存在遮挡或人脸存在遮挡如佩戴防护口罩都将影响人脸识别的精度。不依赖于人脸识别，而对未识别身份的未佩戴劳保用品的工作人员进行再识别是本发明的一大改进。结合步态、行人表观特征，利用行人再识别模型可以有效比对数据库中工作人员的数据，从而确定工作人员的身份。将违纪行为、时间、拍摄图片等记入不安全记录，并对其警示。

图7、图8为劳保用品检测模型效果图，图中以不同颜色的边框对劳保用品的检测情况进行标记，佩戴安全帽标记为hat，未佩戴标记为person；佩戴防护口罩标记为mask，未佩戴标记为no-mask，分类后是相应预测的置信度。

在真实应用场景中，存在图像目标过远导致模糊，图像色彩饱和度低以及背景复杂度高等干扰因素。集成了两类目标检测算法的模型精度高、速度快，对复杂环境等影响因素鲁棒性高，可以满足工厂、车间等日常的劳保用品佩戴情况检测工作，大大节省人力、物理资源，提高安全性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等流程变换，或直接或间接运用在相关技术领域，均同理包括在本发明的专利保护范围。