一种基于人体关键点的防护服穿戴识别方法

本发明属于智能识别，尤其涉及一种基于人体关键点的防护服穿戴识别方法。

背景技术：

1、传染病是文明发展中面临的重要问题，工作人员对传染病进行管控时，防护装备的正确佩戴对于工作人员的安全至关重要。医护人员在使用个人防护装备(personalprotective equipment，ppe)的过程中仍面临多种感染风险，一些研究通过化学实验得出结论，即使是训练有素的医护人员在使用ppe时也可能会出现失误，从而增加感染的可能性。因此，ppe的穿戴规范对于传染病防控至关重要。

2、目前的主流检查方式是人工监测，但这样的方式存在弊端，在长时间监测下，人的视觉疲劳、意识疏忽等主观因素容易导致错误的判断结果。因此，为了做好传染病防控工作，针对医护人员的ppe穿戴检测非常重要。随着计算机视觉技术的发展，ppe穿戴检测也迎来了新型解决方案。许多研究者将ppe穿戴检测视为一个目标检测问题。尽管在医疗领域的相关研究较少，但在建筑、化工、电力等行业的安全管理中，这些方法已经取得了显著成效。

3、目前，大多数研究集中在目标检测技术模型的选择和优化上，即本领域技术人员目前专注于使用先进的目标检测技术来识别和检测ppe。通过结合深度学习和传统图像处理技术，这些方法显著提高了检测的速度和准确性，能够快速且准确地识别图像中的防护装备。通过大量数据训练和优化算法，这些系统在检测精度和可靠性方面取得了重要进展，不仅提升了系统的鲁棒性，还增强了其在真实环境中的实用性。在电力、化工等行业的防护装备检测中取得了显著成果，进一步证明了深度学习和计算机视觉技术在这些领域的可行性和有效性。

4、然而，上述目标检测类的方法关注的重点均在于待考量的防护装备是否出现在图像中，这一方法直接应用于医疗防护装备穿戴的规范性检测任务中并不可靠，主要有以下两个原因。

5、首先，传统的目标检测方法只检测图像中防护装备的存在，而忽略了防护装备是否佩戴在正确的位置。而防护装备如果未佩戴/穿戴在正确的位置上，会起不到安全防护的作用，容易导致安全隐患。如图1(b)所示，图像中虽然出现了口罩，但并未佩戴在面部嘴周围，实质上并不符合规范，而单纯的目标检测模型会存在误判的现象。使用现有的检测方法，并不能检测出该佩戴问题。

6、其次，与电力、化工、建筑等行业中的安全帽、马甲等防护装备不同，医疗ppe包含多个部位的子装备，这些装备在颜色、纹理等特征上具有明显的相似性，给各装备的定位和识别带来干扰，扩展到整个防护装备时容易出现误检。现有的检测方法很容易出现目标识别错误的情况。如图1(a)所示,由于对象站姿、光照、镜头角度等因素，腿部以及左右两只脚的装备纹理、形状以及颜色等特征可能非常相似，出现明显的装备类别、位置的错误判别。

7、因此，如何解决防护装备各部分之间的干扰，同时保证识别结果的有效性，从而保证对防护装备穿戴规范性的检测的有效性，成为目前亟待解决的问题。

技术实现思路

1、针对上述现有技术的不足，本发明提供了一种基于人体关键点的防护服穿戴识别方法，可以解决防护装备各部分之间的干扰，同时保证识别结果的有效性，从而保证对防护装备穿戴规范性的检测的有效性。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、一种基于人体关键点的防护服穿戴识别方法，包括以下步骤：

4、s1、获取工作人员穿戴防护装备后的穿戴图像，作为检测图像；

5、s2、使用人体骨骼信息检测模块hkpdm通过姿态估计技术识别和定位检测图像中的各人体关键点，得到细粒度的身体结构信息；

6、s3、使用关键区域划分模块kadm，基于s2得到的身体结构信息，结合预设的区域划分规则确定各关键区域；

7、s4、判断各关键区域内的关键点信息是否符合预设要求，若不符合则返回s1并进行拍摄要求提醒；若符合则转到s5；所述预设要求包括，关键区域内仅有预设的对应人体关键点；

8、s5、使用分类模块cm分别对各关键区域进行独立的分析处理，判断各关键区域的防护设备是否佩戴和/或佩戴是否符合规范；

9、s6、输出防护服佩戴检测结果。

10、本发明与现有技术相比，具有如下有益效果：

11、1、本方法中，在获取到检测图像后，首先，会通过姿态估计技术识别和定位检测图像中的各人体关键点，并基于身体结构信息，结合预设的区域划分规则确定各关键区域。之后，分别对各关键区域中的防护设备的佩戴是否符合规范进行检测。

12、这样的处理方式，将各关键区域分隔开来后分别进行独立检测，对各关键区域进行检测时，可以有效避免其他区域的干扰。可以有效防止出现目标识别错误的情况。

13、2、本方法将各关键区域分隔开来后。还会判断各关键区域内的关键点信息是否符合预设要求，即，关键区域内仅有对应的人体关键点，且该人体关键点的信息完整。如果符合要求，才会进行后续的识别流程，若不符合要求则会重新获取检测图像。

14、这样，可以进一步保证对某个关键区域进行独立检测时，该关键区域内只有待检测的人体关键点，而不存在其他的干扰点，从而有效的规避其他区域关键点装备的干扰。进一步防止目标识别错误的情况。

15、3、本方法对各关键区域进行独立的分析处理时，不仅判断防护装置是否佩戴，还会检测佩戴是否符合规范。可以将佩戴了装备但不符合要求的情况识别出来，从而保证识别结果的有效性。

16、综上，本方法可以解决防护装备各部分之间的干扰，同时保证识别结果的有效性，从而保证对防护装备穿戴规范性的检测的有效性。

17、优选地，hkpdm模块的工作过程包括：

18、对于输入的图像i∈rh×w×3；

19、首先，将图像分割成固定大小的块patches，然后，通过补丁嵌入层将图像嵌入到令牌中，作为初始特征f0；(即其中d是补丁嵌入层的下采样率，c是通道维度；)

20、再然后，将初始图特征f0依次通过多个transformer层进行处理；其中，每个transformer层由一个多头自注意mhsa层和一个前馈网络ffn组成，且每个transformer层的空间和通道维度恒定；第i+1个transformer层的输出特征fi+1为：

21、fi+1＝f′i+1+ffn(ln(f′i+1))；

22、f′i+1＝fi+mhsa(ln(fi))；

23、式中，fi为第i个transformer层的输出；

24、最后，通过解码器对最后一个transformer层的输出特征ft进行解码，得到关键点的定位热图。

25、这样的设置，通过将输入图像分割成固定大小的块(patches)并嵌入到令牌中，hkpdm能够高效地捕获图像中的局部特征。这种补丁嵌入层(patchembeddinglayer)的设计使得模型能够处理不同尺寸的输入图像，同时保持特征提取的一致性。除此，使用多个transformer层对初始特征进行处理，每个层都包含多头自注意力(mhsa)机制，这使得模型能够同时考虑图像中的全局和局部信息。mhsa层能够捕捉不同区域之间的依赖关系，从而更准确地定位人体关键点。并且，通过堆叠多个transformer层，模型能够逐步构建出更加复杂和丰富的特征表示。每一层的输出都是对前一层的特征进行进一步加工和提炼，从而提高了关键点定位的准确性和鲁棒性。最后，通过解码器对最后一个transformer层的输出特征进行解码，生成关键点的定位热图。

26、优选地，transformer层中，多头自注意mhsa层的工作过程包括：

27、对于输入特征x，通过线性变化得到查询矩阵q、键矩阵k和值矩阵v：

28、q＝xwq，k＝xwk，v＝xwv；

29、式中，wq、wk和wv为权重矩阵，用于将输入特征x映射到不同的子空间；

30、多头自注意力的每个头部分别计算自注意力：

31、

32、式中，为头部i的权重矩阵；

33、将各头部的计算结果进行拼接后，再通过线性变化矩阵wo对拼接结果进行变换，得到多头自注意力：

34、multihead(q,k,v)＝concat(head1,head2,…,headh)wo。

35、这样的设置，mhsa模块通过并行计算多个自注意力，使模型能够在不同子空间中捕捉多样化的信息，提高特征提取和信息融合的能力，从而显著提升人体姿态估计的精度。

36、优选地，解码器由两个反褶积块组成，每个反褶积块包括一个反褶积层、批处理归一化和relu；解码器的工作过程包括：两个反褶积块依次将特征图上采样两倍，然后，利用核大小为1×1的卷积层得到关键点的定位热图k，表达式为：

37、k＝conv1×1(deconv22(deconv1(ft)))。

38、这样，通过该解码器结构，实现了特征图的有效上采样和关键点的精确定位，为姿态估计任务提供了强有力的支持。

39、优选地，s2中，所述人体关键点包括头顶、眼睛、耳朵、鼻尖、下颚、肩部、手肘、手腕、掌心、拇指、食指尖、髋部、膝部、脚踝和脚尖。

40、优选地，所述关键区域包括头部、眼部、嘴巴、身体、手部、脚部；头部对应的关键点包括头顶、眼睛、鼻子和耳朵；眼部对应的关键点包括眼睛、鼻子和耳朵；嘴巴对应的关键点包括鼻子、耳朵、眼睛和下颚；身体对应的关键点包括肩部和髋部；手部对应的关键点包括手腕、掌心、拇指和食指尖；脚部对应的关键点包括脚踝和脚尖。

41、这样的设置，通过明确列出人体关键点，如头顶、眼睛、耳朵、鼻尖等，模型能够有针对性地学习这些关键点的特征，从而提高关键点检测的准确性。这种精细化的关键点定义有助于减少误检和漏检的情况，提高整体姿态估计的性能。将人体划分为多个关键区域(如头部、眼部、嘴巴、身体、手部和脚部)，并为每个区域指定了相应的关键点集合，使得模型在识别关键区域时能够综合考虑多个关键点的信息。这种区域划分增强了模型对局部特征的捕捉能力，提高了关键区域识别的鲁棒性。即使在某些关键点被遮挡或模糊的情况下，模型仍然可以通过其他关键点的信息来推断出关键区域的位置和状态。

42、除此，通过将人体划分为多个关键区域，并分别检测每个区域内的防护设备佩戴情况，该技术内容支持了多层次的防护服穿戴检测。例如，在检测手部防护时，可以专注于手腕、掌心、拇指和食指尖等关键点的检测，以判断手套是否正确佩戴。这种多层次的检测方式有助于更全面地评估防护服的穿戴情况，提高检测的全面性和准确性。

43、优选地，s3中，通过定位框划分出各关键区域；其中，定位框通过左上角坐标(x1，y1)和右下角坐标(x2，y2)进行表达；关键区域的左上角坐标(x1，y1)、右下角坐标(x2，y2)与宽度w、高度h、中心点满足以下关系：

44、

45、这样的设置，通过明确的坐标定义，能够精确地划分出人体的各个关键区域，这种精确的定位为后续的防护服穿戴检测任务提供了坚实的基础。在检测过程中，可以直接利用定位框的信息来限制搜索范围，减少不必要的计算量。

46、优选地，s3中，所述区域划分规则包括：

47、对于头部的关键区域，以双耳和鼻子关键点横坐标的最小值以及最大值分别作为x1与x2；以头顶关键点和眼部纵坐标分别作为y1与y2；

48、对于眼部的关键区域，以双耳和鼻子关键点横坐标的最小值以及最大值分别作为x1与x2；以鼻子关键点的纵坐标作为y2，眼睛到鼻子在纵轴上的距离的两倍为关键区域的高；

49、对于嘴部的关键区域，以双耳和鼻子关键点横坐标的最小值以及最大值分别作为x1与x2；以双眼纵坐标的较大值作为y1，下颚的纵坐标作为y2；

50、对于身体的关键区域，以双肩、双髋的横坐标的最大差值限制其宽度w，以它们的纵坐标之间的最大差值限制高度h，双肩、双髋四个点位的几何中心作为划分框中心点

51、对于手部关键区域，以掌心的几何中心坐标作为中心点通过手腕、食指和拇指在横轴与纵轴上的最大差值分别来确定其宽高；且规定宽高两者中，更小值不能低于更大值的一半；

52、对于脚部关键区域，以脚踝的横坐标作为中心点横坐标将脚踝脚尖在纵轴上的中点作为中心点纵坐标脚踝脚尖的纵坐标约束高h，脚踝脚尖之间的欧式距离作为宽w。

53、这样的设置，通过利用关键点的横纵坐标及其相互关系，能够精准地划分出人体各关键区域，为后续的防护检测任务提供了可靠的基础。各区域的划分规则考虑了人体结构的多样性和复杂性，如手部和脚部区域的划分考虑了宽高比的限制，以确保划分框的合理性和有效性。这种灵活性使得该方法能够适应不同姿态、不同体型的人体图像，提高了其通用性和鲁棒性。通过明确的计算规则和公式，可以快速计算出各关键区域的定位框参数(如左上角和右下角坐标、宽度、高度等)，从而提高了计算效率和定位精度。这种高效性使得本方法在实际应用中具有较好的实时性和准确性。

54、优选地，s5中，对各关键区域进行独立的分析处理时，对于头部、手部、脚部和眼部，采用二分类方法判断其是否佩戴对应的装备；对于嘴部和身体，采用三分类方法，判断其属于规范佩戴、不规范佩戴和未佩戴中的哪一类。

55、这样，通过对不同关键区域采用适合其特性的分类方法，能够更准确地判断该区域是否佩戴了对应的装备或是否符合佩戴规范。例如，头部、手部、脚部和眼部的装备佩戴情况相对简单，采用二分类方法即可有效判断；而嘴部和身体的佩戴情况可能涉及多种不规范状态，因此采用三分类方法能够更细致地划分。采用适合的分类方法能够减少误判和漏判的情况，提高整体分析的准确性。例如，在判断手部是否佩戴手套时，二分类方法能够清晰地区分佩戴和未佩戴两种情况，避免了因分类过细而导致的混淆；而在判断身体是否规范佩戴防护服时，三分类方法能够更准确地识别出规范佩戴、不规范佩戴和未佩戴三种状态。

56、优选地，s5中，分类模块cm通过多阶段卷积结构和渐进式学习策略，实现对每一个关键区域图像的分类。

57、这样的设置，分类模块cm通过多阶段卷积结构和渐进式学习策略实现了对每一个关键区域图像的高效、准确分类。这种技术内容不仅提高了分类的准确性和泛化能力，还减少了计算资源消耗、加速了训练过程，并支持对图像的多尺度分析。