人体姿态识别方法、装置、电子设备及存储介质与流程

本技术属于计算机视觉领域，涉及图像处理，尤其涉及一种人体姿态识别方法、装置、电子设备及存储介质。

背景技术：

1、人体姿态识别广泛应用于各类场景中，例如，服装设计、虚拟试衣、广告优化及用户行为识别等场景中。然而，如果图像中的人体关键点有所缺失，例如图像中仅包括上半身人体或者下半身人体，由于缺乏全面的信息，往往难以对人体关键点进行准确识别，导致人体姿态识别效果不佳。此外，相关技术中的人体姿态识别方法无法对缺失的人体关键点进行补全预测。

技术实现思路

1、鉴于以上内容，有必要提供一种人体姿态识别方法、装置、电子设备及存储介质，能够解决人体姿态的识别效果不佳以及无法对缺失的人体关键点进行补全预测的技术问题。

2、一方面，本技术提供一种人体姿态识别方法，所述方法包括：获取待识别的人体图像，调用预训练的人体姿态识别模型对所述人体图像进行识别，得到所述人体图像中的多个人体关键点、每个人体关键点的关键点坐标及所述每个人体关键点的置信度，所述人体姿态识别模型包括主干网络、预设卷积层、软最大化值层及全连接层，包括：将所述人体图像输入所述主干网络中，得到所述主干网络中的每个卷积层输出的特征图，对所述每个卷积层输出的特征图进行上采样操作以及特征融合操作，直至获得所述主干网络中第一个卷积层对应的融合特征图，调用所述预设卷积层对所述第一个卷积层对应的融合特征图进行卷积操作，得到热力图，将所述热力图输入至所述软最大化值层，得到所述多个人体关键点及所述每个人体关键点的关键点坐标，将所述主干网络中最后一个卷积层输出的特征图输入至所述全连接层，得到所述每个人体关键点的置信度，根据所述多个人体关键点、每个人体关键点的关键点坐标及每个人体关键点的置信度，确定所述待识别人体图像的人体姿态。

3、在本技术的一些实施例中，所述对所述每个卷积层输出的特征图进行上采样操作以及特征融合操作，直至获得所述主干网络中第一个卷积层对应的融合特征图，包括：将所述主干网络中最后一个卷积层输出的特征图进行上采样操作，得到上采样特征图，将所述上采样特征图与所述最后一个卷积层的前一个卷积层输出的特征图进行特征融合，得到所述前一个卷积层对应的融合特征图，对所述融合特征图进行上采样操作，直至获得所述主干网络中第一个卷积层对应的融合特征图。

4、在本技术的一些实施例中，所述热力图包括多个通道，每个通道对应一人体关键点，所述将所述热力图输入至所述软最大化值层，得到所述多个人体关键点及所述每个人体关键点的关键点坐标，包括：通过激活函数对所述每个通道中的所有像素点的像素值进行归一化处理，得到每个像素点对应的概率值，基于所述概率值，对所述每个通道中所有像素点的像素坐标进行加权平均运算，得到所述每个通道的关键点坐标，并根据所述每个通道的关键点坐标确定所述每个通道对应的人体关键点。

5、在本技术的一些实施例中，所述人体姿态识别模型的生成包括：获取多张包括人体的训练图像及每张训练图像中多个标注关键点的标注坐标，对所述每张训练图像进行剪裁，得到所述每张训练图像对应的缺失人体图像，基于每张缺失人体图像的图像尺寸调整对应的多个标注关键点的标注坐标，得到所述每张训练图像中每个标注关键点的目标坐标，调用预设的人体姿态识别网络对所述多张缺失人体图像进行预测，得到所述每个标注关键点的预测坐标，根据所述预测坐标及所述目标坐标计算所述人体姿态识别网络的损失值，根据所述损失值调整所述人体姿态识别网络，直至所述损失值处于预设范围，得到所述人体姿态识别模型。

6、在本技术的一些实施例中，所述缺失人体图像包括上半身及下半身图像，所述上半身及所述下半身图像的生成包括：从所述每张训练图像的多个标注关键点中确定多个第一目标关键点及多个第二目标关键点，根据所述多个第一目标关键点的标注坐标确定第一目标高度，并根据所述多个第二目标关键点的标注坐标确定第二目标高度，根据所述第一目标高度对所述每张训练图像进行剪裁，并将剪裁得到的上半部分图像作为所述上半身图像，并根据所述第二目标高度对所述每张训练图像进行剪裁，并将剪裁得到的下半部分图像作为所述下半身图像。

7、在本技术的一些实施例中，若所述缺失人体图像为下半身图像，所述基于每张缺失人体图像的图像尺寸调整对应的多个标注关键点的标注坐标，得到所述每张训练图像中每个标注关键点的目标坐标，包括：基于所述每个标注关键点的标注坐标与所述目标高度，生成所述每个标注关键点的运算坐标，根据所述下半身图像的图像尺寸对所述每个标注关键点的运算坐标进行归一化处理，得到所述每个标注关键点的目标坐标。

8、在本技术的一些实施例中，所述根据所述多个人体关键点、每个人体关键点的关键点坐标及每个人体关键点的置信度，确定所述待识别人体图像的人体姿态包括：根据所述置信度从所述多个人体关键点中选取多个目标关键点，并依据所述多个目标关键点的坐标将所述多个目标关键点进行连接，得到所述待识别人体图像的人体姿态。

9、另一方面，本技术提供一种人体姿态识别装置，运行于电子设备，所述装置包括：获取单元，用于获取待识别的人体图像，识别单元，用于调用预训练的人体姿态识别模型对所述人体图像进行识别，得到所述人体图像中的多个人体关键点、每个人体关键点的关键点坐标及所述每个人体关键点的置信度，所述人体姿态识别模型包括主干网络、预设卷积层、软最大化值层及全连接层，包括：将所述人体图像输入所述主干网络中，得到所述主干网络中的每个卷积层输出的特征图，对所述每个卷积层输出的特征图进行上采样操作以及特征融合操作，直至获得所述主干网络中第一个卷积层对应的融合特征图，调用所述预设卷积层对所述第一个卷积层对应的融合特征图进行卷积操作，得到热力图，将所述热力图输入至所述软最大化值层，得到所述多个人体关键点及所述每个人体关键点的关键点坐标，将所述主干网络中最后一个卷积层输出的特征图输入至所述全连接层，得到所述每个人体关键点的置信度，确定单元，用于根据所述多个人体关键点、每个人体关键点的关键点坐标及每个人体关键点的置信度，确定所述待识别人体图像的人体姿态。

10、另一方面，本技术提供一种电子设备，电子设备包括：存储器，存储至少一个指令；及处理器，执行至少一个指令以实现所述的人体姿态识别方法。

11、另一方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现所述的人体姿态识别方法。

12、在上述的方案中，由于人体姿态识别模型通过缺失人体图像训练得到，因此能够实现对缺失的人体关键点的补全预测。对主干网络中每个卷积层输出的特征图进行上采样及特征融合操作，能够从多个尺度上捕捉到人体姿态的关键信息，并将捕捉到的关键信息整合至第一个卷积层对应的融合特征图中。通过预设卷积层对第一个卷积层对应的融合特征图进行卷积处理，能够使得到的热力图更加清晰地呈现出每个人体关键点的位置，通过软最大化值层基于清晰的热力图对人体关键点进行预测，能够提高人体关键点的识别准确性，从而提高人体姿态的识别效果。