人体关键点检测方法、装置、电子设备及存储介质与流程

本公开涉及计算机视觉技术领域，尤其涉及一种人体关键点检测方法、装置、电子设备及存储介质。

背景技术：

随着计算机视觉技术的不断发展，人体关键点检测作为计算机视觉的基础性算法之一，也得到了越来越广泛的应用。人体关键点检测在智能视频监控、病人监护系统、人机交互、虚拟现实、人体动画、智能家居、智能安防、运动员辅助训练等方面应用的重要性也越来越明显。传统技术中，一般是先对人体关键点进行粗略预测，在预测的基础上对人体关键点特征进行统一学习，根据学习到的人体关键点特征，对所有的人体关键点进行无差别检测，并得到人体关键点的检测结果。

然而，由于人体具有相当的柔性，会出现各种姿态和形状，人体任何一个部位的微小变化都会产生一种新的姿态，同时各个人体关键点的可见性受穿着、姿态、视角、环境和图像/视频的呈现手段等因素的影响非常大，因此，对所有人体关键点进行无差别的学习和检测，会导致人体关键点检测结果与实际状态相差较大，检测结果精度较低。

技术实现要素：

本公开提供一种人体关键点检测方法、装置、电子设备及存储介质，以至少解决相关技术中人体关键点检测结果精度较低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种人体关键点检测方法，包括：

对获取到的目标图像中的人体关键点进行检测，得到第一人体关键点检测结果；

根据所述第一人体关键点检测结果，对所述人体关键点进行分类，得到至少一个类别的人体关键点；

为每一类别的人体关键点设置一个检测分支，得到与所述至少一个类别的人体关键点对应的至少一个检测分支；

将所述目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果。

在一示例性实施例中，所述根据所述第一人体关键点检测结果，对所述人体关键点进行分类，得到至少一个类别的人体关键点，包括：

根据所述第一人体关键点检测结果，得到所述人体关键点之间的相关性；

根据所述相关性，对所述人体关键点进行分类，得到所述至少一个类别的人体关键点。

在一示例性实施例中，所述第一人体关键点检测结果中包括每一人体关键点的分布概率和不同人体关键点之间的联合分布概率；

所述根据所述第一人体关键点检测结果，得到所述人体关键点之间的相关性，包括：

应用所述人体关键点的分布概率和所述不同人体关键点之间的联合分布概率，计算所述人体关键点之间的点互信息，并将所述点互信息作为所述人体关键点之间相关性的衡量指标。

在一示例性实施例中，所述根据所述相关性，对所述人体关键点进行分类，得到所述至少一个类别的人体关键点，包括：

将所述相关性满足预设条件的人体关键点分为一类，得到所述至少一个类别的人体关键点；其中，预设条件对应至少一个预设阈值条件，每一预设阈值条件对应一个类别的人体关键点。

在一示例性实施例中，所述将所述目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果，包括：

获取所述至少一个检测分支对应的至少一个检测分支计算量；

将所述目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，并应用所述检测分支计算量，对所述目标图像中的人体关键点进行检测，得到所述第二人体关键点检测结果。

在一示例性实施例中，所述第一人体关键点检测结果中包括每一人体关键点检测结果对应的第一准确率；

所述获取所述至少一个检测分支对应的至少一个检测分支计算量，包括：

对于每一检测分支，根据所述检测分支中对应的至少一个第一准确率，得到所述检测分支对应的第二准确率；其中，每一检测分支对应一个第二准确率，所述至少一个检测分支对应的至少一个第二准确率；

根据所述至少一个第二准确率，为所述检测分支分配计算量，得到至少一个检测分支计算量；其中，所述检测分支计算量与所述第二准确率负相关。

在一示例性实施例中，所述第一人体关键点检测结果中包括不同人体关键点检测结果之间的位置关系；

所述将所述目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果，包括：

根据所述不同人体关键点检测结果之间的位置关系，确定出具有连接关系的人体关键点之间的连接约束关系，并将所述连接约束关系确定为监督条件；

将所述目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，并根据所述监督条件，对所述目标图像中的人体关键点进行检测，得到所述第二人体关键点检测结果。

在一示例性实施例中，所述根据所述不同人体关键点检测结果之间的位置关系，确定出具有连接关系的人体关键点之间的连接约束关系，并将所述连接约束关系确定为监督条件，包括：

根据所述不同人体关键点检测结果之间的位置关系，确定出具有连接关系的人体关键点之间连线，以及所述连线服从的距离分布区间；

将所述连线和所述连线对应的距离分布区间，确定为所述监督条件。

根据本公开实施例的第二方面，提供一种人体关键点检测装置，包括：

第一人体关键点检测单元，被配置为执行对获取到的目标图像中的人体关键点进行检测，得到第一人体关键点检测结果；

人体关键点分类单元，被配置为执行根据所述第一人体关键点检测结果，对所述人体关键点进行分类，得到至少一个类别的人体关键点；

检测分支确定单元，被配置为执行为每一类别的人体关键点设置一个检测分支，得到与所述至少一个类别的人体关键点对应的至少一个检测分支；

第二人体关键点检测单元，被配置为执行将所述目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果。

在一示例性实施例中，所述人体关键点分类单元，还用于执行：

根据所述第一人体关键点检测结果，得到所述人体关键点之间的相关性；

根据所述相关性，对所述人体关键点进行分类，得到所述至少一个类别的人体关键点。

在一示例性实施例中，所述第一人体关键点检测结果中包括每一人体关键点的分布概率和不同人体关键点之间的联合分布概率；

所述人体关键点分类单元，还用于执行：

应用所述人体关键点的分布概率和所述不同人体关键点之间的联合分布概率，计算所述人体关键点之间的点互信息，并将所述点互信息作为所述人体关键点之间相关性的衡量指标。

在一示例性实施例中，所述人体关键点分类单元，还用于执行：

将所述相关性满足预设条件的人体关键点分为一类，得到所述至少一个类别的人体关键点；其中，预设条件对应至少一个预设阈值条件，每一预设阈值条件对应一个类别的人体关键点。

在一示例性实施例中，所述第二人体关键点检测单元，还用于执行：

获取所述至少一个检测分支对应的至少一个检测分支计算量；

将所述目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，并应用所述检测分支计算量，对所述目标图像中的人体关键点进行检测，得到所述第二人体关键点检测结果。

在一示例性实施例中，所述第一人体关键点检测结果中包括每一人体关键点检测结果对应的第一准确率；

所述第二人体关键点检测单元，还用于执行：

对于每一检测分支，根据所述检测分支中对应的至少一个第一准确率，得到所述检测分支对应的第二准确率；其中，每一检测分支对应一个第二准确率，所述至少一个检测分支对应的至少一个第二准确率；

根据所述至少一个第二准确率，为所述检测分支分配计算量，得到至少一个检测分支计算量；其中，所述检测分支计算量与所述第二准确率负相关。

在一示例性实施例中，所述第一人体关键点检测结果中包括不同人体关键点检测结果之间的位置关系；

所述第二人体关键点检测单元，还用于执行：

根据所述不同人体关键点检测结果之间的位置关系，确定出具有连接关系的人体关键点之间的连接约束关系，并将所述连接约束关系确定为监督条件；

将所述目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，并根据所述监督条件，对所述目标图像中的人体关键点进行检测，得到所述第二人体关键点检测结果。

在一示例性实施例中，所述第二人体关键点检测单元，还用于执行：

根据所述不同人体关键点检测结果之间的位置关系，确定出具有连接关系的人体关键点之间连线，以及所述连线服从的距离分布区间；

将所述连线和所述连线对应的距离分布区间，确定为所述监督条件。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第一方面所述的人体关键点检测方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由所述电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面所述的人体关键点检测方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

对获取到的目标图像中的人体关键点进行检测，得到第一人体关键点检测结果；根据第一人体关键点检测结果，对人体关键点进行分类，将相关性较大的人体关键点作为一类，得到至少一个类别的人体关键点；为每一类别的人体关键点设置一个检测分支，得到与至少一个类别的人体关键点对应的至少一个检测分支；将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果。其中，对人体关键点进行分类，进一步得到不同的检测分支，应用不同检测分支对相应类别的人体关键点进行检测，针对不同类别人体关键点的不同特性的检测，可以避免无差别检测导致人体关键点检测结果与实际状态相差较大的情况，提高检测结果的精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种人体关键点检测方法的流程图。

图2是根据一示例性实施例示出的步骤s200的一种可实施方式的流程图。

图3是根据一示例性实施例示出的步骤s400的一种可实施方式的流程图。

图4是根据一示例性实施例示出的步骤s400的一种可实施方式的流程图。

图5是根据一示例性实施例示出的一种人体关键点检测装置的框图。

图6是根据一示例性实施例示出的一种用于人体关键点检测的电子设备的框图。

图7是根据一示例性实施例示出的一种用于人体关键点检测的装置的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种人体关键点检方法的流程图，如图1所示，包括以下步骤：

在步骤s100中，对获取到的目标图像中的人体关键点进行检测，得到第一人体关键点检测结果。

在步骤s200中，根据第一人体关键点检测结果，对人体关键点进行分类，得到至少一个类别的人体关键点。

在步骤s300中，为每一类别的人体关键点设置一个检测分支，得到与至少一个类别的人体关键点对应的至少一个检测分支。

在步骤s400中，将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果。

其中，目标图像是指待检测图像，一般指包含有人体关键点信息的图像。人体关键点是指人体的各个部位的关键位置点，人体关键点对于描述人体姿态，预测人体行为至关重要，人体关键点主要包括左、右手臂的三个点(手腕、手肘、肩膀)，左、右腿的三个点(脚腕、膝盖、胯骨)，髋、臀部点以及头部点(眼睛，下巴，头顶)等。第一人体关键点检测结果中包括每一人体关键点的分布概率和不同人体关键点之间的联合分布概率、每一人体关键点检测结果对应的第一准确率、不同人体关键点检测结果之间的位置关系。

具体地，将获取到的目标图像输入一个现有的无差别检测的人体关键点检测模型，对人体关键点进行检测，得到一个无差别的检测结果，即第一人体关键点检测结果。根据第一人体关键点检测结果，对人体关键点进行分类，将相关性较大的人体关键点分为一类，得到至少一个类别的人体关键点。接着，为每一类别的人体关键点设置一个检测分支，由于每一类别的人体关键点的相关性较其他类别人体关键点的相关性更大，应用不同检测分支对不同类别的人体关键点进行检测，可以使同一检测分支更好地学习同一类别人体关键点的共同特征，以及使不同的检测分支更好地学习不同类别人体关键点之间的不同特征，提高检测结果的精度。

在得到不同人体关键点类别和不同的检测分支后，将目标图像和第一人体关键点检测结果作为共同的输入，输入至少一个检测分支构成的检测网络，在该检测网络内部，将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，应用相应检测分支对目标图像中相应类别的人体关键点进行检测，使同一检测分支学习同一类别人体关键点的共同特征，以及使不同检测分支学习不同类别人体关键点之间的不同特征，并最终得到第二人体关键点检测结果。

上述人体关键点检测方法，通过对获取到的目标图像中的人体关键点进行检测，得到第一人体关键点检测结果，根据第一人体关键点检测结果，对人体关键点进行分类，将相关性较大的人体关键点作为一类，得到至少一个类别的人体关键点，并为每一类别的人体关键点设置一个检测分支，得到与至少一个类别的人体关键点对应的至少一个检测分支，进一步将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果。其中，对人体关键点进行分类，进一步得到不同的检测分支，应用不同检测分支对相应类别的人体关键点进行检测，针对不同类别人体关键点的不同特性的检测，可以避免无差别检测导致人体关键点检测结果与实际状态相差较大的情况，提高检测结果的精度。

在一示例性实施例中，为步骤s100的一种可实施方式，其中，对获取到的目标图像中的人体关键点进行检测，得到第一人体关键点检测结果，包括：

对目标图像进行n次降采样处理，逐步提取目标图像的特征，再对目标图像的特征进行n+1次升采样，逐步提取目标图像的特征，并最终得到第一人体关键点检测结果。

具体地，将目标图像输入一个现有的无差别检测的人体关键点检测模型，得到每一人体关键点对应的概率分布图。其中，根据实际的处理情况和网络结构，可以对目标图像进行不同的采样处理，例如，目标图像是大小为3x256x256，经过三次下采样和卷积操作将图像预处理为nx32x32的图像。接着，将nx32x32的图像输入一个预设的沙漏网络(hourglass)，进行升采样处理和卷积操作，得到对应的热力图(heatmap)，将该热力图对应的结果确定为第一人体关键点检测结果。

上述实施例中，对目标图像进行n次降采样处理，逐步提取目标图像的特征，再对目标图像的特征进行n+1次升采样，逐步提取目标图像的特征，并最终得到第一人体关键点检测结果，为后续人体关键点的分类和进一步检测提供基础，以使后续人体关键点检测能针对不同类别人体关键点的不同特性的检测，避免无差别检测导致人体关键点检测结果与实际状态相差较大的情况，提高检测结果的精度。

图2是根据一示例性实施例示出的步骤s200的一种可实施方式的流程图，如图2所示，其中，根据第一人体关键点检测结果，对人体关键点进行分类，得到至少一个类别的人体关键点，包括以下步骤：

在步骤s210中，根据第一人体关键点检测结果，得到人体关键点之间的相关性。

在步骤s220中，根据相关性，对人体关键点进行分类，得到至少一个类别的人体关键点。

在步骤s220中，人体关键点之间的相关性是指每一人体关键点与其他人体关键点之间的相关性。第一人体关键点检测结果中包括每一人体关键点的分布概率和不同人体关键点之间的联合分布概率。

可选地，应用人体关键点的分布概率和不同人体关键点之间的联合分布概率，计算人体关键点之间的点互信息，并将点互信息作为人体关键点之间相关性的衡量指标。

具体地，人体关键点之间的相关性的衡量方式有很多种，此处采用人体关键点之间的点互信息作为人体关键点之间相关性的衡量指标。人体关键点之间的相关性的计算方法如公式(1)所示：

其中，p(x)表示人体关键点x的分布概率，p(y)表示人体关键点y的分布概率，p(x,y)表示人体关键点x与人体关键点y的联合分布概率，p(x|y)表示在已知人体关键点y的分布概率的情况下人体关键点x的分布概率，p(y|x)表示在已知人体关键点x的分布概率的情况下人体关键点y的分布概率。

接着，在步骤s220中，根据人体关键点之间的相关性，对人体关键点进行分类，将相关性较高的人体关键点分为一类，并将至少一个类别的人体关键点确定为相应的检测分支，为检测模型的设计提供基础。

示例地，将相关性较大的人体关键点分为一类，一般情况下，手腕与其对应的手肘和肩膀的相关性比较大，将左手腕、左手肘和左肩膀作为一个类别，将右手腕、右手肘和右肩膀作为一个类别；而脚腕与其对应的膝盖和胯骨的相关性比较大，可以将左脚腕、左膝盖和左胯骨作为一个类别，将右脚腕、右膝盖和右胯骨作为一个类别。上述对人体关键点进行的分类只做示例性说明，并不用于对具体分类的限定，具体分类结果根据用户的具体需求而定。

可选地，将相关性满足预设条件的人体关键点分为一类，得到至少一个类别的人体关键点；其中，预设条件对应至少一个预设阈值条件，每一预设阈值条件对应一个类别的人体关键点。

示例地，可以将相关性大于或等于预设阈值的人体关键点分为一类，还可以将相关性大于等于第一预设阈值小于第二预设阈值的关键点分为一类，每一类别对应一个检测分支。在一个可实施方式中，将相关性大于或等于预设阈值的人体关键点分为一类，例如，预设阈值为0.6，有16个人体关键点，16个人体关键点为a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p，其中，点a与点b的相关性为0.8，点a与点c的相关性为0.6，点a与其他点之间的相关性均小于0.6，则将点a、点b和点c分为一类，同样地，对d、e、f、g、h、i、j、k、l、m、n、o、p与其他点进行相关性分析，将点d、点e和点f分为一类，点g、点h和点i为一类，点j、点k、点l和点p为一类，点m、点n、点o和点p为一类。其中，点p与点j、k、l、m、n的相关性均大于0.6，但点j、k、l、m、n之间的相关性均小于0.6，则会出现点p分到两组中的现象。上述分类举例仅用于说明，届时分类的方式和可能存在的分类结果，并不用于限定具体的分类。

上述实施例中，根据第一人体关键点检测结果，得到人体关键点之间的相关性，并根据相关性，对人体关键点进行分类，得到至少一个类别的人体关键点，以使每一类别中的人体关键点尽可能的相似，使得在后续人体关键点检测过程中能针对不同类别人体关键点的不同特性进行检测，避免无差别检测导致人体关键点检测结果与实际状态相差较大的情况，提高检测结果的精度。

图3是根据一示例性实施例示出的步骤s400的一种可实施方式的流程图，如图3所示，其中，将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果，包括以下步骤：

在步骤s411中，获取至少一个检测分支对应的至少一个检测分支计算量。

在步骤s412中，将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，并应用该检测分支计算量，对目标图像中的人体关键点进行检测，得到第二人体关键点检测结果。

其中，计算量是指用于实现人体关键点检测所要占用的运行空间或处理空间。

具体地，在得到至少一个检测分支对应的至少一个检测分支计算量后，应用至少一个检测分支计算量，对目标图像中的人体关键点进行检测，得到第二人体关键点检测结果。

可选地，步骤s411的一种可实施方式，包括：

对于每一检测分支，根据检测分支中对应的至少一个第一准确率，得到检测分支对应的第二准确率；其中，每一检测分支对应一个第二准确率，至少一个检测分支对应的至少一个第二准确率；根据至少一个第二准确率，为检测分支分配计算量，得到至少一个检测分支计算量；其中，检测分支计算量与第二准确率负相关。

其中，第一人体关键点检测结果中包括每一人体关键点检测结果对应的第一准确率。

具体地，每一检测分支的第二准确率由该检测分支中的每一人体关键点的准确率共同决定，可以为各对应第一准确率的加权平均等，此处不做具体限定，以能反应该检测分支中每一人体关键点对应的第一准确率为准。示例地，假设，一个检测分支中包括a、b、c三个人体关键点，人体关键点a对应的第一准确率为0.8，人体关键点b对应的第一准确率为0.85，人体关键点c对应的第一准确率为0.75，则该检测分支对应的第二准确率为a、b、c三个人体关键点对应的第一准确率的平均值0.8。可选地，每一检测分支对应的准确率可以是该检测分支中包含的关键点对应的准确率的均值，也可以是该检测分支中包含的关键点对应的准确率的加权和，其中的加权系数可以由相关人员根据该检测分支中包含的关键点的属性预设，上述例子中取三个人体关键点对应的准确率的平均值为加权系数相同的一种特例。

根据与每一检测分支对应的第二准确率呈负相关的规则为至少一个检测分支分配计算量。示例地，共有三个检测分支，为检测分支1、检测分支2和检测分支3，检测分支1对应的第二准确率为a，检测分支2对应的第二准确率为b，检测分支3对应的第二准确率为c，则检测分支1对应的计算量占比为(1-a)/[(1-a)+(1-b)+(1-c)]，检测分支2对应的计算量占比为(1-b)/[(1-a)+(1-b)+(1-c)]，检测分支3对应的计算量占比为(1-c)/[(1-a)+(1-b)+(1-c)]。当总计算量为64m、a为0.9、b为0.8、c为0.7时，检测分支1对应的计算量为64m*(1-0.9)/[(1-0.9)+(1-0.8)+(1-0.7)]＝(32/3)m，相应地，检测分支2对应的计算量为(64/3)m，检测分支3对应的计算量为32m。上述三个分支的计算量占比及分配的计算量仅为示例性说明，并不用于对具体计算量分配进行限定，具体实施过程中以计算量与初始准确率负相关为准进行分配。

上述实施例中，通过获取至少一个检测分支对应的至少一个检测分支计算量，将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，并应用该检测分支计算量，对目标图像中的人体关键点进行检测，得到第二人体关键点检测结果。可以使人体关键点检测准确率较低的检测分支获得更高的计算量，提升该分支的计算性能，避免无差别检测导致人体关键点检测结果与实际状态相差较大的情况，提高检测结果的精度。

图4是根据一示例性实施例示出的步骤s400的一种可实施方式的流程图，如图4所示，其中，将目标图像和第一人体关键点检测结果输入至少一个检测分支构成的检测网络，应用不同检测分支对目标图像中相应类别的人体关键点进行检测，得到第二人体关键点检测结果，包括以下步骤：

在步骤s421中，根据不同人体关键点检测结果之间的位置关系，确定出具有连接关系的人体关键点之间的连接约束关系，并将连接约束关系确定为监督条件。

在步骤s422中，将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，并根据监督条件，对目标图像中的人体关键点进行检测，得到第二人体关键点检测结果。

具体地，监督条件为各人体关键点的实际表现方式所服从的约束条件，例如，手腕和手肘在人体上的实际表现可以抽象为一条线段上的两个端点，基于这一事实，在手腕和手肘之间加入连线进行监督，同样地，可在脚腕与膝盖之间设置连线进行监督，且该线段的长度应当与人的身高或者平均腿长有一定约束关系。

根据人体关键点的实际表现方式，加入监督条件，在监督条件的作用下，对每一检测分支分的人体关键点进行检测，得到人体关键点检测结果。示例地，手腕和手肘在人体上的实际表现可以抽象为一条线段上的两个端点，基于这一事实，在手腕和手肘之间加入连线进行监督，在检测到具体的手腕和手肘对应的关键点时，结合两点之间的连线进行进一步修正，在人体关键点检测模型中加入监督条件，能够有效弥补分支网络全局信息缺失的缺陷，提高人体关键点检测精度的效果。

可选地，根据不同人体关键点检测结果之间的位置关系，确定出具有连接关系的人体关键点之间连线，以及连线服从的距离分布区间；将连线和所述连线对应的距离分布区间，确定为所述监督条件。

示例地，根据相关统计部门发布的数据，确定不同年龄段人体的躯干、四肢长度，进一步确定出关键点与关键点之间的连线长度，例如胯骨与膝盖之间的连线长度为大腿的长度，如果大腿长度为25厘米至60厘米之间，则胯骨与膝盖之间的长度属于区间[30cm,60cm]，当确定出的胯骨与对应的膝盖之间的距离不在该区间的点，则其中必有一点是误差较大的一点，则删除其中一点。一般情况下，认为胯骨的变动较小，预测精度较大，当胯骨与膝盖之间的长度不属于区间[30cm,60cm]，选择删除膝盖对应的点。

上述连线监督为示例性的说明，连线监督仅为监督条件的一种可实施方式，具体实施过程中，还可以根据人体关键点之间的实际表现方式，设定不同的监督条件。

上述实施例中，根据不同人体关键点检测结果之间的位置关系，确定出具有连接关系的人体关键点之间的连接约束关系，并将连接约束关系确定为监督条件，将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，并根据监督条件，对目标图像中的人体关键点进行检测，得到第二人体关键点检测结果，监督条件的存在，弥补了分支网络全局信息缺失的缺陷，进一步提高人体关键点检测结果的精度。

本公开中，应用两个hourglass模块，用于具体人体关键点检测，其中第一个hourglass模块用于得到第一人体关键点检测结果，第二个hourglass模块包括至少一个检测分支，应用至少一个检测分支对人体关键点进行检测，得到第二人体关键点检测结果。

具体地，hourglass是本文的核心部件，由residual模块组成，hourglass上下两个半路都包含若干residual模块，逐步提取更深层次特征。但上半路在原尺度进行，下半路经历了先降采样再升采样的过程。降采样使用maxpooling，升采样使用最近邻插值。示例地，可以采用四阶hourglass，每次降采样之前，分出上半路保留原尺度信息；每次升采样之后，和上一个尺度的数据相加；两次降采样之间，使用三个residual模块提取特征；两次相加之间，使用一个residual模块提取特征。

应用上述人体关键点检测方法，可以将初始技术方案中的两个hourglass模块结构进行重新优化，在计算量相同的情况下变成一个大的hourglass模型快和多个小的hourglass模块。第一阶段对所有关键点的位置进行预测，学习全局信息，第二阶段根据关键点关联性分为多个小的hourglass分支，同时分支计算量与关键点预测的困难程度正相关。使人体关键点检测准确率较低的检测分支获得更高的计算量，提升该分支的计算性能，进一步提高人体关键点检测的精度。

图5是根据一示例性实施例示出的一种人体关键点检测装置框图。参照图5，该装置包括第一人体关键点检测单元501、人体关键点分类单元502、检测分支确定单元503、第二人体关键点检测单元504。

第一人体关键点检测单元501，被配置为执行对获取到的目标图像中的人体关键点进行检测，得到第一人体关键点检测结果；

人体关键点分类单元502，被配置为执行根据第一人体关键点检测结果，对人体关键点进行分类，得到至少一个类别的人体关键点；

检测分支确定单元503，被配置为执行为每一类别的人体关键点设置一个检测分支，得到与至少一个类别的人体关键点对应的至少一个检测分支；

第二人体关键点检测单元504，被配置为执行将目标图像和相应类别的人体关键点对应的第一人体关键点检测结果，输入对应的检测分支，得到第二人体关键点检测结果。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种用于人体关键点检测的电子设备600的框图。例如，设备600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图6，设备600可以包括以下一个或多个组件：处理组件602，存储器604，电力组件606，多媒体组件608，音频组件610，输入/输出(i/o)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为设备600生成、管理和分配电力相关联的组件。

多媒体组件608包括在设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(mic)，当设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

i/o接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为设备600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如组件为设备600的显示器和小键盘，传感器组件614还可以检测设备600或设备600一个组件的位置改变，用户与设备600接触的存在或不存在，设备600方位或加速/减速和设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，设备600可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器604，上述指令可由设备600的处理器620执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图7是根据一示例性实施例示出的一种用于人体关键点检测的装置700的框图。例如，装置700可以被提供为一服务器。参照图7，装置700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述人体关键点检测方法。

装置700还可以包括一个电源组件726被配置为执行装置700的电源管理，一个有线或无线网络接口750被配置为将装置700连接到网络，和一个输入输出(i/o)接口750。装置700可以操作基于存储在存储器732的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。