一种人体关键点识别方法、装置及电子设备与流程
本发明涉及图像处理技术领域，特别是涉及一种人体关键点识别方法、装置及电子设备。
背景技术：
人体关键点识别是动作识别、异常行为检测、安防等的实现基础，其主要用于从给定的图像中定位人体的身体关键部位，例如头部、颈部、肩部、手部等部位。
现有技术中，在识别人体关键点时，获取待识别人体关键点的目标图像，通过预先训练的神经网络模型，生成该目标图像中每个人体关键点的单张的热度图heatmap，进而，基于每个人体关键点的单张的热度图，确定每个人体关键点的坐标。其中，任一人体关键点的热度图为该人体关键点可能存在的位置的概率分布图。
发明人在实现本发明的过程中发现，现有技术至少存在如下问题：
人体关键点的识别精度和模型复杂度无法同时保证，具体体现在：如果关键点的识别精准度较高，那么，热度图的尺寸需要较大，这样导致所利用的神经网络模型的复杂度会较高。
因此，如何在模型复杂度较低的情况下，保证人体关键点的识别精准度，是一个亟待解决的问题。
技术实现要素：
本发明实施例的目的在于提供一种人体关键点识别方法、装置及电子设备，以实现在模型复杂度较低的情况下，保证人体关键点识别的识别精准度的目的。
具体技术方案如下：
第一方面，本发明实施例提供了一种人体关键点识别方法，包括：
获取待识别人体关键点的目标图像；
将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像中每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中的每个点用于表征该点所在位置相对于目标点所在位置的偏移距离，所述目标点为该人体关键点在所述位移图中的映射点；所述神经网络模型为基于样本图像，以及所述样本图像中每个人体关键点的真值热度图和真值位移图，所训练得到的模型；
按照预定的识别规则，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；其中，所述预定的识别规则为：针对每一人体关键点，基于该人体关键点的热度图确定候选区域，并基于该人体关键点的位移图从所述候选区域中确定该人体关键点的坐标。
可选地，任一人体关键点的位移图包括x轴方向的位移图和y轴方向的位移图；
所述按照预定的识别规则，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标的步骤，包括：
按照预定的第一计算公式，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；
其中，所述预定的第一计算公式包括：
ix＝hx×s1+ox×t1；
iy＝hy×s2+oy×t2；
其中，(ix，iy)为人体关键点i的坐标，(hx，hy)为所述人体关键点i的热度图中取值最大的像素点的坐标，ox为所述人体关键点i的x轴方向的位移图中，取值为0的列的序号，oy为所述人体关键点i的y轴方向的位移图中，取值为0的行的序号；s1为x轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数，s2为y轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数；t1为x轴方向上所述神经网络模型所输出位移图相对于所输出热度图的缩小系数，t2为y轴方向上所述神经网络模型所输出位移图相对于所输出热度图的缩小系数。
可选地，所述神经网络模型的训练过程包括：
获取多个样本图像，以及每一样本图像中每个人体关键点的坐标；
针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图和真值位移图；
分别将每一样本图像输入至训练中的所述神经网络模型，得到每一样本图像中每个人体关键点的预测热度图和预测位移图；
基于每一样本图像中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值；
基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
可选地，针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图的方式，包括：
针对每一样本图像，按照预定的真值热度图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图；
其中，所述真值热度图生成方式，包括：
针对待生成真值热度图的每一人体关键点，生成一个矩阵m，所述矩阵m的尺寸与待生成真值热度图的尺寸相同；
遍历所述矩阵m中的每一元素，在遍历到每一元素时，按照预定的第二计算公式，计算该元素的取值参考值，如果该元素的取值参考值大于预定阈值，将该元素在所述矩阵m中的取值设置为0，否则，按照预定的第三计算公式，计算该元素的取值，将该元素在所述矩阵m中的取值设置为所计算的取值；
在遍历完毕所述矩阵m中所有元素后，将当前的所述矩阵m，作为该人体关键点的真值热度图；
所述第二计算公式包括：
其中，dab为所述矩阵m中元素p(b，a)的取值参考值，a为所述元素p所在行的序号，b为所述元素p所在列的序号，
所述第三计算公式包括：
可选地，针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图的方式，包括：
针对每一样本图像，按照预定的真值位移图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图；
其中，所述真值位移图生成方式，包括：
针对待生成真值位移图的每一人体关键点，生成两个尺寸相同的矩阵mx和my，所述矩阵mx和my的尺寸与待生成真值位移图的尺寸相同；
遍历所述矩阵mx中的每一元素，在遍历到每一元素时，利用预定的第四计算公式，计算该元素的取值，将该元素在所述矩阵mx中的取值设置为所计算的取值；在遍历完毕所述矩阵mx中所有元素后，将当前的所述矩阵mx作为该人体关键点的x轴方向的位移图；
遍历所述矩阵my中的每一元素，在遍历到每一元素时，利用预定的第五计算公式，计算该元素的取值，将该元素在所述矩阵my中的取值设置为所计算的取值；在遍历完毕所述矩阵my中所有元素后，将当前的所述矩阵my作为该人体关键点的y轴方向的位移图；
其中，所述第四计算公式包括：
mx[a][b]＝b-xi；
所述第五计算公式包括：
my[a][b]＝a-yi；
其中，mx[a][b]为所述矩阵mx中元素p(b，a)的取值，my[a][b]为所述矩阵my中元素p(b，a)的取值，a为元素p所在行的序号，b为元素p所在列的序号；
第二方面，本发明实施例提供了一种人体关键点识别装置，包括：
图像获得模块，用于获取待识别人体关键点的目标图像；
信息识别模块，用于将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像中每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中的每个点用于表征该点所在位置相对于目标点所在位置的偏移距离，所述目标点为该人体关键点在所述位移图中的映射点；所述神经网络模型为基于样本图像，以及所述样本图像中每个人体关键点的真值热度图和真值位移图，所训练得到的模型；
坐标确定模块，用于按照预定的识别规则，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；其中，所述预定的识别规则为：针对每一人体关键点，基于该人体关键点的热度图确定候选区域，并基于该人体关键点的位移图从所述候选区域中确定该人体关键点的坐标。
可选地，任一人体关键点的位移图包括x轴方向的位移图和y轴方向的位移图；
所述坐标确定模块，具体用于：
按照预定的第一计算公式，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；
其中，所述预定的第一计算公式包括：
ix＝hx×s1+ox×t1；
iy＝hy×s2+oy×t2；
其中，(ix，iy)为人体关键点i的坐标，(hx，hy)为所述人体关键点i的热度图中取值最大的像素点的坐标，ox为所述人体关键点i的x轴方向的位移图中，取值为0的列的序号，oy为所述人体关键点i的y轴方向的位移图中，取值为0的行的序号；s1为x轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数，s2为y轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数；t1为x轴方向上所述神经网络模型所输出位移图相对于所输出热度图的缩小系数，t2为y轴方向上所述神经网络模型所输出位移图相对于所输出热度图的缩小系数。
可选地，所述神经网络模型通过模型训练模块所训练；其中，所述模型训练模块包括：
人体图获得子模块，用于获取多个样本图像，以及每一样本图像中每个人体关键点的坐标；
真值图生成子模块，用于针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图和真值位移图；
预测图生成子模块，用于分别将每一样本图像输入至训练中的所述神经网络模型，得到每一样本图像中每个人体关键点的预测热度图和预测位移图；
损失值计算子模块，用于基于每一样本图像中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值；
判断子模块，用于基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
可选地，所述真值图生成子模块针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图的方式，包括：
针对每一样本图像，按照预定的真值热度图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图；
其中，所述真值热度图生成方式，包括：
针对待生成真值热度图的每一人体关键点，生成一个矩阵m，所述矩阵m的尺寸与待生成真值热度图的尺寸相同；
遍历所述矩阵m中的每一元素，在遍历到每一元素时，按照预定的第二计算公式，计算该元素的取值参考值，如果该元素的取值参考值大于预定阈值，将该元素在所述矩阵m中的取值设置为0，否则，按照预定的第三计算公式，计算该元素的取值，将该元素在所述矩阵m中的取值设置为所计算的取值；
在遍历完毕所述矩阵m中所有元素后，将当前的所述矩阵m，作为该人体关键点的真值热度图；
所述第二计算公式包括：
其中，dab为所述矩阵m中元素p(b，a)的取值参考值，a为所述元素p所在行的序号，b为所述元素p所在列的序号，
所述第三计算公式包括：
可选地，所述真值图生成子模块针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图的方式，包括：
针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图的方式，包括：
针对每一样本图像，按照预定的真值位移图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图；
其中，所述真值位移图生成方式，包括：
针对待生成真值位移图的每一人体关键点，生成两个尺寸相同的矩阵mx和my，所述矩阵mx和my的尺寸与待生成真值位移图的尺寸相同；
遍历所述矩阵mx中的每一元素，在遍历到每一元素时，利用预定的第四计算公式，计算该元素的取值，将该元素在所述矩阵mx中的取值设置为所计算的取值；在遍历完毕所述矩阵mx中所有元素后，将当前的所述矩阵mx作为该人体关键点的x轴方向的位移图；
遍历所述矩阵my中的每一元素，在遍历到每一元素时，利用预定的第五计算公式，计算该元素的取值，将该元素在所述矩阵my中的取值设置为所计算的取值；在遍历完毕所述矩阵my中所有元素后，将当前的所述矩阵my作为该人体关键点的y轴方向的位移图；
其中，所述第四计算公式包括：
mx[a][b]＝b-xi；
所述第五计算公式包括：
my[a][b]＝a-yi；
其中，mx[a][b]为所述矩阵mx中元素p(b，a)的取值，my[a][b]为所述矩阵my中元素p(b，a)的取值，a为元素p所在行的序号，b为元素p所在列的序号；
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互问的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一人体关键点识别方法的步骤。
第四方面，本发明实施还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一人体关键点识别方法的步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一人体关键点识别方法的步骤。
本发明实施例所提供方案中，在识别人体关键点时，获取待识别人体关键点的目标图像，通过预先训练的神经网络模型，生成该目标图像中每个人体关键点的热度图和位移图；进而，按照预定的识别规则，基于该目标图像中每个人体关键点的热度图和位移图，确定该目标图像中的每个人体关键点的坐标。由于本方案采用热度图与位移图相结合的方式，使得在热度图尺寸较小而确定出较大候选区域的情况下，可以通过位移图进一步在候选区域中定位关键点。因此，通过本方案可以实现在模型复杂度较低的情况下，保证人体关键点识别的识别精准度的目的。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种人体关键点识别方法的流程图；
图2为本发明实施例所提供的神经网络模型的训练过程的流程图；
图3(a)为示例性给出的基于热度图和位移图确定关键点的原理示意图；
图3(b)为示例性给出的神经网络模型的一种结构图；
图3(c)为神经网络模型的训练过程的示意图；
图3(d)为示例性给出的一种热度图、x轴方向的位移图和y轴方向的位移图的示意图；
图4为本发明实施例所提供的一种人体关键点识别装置的示意图；
图5为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现在模型复杂度较低的情况下，保证人体关键点识别的识别精准度的目的，本发明实施例提供了一种人体关键点识别方法、装置及电子设备。
下面首先对本发明实施例所提供的一种人体关键点识别方法进行介绍。
其中，本发明实施例所提供的一种人体关键点识别方法的执行主体可以为一种人体关键点识别装置。该人体关键点识别装置可以应用于电子设备中。在具体应用中，该电子设备可以为终端设备或者服务器，这都是合理的。
另外，本发明实施例所涉及的人体关键点用于定位人体的身体关键部位，例如：头部、颈部、肩部、手部、腿部和/或脚部等部位；并且，针对任一身体关键部位，在定位该身体关键部位时，所需要的关键点可以为一个或多个。在不同的场景中，由于需要定位的身体关键部位不同，因此，人体关键点的具体位置以及数量可以不同，本发明实施例对此不做限定。
为了方便理解方案，首先介绍本发明实施例所提供方案的处理思路。为了解决现有技术问题，本方案的处理思路为：通过预先训练的神经网络模型，生成待识别的目标图像中每个人体关键点的热度图和位移图，进而，采用热度图结合位移图的方式来实现人体关键点的识别。具体的，采用热度图结合位移图的方式来实现人体关键点的识别的方式为：通过人体关键点的热度图中的概率分布，从目标图像中确定候选区域，进而，基于同一人体关键点的位移图，从候选区域中定位人体关键点。通过本方案，即便热度图的尺寸较小，由于存在位移图，能够使得人体关键点的精度较高，因此，可以实现在模型复杂度较低的情况下，保证人体关键点的识别精准度的目的。为了方案清楚，图3(a)示例性的给出了采用热度图结合位移图的方式来实现人体关键点的识别的原理图，其中，浅灰色区域为候选区域，深灰色区域为最终所确定的关键点，箭头表征位置偏移的方向。
如图1所示，本发明实施例所提供的一种人体关键点识别方法，可以包括如下步骤：
s101，获取待识别人体关键点的目标图像；
其中，待识别人体关键的目标图像为包含人体区域的图像。并且，该目标图像的尺寸可以为预先训练的神经网络模型的输入图像的尺寸，这样使得目标图像在输入神经网络模型时，无需尺寸调整，从而后续通过位移图和热度图结合所得到的人体关键点的坐标，为人体关键点在该目标图像中的坐标。
其中，获取待识别人体关键点的目标图像的方式存在多种。示例性的，获取待识别人体关键点的目标图像的方式可以包括：
获取原始图像；其中，该原始图像可以为视频的视频帧，或者，设备采集的图像，或者，通过网络下载的图像，等等；
对原始图像进行人体区域检测；
从该原始图像中提取所检测到的人体区域，并将所提取到的人体区域进行尺寸调整处理，得到待识别人体关键点的目标图像，该尺寸调整处理用于将尺寸调整为该神经网络模型的输入图像的尺寸。其中，对该原始图像进行人体区域检测所采用的具体实现方式可以为任一种能够从图像中检测人体区域的方式。例如：利用预先训练的人体区域检测模型，从该原始图像中检测人体区域，当然并不局限于此。
并且，由于从原始图像中所检测到的人体区域的大小不确定，而神经网络模型的输入图像为固定的尺寸，因此，为了作为神经网络模型的有效输入内容，在从该原始图像中提取所检测到的人体区域后，可以将所提取到的人体区域进行尺寸调整处理，得到待识别人体关键点的目标图像。所谓的尺寸调整处理所采用的算法可以为插值算法，该插值算法可以双线性插值或最邻近插值算法，当然并不局限于此。
s102，将该目标图像输入至预先训练的神经网络模型，得到该目标图像中每个人体关键点的热度图和位移图；
其中，任一人体关键点的位移图中的每个点用于表征该点所在位置相对于目标点所在位置的偏移距离，该目标点为该人体关键点在该位移图中的映射点；该神经网络模型为基于样本图像，以及该样本图像中每个关键点的真值热度图和真值位移图，所训练得到的模型。
并且，任一人体关键点的位移图为与该人体关键点相关的偏移距离的分布图。具体的，任一人体关键点的位移图包括x轴方向的位移图和y轴方向的位移图。那么，任一人体关键点的x轴方向的位移图中每个点用于表征：x轴方向上，该点所在位置相对于目标点所在位置的偏移距离；而任一人体关键点的y轴方向的位移图中每个点用于表征：y轴方向上，该点所在位置相对于目标点所在位置的偏移距离。
另外，在具体应用中，为了保证较低的计算量，每一真值热度图的尺寸小于样本图像的尺寸。在x轴方向上，每一真值热度图相对于样本图像的缩小系数为第一缩小系数，y轴方向上，每一真值热度图相对于样本图像的缩小系数为第二缩小系数，其中，第一缩小系数和第二缩小系数可以相同或不同。示例性的，假设样本图像的尺寸为w*h，那么，每一真值热度图的尺寸可以为
类似的，每一真值位移图的尺寸小于样本图像的尺寸。在x轴方向上，每一真值位移图相对于样本图像的缩小系数为第三缩小系数，y轴方向上，每一真值位移图相对于样本图像的缩小系数为第四缩小系数，其中，第三缩小系数和第四缩小系数可以相同或不同。示例性的，假设样本图像的尺寸为w*h，那么，每一真值位移图的尺寸可以为
在具体应用中，本发明实施例所利用的神经网络模型的模型结构可以为多种。示例性的，在一种实现方式中，参见图3(b)所示，神经网络模型可以包括：特征提取网络和两个卷积组：卷积组1和卷积组2，这样，将某一目标图像输入特征提取网络，得到特征矩阵，即图像特征，然后，将特征矩阵分别输入两个卷积组，得到所输入图像中每个人体关键点的热度图和位移图。其中，特征提取网络可以包括但不局限于如下网络：lenet、alexnet、vgg、googlenet、resnet、mobilenet等特征提取网络。而卷积组1和卷积组2可以由多个卷积组成，具体数量可以根据实际情况设定。
为了方案清楚，以图3(b)所示的神经网络模型为例，示例性的介绍神经网络模型对图像的处理流程：
将wf×hf×3的图像输入至特征提取网络，输出
将
将
该示例中，在x轴方向和y轴方向上，热度图相对于输入图像的缩小系数相同，均为α；并且，热度图和位移图的尺寸相同。
上述的介绍的神经网络模型的结构以及对图像的处理流程，仅仅作为示例，并不应该构成对本发明实施例的限定。
为了方案清楚及布局清晰，后续对关于上述的神经网络模型的训练过程进行举例介绍。
s103，按照预定的识别规则，基于该目标图像中每个人体关键点的热度图和位移图，确定该目标图像中的每个人体关键点的坐标。
其中，该预定的识别规则为：针对每一人体关键点，基于该人体关键点的热度图确定候选区域，并基于该人体关键点的位移图从该候选区域中确定该人体关键点的坐标。
在获得该目标图像中每个人体关键点的热度图和位移图后，由于通过热度图能够确定出候选区域，而通过位移图从候选区域中定位关键点，因此，可以按照预定的识别规则，基于该目标图像中每个人体关键点的热度图和位移图，确定该目标图像中的每个人体关键点，即该目标图像中每个人体关键点的坐标。可以理解的是，由于任一人体关键点的热度图为该人体关键点可能存在的位置的概率分布图，因此，通过该热度图中概率最大的像素点，可以推理出人体关键点在目标图像中的一个候选区域。而由于任一人体关键点的位移图中的每个点用于表征该点所在位置相对于目标点所在位置的偏移距离，因此，可以在确定出候选区域后，利用位移图中的位置偏移信息，来进一步推理出人体关键点。
示例性的，在一种实现方式中，任一人体关键点的位移图包括x轴方向的位移图和y轴方向的位移图；
按照预定的第一计算公式，基于该目标图像中每个人体关键点的热度图和位移图，确定该目标图像中的每个人体关键点的坐标；
其中，该预定的第一计算公式包括：
ix＝hx×s1+ox×t1；
iy＝hy×s2+oy×t2；
其中，(ix，iy)为人体关键点i的坐标，(hx，hy)为该人体关键点i的热度图中取值最大的像素点的坐标，ox为该人体关键点i的x轴方向的位移图中，取值为0的列的序号，oy为该人体关键点i的y轴方向的位移图中，取值为0的行的序号；s1为x轴方向上该神经网络模型所输出热度图相对于所输入图像的缩小系数，s2为y轴方向上该神经网络模型所输出热度图相对于所输入图像的缩小系数；t1为x轴方向上该神经网络模型所输出位移图相对于所输出热度图的缩小系数，t2为y轴方向上该神经网络模型所输出位移图相对于所输出热度图的缩小系数。
本发明实施例所提供方案中，由于采用热度图与位移图相结合的方式，使得在热度图尺寸较小而确定出较大候选区域的情况下，可以通过位移图进一步在候选区域中定位关键点。因此，通过本方案可以实现在模型复杂度较低的情况下，保证人体关键点识别的识别精准度的目的。
为了方案清楚以及布局清晰，下面示例性的介绍神经网络模型的训练过程。
可选地，如图2所示，所述神经网络模型的训练过程可以包括：
s201，获取多个样本图像，以及每一样本图像中每个人体关键点的坐标；
其中，样本图像的尺寸为神经网络模型的输入图像的尺寸。并且，样本图像可以为：对人体图进行尺寸调整后所得到的图像，该人体图为从一图像中所提取的人体图像区域。
可以理解的是，样本图像中每个人体关键点的坐标可以通过人工标注方式来确定，即通过人工标注方式，在样本图像中标注出各个人体关键点，从而获得样本图像中各个人体关键点的坐标。当然，由于样本图像可以为：对人体图进行尺寸调整后所得到的图像，因此，在一种实现方式中，样本图像中每个人体关键点的坐标的确定方式可以包括：
步骤一，确定图像库中参考图像的每个人体关键点的坐标：令p＝{p1，p2，p3，...，pn}为样本图像的人体关键点的组合，其中，n为人体关键点的个数，pi＝(xi，yi)为第i个坐标；
其中，图像库中参考图像可以为视频中的视频帧，也可以为预先采集或下载的图像。
步骤二，确定参考图像中人体区域的区域信息：令区域信息为(xbbox，ybbox，wbbox，hbbox)；
步骤三，将参考图像中每个人体关键点映射到人体区域中，得到人体区域中每个人体关键点的坐标：令p’＝{p’1，p’2，p’3，...，p’n}为人体区域的每个人体关键点的组合，pi’＝(x’i，y’i)为第i个坐标，x’i＝xi-xbbox，y’i＝yi-ybbox；
步骤四，将人体区域中每个人体关键点映射到该人体区域对应的样本图像中，得到样本图像中每个人体关键点的坐标。
其中，将人体区域中每个人体关键点的坐标映射到人体区域对应的样本图像的具体实现方式，可以采用：将两个尺寸的图像之间坐标点进行映射方式。举例而言：人体区域对应的样本图像的尺寸为m*n，人体区域的尺寸为(m/d1)*(n/d1)，对于人体区域中的点k1(x1，y1)，将k1点映射到人体区域对应的样本图像中，点k1在人体区域对应的样本图像中的映射点的坐标为(x1*d1，y1*d1)。
可以理解的是，参考图像中每个人体关键点的坐标可以通过人工标定方式来得到。
s202，针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图和真值位移图；
为了方案清楚及布局清晰，后续示例性的介绍人体关键点的真值热度图和真值位移图的生成方式。
s203，分别将每一样本图像输入至训练中的该神经网络模型，得到每一样本图像中每个人体关键点的预测热度图和预测位移图；
在将每一样本图像输入至训练中的该神经网络模型后，该神经网络模型针对每一样本图像进行关键点信息识别。具体的，该神经网络模型对所接收到的样本图像提取特征矩阵，进而基于所提取的特征矩阵，生成该样本图像中每个人体关键点的预测热度图和预测位移图。
以图3(b)所示的模型结构为例，对神经网络模型处理所接收到的样本图像的过程进行介绍：
神经网络模型中的特征提取网络对该样本图像进行特征提取，得到特征矩阵，并将该特征矩阵分别输入至卷积组1和卷积组2，使得卷积组1对特征矩阵进行卷积处理，得到该样本图像中每个人体关键点的预测热度图，同时，使得卷积组2对特征矩阵进行卷积处理，得到该样本图像中每个人体关键点的预测位移图。
s204，基于每一样本图像中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值；
其中，基于每一样本图像中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值的实现方式存在多种。后续结合具体实现方式，对综合损失值的计算方式进行介绍。
可选地，在第一种实现方式中，基于每一样本图像中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值的步骤，可以包括：
步骤a1，针对每一样本图像，基于该样本图像中每个人体关键点的真值热度图与预测热度图的差异，得到该样本图像中每个人体关键点的第一类损失值，以及基于该样本图像中每个人体关键点的真值位移图与预测位移图的差异，得到该样本图像中每个人体关键点的第二类损失值；
步骤a2，针对每个人体关键点，基于该人体关键点的各个第一类损失值，确定该人体关键点的关于热度图的损失值，基于该人体关键点的各个第二类损失值，确定该人体关键点的关于位移图的损失值；
由于各个样本图像中的人体关键点的数量以及所处位置相同，因此，可以认为每一样本图像中的人体关键点为同一组人体关键点。那么，在执行完毕步骤a1后，该组人体关键点中的每一人体关键点会对应多个第一类损失值以及多个第二类损失值。进而，可以针对每个人体关键点，利用所对应的多个第一类损失值和多个第二损失值，计算关于热度图的损失值和关于位移图的损失值。
步骤a3，对每个人体关键点的关于热度图的损失值和关于位移图的损失值进行加权，得到综合损失值。
其中，计算第一类损失值和第二类损失值的所利用的损失函数可以包括但不局限于：平方损失函数、对数损失函数或指数损失函数，等等。另外，针对每一人体关键点而言，关于热度图的损失值和关于位移图的计算方式，可以采用求平均方式，求和方式，或者，加权方式，等等，在此不做限定。并且，每个人体关键点的关于热度图的损失值和关于位移图的损失值进行加权所利用权重，可以根据实际情况设定，在此不做限定。
针对该种实现方式，关于神经网络模型的训练过程可以参见图3(c)所示的示意图。其中，如图3(c)所示，神经网络模型输出预测热度图和预测位移图后，基于人体关键点的预测热度图与真值热度图的差异，得到关于热度图的损失值；基于人体关键点的预测位移图与真值位移图的差异，得到关于位移图的损失值；进而，根据关于热度图的损失值和关于位移图的损失值，得到综合损失值。
s205，基于该综合损失值，判断训练中的该神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的该神经网络模型；否则，调整该神经网络模型的网络参数，继续训练该神经网络模型。
其中，基于该综合损失值，判断训练中的该神经网络模型是否收敛具体可以为：判断该综合损失值是否小于预设阈值，如果小于，判定训练中的该神经网络模型收敛，否则，判定训练中的该神经网络模型未收敛。当判定训练中的该神经网络模型未收敛时，可以调整该神经网络模型的网络参数，继续训练该神经网络模型。所谓继续训练该神经网络模型，即返回执行分别将每一样本图像输入至训练中的该神经网络模型，得到每一样本图像中每个人体关键点的预测热度图和预测位移图的步骤。
下面对所述针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图和真值位移图的具体实现方式，进行举例介绍。
可选地，在一种实现方式中，针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图的方式，包括：
针对每一样本图像，按照预定的真值热度图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图；
其中，所述真值热度图生成方式，包括：
针对待生成真值热度图的每一人体关键点，生成一个矩阵m，该矩阵m的尺寸与待生成真值热度图的尺寸相同；
遍历该矩阵m中的每一元素，在遍历到每一元素时，按照预定的第二计算公式，计算该元素的取值参考值，如果该元素的取值参考值大于预定阈值，将该元素在该矩阵m中的取值设置为0，否则，按照预定的第三计算公式，计算该元素的取值，将该元素在该矩阵m中的取值设置为所计算的取值；
在遍历完毕该矩阵m中所有元素后，将当前的该矩阵m，作为该人体关键点的真值热度图；
所述第二计算公式包括：
其中，dab为该矩阵m中元素p(b，a)的取值参考值，a为该元素p所在行的序号，b为该元素p所在列的序号，
该第三计算公式包括：
其中，该矩阵m的尺寸与真值热度图的尺寸相同。并且，该矩阵m中每个点的初始值可以为0，当然并不局限于此，例如：初始值可以为1、10、100等等，这都是合理的。
可选地，一种实现方式中，针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图的方式，包括：
针对每一样本图像，按照预定的真值位移图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图；
其中，所述真值位移图生成方式，包括：
针对待生成真值位移图的每一人体关键点，生成两个尺寸相同的矩阵mx和my，该矩阵mx和my的尺寸与待生成真值位移图的尺寸相同；
遍历该矩阵mx中的每一元素，在遍历到每一元素时，利用预定的第四计算公式，计算该元素的取值，并将该元素在该矩阵mx中的取值设置为所计算的取值；在遍历完毕所述矩阵mx中所有元素后，将当前的该矩阵mx作为该人体关键点的x轴方向的真值位移图；
遍历该矩阵my中的每一元素，在遍历到每一元素时，利用预定的第五计算公式，计算该元素的取值，将该元素在该矩阵my中的取值设置为所计算的取值；在遍历完毕该矩阵my中所有元素后，将当前的该矩阵my作为该人体关键点的y轴方向的真值位移图；
其中，所述第四计算公式包括：
mx[a][b]＝b-xi；
所述第五计算公式包括：
my[a][b]＝a-yi；
其中，mx[a][b]为所述矩阵mx中元素p(b，a)的取值，my[a][b]为所述矩阵my中元素p(b，a)的取值，a为元素p所在行的序号，b为元素p所在列的序号；
其中，矩阵mx和my的尺寸为真值位移图的尺寸。并且，矩阵mx和my中每个点的初始值可以为0，当然并不局限于此，例如：初始值可以为1、10、100等等，这都是合理的。
上述所给出的任一人体关键点的真值热度图和真值位移图的生成方法仅仅作为示例，并不应该构成对本发明实施例的限定。
下面结合一个具体示例，对本发明实施例所提供的人体关键点识别方法进行介绍。
假设待识别人体关键点的目标图像为图像k，图像k的尺寸为125*125，预先训练的神经网络模型的输入图像的尺寸为125*125，所输出的热度图的尺寸为5*5，位移图的尺寸为5*5。
那么，利用本发明实施例所提供的人体关键点识别方法进行识别的过程包括：
获得待识别人体关键点的图像k；
将图像k输入至预先训练的神经网络模型，得到该图像k中每个人体关键点的5*5的热度图和5*5的位移图；
按照预定的第一计算公式，基于该图像k中每个人体关键点的热度图和位移图，确定该图像k中的每个人体关键点的坐标。
下面以一个人体关键点为例，介绍基于热度图和位移图来计算图像k中该人体关键点的坐标的原理：
假设图像k中一人体关键点p在该图像k中的真实坐标为(101，79)。基于热度图和位移图的生成方式可知，通过神经网络模型所生成的该人体关键点p的热度图和位移图，如图3(d)，该图3(d)所给出的热度图中各个点的值通过pxy表示，x轴和y轴方向的位移图通过具体数值表示。并且，基于热度图和位移图的生成方式可知，因为该人体关键点p映射到热度图中的点为(4，3)，因此，该人体关键点p的热度图中像素值最大的点为(4，3)，x轴方向的位移图中取值的绝对值最小的列号为4，y轴方向的位移图中取值的绝对值最小的行号为3，如图3(d)所示。那么，按照上述的第一计算公式，基于该人体关键点p的热度图和位移图所计算得到的坐标如下：
px＝4×25+4*1＝104；
py＝3×25+3*1＝78。
综上可见，计算得到的人体关键点p的坐标信息为(104，78)。可见，计算得到的人体关键点p的坐标与真实坐标非常接近，可以认为是识别到的图像k中人体关键点p的坐标。
相对于上述方法实施例，本发明实施例还提供了一种人体关键点识别装置。如图4所示，本发明实施例所提供的一种人体关键点识别装置可以包括：
图像获得模块410，用于获取待识别人体关键点的目标图像；
信息识别模块420，用于将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像中每个人体关键点的热度图和位移图；其中，任一人体关键点的位移图中的每个点用于表征该点所在位置相对于目标点所在位置的偏移距离，所述目标点为该人体关键点在所述位移图中的映射点；所述神经网络模型为基于样本图像，以及所述样本图像中每个人体关键点的真值热度图和真值位移图，所训练得到的模型；
坐标确定模块430，用于按照预定的识别规则，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；其中，所述预定的识别规则为：针对每一人体关键点，基于该人体关键点的热度图确定候选区域，并基于该人体关键点的位移图从所述候选区域中确定该人体关键点的坐标。
可选地，在一种实现方式中，任一人体关键点的位移图包括x轴方向的位移图和y轴方向的位移图；
所述坐标确定模块430，具体用于：
按照预定的第一计算公式，基于所述目标图像中每个人体关键点的热度图和位移图，确定所述目标图像中的每个人体关键点的坐标；
其中，所述预定的第一计算公式包括：
ix＝hx×s1+ox×t1；
iy＝hy×s2+oy×t2；
其中，(ix，iy)为人体关键点i的坐标，(hx，hy)为所述人体关键点i的热度图中取值最大的像素点的坐标，ox为所述人体关键点i的x轴方向的位移图中，取值为0的列的序号，oy为所述人体关键点i的y轴方向的位移图中，取值为0的行的序号；s1为x轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数，s2为y轴方向上所述神经网络模型所输出热度图相对于所输入图像的缩小系数；t1为x轴方向上所述神经网络模型所输出位移图相对于所输出热度图的缩小系数，t2为y轴方向上所述神经网络模型所输出位移图相对于所输出热度图的缩小系数。
可选地，在一种实现方式中，所述神经网络模型通过模型训练模块所训练；其中，所述模型训练模块包括：
人体图获得子模块，用于获取多个样本图像，以及每一样本图像中每个人体关键点的坐标；
真值图生成子模块，用于针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图和真值位移图；
预测图生成子模块，用于分别将每一样本图像输入至训练中的所述神经网络模型，得到每一样本图像中每个人体关键点的预测热度图和预测位移图；
损失值计算子模块，用于基于每一样本图像中每个人体关键点的真值热度图与预测热度图的差异，以及真值位移图与预测位移图的差异，计算综合损失值；
判断子模块，用于基于所述综合损失值，判断训练中的所述神经网络模型是否收敛，如果收敛，结束训练，得到训练完成的所述神经网络模型；否则，调整所述神经网络模型的网络参数，继续训练所述神经网络模型。
可选地，所述真值图生成子模块针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图的方式，包括：
针对每一样本图像，按照预定的真值热度图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值热度图；
其中，所述真值热度图生成方式，包括：
针对待生成真值热度图的每一人体关键点，生成一个矩阵m，所述矩阵m的尺寸与待生成真值热度图的尺寸相同；
遍历所述矩阵m中的每一元素，在遍历到每一元素时，按照预定的第二计算公式，计算该元素的取值参考值，如果该元素的取值参考值大于预定阈值，将该元素在所述矩阵m中的取值设置为0，否则，按照预定的第三计算公式，计算该元素的取值，将该元素在所述矩阵m中的取值设置为所计算的取值；
在遍历完毕所述矩阵m中所有元素后，将当前的所述矩阵m，作为该人体关键点的真值热度图；
所述第二计算公式包括：
其中，dab为所述矩阵m中元素p(b，a)的取值参考值，a为所述元素p所在行的序号，b为所述元素p所在列的序号，
所述第三计算公式包括：
可选地，所述真值图生成子模块针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图的方式，包括：
针对每一样本图像，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图的方式，包括：
针对每一样本图像，按照预定的真值位移图生成方式，利用该样本图像中每个人体关键点的坐标，生成该样本图像中每个人体关键点的真值位移图；
其中，所述真值位移图生成方式，包括：
针对待生成真值位移图的每一人体关键点，生成两个尺寸相同的矩阵mx和my，所述矩阵mx和my的尺寸与待生成真值位移图的尺寸相同；
遍历所述矩阵mx中的每一元素，在遍历到每一元素时，利用预定的第四计算公式，计算该元素的取值，将该元素在所述矩阵mx中的取值设置为所计算的取值；在遍历完毕所述矩阵mx中所有元素后，将当前的所述矩阵mx作为该人体关键点的x轴方向的位移图；
遍历所述矩阵my中的每一元素，在遍历到每一元素时，利用预定的第五计算公式，计算该元素的取值，将该元素在所述矩阵my中的取值设置为所计算的取值；在遍历完毕所述矩阵my中所有元素后，将当前的所述矩阵my作为该人体关键点的y轴方向的位移图；
其中，所述第四计算公式包括：
mx[a][b]＝b-xi；
所述第五计算公式包括：
my[a][b]＝a-yi；
其中，mx[a][b]为所述矩阵mx中元素p(b，a)的取值，my[a][b]为所述矩阵my中元素p(b，a)的取值，a为元素p所在行的序号，b为元素p所在列的序号；
相应于上述方法实施例，本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现本发明实施例上述任一人体关键点识别方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一人体关键点识别方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一人体关键点识别方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的每个实施例均采用相关的方式描述，每个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！