姿态估计模型的训练与姿态估计方法、装置、设备及介质与流程

1.本发明涉及计算机技术技术领域，尤其涉及一种姿态估计模型的训练与姿态估计方法、装置、设备及介质。


背景技术：

2.人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态,人体行为等至关重要。随着深度学习技术的发展，以堆叠沙漏网络为代表的基于多尺度特征融合的人体姿态估计算法表现出了优越的性能，在姿态估计领域具有重要地位。
3.但是现有的基于堆叠沙漏网络的人体姿态估计模型，具有较大的信息损失，仍存在较大改进空间。


技术实现要素：

4.本发明提供了一种姿态估计模型的训练与姿态估计方法、装置、设备及介质，在特征提取网络中增加具有多个特征提取尺度的空间金字塔池化模块，为姿态估计提供提取同一层更高精度的多尺度特征，从而提高基于堆叠沙漏网络的姿态估计模型的姿态估计精度。
5.根据本发明的一方面，提供了一种姿态估计模型的训练方法，包括：获取图像样本集；通过所述图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型；其中，所述初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；所述特征提取网络包括：特征提取模块和空间金字塔池化模块；所述空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；所述第一特征提取单元和所述第二特征提取单元设置不同的特征提取尺度。
6.根据本发明的另一方面，提供了一种姿态估计方法,包括：获取待解析图像；将所述待解析图像输入采用姿态估计模型的训练方法训练得到的目标姿态估计模型；获取所述目标姿态估计模型输出的所述待解析图像的目标定位图和目标偏置图；基于所述目标定位图和所述目标偏置图确定所述待解析图像中目标体的各关键点的估计坐标，根据各所述关键点的估计坐标估计所述目标体的姿态。
7.根据本发明的另一方面，提供了一种姿态估计模型的训练装置，包括：获取模块，用于获取图像样本集；训练模块，用于通过所述图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型；其中，所述初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；所述特征提取网络包括：特征提取模块和空间金字塔池化模块；所述空间金字塔池化模块包括：并联的第
一特征提取单元和第二特征提取单元，以及特征融合单元；所述第一特征提取单元和所述第二特征提取单元设置不同的特征提取尺度。
8.根据本发明的另一方面，提供了一种姿态估计装置，包括：第一获取模块，用于获取待解析图像；输入模块，用于将所述待解析图像输入采用姿态估计模型的训练方法训练得到的目标姿态估计模型；第二获取模块，用于获取所述目标姿态估计模型输出的所述待解析图像的目标定位图和目标偏置图；姿态估计模块，用于基于所述目标定位图和所述目标偏置图确定所述待解析图像中目标体的各关键点的估计坐标，根据各所述关键点的估计坐标估计所述目标体的姿态。
9.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的姿态估计模型的训练方法和/或姿态估计方法。
10.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的姿态估计模型的训练方法和/或姿态估计方法。
11.本发明实施例的技术方案，通过获取图像样本集；通过图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型；其中，初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；特征提取网络包括：特征提取模块和空间金字塔池化模块；空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；第一特征提取单元和第二特征提取单元设置不同的特征提取尺度，能够为姿态估计提供提取同一层更高精度的多尺度特征，从而提高基于堆叠沙漏网络的姿态估计模型的姿态估计精度。
12.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1是根据本发明实施例一提供的一种姿态估计模型的训练方法的流程图；图2a是根据本发明实施例一提供的一种姿态估计模型的结构示意图；图2b是根据本发明实施例二提供的一种姿态估计模型的结构示意图；图2c是根据本发明实施例二提供的一种空间金字塔池化模块的结构示意图；图3a是根据本发明实施例三提供的一种姿态估计模型的训练方法的流程图；图3b是根据本发明实施例三提供的一种训练待训练模型的示意图；
图4是根据本发明实施例四提供的一种姿态估计方法的流程图；图5是根据本发明实施例五提供的一种姿态估计模型的训练装置的结构示意图；图6是根据本发明实施例六提供的一种姿态估计装置的结构示意图；图7是实现本发明实施例的姿态估计模型的训练方法的电子设备的结构示意图。
具体实施方式
15.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
16.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
17.实施例一图1为本发明实施例一提供了一种姿态估计模型的训练方法的流程图，本实施例可适用于训练姿态估计模型的情况，该方法可以由姿态估计模型的训练装置来执行，该姿态估计模型的训练装置可以采用硬件和/或软件的形式实现，该姿态估计模型的训练装置可配置于电子设备中。
18.如图1所示，该方法具体包括如下步骤：s110、获取图像样本集。
19.其中，图像样本集是用于训练初始姿态估计模型的样本图像所构成的集合。图像样本集中图像的目标体姿态可以由各关键点的位置确定，因此，各图像中标记有目标体的关键点的真实坐标。其中，关键点可以认为是人体的关节点或其他重要支撑点。一般地，输入的样本图像大小尺寸均为256256。
20.示例性的，可以采用mpii人体姿态估计数据集确定为图像样本集。mpii人体姿态估计数据集可以包括训练集和测试集。mpii人体姿态估计数据集是记录真实世界中人类活动的图片数据集，包含了大约25000张图片和40000个主体。
21.可选的，为了提高训练得到的模型对输入的待解析图像的姿态估计的准确度和泛化能力，可以通过预设操作对所述图像样本集中的样本图像进行数据增强；预设操作包括以下至少一项：随机旋转、随机翻转和随机大小调整，以增强样本图像的随机性和多样性。
22.示例性的，其中旋转的范围为(-45o,45o)，随机大小调整范围为(0.65,1.35)，随机翻转的概率为0.5。
23.s120、通过图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型；其中，初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；特征提取网络包括：特征提取模块
和空间金字塔池化模块；空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；第一特征提取单元和第二特征提取单元设置不同的特征提取尺度。
24.其中，初始姿态估计模型包括：特征提取网络10和堆叠沙漏网络20；特征提取网络10用于对图像样本集中的样本图像进行特征提取得到目标特征图像，是初始姿态估计模型的主干部分；堆叠沙漏网络20可以由至少两个沙漏网络堆叠得到，用于整合特征图像的所有尺度的信息。
25.具体的，在现有的姿态估计模型中特征提取网络一般通过两层下采样层和三层特征提取层提取样本图像中的特征数据，缺乏来自同一层级的多尺度特征，具有较大的信息损失。因此，在本发明实施例中，如图2a所示，在原有特征提取网络的最后一个特征提取层之后增加空间金字塔池化模块12形成本非发明实施例中的特征提取网络10，即特征提取网络10包括：特征提取模块11和空间金字塔池化模块12。空间金字塔池化模块12包括：并联的第一特征提取单元121和第二特征提取单元122，以及特征融合单元123。第一特征单元121和第二特征提取单元122可以设置不同尺度的特征提取操作，因而，通过空间金字塔池化模块12中并联的第一特征提取单元121和第二特征提取单元122可以提取样本图像中同一层的多尺度特征，以得到更高精度的尺度特征。特征融合单元123用于对第一特征提取单元和第二特征提取单元输出的不同尺度的特征进行特征融合得到目标特征图像，将目标特征图像输入堆叠沙漏网络进行所有尺度的信息的整合，以得到样本图像中的目标体的关节点热图和偏置图，根据每次训练输出的定位图、偏置图和样本图像对初始姿态估计模型中的网络参数进行迭代调整得到目标姿态估计模型。
26.需要说明的是，可以通过一个训练阶段对初始姿态估计模型进行迭代训练调整网络参数得到目标姿态估计模型，也可以将训练过程分为多个训练阶段，通过各训练阶段对初始姿态估计模型逐步进行迭代训练调整网络参数得到目标姿态估计模型。
27.本发明实施例的技术方案，通过获取图像样本集；通过图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型；其中，初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；特征提取网络包括：特征提取模块和空间金字塔池化模块；空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；第一特征提取单元和第二特征提取单元设置不同的特征提取尺度，能够为姿态估计提供提取同一层更高精度的多尺度特征，从而提高基于堆叠沙漏网络的姿态估计模型的姿态估计精度。
28.实施例二图2b为本发明实施例二提供的一种初始姿态估计模型的结构示意图，本实施例对实施例一中的空间金字塔池化模块的结构进一步细化。如图2b所示，初始姿态估计模型包括：特征提取网络10和堆叠沙漏网络20；特征提取网络10包括：特征提取模块11和空间金字塔池化模块12；空间金字塔池化模块12包括：并联的第一特征提取单元121和第二特征提取单元122，以及特征融合单元123；第一特征提取单元121和第二特征提取单元122设置不同的特征提取尺度；第一特征提取单元121包括：至少一个第一卷积层；第二特征提取单元122包括：串联的第一预设数量的第二卷积层1221和金字塔池化层1222。
29.具体的，第一特征单元121包括至少一个第一卷积层1211，用于保存并提炼特征提取模块输出的特征图像的特征信息，得到更精炼的特征信息；第二特征单元122包括：串联
的第一预设数量的第二卷积层1221和金字塔池化层1222，金字塔池化层1222包含多个尺度的池化操作用于进一步提取特征提取模块输出的特征图像的多尺度特征。通过特征融合单元123对第一特征单元121和第二特征单元122提取的多尺度特征进行融合，从而得到更精炼的多尺度信息。
30.示例性的，第一卷积层1211和第二卷积层1221可以是卷积核为11的卷积层。
31.可选的，第一预设数量为3个；3个第二卷积层的卷积核均为11，3个第二卷积层中的第1个卷积层和第2个卷积层连接，第2个卷积层与金字塔池化层连接；金字塔池化层与第3个卷积层连接；金字塔池化层包括：至少两个并联的最大池化层，各最大池化层的卷积核尺度不同。
32.具体的，图2c为空间金字塔池化模块12的结构示意图。如图2c所示，空间金字塔池化模块12包括：并联的第一特征提取单元121和第二特征提取单元122，以及特征融合单元123。第一特征提取单元121包括一个卷积核为11的卷积层，第二特征提取单元122包括：3个卷积核为11的卷积层1221（分别为1221.1、1221.2和1221.3）和金字塔池化层1222；3个卷积层中的第1个卷积层1221.1和第2个卷积层1221.2连接，第2个卷积层1221.2与金字塔池化层1222连接；金字塔池化层1222与第3个卷积层1221.3连接。金字塔池化层1222包括：至少两个并联的最大池化层，各最大池化层的卷积核尺度不同。
33.示例性的，金字塔池化层1222可以是由并联的四个卷积核为33、55、99和1313的最大池化层构成的金字塔结构的池化层。
34.可选的，特征提取模块11包括：第一预设数量的下采样层和第二预设数量的特征提取层，下采样层为卷积层。
35.表1示例性的，第一预设数量为2，第二预设数量为3，即如表1所示，特征提取模块11的层级结构包括：第1个下采样层、第1个特征提取层、第2个下采样层、第2个特征提取层和第3个特征提取层。
36.需要说明的是，在现有的特征提取网络中，第2个下采样层一般为最大池化层，本
发明实施例将第2个下采样层从最大池化层替换为卷积层，提高了特征提取精度。
37.本发明实施例的技术方案通过获取图像样本集；通过图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型；其中，初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；特征提取网络包括：特征提取模块和空间金字塔池化模块；空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；第一特征提取单元和第二特征提取单元设置不同的特征提取尺度；第一特征提取单元包括：至少一个第一卷积层；第二特征提取单元包括：串联的第一预设数量的第二卷积层和金字塔池化层，能够为姿态估计提供提取同一层更高精度的多尺度特征，从而提高基于堆叠沙漏网络的姿态估计模型的姿态估计精度。
38.实施例三图3a为本发明实施例三提供的一种姿态估计模型的训练方法的流程图，本实施例对实施例一中的步骤s120进一步细化。如图3a所示，该方法包括：s310、获取图像样本集。
39.s320、将图像样本集中的第一图像样本集确定为目标图像样本集，将初始姿态估计模型确定为待训练模型；通过目标图像样本集迭代训练待训练模型，得到有效姿态估计模型；其中，初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；特征提取网络包括：特征提取模块和空间金字塔池化模块；空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；第一特征提取单元和第二特征提取单元设置不同的特征提取尺度；堆叠沙漏网络包括：第三预设数量的沙漏网络；第三预设数量小于最佳设置数量。
40.初始姿态估计模型中的堆叠沙漏网络可以包括至少一个沙漏网络，根据先验知识可知在沙漏网络的数量为最佳设置数量时姿态估计模型的姿态估计效果最好，而此时由于沙漏网络的设置数量较多，执行一次模型训练的时间很长，导致模型训练的效率不高。为了解决上述问题，在本发明实施例中将姿态估计模型的过程分为两个训练阶段完成。在第一训练阶段中初始姿态估计模型的堆叠沙漏网络包括：第三预设数量的沙漏网络，第三预设数量少于最佳的沙漏网络数量。
41.具体的，在第一训练阶段中对初始姿态估计模型的有效性进行验证，具体实现过程为：将图像样本集中的第一图像样本集确定为目标图像样本集，将初始姿态估计模型确定为待训练模型通过目标图像样本集迭代训练待训练模型，得到有效姿态估计模型。由于初始姿态估计模型中沙漏网络的数量较少，大大缩短了确定模型有效性的训练时间。
42.可选的，第三预设数量为2个，最佳设置数量为8个。
43.s330、将包含最佳设置数量的沙漏网络的有效姿态估计模型中堆叠沙漏网络的沙漏网络个数增加至最佳设置数量。
44.具体的，在保证有效姿态估计模型的有效性的基础上，将初始姿态估计模型进行迭代训练得到有效姿态估计模型中的堆叠沙漏网络的沙漏网络个数增加至最佳设置数量；从而继续对包含最佳设置数量的沙漏网络的有效姿态估计模型进行迭代训练，进一步得到具有更高的精度和更强的特征表征能力的完备的目标姿态估计模型。
45.s340、将图像样本集中的第二图像样本集确定为目标图像样本集，将包含最佳设置数量的沙漏网络的有效姿态估计模型确定为待训练模型。
46.具体的，在第二训练阶段中，将图像样本集中的第二图像样本集确定为目标图像样本集，将包含最佳设置数量的沙漏网络的有效姿态估计模型确定为待训练模型。
47.s350、返回执行通过目标图像样本集迭代训练待训练模型的操作，得到目标姿态估计模型。
48.具体的，返回执行通过目标图像样本集迭代训练待训练模型的操作，采用第二图像样本集对效姿态估计模型进行迭代训练，最终得到目标姿态估计模型。
49.本发明实施例的技术方案，通过获取图像样本集；将图像样本集中的第一图像样本集确定为目标图像样本集，将初始姿态估计模型确定为待训练模型；通过目标图像样本集迭代训练待训练模型，得到有效姿态估计模型；其中，初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；特征提取网络包括：特征提取模块和空间金字塔池化模块；空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；第一特征提取单元和第二特征提取单元设置不同的特征提取尺度；堆叠沙漏网络包括：第三预设数量的沙漏网络；第三预设数量小于最佳设置数量；将包含最佳设置数量的沙漏网络的有效姿态估计模型中堆叠沙漏网络的沙漏网络个数增加至最佳设置数量；将图像样本集中的第二图像样本集确定为目标图像样本集，将包含最佳设置数量的沙漏网络的有效姿态估计模型确定为待训练模型；返回执行通过目标图像样本集迭代训练待训练模型的操作，得到目标姿态估计模型，能够为姿态估计提供提取同一层更高精度的多尺度特征，从而提高基于堆叠沙漏网络的姿态估计模型的姿态估计精度；同时将初始姿态估计模型的训练过程分为两个不同的阶段，在验证模型有效性的第一阶段设置较少数量的沙漏网络个数，以实现缩短验证模型有效性的训练时间。
50.可选的，通过目标图像样本集迭代训练待训练模型的操作包括：将目标图像样本集中的样本图像输入待训练模型的特征提取模块进行特征提取，得到第一特征图像；将第一特征图像分别输入待训练模型的空间金字塔池化模块中的第一特征单元和第二特征单元，将第一特征单元输出的第二特征图像和第二特征单元输出的第三特征图像输入待训练模型的空间金字塔池化模块中的特征融合单元得到目标特征图像；将目标特征图像输入待训练模型的堆叠沙漏网络，获得样本图像的定位图和偏置图，根据定位图和偏置图确定样本图像中目标体的各关键点的估计坐标；根据各关键点的估计坐标和各关键点的真实坐标计算损失函数值，并基于损失函数值对待训练模型中的网络参数进行调整；返回执行将目标图像样本集中的样本图像输入待训练模型的特征提取模块进行特征提取的操作，直到达到预设条件。
51.具体的，通过图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型的过程可以分为两个训练阶段完成，两个训练阶段的待训练模型和训练样本不同，但是训练的具体步骤基本相同。待训练模型包括：特征提取模块、金字塔模块和堆叠沙漏网络。因此，如图3b所示，训练过程具体是：将目标图像样本集中的样本图像输入待训练模型的特征提取网络10中的特征提取模块11进行特征提取，得到第一特征图像；将第一特征图像输入待训练模型的特征提取网络10中的空间金字塔池化模块12，通过空间金字塔池化模块12的第一特征提取单元121和第二特征提取单元122对第一特征图像进行同一层级的多尺度特征提
取，并通过特征融合模块123进行特征融合得到目标特征图像；将目标特征图像依次输入待训练模型的堆叠沙漏网络20中的预设数量的沙漏网络，获得样本图像的定位图和偏置图。
52.其中，定位图用于表示样本图像中目标体的各关键点对应的定位区域，现有技术中通常使用高斯分布热图表示样本图像中目标体的各关键点的坐标位置，本发明实施例采用定位图替代高斯分布热图，即采用关键点对应的预设区域替代各关键点的坐标位置，能够提升关键点坐标的定位准确度。
53.具体的，根据定位图、偏置图和样本图像计算损失函数值，并基于损失函数值对待训练模型中的网络参数进行调整的具体步骤可以是：根据偏置图对定位图中各关键点的坐标进行无偏估计，并根据无偏估计得到的估计坐标与样本图像中关键点的真实坐标计算损失函数值，根据损失函数值对待训练模型中的网络参数进行调整。返回执行将目标图像样本集中的样本图像输入待训练模型的特征提取模块进行特征提取的操作，直到达到预设条件。其中，预设条件可以是损失函数值达到最小，或者训练次数到达设定阈值。
54.示例性的，mpii数据集上的实验采用的评价指标，即损失函数值为，即误差少于头部长度的倍都认为是正例，常用的值为0.5和0.1。如下，的表达式为：；其中， p代表了根据定位图估计得到的所有的关键点坐标，p代表了其中一个关键点坐标，代表对应关键点坐标的真实坐标。代表长度比例系数， 代表对应人的头部长度。表示一元函数，参数为真则返回1，反之返回0；n表示图片中的关键点总数。
55.可选的，偏置图包括：第一方向偏置图和第二方向偏置图，根据定位图和偏置图确定样本图像中目标体的各关键点的估计坐标，包括：确定定位图中各关键点的定位区域对应的最大响应坐标；关键点的定位区域是样本图像中各关键点的真实坐标对应的预设范围；对于各关键点，根据最大响应坐标和第一方向偏置图中关键点的第一偏置坐标确定第一偏置响应坐标；根据最大响应坐标和第二方向偏置图中关键点的第二偏置坐标确定第二偏置响应坐标；对于各关键点，根据第一偏置响应坐标和第二偏置响应坐标对最大响应坐标进行无偏估计得到估计坐标。
56.其中，偏置图包括：第一方向偏置图和第二方向偏置图，示例性的，第一方向偏置图可以是x方向的偏置图，第二方向偏置图可以是y方向的偏置图。
57.具体的，定位图中各关键点的定位区域可以表示为：；第一方向偏置图中各关键点的第一偏置坐标和第二方向偏置图分别可以表示为：
其中，(x0,y0,i)表示第i个关键点的定位区域的估计坐标，p(x0,y0,i)表示第i个关键点的定位区域对应的数值；r表示定位区域的半径，(mi, ni)代表第i个关键点的真实坐标。确定定位图中各关键点的定位区域对应的最大响应坐标的方式可以为：；其中，k表示用于平滑定位图的高斯核，表示定位图中第i个关键点的定位区域对应的最大响应坐标。
58.对于各关键点，根据各关键点的第一偏置响应坐标和第二偏置响应坐标确定估计坐标的方式可以为：；表示第一方向偏置图中第i个关键点的第一偏置响应坐标；表示第二方向偏置图中第i个关键点的第二偏置响应坐标；代表第i个关键点的估计坐标。示例性的，r为1，对于定位图采用的高斯核大小1515，对于偏置图采用的高斯核大小为77。
59.在一个具体的实施例中，在mpii验证集上的结果仅采用了mpii训练集作为训练样本。采用三个对比例，以验证发明实施例所提供的初始姿态估计模型的有效性。具体的实验结果对比如下所示：对比例1：采用现有技术中包含2个沙漏的堆叠沙漏网络作为消融实验的基线模型。
60.对比例2：在采样现有技术中包含2个沙漏网络的姿态估计网络基础上，添加本发明实施例提供的根据第一偏置响应坐标和第二偏置响应坐标对最大响应坐标进行无偏估计得到估计坐标的策略。
61.对比例3：在对比例2的基础上，采用本发明实施例中的初始姿态估计模型，初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；特征提取网络包括：特征提取模块和空间金字塔池化模块；空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；第一特征提取单元和第二特征提取单元设置不同的特征提取尺度。
62.上述对比例，采用mpii训练集作为训练样本得到在mpii验证集上的结果如表2所示，可以验证本发明实施例的初始姿态估计模型的训练方法得到的有效姿态估计模型的有效性。示例性的，在训练过程中，初始学习率为1e-4，在训练迭代次数达到170和200次时，将学习率分别降低至初始学习率的0.1和0.01，使用adam梯度优化器，batch size设为16，设置的训练总次数为210次。
63.表2
在验证有效姿态估计模型的有效性之后，将有效姿态估计模型中的沙漏网络的数量增加到8个。采用mpii训练集和验证集作为训练样本，对比例4和本实施例提供的有效姿态估计模型分别进行训练得到在mpii测试集上的结果如表3所示：对比例4：现有技术中包含8个沙漏的堆叠沙漏网络的姿态估计模型；本发明实施例：包含8个沙漏网络的有效姿态估计模型。
64.表3从表2的结果对比中可以发现，以包含2个沙漏的堆叠沙漏网络作为基线模型，在mpii人体姿态估计的验证集上，引入本发明实施例提供的无偏估计策略后获得0.5%的pckh@0.5的提升和2.7%的pckh@0.1的提升，说明了无偏估计策略对于实现高精度的姿态估计的有效性。
65.在此基础上，再对特征提取网络进行修改，更换了下采样模块，增加了基于跨阶段划分的空间池化金字塔模块，进一步获得0.3%的pckh@0.5的提升和0.6%的pckh@0.1的提升，说明了发明实施例提供的特征提取网络具有更强的特征表征能力。
66.从表3的结果对比中可以发现，发明实施例提供的目标姿态估计模型作为完备的基于空间池化金字塔改进的堆叠沙漏网络的姿态估计模型，相比于现有技术中包含8个沙漏的基于堆叠沙漏网络的姿态估计模型，在mpii测试集上获得1.2%的pckh@0.5的提升和2.1%的pckh@0.1的提升，进一步说明了本发明实施例提供的姿态估计模型的训练方法训练得到的目标姿态估计模型的有效性。
67.实施例四图4为本发明实施例四提供的一种姿态估计方法的流程图，本实施例可适用于基于上述实施例训练得到目标姿态估计模型对待解析图像中的目标体进行姿态估计的情况，该方法可以由姿态估计装置来执行，该姿态估计装置可以采用硬件和/或软件的形式实现，该姿态估计装置可配置于电子设备中。
68.如图1所示，该方法具体包括如下步骤：s410、获取待解析图像。
69.其中，待解析图像是指包含待姿态估计的目标体的图像。一般地，待解析图像和样本图像的大小相同，均为256256。
70.s420、将待解析图像输入采用姿态估计模型的训练方法训练得到的目标姿态估计模型。
71.具体的，采用姿态估计模型的训练方法训练得到的目标姿态估计模型包括：特征提取网络和堆叠沙漏网络；特征提取网络包括：特征提取模块和空间金字塔池化模块；空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；第一特征提取单元和所述第二特征提取单元设置不同的特征提取尺度。通过空间金字塔池
化模块中并联的第一特征提取单元和第二特征提取单元可以提取待解析图像中同一层的多尺度特征，以得到更高精度的尺度特征。
72.s430、获取目标姿态估计模型输出的待解析图像的目标定位图和目标偏置图。
73.其中，目标定位图用于反映待解析图像中的目标体的各关键点的坐标；目标偏置图包括：第一方向目标偏置图和第二方向目标偏置图，示例性的，第一方向目标偏置图可以是x方向的目标偏置图，第二方向目标偏置图可以是y方向的目标偏置图。目标偏置图用于对目标定位图中目标体的坐标进行无偏估计。
74.s440、基于目标定位图和目标偏置图确定待解析图像中目标体的各关键点的估计坐标，根据各关键点的估计坐标估计目标体的姿态。
75.具体的，根据目标偏置图中各关键点的目标偏置坐标对应目标定位图中各关键点的坐标进行无偏估计得到各关键点的估计坐标，从而根据各关键点的估计坐标估计待解析图像中的目标体的姿态。
76.本发明实施例的技术方案，通过获取待解析图像；将待解析图像输入上述任一实施例的姿态估计模型的训练方法训练得到的目标姿态估计模型；获取目标姿态估计模型输出的待解析图像的目标定位图和目标偏置图；基于目标定位图和目标偏置图确定待解析图像中目标体的各关键点的估计坐标，根据各关键点的估计坐标估计目标体的姿态，能够得到待解析图像的更高精度多尺度特征，从而提高待解析图像的姿态估计精度。
77.实施例五图5为本发明实施例五提供的一种姿态估计模型的训练装置的结构示意图。如图5所示，该装置包括：获取模块510和训练模块520；其中，获取模块510，用于获取图像样本集；训练模块520，用于通过所述图像样本集迭代训练初始姿态估计模型得到目标姿态估计模型；其中，所述初始姿态估计模型包括：特征提取网络和堆叠沙漏网络；所述特征提取网络包括：特征提取模块和空间金字塔池化模块；所述空间金字塔池化模块包括：并联的第一特征提取单元和第二特征提取单元，以及特征融合单元；所述第一特征提取单元和所述第二特征提取单元设置不同的特征提取尺度。
78.可选的，所述第一特征提取单元包括：至少一个第一卷积层；所述第二特征提取单元包括：串联的第一预设数量的第二卷积层和金字塔池化层。
79.可选的，所述第一预设数量为3个； 3个第二卷积层的卷积核均为11， 所述3个第二卷积层中的第1个卷积层和第2个卷积层连接，所述第2个卷积层与所述金字塔池化层连接；所述金字塔池化层与第3个卷积层连接；所述金字塔池化层包括：至少两个并联的最大池化层，各所述最大池化层的卷积核尺度不同。
80.可选的，所述特征提取模块包括：第一预设数量的下采样层和第二预设数量的特征提取层；所述下采样层为卷积层。
81.可选的，所述初始姿态估计模型中的所述堆叠沙漏网络包括：第三预设数量的沙漏网络；所述第三预设数量小于最佳设置数量；所述训练模块包括：第一确定单元，用于将所述图像样本集中的第一图像样本集确定为目标图像样本集，将所述初始姿态估计模型确定为待训练模型；
迭代训练单元，用于通过所述目标图像样本集迭代训练所述待训练模型，得到有效姿态估计模型；数量设置单元，用于将所述有效姿态估计模型中堆叠沙漏网络的沙漏网络个数增加至最佳设置数量；第二确定单元，用于将所述图像样本集中的第二图像样本集确定为目标图像样本集，将包含最佳设置数量的沙漏网络的有效姿态估计模型确定为待训练模型；执行单元，用于返回执行通过所述目标图像样本集迭代训练所述待训练模型的操作，得到目标姿态估计模型。
82.可选的，所述迭代训练单元包括：第一输入子单元，用于将所述目标图像样本集中的样本图像输入所述待训练模型的特征提取模块进行特征提取，得到第一特征图像；第二输入子单元，用于将所述第一特征图像分别输入所述待训练模型的空间金字塔池化模块中的第一特征单元和第二特征单元，将所述第一特征单元输出的第二特征图像和所述第二特征单元输出的第三特征图像输入所述待训练模型的空间金字塔池化模块中的特征融合单元得到目标特征图像；估计子单元，用于将所述目标特征图像输入所述待训练模型的堆叠沙漏网络获得所述样本图像的定位图和偏置图，根据所述定位图和所述偏置图确定所述样本图像中目标体的各关键点的估计坐标；计算子单元，用于根据各所述关键点的估计坐标和各所述关键点的真实坐标计算损失函数值，并基于损失函数值对待训练模型中的网络参数进行调整；执行子单元，用于返回执行将所述目标图像样本集中的样本图像输入所述待训练模型的特征提取模块进行特征提取的操作，直到达到预设条件。
83.可选的，所述偏置图包括：第一方向偏置图和第二方向偏置图，所述估计子单元，具体用于：确定定位图中各关键点的定位区域对应的最大响应坐标；关键点的定位区域是样本图像中各关键点的真实坐标对应的预设范围；对于各关键点，根据最大响应坐标和第一方向偏置图中关键点的第一偏置坐标确定第一偏置响应坐标；根据最大响应坐标和第二方向偏置图中所述关键点的第二偏置坐标确定第二偏置响应坐标；对于各关键点，根据第一偏置响应坐标和第二偏置响应坐标对最大响应坐标进行无偏估计得到估计坐标。
84.可选的，还包括：数据增强模块，用于通过预设操作对所述图像样本集中的样本图像进行数据增强；所述预设操作包括以下至少一项：随机旋转、随机翻转和随机大小调整。
85.本发明实施例所提供的姿态估计模型的训练装置可执行本发明任意实施例所提供的姿态估计模型的训练方法，具备执行方法相应的功能模块和有益效果。
86.实施例六图6为本发明实施例六提供的一种姿态估计模型的训练装置的结构示意图。如图6
所示，该装置包括：第一获取模块610、输入模块620、第二获取模块630和姿态估计模块640；第一获取模块610，用于获取待解析图像；输入模块620，用于将所述待解析图像输入采用任一实施例所述的姿态估计模型的训练方法训练得到的目标姿态估计模型；第二获取模块630，用于获取所述目标姿态估计模型输出的所述待解析图像的目标定位图和目标偏置图；姿态估计模块640，用于基于所述目标定位图和所述目标偏置图确定所述待解析图像中目标体的各关键点的估计坐标，根据各所述关键点的估计坐标估计所述目标体的姿态。
87.本发明实施例所提供的姿态估计装置可执行本发明任意实施例所提供的姿态估计方法，具备执行方法相应的功能模块和有益效果。
88.实施例七图7示出了可以用来实施本发明的实施例的电子设备70的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅确定为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
89.如图7所示，电子设备70包括至少一个处理器71，以及与至少一个处理器71通信连接的存储器，如只读存储器（rom）72、随机访问存储器（ram）73等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器71可以根据存储在只读存储器（rom）72中的计算机程序或者从存储单元78加载到随机访问存储器（ram）73中的计算机程序，来执行各种适当的动作和处理。在ram 73中，还可存储电子设备70操作所需的各种程序和数据。处理器71、rom 72以及ram 73通过总线74彼此相连。输入/输出（i/o）接口75也连接至总线74。
90.电子设备70中的多个部件连接至i/o接口75，包括：输入单元76，例如键盘、鼠标等；输出单元77，例如各种类型的显示器、扬声器等；存储单元78，例如磁盘、光盘等；以及通信单元79，例如网卡、调制解调器、无线通信收发机等。通信单元79允许电子设备70通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
91.处理器71可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器71的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。处理器71执行上文所描述的各个方法和处理，例如姿态估计模型的训练或姿态估计方法。
92.在一些实施例中，姿态估计模型的训练或姿态估计方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元78。在一些实施例中，计算机程序的部分或者全部可以经由rom 72和/或通信单元79而被载入和/或安装到电子设备70上。当计算机程序加载到ram 73并由处理器71执行时，可以执行上文描述的姿态估计模型的训练和/或姿态估计方法的一个或多个步骤。备选地，在其他实施例中，处理器71可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行姿态估计模型的训练和/或姿态估计
方法。
93.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
94.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，确定为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
95.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
96.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
97.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，确定为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）、区块链网络和互联网。
98.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的
管理难度大，业务扩展性弱的缺陷。
99.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
100.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。