一种基于图卷积的人体姿态估计方法

本申请涉及图像处理，具体地，涉及一种基于图卷积的人体姿态估计方法。

背景技术：

1、3d人体姿态估计是计算机视觉领域的热点问题之一，其旨在从图像回归人体关键点3d位置。3d人体姿态估计技术在动作识别、人机交互、虚拟现实等领域具有广泛的应用价值。3d人体姿态估计方法包括单阶段和双阶段方法。单阶段方法是直接根据输入的图像回归出图像中人物的3d关节点坐标。双阶段方法由2d人体姿态估计方法和2d到3d的提升方法组合而成。近期研究主要聚焦于2d到3d提升的方法，这些方法是利用成熟的2d人体姿态估计方法估计出的2d姿态来预测3d姿态。由于2d姿态包含的信息量较少，并且2d到3d的映射具有深度模糊性，这使得一个2d姿态可能对应多个合理的3d姿态。目前，2d到3d人体姿态估计任务仍是一个有待进一步解决的病态问题。

2、将人体的2d关节点视为点，躯干视为边，2d人体姿态可以建模成图结构。在双阶段方法的2d-to-3d阶段，使用图卷积方法有利于利用节点及其与躯干之间的几何关联先验知识。目前，基于图卷积的模型获得了良好的3d hpe估计结果。图卷积方法也存在一些局限性，例如不能串联叠加过多层，防止梯度爆炸和梯度消失。串联层数的限制导致了一般图卷积方法的总感受野受限。

技术实现思路

1、为了克服现有技术中的至少一个不足，本申请提供一种基于图卷积的人体姿态估计方法。

2、第一方面，提供一种人体姿态估计图卷积网络，包括：升维模块、残差连接模块和降维模块；

3、升维模块包括三个串联的sgcr图卷积层，用于对输入的人体2d姿态信息进行升维操作，得到高维特征；

4、残差连接模块，用于对高维特征进行处理，得到残差特征；残差连接模块包括n个残差单元和1个sgcr图卷积层，每个残差单元包括2个sgcr图卷积层，前一个残差单元的输入跳跃连接到下一个残差单元的输入；

5、降维模块包括三个串联的sgcr图卷积层，用于对残差特征进行降维操作，得到人体3d姿态信息。

6、在一个实施例中，sgcr图卷积层，采用以下公式表示：

7、fl+1＝leakyrelu(layernorm(sk)flθl)

8、其中，fl+1为第l个sgcr图卷积层的输出特征，leakyrelu为激活函数，layernorm为层归一化函数，s为归一化的邻接矩阵，邻接矩阵中元素的取值与人体关节点的连接关系有关，k为sgcr图卷积层的感受野大小，fl为第l个sgcr图卷积层的输入特征，θl为第l个sgcr图卷积层的卷积核。

9、在一个实施例中，升维模块中的sgcr图卷积层的感受野大小k取值为3。

10、在一个实施例中，残差连接模块中的sgcr图卷积层的感受野大小k取值为7。

11、第二方面，提供一种基于图卷积的人体姿态估计方法，包括：

12、获取人体2d姿态信息；

13、将人体2d姿态信息输入到人体姿态估计图卷积网络，得到人体3d姿态信息；

14、人体姿态估计图卷积网络为上述的人体姿态估计图卷积网络。

15、在一个实施例中，人体姿态估计图卷积网络为训练后的网络，训练过程中采用的损失函数为：

16、

17、其中，lmse为损失函数，t为训练样本总数，i为第i个训练样本，为第i个训练样本的真实的人体3d姿态信息，为网络预测的人体3d姿态信息。

18、第三方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，以实现上述的基于图卷积的人体姿态估计方法。

19、第四方面，提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时，以实现上述的基于图卷积的人体姿态估计方法。

20、相对于现有技术而言，本申请具有以下有益效果：本申请的基于图卷积的人体姿态估计方法，构建一个2d-to-3d人体姿态估计图卷积网络sgcrpose，其具有更大的感受野，可以充分利用图结构信息，得到人体3d姿态信息；经实验结果显示，相比以往单帧单目3d人体姿态估计方法，sgcrpose具有更高的人体3d姿态估计精度；本申请方法总感受野远大于同类方法，并且精度高于现有图卷积3d人体姿态估计方法。

技术特征：

1.一种人体姿态估计图卷积网络，其特征在于，包括：升维模块、残差连接模块和降维模块；

2.如权利要求1所述的网络，其特征在于，所述sgcr图卷积层，采用以下公式表示：

3.如权利要求1所述的网络，其特征在于，所述升维模块中的sgcr图卷积层的感受野大小k取值为3。

4.如权利要求1所述的网络，其特征在于，所述残差连接模块中的sgcr图卷积层的感受野大小k取值为7。

5.一种基于图卷积的人体姿态估计方法，其特征在于，包括：

6.如权利要求5所述的方法，其特征在于，所述人体姿态估计图卷积网络为训练后的网络，训练过程中采用的损失函数为：

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，以实现权利要求5或6所述的基于图卷积的人体姿态估计方法。

8.一种计算机程序产品，其特征在于，包括计算机程序/指令，所述计算机程序/指令被处理器执行时，以实现权利要求5或6所述的基于图卷积的人体姿态估计方法。

技术总结
本申请涉及一种基于图卷积的人体姿态估计方法，包括：获取人体2D姿态信息；将人体2D姿态信息输入到人体姿态估计图卷积网络，得到人体3D姿态信息。本申请构建一个2D‑to‑3D人体姿态估计图卷积网络SGCRPose，其具有更大的感受野，可以充分利用图结构信息，得到人体3D姿态信息；经实验结果显示，相比以往单帧单目3D人体姿态估计方法，SGCRPose具有更高的人体3D姿态估计精度。

技术研发人员：祝轩,郄博达,汪霖,万琦玥,李敬铮,杨雨欣,孙逸霏
受保护的技术使用者：西北大学
技术研发日：
技术公布日：2024/3/11