一种多视角三维人体姿态估计方法、装置及存储介质与流程

本说明书涉及计算机，尤其涉及一种多视角三维人体姿态估计方法、装置及存储介质。

背景技术：

1、目前，三维人体姿态估计应用领域越来越广，如，体态健康检测、健身动作指导、跌倒检测、手语翻译、步态分析、三维特效电影等。

2、在现有技术中，采用单视角三维人体姿态估计的方法，由于仅采集单一视角的图像进行姿态估计，因此采集到的图像较为单一，导致人体姿态估计结果不够准确。于是，为了保证人体姿态估计结果的准确，通常采用多视角三维人体姿态估计的方法。先采集的各视角图像，通过图形结构模型(pictorial structures model，psm)，确定各视角下的二维人体姿态，二维人体姿态被表示为多个二维关节点连接而成的骨架形式，然后再将各二维人体姿态中的关节点映射到三维空间，得到用三维关节点表示的骨架形式的三维人体姿态。

3、但是，由于通过psm得到的三维人体姿态以骨架形式表示，而人体姿态不止由骨架结构决定，还由肌肉形态影响，通过psm得到的三维人体姿态中无法确定出同一骨架结构下由不同的肌肉形态导致的不同人体姿态，使得基于psm得到的三维人体姿态不够准确。

4、所以，如何确定准确度高的三维人体姿态是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种多视角三维人体姿态估计方法、装置、存储介质及电子设备，以至少部分地解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种多视角三维人体姿态估计方法，包括：

4、获取通过不同视角采集的人体图像，并将各人体图像输入三维人体姿态估计模型的视角内模块；

5、针对每个人体图像，通过所述视角内模块，得到该人体图像的中间特征，根据所述中间特征，确定该人体图像对应的二维表征参数，所述二维表征参数包括相机位姿参数、人体姿态参数和人体形状参数；

6、根据各人体姿态参数，确定第一姿态参数，根据各人体形状参数，确定第一形状参数；

7、将各人体图像的中间特征、各二维表征参数的相机位姿参数、各二维表征参数的人体姿态参数、所述第一姿态参数和所述第一形状参数输入所述三维人体姿态估计模型的视角间模块，进行特征融合，确定表征各人体图像的三维表征参数，所述三维表征参数至少包括第二姿态参数和第二形状参数；

8、将所述第二姿态参数和所述第二形状参数，输入预设的人体模型，得到预估的三维人体姿态。

9、可选的，采用下述方法训练所述三维人体姿态估计模型，其中：

10、获取对同一人体姿态采集的不同视角的样本图像；

11、将各样本图像输入待训练的三维人体姿态估计模型中的视角内模块，得到所述视角内模块输出的各样本图像分别对应的二维表征参数；

12、分别确定各样本图像的视角内标注，针对每个样本图像，根据该样本图像的视角内标注和所述二维表征参数，确定该样本图像的视角内损失，并根据所述视角内损失训练所述视角内模块；

13、当所述视角内模块训练完成时，将各样本图像输入所述训练完成的视角内模块，确定所述训练完成的视角内模块得到的各中间特征以及输出的各二维表征参数；

14、根据各人体姿态参数，确定第一姿态参数，根据各人体形状参数，确定第一形状参数；

15、将所述视角内模块确定的各中间特征、各二维表征参数包含的相机位姿参数、各二维表征参数包含的人体姿态参数、所述第一姿态参数和所述第一形状参数，输入所述待训练的视角间模块，进行特征融合，得到所述待训练的视角间模块输出的三维表征参数；

16、确定视角间标注，根据所述视角间标注和所述三维表征参数，确定视角间损失，并根据所述视角间损失训练所述视角间模块。

17、可选的，分别确定各样本图像的视角内标注，具体包括：

18、针对每个样本图像，将该样本图像输入预设的神经网络，确定该样本图像对应的各基准二维关节点；

19、确定该样本图像的所述二维表征参数包含的人体姿态参数和该样本图像的二维表征参数包含的人体形状参数，输入预设的优化算法，得到该图像对应的第一基准姿态参数和第一基准形状参数；

20、将各基准二维关节点、所述第一基准姿态参数和所述第一基准形状参数，作为该样本图像的所述视角内标注。

21、可选的，根据该样本图像的视角内标注和所述二维表征参数，确定该样本图像的视角内损失，具体包括：

22、将该样本图像的二维表征参数包含的所述人体姿态参数和该样本图像的二维表征参数包含的所述人体形状参数，输入所述人体模型，确定该样本图像对应的初始三维姿态以及所述初始三维姿态中的各三维关节点；

23、根据该样本图像的二维表征参数包含的相机位姿参数，将所述初始三维姿态投影为二维姿态图，并根据所述相机位姿参数，确定各三维关节点在所述二维姿态图中的各预测二维关节点；

24、针对每个预测二维关节点，确定与该预测二维关节点对应的基准二维关节点，以及确定该预测二维关节点与所述基准二维关节点对应的概率，作为该预测二维关节点的匹配概率；

25、根据各预测二维关节点与自身对应的基准二维关节点的距离，以及所述各预测二维关节点的匹配概率，确定该样本图像的第一损失；

26、根据该样本图像的二维表征参数包含的人体姿态参数和该样本图像的所述第一基准姿态参数的距离，以及该样本图像的二维表征参数包含的人体形状参数和该样本图像的所述第一基准形状参数的距离，确定该样本图像的第二损失；

27、根据所述第一损失和所述第二损失，确定该样本图像的视角内损失。

28、可选的，所述三维表征参数包括各相机位姿参数、各人体姿态参数、所述第二姿态参数和所述第二形状参数；

29、确定视角间标注，具体包括：

30、针对每个样本图像，将该样本图像输入预设的神经网络，确定该样本图像对应的各基准二维关节点；

31、确定所述三维表征参数包含的各样本图像对应的人体姿态参数、所述三维表征参数包含的所述第二姿态参数以及所述三维表征参数包含的所述第二形状参数，分别输入预设的优化算法，得到各基准姿态参数、第二基准姿态参数和第二基准形状参数；

32、将各样本图像对应的各基准二维关节点、各样本图像对应的各基准姿态参数、所述第二基准姿态参数和所述第二基准形状参数，作为视角间标注。

33、可选的，根据所述视角间标注和所述三维表征参数，确定视角间损失，具体包括：

34、将所述三维表征参数包含的所述第二姿态参数和所述三维表征参数包含的所述第二形状参数，输入所述人体模型，确定初始三维姿态以及所述初始三维姿态中各三维关节点；

35、针对每个样本图像，根据所述三维表征参数包含的该样本图像对应的相机位姿参数，将所述初始三维姿态投影为二维姿态图，并根据所述三维表征参数包含的该样本图像对应的相机位姿参数，确定各三维关节点在所述二维姿态图中的各预测二维关节点；

36、针对每个预测二维关节点，确定与该预测二维关节点对应的基准二维关节点，以及确定该二维关节点与所述基准二维关节点之间对应的概率，作为该预测二维关节点的匹配概率；

37、根据各预测二维关节点与自身对应的基准二维关节点的距离，以及所述各预测二维关节点的匹配概率，确定所述视角间模块的第三损失；

38、确定所述三维表征参数包含的所述第二姿态参数与所述第二基准姿态参数的距离；确定三维表征参数包含的所述第二形状参数与所述第二基准形状参数的距离；确定所述三维表征参数包含的各人体姿态参数与自身对应的基准姿态参数的距离；

39、根据确定出的各距离，确定所述视角间模块的第四损失；

40、根据所述第三损失和所述第四损失，确定该样本图像的视角内损失。

41、可选的，根据各人体姿态参数，确定第一姿态参数，根据各人体形状参数，确定第一形状参数，具体包括：

42、确定所述视角内模块的各视角内损失，将最小的视角内损失对应的人体姿态参数，作为所述第一姿态参数，将最小的视角内损失对应的人体形状参数，作为所述第一形状参数。

43、可选的，确定各三维关节点在所述二维姿态图中的各预测二维关节点，具体包括：

44、确定各三维关节点在所述二维姿态图中的各备选二维关节点；

45、针对每个备选二维关节点，确定与该备选二维关节点对应的基准二维关节点，以及确定该备选二维关节点与所述基准二维关节点对应的概率，作为该备选二维关节点的匹配概率；

46、若该预测二维关节点的匹配概率大于指定阈值，将该备选二维关节点作为预测二维关节点，若该备选二维关节点的匹配概率不大于指定阈值，将该备选二维关节点作为无效二维关节点，不用于预测二维关节点确定所述第一损失或所述第三损失。

47、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多视角三维人体姿态估计方法。

48、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多视角三维人体姿态估计方法。

49、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

50、在本说明书提供的多视角三维人体姿态估计方法中，先通过三维人体姿态估计模型的视角内模块确定各人体图像的二维表征参数，再通过各人体图像的中间特征和二维表征参数确定表征各人体图像的三维表征参数，该三维表征参数至少包含第二形状参数和第二姿态参数，将第二形状参数和第二姿态参数输入预设的人体模型，得到预估的三维人体姿态。这样，在参数形式下，对各人体图像进行特征融合，确定表征各人体图像的三维表征参数，由于通过人体模型得到三维人体姿态是由骨架结构和肌肉形态共同影响下的三维人体姿态，所以预估得到的各视角图像对应的三维人体姿态更加准确。