一种建模模型的训练方法、三维人体建模的方法以及装置与流程

本说明书涉及计算机视觉领域，尤其涉及一种建模模型的训练方法、三维人体建模的方法以及装置。

背景技术：

1、近年来，随着计算机视觉领域的迅速发展，诸如虚拟现实、增强现实等技术取得了较大的进展，与此同时，三维人体建模模型的构建也越来越受到人们的重视。

2、目前，可以基于预设的模型模板，通过拟合模型的参数来对三维人体建模模型进行构建。另外，也可以基于训练数据来构建三维人体建模模型。

3、但是，基于预设的模型模板的方式构建三维人体建模模型的准确性较低，基于训练数据构建三维人体建模模型的数据成本较高、复杂度较高，进而导致构建三维人体建模模型的执行效率较低。

4、因此，如何提高构建三维人体建模模型的执行效率以及准确性是一个亟待解决的问题。

技术实现思路

1、本说明书提供了一种建模模型的训练方法、三维人体建模的方法以及装置，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种建模模型的训练方法，包括：

4、获取人体二维图像；

5、根据所述人体二维图像，得到针对所述人体二维图像的图像代理特征，所述图像代理特征用于表征针对所述人体二维图像的整体的特征；

6、将所述图像代理特征输入到建模模型中的第一编码层，得到针对所述人体二维图像的顶点特征、关节点旋转特征、形状特征，以及将采集所述人体二维图像的相机的相机参数输入到所述第一编码层中，以得到相机特征；

7、将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征输入到所述建模模型中的第二编码层，以使所述第二编码层将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征关联，得到编码特征；

8、根据所述编码特征，得到所述人体二维图像对应的三维人体模型中包含的各模型顶点的顶点坐标集以及各关节点的关节点坐标集；

9、以最小化所述顶点坐标集与所述人体二维图像对应的实际顶点坐标集之间的偏差，以及最小化所述关节点坐标集与所述人体二维图像对应的实际关节点坐标集之间的偏差，对所述建模模型进行训练。

10、可选地，根据所述人体二维图像，得到针对所述人体二维图像的图像代理特征，具体包括：

11、将所述人体二维图像输入到预设的提取模型中，以使所述提取模型提取出针对所述人体二维图像的图像边缘特征；

12、获取所述人体二维图像的二维关节热力图特征；

13、将所述图像边缘特征与所述二维关节热力图特征进行拼接，得到拼接后特征，并将所述拼接后特征作为针对所述人体二维图像的图像代理特征。

14、可选地，关节点包括：各父关节点以及各子关节点，所述父关节点的关节点状态信息会影响该关节点的子关节点的关节点状态信息，所述关节点中不存在父关节点的为根关节点；

15、将所述图像代理特征输入到建模模型中的第一编码层，得到针对所述人体二维图像的关节点旋转特征，具体包括：

16、将所述图像代理特征输入到建模模型的第一编码层，以使所述第一编码层确定出针对所述人体二维图像的根关节点的关节点旋转特征，并根据所述根关节点的关节点旋转特征以及各关节点之间的联合概率分布，确定出各子关节点的关节点旋转特征，各关节点之间的联合概率分布用于表征各关节点之间的运动相关性。

17、可选地，将所述图像代理特征输入到建模模型的第一编码层，以使所述第一编码层确定出针对所述人体二维图像的根关节点的关节点旋转特征，具体包括：

18、将所述图像代理特征输入到建模模型的第一编码层，以使所述第一编码层确定出针对所述人体二维图像中根关节点所处邻域范围内符合费雪概率密度分布的各顶点位置，作为所述根关节点对应的各候选顶点位置，并从所述根关节点对应的各候选顶点位置中确定出费雪概率密度分布的众数所对应的部分顶点位置，并根据费雪概率密度分布的众数所对应的部分顶点位置，确定所述根关节点的旋转特征。

19、可选地，根据所述根关节点的关节点旋转特征以及各关节点之间的联合概率分布，确定出各子关节点的关节点旋转特征，具体包括：

20、针对每个子关节点，确定该子关节点所处邻域范围内符合费雪概率密度分布的各顶点位置，作为该子关节点对应的各候选顶点位置；

21、从该子关节点对应的各候选顶点位置中确定出费雪概率密度分布的众数所对应的部分顶点位置，并根据确定出的费雪概率密度分布的众数所对应的部分顶点位置，确定该子关节点的基础旋转特征；

22、根据该子关节点的基础旋转特征、该子关节点对应的父关节点的旋转特征以及该子关节点与父关节点之间的联合概率分布，确定该子关节点的旋转特征。

23、可选地，将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征输入到所述建模模型中的第二编码层，以使所述第二编码层将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征关联，得到编码特征，具体包括：

24、确定所述图像代理特征对应的各图像代理标记；

25、根据各图像代理标记以及所述顶点特征，确定所述顶点特征对应的各顶点标记，根据各图像代理标记以及所述关节点旋转特征，确定所述关节点旋转特征对应的各关节点旋转标记，根据各图像代理标记以及所述形状特征，确定所述形状特征对应的各形状标记，根据各图像代理标记以及所述相机特征，确定所述相机特征对应的各相机标记；

26、将图像代理特征以及所述图像代理特征对应的各图像代理标记、顶点特征以及所述顶点特征对应的各顶点标记、关节点旋转特征以及所述关节点旋转特征对应的各关节点旋转标记、形状特征以及所述形状特征对应的各形状标记，以及所述相机特征和所述相机特征对应的各相机标记输入到所述建模模型中的第二编码层，以使所述第二编码层根据各图像代理标记确定出所述图像代理特征包含的各图像代理特征之间的关联信息、根据各顶点标记确定出所述顶点特征包含的各顶点特征之间的关联信息、根据各关节点旋转标记确定出所述关节点旋转特征包含的各关节点旋转特征之间的关联信息、根据各形状标记确定出所述形状特征包含的各形状特征之间的关联信息，以及根据各相机标记确定出所述相机特征包含的各相机特征之间的关联信息。

27、本说明书提供了一种三维人体建模的方法，包括：

28、采集人体二维图像；

29、根据所述人体二维图像，得到针对所述人体二维图像的图像代理特征，所述图像代理特征用于表征针对所述人体二维图像的整体的特征；

30、将所述图像代理特征输入到预先训练的建模模型中的第一编码层，得到针对所述人体二维图像的顶点特征、关节点旋转特征、形状特征，以及将采集所述人体二维图像的相机的相机参数输入到所述第一编码层中，以得到相机特征，所述建模模型是通过上述方法训练得到的；

31、将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征输入到所述建模模型中的第二编码层，以使所述第二编码层将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征关联，得到编码特征；

32、根据所述编码特征，得到所述人体二维图像对应的三维人体模型中包含的各模型顶点的顶点坐标集以及各关节点的关节点坐标集；

33、根据所述各模型顶点的顶点坐标集和所述各关节点的关节点坐标集，进行人体三维建模，以得到所述人体二维图像对应的三维人体模型。

34、本说明书提供了一种建模模型的训练装置，包括：

35、获取模块：用于获取人体二维图像；

36、代理模块：用于根据所述人体二维图像，得到针对所述人体二维图像的图像代理特征，所述图像代理特征用于表征针对所述人体二维图像的整体的特征；

37、第一编码模块：用于将所述图像代理特征输入到建模模型中的第一编码层，得到针对所述人体二维图像的顶点特征、关节点旋转特征、形状特征，以及将采集所述人体二维图像的相机的相机参数输入到所述第一编码层中，以得到相机特征；

38、第二编码模块：用于将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征输入到所述建模模型中的第二编码层，以使所述第二编码层将所述图像代理特征、所述顶点特征、所述关节点旋转特征、所述形状特征以及所述相机特征关联，得到编码特征；

39、预测模块：用于根据所述编码特征，得到所述人体二维图像对应的三维人体模型中包含的各模型顶点的顶点坐标集以及各关节点的关节点坐标集；

40、训练模块：用于以最小化所述顶点坐标集与所述人体二维图像对应的实际顶点坐标集之间的偏差，以及最小化所述关节点坐标集与所述人体二维图像对应的实际关节点坐标集之间的偏差，对所述建模模型进行训练。

41、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述建模模型的训练方法或三维人体建模的方法。

42、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述建模模型的训练方法或三维人体建模的方法。

43、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

44、本说明书提供的建模模型的训练方法，首先获取人体二维图像，可以得到图像代理特征，将图像代理特征输入到第一编码层，得到顶点特征、关节点旋转特征、形状特征，并将采集人体二维图像的相机的相机参数输入到第一编码层中，得到相机特征。将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征输入到第二编码层，第二编码层可以将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征关联，得到编码特征，并根据编码特征，得到三维人体模型中包含顶点坐标集以及关节点坐标集，以最小化顶点坐标集与实际顶点坐标集之间的偏差，以及最小化关节点坐标集与实际关节点坐标集之间的偏差，对所述建模模型进行训练。

45、从上述方法中可以看出，建模模型可以从顶点、关节点等多个角度获取人体二维图像的特征，可以基于多角度的特征，构建出更为精准的三维人体模型，进而在使用建模模型的过程中，可以聚合人体二维图像多方面的特征，来得到更为精准的三维人体模型，并且在使用建模模型中，只需将人体二维图像输入模型中即可得到三维人体模型，进而提高了建模效率。