人体建模模型参数的训练方法、装置、设备及存储介质与流程

本发明涉及到深度学习领域，具体而言，涉及到一种人体建模模型参数的训练方法、装置、设备及存储介质。

背景技术：

1、三维人体建模的本质是将现实世界中的人体以三维数字化的方式在计算机中存储并表示，使得在计算机中能够重现现实人体真实的数字形象的技术。高质量的人体三维模型在金融领域有着广阔的应用前景，客户在线上通过手机端、电脑端等工具选购金融理财商品时，需要线上客服进行引导和解疑，因此可以利用三维人体建模生成虚拟人物形象，帮助客户选购金融理财商品或售后解答服务等，这样能够更真实地服务客户，提高客户的体验感。

2、但三维人体建模在计算机图形和视觉领域是一个长久研究的困难课题，由于人体的几何受相当多的因素的影响，包括性别，体态和姿态等。特别是姿态的变化，产生了人体复杂的大尺度非刚性形变，使得广泛应用于人脸的形状混合(blendshape)和主成分分析(pca)等线性变形分析方法难以直接应用于人体的变形。

3、在利用人体建模模型进行三维人体建模时，一般会采用二维关键点数据、三维关键点数据、体型参数数据、姿态参数数据的约束来训练整个模型从而预测人体建模模型参数。但是这种训练方式没有考虑到三维人体的细节，无法进行更好的参数训练，导致人体建模模型的精度不足。因此人体建模模型生成的人物虚拟形象不够真实，无法更好地服务客户，降低客户的购物体验。

技术实现思路

1、本发明的主要目的为提供一种人体建模模型参数的训练方法、装置、设备及存储介质，旨在解决对人体建模模型进行约束训练时没有考虑到三维人体细节，导致人体建模模型精度不足，生成的人物虚拟形象不够真实的技术问题。

2、本发明公开了以下技术方案：

3、一种人体建模模型参数的训练方法，包括：

4、获取训练集，所述训练集包括人体图像数据、二维关键点真值、三维关键点真值、体型参数真值、姿态参数真值；

5、将所述人体图像数据输入人体建模模型中，计算二维关键点预测值、三维关键点预测值、人体模型顶点预测值、体型参数预测值、姿态参数预测值；

6、利用所述二维关键点预测值和所述二维关键点真值计算所述人体建模模型的二维关键点损失函数，同时利用所述三维关键点预测值和所述三维关键点真值，计算所述人体建模模型的三维关键点损失函数；

7、根据所述二维关键点损失函数和所述三维关键点损失函数，调整所述人体建模模型的参数，得到第一优化人体建模模型；

8、根据所述体型参数真值和所述姿态参数真值计算人体模型顶点真值；

9、利用所述人体模型顶点预测值和所述人体模型顶点真值计算所述人体建模模型顶点损失函数，同时利用所述体型参数预测值、所述姿态参数预测值、所述体型参数真值、所述姿态参数真值计算所述人体建模模型的体型姿态损失函数；

10、根据所述体型姿态损失函数和所述顶点损失函数，调整所述第一优化人体建模模型的参数，得到第二优化人体建模模型。

11、进一步地，所述利用所述人体模型顶点预测值和所述人体模型顶点真值计算所述人体建模模型顶点损失函数的步骤，包括：

12、根据下述公式计算所述人体建模模型的顶点损失函数：

13、

14、其中：为所述人体模型顶点预测值，为所述人体模型顶点真值，i为身体网格顶点序号。

15、进一步地，所述利用所述体型参数预测值、所述姿态参数预测值、所述体型参数真值、所述姿态参数真值计算所述人体建模模型的体型姿态损失函数的步骤，包括：

16、根据下述公式计算所述人体建模模型的体型姿态损失函数：

17、lsmpl＝||θ-θgt||2+||β-βgt||2

18、其中：θ为所述体型参数预测值，θgt为所述体型参数真值，β为所述姿态参数预测值，βgt为所述姿态参数真值。

19、进一步地，所述利用所述二维关键点预测值和所述二维关键点真值计算所述人体建模模型的二维关键点损失函数的步骤，包括：

20、根据下述公式计算所述人体建模模型的二维关键点损失函数：

21、

22、其中：为所述二维关键点预测值，为所述二维关键点真值，k为人体关节点序号。

23、进一步地，所述利用所述三维关键点预测值和所述三维关键点真值，计算所述人体建模模型的三维关键点损失函数的步骤，包括：

24、根据下述公式计算所述人体建模模型的三维关键点损失函数：

25、

26、其中：为所述三维关键点预测值，为所述三维关键点真值，k为人体关节点序号。

27、进一步地，所述根据所述二维关键点损失函数和所述三维关键点损失函数，调整所述人体建模模型的参数，得到第一优化人体建模模型的步骤，包括：

28、对所述二维关键点损失函数、所述三维关键点损失函数进行加权求和，得到所述人体建模模型的第一损失函数；

29、根据所述第一损失函数进行误差的反向传播，调整所述人体建模模型的参数，得到第一优化人体建模模型。

30、进一步地，所述根据所述体型姿态损失函数和所述顶点损失函数，调整所述第一优化人体建模模型的参数，得到第二优化人体建模模型的步骤，包括：

31、对所述体型姿态损失函数、所述顶点损失函数进行加权求和，得到所述人体建模模型的第二损失函数；

32、根据所述第二损失函数进行误差的反向传播，调整所述第一优化人体建模模型的参数，得到第二优化人体建模模型。

33、本技术还提供一种人体建模模型参数的训练装置，包括：

34、获取模块，用于获取训练集，所述训练集包括人体图像数据、二维关键点真值、三维关键点真值、体型参数真值、姿态参数真值；

35、第一计算模块，用于将所述人体图像数据输入人体建模模型中，计算二维关键点预测值、三维关键点预测值、人体模型顶点预测值、体型参数预测值、姿态参数预测值；

36、第二计算模块，用于利用所述二维关键点预测值和所述二维关键点真值计算所述人体建模模型的二维关键点损失函数，同时利用所述三维关键点预测值和所述三维关键点真值，计算所述人体建模模型的三维关键点损失函数；

37、第一调整模块，用于根据所述二维关键点损失函数和所述三维关键点损失函数，调整所述人体建模模型的参数，得到第一优化人体建模模型；

38、第三计算模块，用于根据所述体型参数真值和所述姿态参数真值计算人体模型顶点真值；

39、第四计算模块，用于利用所述人体模型顶点预测值和所述人体模型顶点真值计算所述人体建模模型顶点损失函数，同时利用所述体型参数预测值、所述姿态参数预测值、所述体型参数真值、所述姿态参数真值计算所述人体建模模型的体型姿态损失函数；

40、第二调整模块，用于根据所述体型姿态损失函数和所述顶点损失函数，调整所述第一优化人体建模模型的参数，得到第二优化人体建模模型。

41、进一步地，所述第四计算模块60，包括：

42、顶点损失函数计算单元，用于根据下述公式计算所述人体建模模型的顶点损失函数：

43、

44、其中：为所述人体模型顶点预测值，为所述人体模型顶点真值，i为身体网格顶点序号

45、进一步地，所述第四计算模块60，包括：

46、体型姿态损失函数计算单元，用于根据下述公式计算所述人体建模模型的体型姿态损失函数：

47、lsmpl＝||θ-θgt||2+||β-βgt||2

48、其中：θ为所述体型参数预测值，θgt为所述体型参数真值，β为所述姿态参数预测值，βgt为所述姿态参数真值。

49、进一步地，第二计算模块30，包括：

50、二维关键点损失函数计算单元，用于根据下述公式计算所述人体建模模型的二维关键点损失函数：

51、

52、其中：为所述二维关键点预测值，为所述二维关键点真值，k为人体关节点序号。

53、本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

54、本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

55、有益效果：

56、本技术针对人体建模模型的顶点提出了一种新的约束，即人体模型顶点预测值和人体模型顶点真值计算的顶点损失函数对人体建模模型进行约束，弥补了现有损失函数对人体建模模型本身约束的缺失，能够起到更好的训练效果，提升人体建模模型估计精度，这样一来，人体建模模型生成的人物虚拟形象足够真实，可以更好地服务客户，提高了客户的购物体验。

57、其次，本技术提出的顶点损失函数改进方法可以与现有的三维人体估计方法结合，以很小的代码修改量提升效果，提高了效率，节约了资源，降低工程优化和改进的成本。

58、另外，本技术先使用二维关键点损失函数、三维关键点损失函数进行训练，待训练达到稳定时，再使用体型姿态损失函数、顶点损失函数进行第二步的训练。这样的训练策略能够使人体建模模型更好地拟合到真值上，从而达到更好的效果。

59、最后，人体建模模型顶点损失约束可以推广到其他三维人体建模方法，有很大的发展潜力。