三维人体重建方法、装置、设备、存储介质及程序产品与流程

本技术涉及计算机应用，尤其涉及三维人体重建方法、装置、设备、存储介质及程序产品。

背景技术：

1、计算机视觉在当今信息社会下拥有众多的应用场景，被利用在很多领域中，如军事、安保和医疗等，其中三维重建的研究在计算机视觉的领域中占有极高的位置。随着三维人体重建(即3d人体重建)技术的发展，当应用在视频分析时，人体运动、场景变换或者镜头运动等都会导致三维人体重建信息存在时序上的抖动性。以人体3d特效业务场景为例，特效的抖动造成了极差的用户体验。因此，如何避免三维人体重建视频在时序上的抖动性，是目前亟需解决的技术问题。

技术实现思路

1、本技术实施例提供了三维人体重建方法、装置、设备、存储介质及程序产品，能够有效提升三维人体重建视频在时序上的稳定性和准确性。

2、一方面，本技术实施例提供一种三维人体重建方法，该方法包括：

3、对视频中的各帧所包含的至少一个对象进行三维人体重建信息提取，得到所述至少一个对象在所述各帧中的三维人体重建信息；其中，所述三维人体重建信息包括人体参数信息；

4、确定所述视频中出现目标对象的连续n帧，n为正整数；

5、将所述目标对象在所述n帧中的人体参数信息输入至三维人体时序模型，通过所述三维人体时序模型对所述目标对象在所述n帧中的人体参数信息进行时序调整，得到所述目标对象在所述n帧中的调整后的人体参数信息；

6、基于所述目标对象在所述n帧中的调整后的人体参数信息，对所述至少一个对象在所述各帧中的三维人体重建信息进行更新，得到所述至少一个对象在所述各帧中的更新后的三维人体重建信息；

7、基于所述至少一个对象在所述各帧中的更新后的三维人体重建信息，进行三维人体重建，得到重建视频。

8、在一个实施例中，所述三维人体时序模型的训练方法包括：

9、获取训练样本，所述训练样本包括训练视频，以及目标训练对象的第一标注信息，所述第一标注信息用于标注所述目标训练对象在所述训练视频的k帧中的人体参数信息，所述k帧指的是所述训练视频中出现所述目标训练对象的连续帧，k为正整数；

10、对所述训练视频的k帧所包含的目标训练对象进行三维人体重建信息提取，得到所述目标训练对象在所述训练视频的k帧中的人体参数信息；

11、调用初始三维人体时序模型，对所述目标训练对象在所述训练视频的k帧中的人体参数信息进行时序调整，得到所述目标训练对象在所述训练视频的k帧中的调整后的人体参数信息；

12、按照减小所述目标训练对象在所述训练视频的k帧中的调整后的人体参数信息，与所述目标训练对象的第一标注信息的差异的训练方向，对所述初始三维人体时序模型进行训练，得到所述三维人体时序模型。

13、在一个实施例中，所述至少一个对象在所述各帧中的三维人体重建信息是通过三维人体重建模型得到的，所述三维人体重建模型的训练方法包括：

14、获取训练样本，所述训练样本包括训练视频，以及所述训练视频中的各帧所包含的至少一个训练对象的第二标注信息，所述第二标注信息用于标注相应训练对象在各帧中的人体参数信息；

15、调用初始三维人体重建模型，对所述训练视频中的各帧所包含的至少一个对象进行三维人体重建信息提取，得到所述至少一个训练对象在所述训练视频的各帧中的人体参数信息；

16、按照减小所述至少一个训练对象在所述训练视频的各帧中的人体参数信息，与所述至少一个训练对象的第二标注信息的差异的训练方向，对所述初始三维人体重建模型进行训练，得到所述三维人体重建模型。

17、在一个实施例中，所述训练样本还包括所述至少一个训练对象的第三标注信息，所述第三标注信息用于标注相应训练对象在各帧中的三维人体关键点坐标；所述三维人体重建模型的训练方法还包括：

18、基于所述至少一个训练对象在所述训练视频的各帧中的人体参数信息，对所述至少一个训练对象在所述训练视频的各帧中的三维人体关键点进行识别，得到所述至少一个训练对象在所述训练视频的各帧中的三维人体关键点坐标；

19、所述按照减小所述至少一个训练对象在所述训练视频的各帧中的人体参数信息，与所述至少一个训练对象的第二标注信息的差异的训练方向，对所述初始三维人体重建模型进行训练，得到所述三维人体重建模型，包括：

20、按照减小所述至少一个训练对象在所述训练视频的各帧中的人体参数信息，与所述至少一个训练对象的第二标注信息的差异，以及所述至少一个训练对象在所述训练视频的各帧中的三维人体关键点坐标，与所述至少一个训练对象的第三标注信息的差异的训练方向，对所述初始三维人体重建模型进行训练，得到所述三维人体重建模型。

21、在一个实施例中，所述训练样本还包括所述至少一个训练对象的第四标注信息，所述第四标注信息用于标注相应训练对象在各帧中的二维人体关键点坐标；所述三维人体重建模型的训练方法还包括：

22、基于所述至少一个训练对象在所述训练视频的各帧中的人体参数信息，对所述至少一个训练对象在所述训练视频的各帧中的三维人体关键点进行识别，得到所述至少一个训练对象在所述训练视频的各帧中的三维人体关键点坐标；

23、根据所述至少一个训练对象在所述训练视频的各帧中的三维人体关键点坐标，以及所述训练视频的各帧的相机外参信息，对所述至少一个训练对象在所述训练视频的各帧中的二维人体关键点进行识别，得到所述至少一个训练对象在所述训练视频的各帧中的二维人体关键点坐标；

24、所述按照减小所述至少一个训练对象在所述训练视频的各帧中的人体参数信息，与所述至少一个训练对象的第二标注信息的差异的训练方向，对所述初始三维人体重建模型进行训练，得到所述三维人体重建模型，包括：

25、按照减小所述至少一个训练对象在所述训练视频的各帧中的人体参数信息，与所述至少一个训练对象的第二标注信息的差异，以及所述至少一个训练对象在所述训练视频的各帧中的二维人体关键点坐标，与所述至少一个训练对象的第四标注信息的差异的训练方向，对所述初始三维人体重建模型进行训练，得到所述三维人体重建模型。

26、在一个实施例中，所述基于所述目标对象在所述n帧中的调整后的人体参数信息，对所述至少一个对象在所述各帧中的三维人体重建信息进行更新，得到所述至少一个对象在所述各帧中的更新后的三维人体重建信息，包括：

27、通过预设滤波器对所述目标对象在所述n帧中的调整后的人体参数信息进行时序平滑处理，得到所述目标对象在所述n帧中的平滑后的人体参数信息；

28、基于所述目标对象在所述n帧中的平滑后的人体参数信息，对所述至少一个对象在所述各帧中的三维人体重建信息进行更新，得到所述至少一个对象在所述各帧中的更新后的三维人体重建信息。

29、在一个实施例中，所述三维人体重建信息还包括相机外参信息；所述基于所述目标对象在所述n帧中的平滑后的人体参数信息，对所述至少一个对象在所述各帧中的三维人体重建信息进行更新，得到所述至少一个对象在所述各帧中的更新后的三维人体重建信息，包括：

30、通过预设滤波器对所述n帧的相机外参信息进行时序平滑处理，得到所述n帧的平滑后的相机外参信息；

31、基于所述目标对象在所述n帧中的平滑后的人体参数信息，以及所述n帧的平滑后的相机外参信息，对所述至少一个对象在所述各帧中的三维人体重建信息进行更新，得到所述至少一个对象在所述各帧中的更新后的三维人体重建信息。

32、另一方面，本技术实施例提供了一种三维人体重建装置，该三维人体重建装置包括：

33、信息提取单元，用于对视频中的各帧所包含的至少一个对象进行三维人体重建信息提取，得到所述至少一个对象在所述各帧中的三维人体重建信息；其中，所述三维人体重建信息包括人体参数信息；

34、连续帧确定单元，用于确定所述视频中出现目标对象的连续n帧，n为正整数；

35、时序调整单元，用于将所述目标对象在所述n帧中的人体参数信息输入至三维人体时序模型，通过所述三维人体时序模型对所述目标对象在所述n帧中的人体参数信息进行时序调整，得到所述目标对象在所述n帧中的调整后的人体参数信息；

36、信息更新单元，用于基于所述目标对象在所述n帧中的调整后的人体参数信息，对所述至少一个对象在所述各帧中的三维人体重建信息进行更新，得到所述至少一个对象在所述各帧中的更新后的三维人体重建信息；

37、三维人体重建单元，用于基于所述至少一个对象在所述各帧中的更新后的三维人体重建信息，进行三维人体重建，得到重建视频。

38、另一方面，本技术实施例提供一种计算机设备，包括处理器、存储装置和通信接口，处理器、存储装置和通信接口相互连接，其中，存储装置用于存储支持计算机设备执行上述方法的计算机程序，计算机程序包括程序指令，处理器被配置用于调用程序指令，执行如下步骤：

39、对视频中的各帧所包含的至少一个对象进行三维人体重建信息提取，得到所述至少一个对象在所述各帧中的三维人体重建信息；其中，所述三维人体重建信息包括人体参数信息；

40、确定所述视频中出现目标对象的连续n帧，n为正整数；

41、将所述目标对象在所述n帧中的人体参数信息输入至三维人体时序模型，通过所述三维人体时序模型对所述目标对象在所述n帧中的人体参数信息进行时序调整，得到所述目标对象在所述n帧中的调整后的人体参数信息；

42、基于所述目标对象在所述n帧中的调整后的人体参数信息，对所述至少一个对象在所述各帧中的三维人体重建信息进行更新，得到所述至少一个对象在所述各帧中的更新后的三维人体重建信息；

43、基于所述至少一个对象在所述各帧中的更新后的三维人体重建信息，进行三维人体重建，得到重建视频。

44、另一方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行上述三维人体重建方法。

45、另一方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序适于由处理器加载并执行上述三维人体重建方法。

46、本技术实施例中，通过三维人体时序模型对目标对象在n帧中的人体参数信息进行时序调整，得到目标对象在n帧中的调整后的人体参数信息，可实现对连续帧的去抖动性，确保目标对象在n帧中的调整后的人体参数信息在时序上是稳定以及准确的。基于此，根据目标对象在n帧中的调整后的人体参数信息，对至少一个对象在各帧中的三维人体重建信息进行更新，得到至少一个对象在各帧中的更新后的三维人体重建信息，基于至少一个对象在各帧中的更新后的三维人体重建信息，进行三维人体重建，得到重建视频，可确保三维人体重建视频在时序上的稳定性和准确性。