基于多视角视频的实时动态人体新视角渲染方法及系统

本发明涉及计算机视觉和计算机图形学，特别是涉及基于多视角视频的实时动态人体新视角渲染方法及系统。

背景技术：

1、在生产、生活中，人与人之间的实时远程视频通话技术已经被广泛地使用。随着人们对远程通信沉浸感与体验感的追求不断提高，实现三维的、立体的、可自由变换视角的实时远程通信成为了新的技术需求。动态三维人体重建技术在虚拟现实、增强现实、远程通信、影视动画等领域具有广泛的应用前景和重要的应用价值。在实际应用中，人们常常有实时通信的需求，相较于常规的二维视频，更具有立体感三维视频能够带来更加沉浸式的体验。因此如何实现新视角渲染是目前技术的一项空白。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此，本发明提出了一种基于多视角视频的实时动态人体新视角渲染方法，能够通过用户拍摄的多视角人体运动视频，实现对目标三维人体的实时三维重建，并渲染出任意视角下的图像，实现具有三维立体感的呈现效果。

3、本发明的另一个目的在于提出一种基于多视角视频的实时动态人体新视角渲染系统。

4、为达上述目的，本发明一方面提出一种基于多视角视频的实时动态人体新视角渲染方法，包括：

5、基于多视角的人体图像信息估计人体的姿态参数；

6、基于所述姿态参数构建人体的三维几何场和纹理特征场；

7、基于隐式神经网络对拍摄视角图像进行体渲染得到拍摄视角渲染图像，并构建所述拍摄视角渲染图像与所述拍摄视角图像之间的一致性约束，以将所述三维几何场和纹理特征场作为优化的变量得到优化后的纹理特征场；

8、基于所述优化后的纹理特征场和所述人体图像信息进行人体新视角渲染以得到新视角渲染图像。

9、本发明实施例的基于多视角视频的实时动态人体新视角渲染方法还可以具有以下附加技术特征：

10、在本发明的一个实施例中，基于多视角的人体图像信息估计人体的姿态参数，包括：

11、获取多视角的人体图像信息；

12、利用二维人体姿态估计工具计算人体图像信息中人体关节点的二维坐标；

13、基于所述人体关节点的二维坐标和人体多视图几何信息求解三维人体姿态

14、在本发明的一个实施例中，基于所述姿态参数构建人体的三维几何场和纹理特征场，包括：

15、构建用于表征三维几何场和纹理特征场的三维体素；

16、利用所述三维体素表示所述三维人体姿态以得到标准空间下的人体几何信息和人体表面纹理特征。

17、在本发明的一个实施例中，所述三维几何场记录当前三维体素的有向距离函数值，即当前三维体素位置上距离人体表面最近点的距离值；对于人体内部的三维体素，距离值为负，对于人体外部的三维体素，距离值为正。

18、在本发明的一个实施例中，基于隐式神经网络对拍摄视角图像进行体渲染得到拍摄视角渲染图像，包括：

19、对拍摄视角图像的一个像素所在方向投射一条光线，采样若干光线点，并通过隐式神经网络计算光线点的颜色值；

20、通过查询所述三维几何场得到所述光线点的密度信息；

21、基于所述光线点的颜色值和密度信息进行加权积分得到像素的颜色数据，以得到拍摄视角渲染图像。

22、为达上述目的，本发明另一方面提出一种基于多视角视频的实时动态人体新视角渲染系统，包括：

23、姿态参数估计模块，用于基于多视角的人体图像信息估计人体的姿态参数；

24、人体特征表征模块，用于基于所述姿态参数构建人体的三维几何场和纹理特征场；

25、特征变量优化模块，用于基于隐式神经网络对拍摄视角图像进行体渲染得到拍摄视角渲染图像，并构建所述拍摄视角渲染图像与所述拍摄视角图像之间的一致性约束，以将所述三维几何场和纹理特征场作为优化的变量得到优化后的纹理特征场；

26、视角图像渲染模块，用于基于所述优化后的纹理特征场和所述人体图像信息进行人体新视角渲染以得到新视角渲染图像。

27、本发明实施例的基于多视角视频的实时动态人体新视角渲染方法和系统，能够通过用户拍摄的多视角人体运动视频，实现对目标三维人体的实时三维重建，并渲染出任意视角下的图像，实现具有三维立体感的呈现效果。

28、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种基于多视角视频的实时动态人体新视角渲染方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，基于多视角的人体图像信息估计人体的姿态参数，包括：

3.根据权利要求2所述的方法，其特征在于，基于所述姿态参数构建人体的三维几何场和纹理特征场，包括：

4.根据权利要求3所述的方法，其特征在于，所述三维几何场记录当前三维体素的有向距离函数值，即当前三维体素位置上距离人体表面最近点的距离值；对于人体内部的三维体素，距离值为负，对于人体外部的三维体素，距离值为正。

5.根据权利要求4所述的方法，其特征在于，基于隐式神经网络对拍摄视角图像进行体渲染得到拍摄视角渲染图像，包括：

6.一种基于多视角视频的实时动态人体新视角渲染系统，其特征在于，包括：

7.根据权利要求6所述的系统，其特征在于，姿态参数估计模块，还用于：

8.根据权利要求7所述的系统，其特征在于，人体特征表征模块，还用于：

9.根据权利要求8所述的系统，其特征在于，所述三维几何场记录当前三维体素的有向距离函数值，即当前三维体素位置上距离人体表面最近点的距离值；对于人体内部的三维体素，距离值为负，对于人体外部的三维体素，距离值为正。

10.根据权利要求9所述的系统，其特征在于，所述特征变量优化模块，还用于：

技术总结
本发明公开了基于多视角视频的实时动态人体新视角渲染方法及系统，该方法，基于多视角的人体图像信息估计人体的姿态参数；基于姿态参数构建人体的三维几何场和纹理特征场；基于隐式神经网络对拍摄视角图像进行体渲染得到拍摄视角渲染图像，并构建拍摄视角渲染图像与所述拍摄视角图像之间的一致性约束，以将三维几何场和纹理特征场作为优化的变量得到优化后的纹理特征场；基于优化后的纹理特征场和人体图像信息进行人体新视角渲染以得到新视角渲染图像。本发明可以实现对动态三维人体的、具有立体感的新视角渲染。

技术研发人员：徐枫,林文镔,雍俊海
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/3/31