动态人像渲染方法、装置、电子设备和计算机可读介质

本公开的实施例涉及计算机，具体涉及动态人像渲染方法、装置、电子设备和计算机可读介质。

背景技术：

1、动态三维(4d)数字人像的渲染与合成是计算机图形学和计算机视觉领域的一个重要工具，能够用于包括虚拟现实技术、网真技术、视频游戏等领域应用。对于动态人像渲染，通常采用的方式为：基于神经辐射场，从多个视角下的二维人像图像或视频数据中重建出动态三维的数字人像。

2、然而，发明人发现，当采用上述方式来渲染动态人像，经常会存在如下技术问题：

3、由于神经辐射场采用复杂的场景表达和占用大量的计算资源，导致渲染动态人像模型的时间较长，难以用于各类硬件设备下对人像的实时渲染。

4、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了动态人像渲染方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

3、第一方面，本公开的一些实施例提供了一种基于神经隐式场烘培的4d人像的渲染加速方法，包括：基于输入的单目人像视频，构建三维几何场、表观场、人像形变场，其中，上述三维几何场是基于连续神经隐式场表达的三维几何场，上述表观场是基于连续神经隐式场表达的表观场，上述人像形变场是基于连续神经隐式场表达的人像形变场；从上述三维几何场中提取多层离散化三角网格；将上述表观场和上述人像形变场融合到多层离散化三角网格和对应的多层静态纹理贴图数据上，以生成多层融合后的离散化三角网格和对应的多层融合后的静态纹理贴图数据，分别作为多层融合三角网格和多层融合静态纹理贴图数据；对多层融合三角网格和对应的多层静态纹理贴图数据进行精调，以生成精调后三角网格和精调后的静态纹理贴图数据，得到多层精调后的三角网格和多层精调后的静态纹理贴图数据，作为多层精调三角网格和多层精调静态纹理贴图数据；将微型神经网络权重、上述多层精调三角网格、上述多层精调静态纹理贴图数据导入渲染器，其中，上述渲染器包括：片元着色器、顶点着色器；基于导入后的渲染器，对待渲染动态人像进行实时渲染，得到渲染后的动态人像。

4、第二方面，本公开的一些实施例提供了一种动态人像渲染装置，包括：构建单元，被配置成基于输入的单目人像视频，构建三维几何场、表观场、人像形变场，其中，上述三维几何场是基于连续神经隐式场表达的三维几何场，上述表观场是基于连续神经隐式场表达的表观场，上述人像形变场是基于连续神经隐式场表达的人像形变场；提取单元，被配置成从上述三维几何场中提取多层离散化三角网格；融合单元，被配置成将上述表观场和上述人像形变场融合到多层离散化三角网格和对应的多层静态纹理贴图数据上，以生成多层融合后的离散化三角网格和对应的多层融合后的静态纹理贴图数据，分别作为多层融合三角网格和多层融合静态纹理贴图数据；精调单元，被配置成对多层融合三角网格和对应的多层静态纹理贴图数据进行精调，以生成精调后三角网格和精调后的静态纹理贴图数据，得到多层精调后的三角网格和多层精调后的静态纹理贴图数据，作为多层精调三角网格和多层精调静态纹理贴图数据；导入单元，被配置成将微型神经网络权重、上述多层精调三角网格、上述多层精调静态纹理贴图数据导入渲染器，其中，上述渲染器包括：片元着色器、顶点着色器；渲染单元，被配置成基于导入后的渲染器，对待渲染动态人像进行实时渲染，得到渲染后的动态人像。

5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。

6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

7、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的动态人像渲染方法，可以得到质量较高的人像模型，能够实时的对动态人像进行渲染，减少了渲染动态人像的时间。具体来说，造成渲染动态人像时间较长的原因在于：神经辐射场采用复杂的场景表达和占用大量的计算资源，导致渲染动态人像模型的时间较长，难以用于各类硬件设备下对人像的实时渲染。基于此，本公开的一些实施例的动态人像渲染方法，首先，基于输入的单目人像视频，构建三维几何场、表观场、人像形变场。在这里，可以从单个视角获取渲染人像所需的各种场景信息，减少了场景信息的复杂程度。其次，从上述三维几何场中提取多层离散化三角网格。再次，将上述表观场和上述人像形变场融合到多层离散化三角网格和对应的多层静态纹理贴图数据上，以生成多层融合后的离散化三角网格和对应的多层融合后的静态纹理贴图数据，分别作为多层融合三角网格和多层融合静态纹理贴图数据。在这里，对得到的场景信息进行简化处理，进一步减少了场景信息的复杂程度。然后，对多层融合三角网格和对应的多层静态纹理贴图数据进行精调，以生成精调后三角网格和精调后的静态纹理贴图数据，得到多层精调后的三角网格和多层精调后的静态纹理贴图数据，作为多层精调三角网格和多层精调静态纹理贴图数据。在这里，通过对得到的场景信息进行精调，能够提升生成的动态人像的质量。接着，将微型神经网络权重、上述多层精调三角网格、上述多层精调静态纹理贴图数据导入渲染器。最后，基于导入后的渲染器，对待渲染动态人像进行实时渲染，得到渲染后的动态人像。在这里，基于已生成的动态人像信息，能够对输入的动态人像进行快速的渲染。也因为有了已有的动态人像信息，能够在该动态人像信息的基础上，通过计算少量参数，对输入的动态人像进行快速渲染。从而使得该动态人像渲染方法可以对各类硬件设备下的动态人像进行实时渲染，减少了渲染动态人像的时间。

技术特征：

1.一种动态人像渲染方法，包括：

2.根据权利要求1所述方法，其中，所述基于输入的单目人像视频，构建三维几何场、表观场、人像形变场，包括：

3.根据权利要求1所述方法，其中，所述从所述三维几何场中提取多层离散化三角网格，包括：

4.根据权利要求1所述的方法，其中，所述将所述表观场和所述人像形变场融合到多层离散化三角网格和对应的多层静态纹理贴图数据上，以生成多层融合后的离散化三角网格和对应的多层融合后的静态纹理贴图数据，分别作为多层融合三角网格和多层融合静态纹理贴图数据，包括：

5.根据权利要求1所述方法，其中，所述对多层融合三角网格和对应的多层静态纹理贴图数据进行精调，以生成精调后三角网格和精调后的静态纹理贴图数据，得到多层精调后的三角网格和多层精调后的静态纹理贴图数据，作为多层精调三角网格和多层精调静态纹理贴图数据，包括：

6.根据权利要求1所述方法，其中，所述基于导入后的渲染器，对待渲染动态人像进行实时渲染，得到渲染后的动态人像，包括：

7.一种动态人像渲染装置，包括：

8.一种电子设备，包括：

9.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

技术总结
本公开的实施例公开了动态人像渲染方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：基于输入的单目人像视频，构建三维几何场、表观场、人像形变场；从三维几何场中提取多层三角网格；将表观场和人像形变场融合到多层三角网格和对应的多层纹理贴图上；对多层融合三角网格和对应的多层静态纹理贴图数据进行精调，得到多层精调三角网格和多层精调静态纹理贴图数据；将微型神经网络权重、多层融合三角网格、多层精调静态纹理贴图数据导入渲染器；基于导入后的渲染器，对待渲染动态人像进行实时渲染。该实施方式可以得到质量较高的人像模型，能够实时的对动态人像进行渲染，减少了渲染动态人像的时间。

技术研发人员：汪淼,段皓彬,石锦川
受保护的技术使用者：北京航空航天大学
技术研发日：
技术公布日：2024/3/11