一种三维场景几何、材质与光照解耦和编辑系统

本发明涉及计算机图形学和数字媒体，具体来说，特别涉及一种三维场景几何、材质与光照解耦和编辑系统。

背景技术：

1、神经辐射场最初只是用于重建三维场景并渲染输入三维场景的新视角下的图像，最近一些研究人员对神经辐射场的几何、外观、和光照进行编辑。第一个对神经辐射场的外观进行编辑的工作是steven liu等人在2021年提出的“editing conditional radiancefields”，该工作的想法是将三维场景的几何和外观分别用一个可学习的特征表示，在编辑三维场景的某一个视角下的图像后，可以对三维场景的外观特征表示进行优化，使得三维场景渲染的结果和编辑后的图像接近，但该工作只能支持对同一类物体的编辑，并且需要依赖一个较大的同类物体数据集才能进行训练，难以泛化到一般场景上。由fanbo xiang等人提出“neutex:neural texture mapping for volumetric neural rendering”，该工作是使用一个纹理坐标映射网络将神经辐射场三维空间中的采样点映射到二维平面，之后利用采样点的二维坐标预测该点的颜色值，在对三维场景进行编辑时则是在纹理的二维平面上进行编辑，然而该方法导出的纹理映射比较杂乱，使得编辑变得非常困难。由pratul psrinivasan等人提出“nerv:neural reflectance and visibility fields forrelighting and view synthesis”，该方法可以在已知光照条件的情况下解耦出神经辐射场的几何和材质，但是该方法难以对未知光照条件情况下的三维场景进行解耦。由markboss等人提出“nerd:neural reflectance decomposition from image collections”利用一组球面高斯函数逼近三维场景的光照，该方法可以在未知光源信息的条件下得到场景的材质和光照信息，然而该方法并没有考虑阴影的解耦，在解耦得到的材质中往往会有阴影的残留，因此在进行外观编辑后，对编辑结果进行渲染，其渲染结果往往会在编辑区域发生闪烁而无法保持正确的编辑效果。

2、神经辐射场是一种新兴的三维场景表示方法，可以实现三维场景的新视角合成并得到逼真的渲染结果，然而神经辐射场通常将三维场景的几何、外观和光照属性利用几个多层感知器网络编码在一起，通过几个多层感知器网络预测每条射线上多个采样点的密度值和颜色，用于渲染射线对应的像素。但是，由于现有技术没有解耦出几何、外观和光照属性，造成对密度值产生干扰，以致于神经辐射场的编辑结果无法呈现多视角一致性，阻碍了后续的神经辐射场的应用；另外，密度值也不能直观地反映出物体的几何，导致模型较难学习到准确表达物体几何的知识，使得一些渲染图像的物体表面出现异常(比如凹陷、突出、缺口等)。

3、因此，亟需一种能够解决在对三维场景的图像进行材质编辑和光照编辑时无法保持多视角一致性的解耦编辑系统。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种三维场景几何、材质与光照解耦和编辑系统。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明提供的一种三维场景几何、材质与光照解耦和编辑系统，所述系统包括：几何重建模块，解码模块和编辑模块；其中：所述几何重建模块，被配置为：根据对三维场景采集的一组带有相机位姿的图像，以显式的三角网格重建三维场景的几何，并建立输入的图像及其相机与所述三角网格的位置关系；所述解码模块，被配置为：获取所述三角网格，并在所述三角网格的顶点上初始化几何特征和材质特征，基于所述位置关系，从输入的图像的相机原点发出多条射线分别指向图像的多个像素；在每条射线上采集多个采样点，根据采样点到所述三角网格上多个近邻的顶点的距离、近邻的顶点上的几何特征和材质特征，确定采样点的几何特征和材质特征；根据采样点到所述三角网格表面的距离、采样点的几何特征和材质特征，以及可学习的显式环境光照贴图，确定采样点到所述三角网格的带符号距离和采样点的颜色；在每条射线上，根据各采样点到所述三角网格的带符号距离和采样点的颜色，进行体渲染，得到对应像素的渲染颜色；根据输入的图像的像素颜色和对应像素的渲染颜色，更新各顶点上的几何特征、材质特征以及可学习的显示环境光照贴图；所述编辑模块，被配置为：获取用户的自定义视角，向用户提供：几何编辑功能，用于支持用户对所述三角网格的形态进行编辑；材质编辑功能，用于支持用户调用解码模块渲染出自定义视角的图像进行图像域编辑，并根据图像域编辑的结果更新三角网格上受影响的顶点的材质特征；光照编辑功能，用于支持用户对可学习的显式环境光照贴图进行替换以实现光照编辑。

4、在本发明的一些实施例中，所述几何重建模块被配置为：获取对三维场景采集的一组带有相机位姿的图像，从相机原点发出多条虚拟射线分别指向图像的多个像素；在各虚拟射线上分别采样多个原始采样点，得到各原始采样点的坐标，该坐标含有三维位置和相机位姿信息得到的视角方向；将各原始采样点的坐标分别输入经训练的隐式函数网络，以预测各原始采样点到输入的图像中物体表面的有符号距离值；基于各原始采样点到输入的图像中物体表面的有符号距离值，利用行进立方体算法得到所述显式的三角网格。

5、在本发明的一些实施例中，所述经训练的隐式函数网络按照以下方式训练得到：获取多个第一训练样本和第一标签，每个第一训练样本为一条虚拟射线上多个原始采样点的坐标，该坐标含有三维位置和相机位姿信息得到的视角方向，所述第一标签为第一训练样本对应的虚拟射线所穿透的输入的图像的像素的rgb颜色；利用隐式函数网络对所述第一训练样本的各个原始采样点分别处理得到各原始采样点到输入图像中物体表面的原始有符号距离值和对应的高维特征；将每个采样点的高维特征分别利用一层全连接网络进行处理得到原始采样点的原始漫反射颜色、原始粗糙度属性和原始镜面反射属性；利用第一光照解码器将原始有符号距离值对原始采样点的三维位置求导得到的原始法相与视角方向的点积、反射方向和原始粗糙度属性进行处理得到原始采样点的原始光照强度，并将所述原始光照强度和原始镜面反射属性相乘得到原始镜面反射颜色；基于所述原始镜面反射颜色和原始漫反射颜色，得到每个原始采样点的原始颜色；利用体渲染方式根据各条虚拟射线上的多个原始采样点的密度值和原始颜色，进行体渲染，得到各条虚拟射线对应像素的渲染颜色，其中，所述原始采样点的密度值基于原始有符号距离转换得到；根据各条虚拟射线对应像素的渲染颜色和所述第一标签确定第一损失值，并根据第一损失值求梯度反向更新隐式函数网络、第一光照解码器和一层全连接网络的参数。

6、在本发明的一些实施例中，所述第一损失值按照如下方式确定：

7、

8、其中，v表示的是虚拟射线的集合，c(v)表示的是各条虚拟射线v对应像素的渲染颜色，ct(v)表示的是虚拟射线v在输入图像上对应的像素点的rgb颜色，xv,i是虚拟射线v上第i个原始采样点的坐标，表示的是隐式函数网络f(x)在xv,i处求导得到的梯度。

9、在本发明的一些实施例中，所述解码模块部署有经训练的几何解码器、材质解码器和第二光照解码器，其中：所述经训练的几何解码器用于根据采样点到所述三角网格上多个近邻的顶点的距离、顶点上的几何特征确定的采样点的几何特征和采样点到所述三角网格表面的距离进行解码得到采样点到三角网格的带符号距离值；所述经训练的材质解码器用于根据采样点到所述三角网格多个近邻的顶点的距离、顶点上的材质特征确定的采样点的材质特征和采样点到所述三角网格表面的距离进行解码得到采样点的漫反射属性、粗糙度属性和镜面反射属性；所述经训练的第二光照解码器用于对所述带符号距离值对采样点的三维位置求导得到的法相和视角方向的点积、反射方向以及粗糙度属性进行解码得到采样点的光照强度。

10、在本发明的一些实施例中，所述经训练的几何解码器、材质解码器和第二光照解码器按照如下方式进行训练得到：获取多个第二训练样本和第二标签，所述第二训练样本为所述显式的三角网格顶点上的几何特征、材质特征、采样点到所述三角网格上多个近邻的顶点的距离和采样点到所述三角网格表面的距离，所述第二标签指示为所述第二训练样本对应输入的图像的像素的颜色；根据采样点到所述三角网格上多个近邻的顶点的距离，对所述多个近邻的顶点的几何特征进行加权，得到采样点的几何特征；根据采样点到所述三角网格上多个近邻的顶点的距离，对所述多个近邻的顶点的材质特征进行加权，得到采样点的材质特征；利用几何解码器对所述采样点的几何特征和采样点到所述三角网格的表面距离进行解码，输出采样点到三角网格的带符号距离值；利用材质解码器对所述采样点的材质特征和采样点到所述三角网格的表面距离进行解码，输出采样点的漫反射属性、粗糙度属性和镜面反射属性；利用第二光照解码器根据所述带符号距离值对采样点的三维位置求导得到的法相和视角方向的点积、反射方向以及粗糙度进行解码得到采样点的光照强度；基于得到的光照强度和镜面反射属性乘积得到镜面反射颜色；利用可学习的显式环境光照贴图中的每一个光源在采样点处对漫反射属性进行积分得到漫反射颜色；基于漫反射颜色和镜面反射颜色得到采样点的颜色；利用体渲染方式根据各条射线上的多个采样点的密度值和颜色，进行体渲染，得到各条射线对应像素的渲染颜色，其中，所述采样点的密度值基于带符号距离转换得到；根据各条射线对应像素的渲染颜色和所述第二标签确定第二损失值，并根据第二损失值求梯度并反向传播更新所述显式的三角网格的各个顶点的几何特征和材质特征、几何解码器的参数、材质解码器的参数、第二光照解码器的参数以及可学习的显式环境光照贴图的参数。

11、在本发明的一些实施例中，所述第二损失值按照以下方式确定：

12、l＝lc+lsdf+λ1le+λ2lgs+λ3lec；

13、其中，lc表示的各条射线对应像素的渲染颜色和输入的图像的像素的颜色的差异损失，lsdf表示的是带符号距离值和有符号距离值之间的差异损失，le表示的是隐式函数网络在采样点处求导得到的梯度，lgs表示的是三角网格顶点上的几何特征和其邻居顶点上的几何特征之间的差异损失，lec表示的是经训练的第二光照解码器的输出结果与可学习的显式环境光照贴图的输出结果之间的差异损失。

14、在本发明的一些实施例中，所述几何编辑功能由几何编辑模块实现，所述几何编辑模块被配置为：利用网格变形算法对所述几何重建模块中的显式的三角网格的形态进行编辑，并将更新得到的几何特征和材质特征赋予经变形的三角网格的顶点上，利用所述解码模块根据经变形的三角网格的顶点上的几何特征和材质特征得到经过几何编辑的渲染图像。

15、在本发明的一些实施例中，所述材质编辑功能由材质编辑模块实现，所述材质编辑模块被配置为：获取自定义视角图像的可编辑区域对应的顶点，基于目标优化函数对所述顶点上对应的材质特征进行优化，根据优化后的结果更新三角网格顶点的材质特征，利用所述解码模块根据三角网格顶点上更新的材质特征得到经过材质编辑的渲染图像。

16、在本发明的一些实施例中，所述光照编辑功能由光照编辑模块实现所述光照编辑模块被配置为：将可学习的显式环境光照贴图替换为目标环境光照贴图，并根据目标环境光照贴图调整对应采样点的颜色，根据调整的采样点的颜色进行图像渲染。

17、与现有技术相比，本发明的优点在于：

18、1)能够训练一个隐式函数网络来重建三维场景的几何，以使得基于重建的三维场景的密度值和颜色进行渲染的图像与输入图像趋于一致，解决了现有技术中因得到的密度值和颜色的不准确，导致渲染的图像与输入图像不能一一对照以致于不能很好的展示三维场景的几何的问题；

19、2)能够引入一种结合可学习的显式环境光照贴图和光照解码器来对三维场景中的光照信息进行表示的方法显式地解耦出三维场景中的几何信息、材质信息和光照信息，解决了现有方法中因无法显式的解耦出几何信息、材质信息和光照信息而导致密度值不准确，以致于无法保持多视角一致性的问题；

20、3)编辑模块中提供的编辑功能能够通过一种可学习的显式环境光照贴图和光照解码器结合的光照表示方法同时联合优化三角网格的材质特征来保持多视角一致性和高频环境光照的表达；解决了现有技术中对神经辐射场的编辑结果无法保持多视角一致性以及高频环境光照难以表达的问题。