基于神经辐射场的三维模型贴图方法、系统、存储介质及终端与流程

本发明涉及纹理贴图，特别是涉及一种基于神经辐射场的三维模型贴图方法、系统、存储介质及终端。

背景技术：

1、三维模型本质是物体多边形的表示，通常由网格和纹理两部分构成。所述网格包括由众多点云连接而成的三角形、四边形或者其他简单凸多边形，所述纹理包括物体表面的沟纹和贴图。当所述纹理按照特定的方式映射到物体表面上时，能使物体看上去更真实，且更贴合模型实际的材质。

2、现有的三维模型贴图方法可以为模型表面的每个三角面自动选择贴图图像，但由于每个三角面只能从多视角图像中选择其中一张图像进行贴图，在相邻三角面的贴图来源发生变化时，容易出现颜色的突变，从而降低三维模型的可视效果。此外，现有的三维模型贴图方法只适用于具有漫反射的物体表面，而无法对具有高光反射的物体表面进行高光贴图。

3、神经辐射场使用多层感知机构成的神经网络来对复杂的三维场景进行隐式建模，仅使用多视角图像和相机位姿对网络模型进行训练，可以渲染出任意视点和观察方向下清晰的场景图像。神经辐射场隐函数模型本质是对三维空间中任意点在不同观察方向上的密度和颜色进行建模，因此可以使用神经辐射场隐函数模型沿观察方向计算积分，以获取模型表面任意点处的颜色，基于所述颜色合成模型表面的贴图。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于神经辐射场的三维模型贴图方法、系统、存储介质及终端，相比于现有的三维模型贴图方法，本发明利用漫反射贴图、高光贴图、高光级别贴图和光泽贴图来渲染模型，使生成的贴图不仅适用于纯漫反射物体，还适用于金属、瓷砖等具有高光材质的物体，提高了三维模型的渲染效果，使其更贴合真实的模型材质。

2、为实现上述目的及其他相关目的，本发明提供一种基于神经辐射场的三维模型贴图方法，包括以下步骤：将三维模型的表面展开至uv坐标系；从所述uv坐标系中获取所述三维模型的表面采样点；基于所述表面采样点，计算高光反射颜色、漫反射颜色、高光级别和光泽度；基于所述高光反射颜色合成高光反射贴图，基于所述漫反射颜色合成漫反射贴图，基于所述高光级别合成高光级别贴图，基于所述光泽度合成光泽贴图。

3、于本发明一实施例中，从所述uv坐标系中获取所述三维模型的表面采样点包括以下步骤：栅格化所述三维模型表面上的所有网格；对栅格化的所述所有网格进行均匀采样。

4、于本发明一实施例中，基于所述表面采样点，计算高光反射颜色、漫反射颜色、高光级别和光泽度包括以下步骤：

5、基于所述表面采样点确定粗略的法线方向；

6、基于所述粗略的法线方向确定粗略的高光反射方向；

7、基于所述粗略的高光反射方向，利用神经辐射场计算高光反射颜色，并确定高光反射方向；

8、基于所述高光反射方向，利用神经辐射场计算漫反射颜色、高光级别和光泽度。

9、于本发明一实施例中，基于所述表面采样点确定粗略的法线方向包括以下步骤：

10、基于所述表面采样点选定第一观察方向；

11、利用神经辐射场沿每个所述第一观察方向计算颜色和密度，以确定每个所述第一观察方向上达到颜色阈值且达到密度阈值的第一特征点；

12、计算所述第一特征点与所述表面采样点之间的距离；

13、去除大于距离阈值的所述第一特征点所在的第一观察方向；

14、对剩余的所述第一观察方向求向量和，并将其反方向作为粗略的法线方向。

15、于本发明一实施例中，基于所述粗略的法线方向确定粗略的高光反射方向包括以下步骤：

16、基于所述粗略的法线方向选定第二观察方向，所述第二观察方向与所述粗略的法线方向的反方向之间的夹角小于第一夹角阈值；

17、利用神经辐射场沿每个所述第二观察方向计算颜色和密度，以确定每个所述第二观察方向上达到颜色阈值且达到密度阈值的第二特征点；

18、计算所述第二特征点与所述表面采样点之间的距离；

19、去除大于距离阈值的所述第二特征点所在的第二观察方向；

20、从剩余的所述第二观察方向中选取亮度最高的观察方向，并将其反方向作为粗略的高光反射方向。

21、于本发明一实施例中，基于所述粗略的高光反射方向，利用神经辐射场计算高光反射颜色，并确定高光反射方向，包括以下步骤：

22、基于所述粗略的高光反射方向选定第三观察方向，所述第三观察方向与所述粗略的高光反射方向的反方向之间的夹角小于第二夹角阈值；

23、利用神经辐射场沿每个所述第三观察方向计算颜色，将亮度最高的颜色作为高光反射颜色，将所述高光反射颜色所在的第三观察方向的反方向作为高光反射方向。

24、于本发明一实施例中，基于所述高光反射方向，利用神经辐射场计算漫反射颜色、高光级别和光泽度包括以下步骤：

25、从所述第二观察方向中筛选与所述高光反射方向的夹角大于等于90°的观察方向，以获取无高光反射的观察方向；

26、利用神经辐射场沿所述无高光反射的观察方向计算无高光反射颜色；

27、将所述无高光反射颜色按照亮度进行降序或升序排列，以构成颜色亮度序列；

28、对所述颜色亮度序列中间预设百分比的颜色亮度求均值，以获取漫反射颜色；

29、基于所述漫反射颜色和所述高光反射颜色计算高光级别；

30、基于所述漫反射颜色、所述高光反射颜色和所述高光级别计算光泽度。

31、对应地，本发明提供一种基于神经辐射场的三维模型贴图系统，包括：

32、采样模块，用于将三维模型的表面展开至uv坐标系，并从所述uv坐标系中获取所述三维模型的表面采样点；

33、神经辐射场模块，用于基于所述表面采样点，计算高光反射颜色、漫反射颜色、高光级别和光泽度；

34、贴图模块，用于基于所述高光反射颜色合成高光反射贴图，基于所述漫反射颜色合成漫反射贴图，基于所述高光级别合成高光级别贴图，基于所述光泽度合成光泽贴图。

35、对应地，本发明提供一种电子设备，包括至少一个存储器和处理器：

36、所述存储器用于存储计算机程序；

37、所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行任一项所述的基于神经辐射场的三维模型贴图方法。

38、对应地，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现任一项所述的基于神经辐射场的三维模型贴图方法。

39、如上所述，本发明的基于神经辐射场的三维模型贴图方法、系统、存储介质及终端，具有以下有益效果：

40、(1)利用漫反射贴图、高光贴图、高光级别贴图和光泽贴图来渲染模型；

41、(2)生成的贴图不仅适用于纯漫反射物体，还适用于金属、瓷砖等具有高光材质的物体；

42、(3)提高了三维模型的渲染效果，使其更贴合真实的模型材质。