基于可微渲染的大规模地形景观生成方法、装置和设备

本技术涉及计算机图形学，特别是涉及一种基于可微渲染的大规模地形景观生成方法、装置和设备。

背景技术：

1、针对地形纹理的建模常常被用于视频、游戏、地质研究等多种场合。现有的地形纹理建模技术可以分为以下几类：手动建模、过程化建模以及基于深度学习的方法。在手动方法中，艺术家需要准备一组平铺的源纹理，并使用画笔根据实际景观将它们绘制到地形上，因此，对大规模地形进行纹理处理非常耗时，需要繁琐的试错调整步骤。为了简化繁琐的手动过程，过程化建模根据地形高度和坡度等地质因素对地形纹理进行参数化。然而，随着纹理风格的多样化，规则变得复杂，对非专业人士来说很难实现艺术控制。另一个迅速取得巨大成功的技术是深度学习，通过挖掘数字高程模型、卫星图像等多模态数据中生态分布和地形之间的相关性来进行纹理建模。然而即使可以通过超分辨率获得高分辨率纹理，随着相机接近地面，更多的细节需要被提供来生成高质量的虚拟地形，当前已有的方法仍然很难实现。

2、然而，传统的基于深度学习的方法，无法在可接受的硬件开销下提供更接近观察者的表面细节，如何在资源有限的条件下同时拼接相邻的权重图，并在不产生伪影的情况下将权重图应用于支持任意尺寸的地形成为亟待解决的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于可微渲染的大规模地形景观生成方法、装置和设备。

2、一种基于可微渲染的大规模地形景观生成方法，所述方法包括：

3、分别对若干地形样本、每一地形样本对应的权重图以及真实权重图进行预处理，得到训练样本；

4、构建权重图合成模型；所述权重图合成模型包括生成器、可微渲染器和判别器，生成器用于分别对预处理后的地形样本和对应的预处理后的权重图进行特征提取，对特征提取后得到的特征图进行特征拼接，得到拼接特征图，根据所述拼接特征图进行上采样，得到多层权重图，可微渲染器用于分别对多层权重图和预处理后的真实权重图进行渲染得到渲染多层权重图和渲染真实权重图，判别器用于根据所述渲染多层权重图和所述渲染真实权重图输出对应的判别结果；

5、根据预先构建的第一损失函数、所述训练样本和判别器输出的判别结果对所述权重图合成模型进行训练，得到训练好的生成器；

6、通过训练好的生成器生成大规模地形中每一预处理后的地形的多层权重图，对所述多层权重图进行拼接，得到所述大规模地形对应的大规模权重图，根据所述大规模权重图进行大规模地形景观生成。

7、在其中一个实施例中，还包括：所述权重图合成模型还包括风格迁移器，风格迁移器用于根据所述渲染真实权重图对所述渲染多层权重图进行风格迁移。

8、在其中一个实施例中，还包括：所述预先构建的第一损失函数为：

9、ltotal＝ladv+λ1lw+λ2lr+λ3lstyle，

10、lw＝||gw(tt,ws)-wt||1，

11、

12、

13、其中，ltotal为权重图合成模型对应的第一损失函数，lstyle为风格迁移器对应的风格迁移损失函数，风格迁移器用于根据所述渲染真实权重图对所述渲染多层权重图进行风格迁移，λ1、λ2和λ3为加权超参数，gw为用于权重图合成的生成器模型，tt为输入的地形样本，ws为输入的权重图，wt为真实权重图，||·||1为平均绝对误差，mi为第i层权重图对应的源纹理，i∈[1,n]，n为样本数，wti为第i层的真实权重图，为可微渲染器参数。

14、在其中一个实施例中，还包括：获取若干地形样本，采用权重图反求法处理每一地形样本，得到每一地形样本对应的权重图；在所述权重图和所述地形样本的对应位置进行随机裁剪，得到尺寸为2k×2k的权重图补丁和地形样本补丁；在所述权重图补丁和所述地形样本补丁的对应位置进行随机裁剪，得到尺寸为k×k的预处理后的权重图和预处理后的地形样本；根据所述权重图补丁，得到预处理后的真实权重图；根据预处理后的权重图、预处理后的地形样本和预处理后的真实权重图，得到训练样本。

15、在其中一个实施例中，还包括：所述生成器包括第一编码器、第二编码器、特征拼接模块、残差网络模块和解码器；所述残差网络模块包括多个残差块。

16、在其中一个实施例中，还包括：通过所述第一编码器对预处理后的地形样本进行特征提取，得到地形样本特征图；通过所述第二编码器对预处理后的权重图进行特征提取，得到权重特征图；通过所述特征拼接模块对所述地形样本特征图和所述权重特征图进行拼接，得到拼接特征图；将所述拼接特征图输入残差网络模块，通过所述解码器对所述残差网络模块的输出进行上采样，得到多层权重图。

17、在其中一个实施例中，还包括：对所述多层权重图进行拼接，获取四个相邻地形和每一相邻地形对应的拼接权重图；分别根据四个相邻地形和对应的拼接权重图得到中心地形图和中心权重图；所述中心地形图和所述中心权重图的尺寸相同；所述中心权重图的尺寸与所述多层权重图的尺寸相同；利用所述训练好的权重图合成模型生成所述中心地形图对应的多层权重图；将所述中心地形图、所述中心权重图和所述中心地形图对应的多层权重图输入预训练的权重图拼接模型，得到混合遮罩；所述权重图拼接模型包括遮罩生成器；根据中心权重图的尺寸对所述混合遮罩进行裁剪，利用裁剪后的混合遮罩对中心权重图和所述中心地形图对应的多层权重图进行混合，得到无缝拼接权重图；根据每四个相邻地形的无缝拼接权重图，得到对应大规模地形的大规模权重图。

18、在其中一个实施例中，还包括：所述无缝拼接权重图为：

19、y′＝sm′+t(1-m′)，

20、m′＝(1-c)m+c，

21、m＝gm(tx,s,t)，

22、其中，y′为无缝拼接权重图，s为中心权重图，m′为裁剪后的混合遮罩，t为中心地形图对应的多层权重图，m为混合遮罩，c为椭圆遮罩，gm(·)为遮罩生成器，tx为中心地形图。

23、在其中一个实施例中，还包括：根据第二损失函数对所述权重图拼接模型进行训练，得到训练好的权重图拼接模型；所述第二损失函数为：

24、l′total＝lmadv+λ4lr′+λ5lm，

25、

26、

27、lm＝||gm(tx,s,t)-c||2，

28、其中，l′total为权重图拼接模型对应的第二损失函数，λ4和λ5为加权超参数，mi为第i层权重图对应的源纹理，y′i为通过模型生成的第i层无缝拼接权重图，i∈[1,n]，n为样本数，yi为代表真实数据的第i层无缝权重图，为可微渲染器参数，||·||1为平均绝对误差，||·||2为最小均方值误差。

29、一种基于可微渲染的大规模地形景观生成装置，所述装置包括：

30、训练样本获取模块，用于分别对若干地形样本、每一地形样本对应的权重图以及真实权重图进行预处理，得到训练样本；

31、权重图合成模型构建模块，用于构建权重图合成模型；所述权重图合成模型包括生成器、可微渲染器和判别器，生成器用于分别对预处理后的地形样本和对应的预处理后的权重图进行特征提取，对特征提取后得到的特征图进行特征拼接，得到拼接特征图，根据所述拼接特征图进行上采样，得到多层权重图，可微渲染器用于分别对多层权重图和预处理后的真实权重图进行渲染得到渲染多层权重图和渲染真实权重图，判别器用于根据所述渲染多层权重图和所述渲染真实权重图输出对应的判别结果；

32、权重图合成模型训练模块，用于根据预先构建的第一损失函数、所述训练样本和判别器输出的判别结果对所述权重图合成模型进行训练，得到训练好的生成器；

33、地形景观生成模块，用于通过训练好的生成器生成大规模地形中每一预处理后的地形的多层权重图，对所述多层权重图进行拼接，得到所述大规模地形对应的大规模权重图，根据所述大规模权重图进行大规模地形景观生成。

34、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

35、分别对若干地形样本、每一地形样本对应的权重图以及真实权重图进行预处理，得到训练样本；

36、构建权重图合成模型；所述权重图合成模型包括生成器、可微渲染器和判别器，生成器用于分别对预处理后的地形样本和对应的预处理后的权重图进行特征提取，对特征提取后得到的特征图进行特征拼接，得到拼接特征图，根据所述拼接特征图进行上采样，得到多层权重图，可微渲染器用于分别对多层权重图和预处理后的真实权重图进行渲染得到渲染多层权重图和渲染真实权重图，判别器用于根据所述渲染多层权重图和所述渲染真实权重图输出对应的判别结果；

37、根据预先构建的第一损失函数、所述训练样本和判别器输出的判别结果对所述权重图合成模型进行训练，得到训练好的生成器；

38、通过训练好的生成器生成大规模地形中每一预处理后的地形的多层权重图，对所述多层权重图进行拼接，得到所述大规模地形对应的大规模权重图，根据所述大规模权重图进行大规模地形景观生成。

39、上述基于可微渲染的大规模地形景观生成方法、装置和设备，通过对若干地形样本、每一地形样本对应的权重图以及真实权重图进行预处理，得到训练样本，根据生成器、可微渲染器和判别器构建权重图合成模型，能够使局部区域的权重图扩展成为更大的规模，采用预先构建的第一损失函数、所述训练样本和判别器输出的判别结果对所述权重图合成模型进行训练，得到训练好的生成器，利用训练好的生成器对地形对应的权重图进行优化，能够构建具有丰富细节和强大可扩展性的大规模地形纹理，并减小合成的权重图重新渲染的地形与真实卫星图渲染结果之间的偏差，本发明实施例，能够使权重图支持任意尺寸的地形，在具有丰富的视觉细节的同时，可以为用户提供更简洁高效的艺术控制。