一种基于超分辨率的虚拟场景渲染方法、系统、设备及存储介质与流程

本发明涉及图像处理，尤其涉及一种基于超分辨率的虚拟场景渲染方法、系统、设备及存储介质。

背景技术：

1、在现有无人机倾斜模型三维重建后展示城市信息模型的过程，对计算机设备的性能存在极大的依赖，无论是存储、计算、渲染都需要较好的计算机设备。渲染是指根据场景的设置、赋予物体材质、贴图、灯光等要素的过程。在三维模型建立后，通过渲染的方式，为模型添加皮肤、肌理等元素，进行材质填图。还会添加光线、辅助线，利用三维建模渲染软件让人对光影、色彩等视觉产生错觉，让模型从三维模型网格呈现出二维真实感高的图像。渲染可以弥补建模的不足，可以把复杂的建模表面化。三维建模渲染软件，在很多行业中都有应用，比如影视、动画行业、室内设计。

2、对于已加载地形影像的三维场景，在加载三维模型后浏览该场景内的三维模型时，可能会从不同视角高度、不同层次结构来查看三维模型，如果在每次浏览视角停留时都对三维模型进行重新加载渲染，这无形之间加重了引擎渲染的负担，进而在渲染速度、使用效率上讲大打折扣，所耗费的时间和资源是巨大的，浏览模型时几乎做不到实时绘制，降低了使用者体验。

3、现有技术，例如多分辨率网格简化技术等，将待渲染三维模型放在一个统一边长的框架内，根据框架内小边长进行划分模型。没有考虑到模型不同节点的精细程度，造成了数据冗余。并且，根据不同模型的节点大小，绘制不同大小的模型包围盒，自动进行分级分块，这会加重算法的复杂程度，同时因为同一场景内不同模型之间的相互作用，同一场景内不同模型还需要考虑自动分级时的一致性。并且固定了三维模型的级别大小，无法进行实时的更改，更改所在级别的绘制程度需要重新设置后绘制生成，增加了绘制压力，降低工作效率。

技术实现思路

1、为了克服上述技术缺陷，本发明的目的在于提供一种基于超分辨率的虚拟场景渲染方法、系统、设备及存储介质。

2、本发明公开了一种基于超分辨率的虚拟场景渲染方法，其特征在于，包括以下步骤：

3、获取待渲染虚拟场景，所述待渲染虚拟场景内包括待渲染三维模型；

4、根据所述待渲染三维模型的模型数据对所述待渲染虚拟场景进行渲染，得到具有初始分辨率的初始场景图像；

5、获取目标分辨率，所述目标分辨率大于所述初始分辨率；

6、对所述初始场景图像进行超分辨率处理，以得到具有所述目标分辨率的目标场景图像。

7、优选地，所述对所述初始场景图像进行超分辨率处理，包括：

8、将所述初始场景图像输入预先训练的超分辨率模型，采用所述超分辨率模型对所述初始场景图像对进行所述超分辨率处理。

9、优选地，所述超分辨率模型，包括：

10、级联超分网络，所述级联超分网络包括第一残差模块与多个上采样残差模块；

11、将所述初始场景图像输入所述第一残差模块得到第一残差模块特征图像，将所述第一残差模块特征图像进行上采样处理并分别输入所述多个上采样残差模块,其中，对所述第一残差模块特征图像进行所述上采样处理，以分别与所述多个上采样残差模块各自输入的特征图像的分辨率相等；

12、对于任一所述上采样残差模块，对该所述上采样残差模块之前的其他所述上采样残差模块所输出的上采样特征图像进行所述上采样处理，以与该所述上采样残差模块输入的特征图像的分辨率相等，将经所述上采样处理的所述上采样特征图像与经所述上采样处理的所述第一残差模块特征图像进行维度拼接后，输入该所述上采样残差模块，该所述上采样残差模块提取并输出上采样特征图像；

13、输出的特征图像的分辨率最大的所述上采样残差模块所输出的特征图像的分辨率与所述目标分辨率相等，将该所述上采样残差模块所输出的上采样特征图像作为所述目标场景图像。

14、优选地，所述超分辨率模型，还包括：

15、直接上采样网络，所述直接上采样网络对所述初始场景图像进行所述上采样处理，得到多个高分辨率场景图像，其中，所述多个高分辨率场景图像的分辨率分别与所述多个上采样残差模块输入的特征图像的分辨率相等，使得所述多个高分辨率场景图像与所述多个上采样残差模块输入的特征图像一一对应；

16、对于任一所述上采样残差模块，将经所述上采样处理的所述上采样残差模块之前的其他所述上采样残差模块所输出的上采样特征图像与经所述上采样处理的所述第一残差模块特征图像以及该所述上采样残差模块所对应的所述高分辨率场景图像进行维度拼接后，输入该所述上采样残差模块。

17、优选地，所述超分辨率模型，还包括：

18、级联降采样网络，所述级联降采样网络包括第二残差模块与多个降采样残差模块；

19、将所述初始场景图像输入所述第二残差模块，输出得到所述第二残差模块特征图像；

20、将所述第二残差模块特征图像输入相邻的所述降采样残差模块，通过所述多个降采样残差模块依次提取并输出得到降采样特征图像，对任一所述降采样残差模块输出的降采样特征图像进行所述上采样处理，以与该所述降采样残差模块所对应的所述上采样残差模块输入的特征图像的分辨率相等；

21、将所述第二残差模块特征图像与所述初始场景图像进行维度拼接后，输入所述第一残差模块，使所述第一残差模块提取特征图像并输出；

22、对于任一所述上采样残差模块，将经所述上采样处理的所述上采样残差模块之前的其他所述上采样残差模块所输出的上采样特征图像与经上采样处理的所述第一残差模块特征图像、该所述上采样残差模块所对应的所述提高分辨率场景图像以及经所述上采样处理的该所述上采样残差模块所对应的所述降采样残差模块输出的降采样特征图像进行维度拼接后，输入该所述上采样残差模块。

23、优选地，所述超分辨率模型通过以下步骤训练获得：

24、获取一待训练的超分辨率模型以及一待训练的unet模型，采用高分辨率样本集对所述待训练的unet模型进行语义分割训练，训练至收敛后，获取所述unet模型的解码器参数作为所述待训练的超分辨率模型中级联超分网络的初始参数；

25、采用低分辨率样本集对所述待训练的unet模型进行语义分割训练，训练至收敛后，获取所述unet模型的编码器参数作为所述待训练的超分辨率模型中级联降采样网络的初始参数；

26、采用所述高分辨率样本集和所述低分辨率样本集对所述待训练的超分辨率模型进行超分辨率训练，训练至收敛后，得到所述超分辨率模型。

27、本发明还公开了一种基于超分辨率的虚拟场景渲染系统，包括控制单元、模型数据单元、渲染单元、超分单元：

28、所述控制单元获取待渲染虚拟场景，所述待渲染虚拟场景内包括待渲染三维模型，所述待渲染三维模型的模型数据存储于所述模型数据单元；

29、所述控制单元控制所述渲染单元根据所述待渲染三维模型的模型数据对所述待渲染虚拟场景进行渲染，得到具有初始分辨率的初始场景图像；

30、所述控制单元获取目标分辨率，所述目标分辨率大于所述初始分辨率；

31、所述控制单元控制所述超分单元用于对所述初始场景图像进行超分辨率处理，以得到具有目标分辨率的目标场景图像。

32、优选地，还包括，所述超分单元接入预先训练的超分辨率模型，所述超分单元将所述初始场景图像输入预先训练的超分辨率模型，采用所述超分辨率模型对所述初始场景图像对进行超分辨率处理。

33、本发明还公开了一种电子设备，所述电子设备包括存储有计算机可执行指令的存储器处理器，当所述指令被所述处理器执行时，使得所述电子设备实施前述的基于超分辨率的虚拟场景渲染方法。

34、本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在计算机上运行时，使得所述计算机执行前述的基于超分辨率的虚拟场景渲染方法。

35、采用了上述技术方案后，与现有技术相比，具有以下有益效果：只存储较低分辨率的模型数据，在展示三维场景时直接采用较低分辨率的模型数据进行渲染得到较低分辨率的场景图像，通过超分辨率处理，从低分辨率的场景图像重建出高分辨率的场景图像。能够减少对高分辨率模型数据的依赖，降低存储占用空间，降低模型渲染对硬件设备的依赖，获取高分辨率的场景图像的同时提高渲染效率，保证用户查看三维场景的实时性。