三维可视化多场景渲染应用集成方法与流程

本发明涉及多场景渲染，具体地说，涉及三维可视化多场景渲染应用集成方法。

背景技术：

1、三维可视化多场景渲染是利用高性能渲染引擎，如unity,unreal engine,three.js或自研的基于webgl等技术的渲染引擎，提供强大的图形计算能力实现多个不同的三维场景高效、流畅地整合在同一应用系统中进行实时渲染，模拟真实的光照效果、阴影投射及物理属性，使得每一个场景都具有很高的真实感和沉浸式体验。

2、现有的三维可视化多场景渲染方法，在处理复杂多场景时，无法有效动态地分配gpu资源，导致某些重要区域的渲染质量和速度得不到保证，尤其是在场景切换时可能出现卡顿、延迟或帧率下降等问题，且现有的渲染策略依赖于固定的渲染顺序或者简单的距离排序，缺乏对视线方向变化的实时响应和预测能力，这会导致不必要的渲染计算量增大，同时在用户视角快速移动时难以及时调整渲染内容，造成视觉上的跳跃感或闪烁现象，图像块的划分与调度不够精细，从而限制了整体渲染效率的提升，鉴于此，提供三维可视化多场景渲染应用集成方法。

技术实现思路

1、本发明的目的在于提供三维可视化多场景渲染应用集成方法，以解决上述背景技术中提出的现有的渲染策略依赖于固定的渲染顺序或者简单的距离排序，缺乏对视线方向变化的实时响应和预测能力，这会导致不必要的渲染计算量增大，同时在用户视角快速移动时难以及时调整渲染内容，造成视觉上的跳跃感或闪烁现象，图像块的划分与调度不够精细，从而限制了整体渲染效率的提升的问题。

2、为实现上述目的，本发明目的在于提供了三维可视化多场景渲染应用集成方法，包括以下步骤：

3、s1、将构建好的三维模型和场景导入高性能渲染引擎中，对模型进行优化处理；

4、s2、对于每个三维场景，采用图像块分割算法，将场景分割成为图像块；

5、其中，图像块分割算法是由空间划分算法和视口划分算法结合的组合算法；

6、s3、将空间划分算法与视口划分算法结合，形成主渲染循环，并基于视线方向预测算法，优化渲染队列；

7、通过优化渲染顺序、动态分配gpu及其他计算资源、并实现图像块的并行处理能力，以更好地管理和渲染图像块，从而提高整体渲染效率和视觉效果；

8、s4、在主渲染循环执行过程中，针对每个细分的图像块，根据预设的视点位置，分别计算每个图像块在各个视点下的投影，形成立体视图；利用gpu并行计算能力，大大提高立体渲染的速度；

9、s5、将各视点下渲染出的图像块按照人眼视觉原理进行合成，并利用场景深度信息，将不同深度层次的图像块逐层叠加，生成具有深度信息的立体图像。

10、在每个视点下，已经计算得到了各自的图像块，将各个图像块的颜色信息进行混合：

11、对每个视点的图像块进行水平位移来模拟双眼的视差差异，为第个视点的视差，为水平方向上的像素坐标：

12、；

13、考虑到不同视点下的光照、色彩可能不同，进行颜色调整：

14、；

15、其中，表示经过颜色调整后的第个视点下像素的颜色信息；表示用于调整第个视点颜色的调整因子；表示第个视点下像素的颜色信息；

16、合成最终的图像为：

17、；

18、其中，表示相应视点的权重；表示第个视点下像素的视差；表示视点的数量；表示最终合成图像中像素的颜色信息。

19、深度信息处理：

20、；

21、其中，表示某个视点下像素的深度信息；表示最终合成图像中像素的深度信息；

22、基于深度缓冲技术将不同深度层次的图像块逐层叠加，基于深度缓冲技术的深度测试和遮挡处理，确保生成立体图像时每一层图像块都能按正确的深度顺序排列并合并在一起，

23、当渲染新的图像块时，gpu会将新片段的深度值与深度缓冲中已有的深度值进行比较；采用“深度测试”操作符，来判断新片段是否位于旧片段前方，即新片段是否更接近观察者，如果新片段的深度值表示它比当前缓冲区中的片段更近，则更新颜色缓冲区和深度缓冲区，将新片段的颜色信息写入，并覆盖旧的深度值。反之，如果新片段位于背景较远的位置，则不会更新颜色缓冲区，保留原有更近物体的颜色和深度信息；

24、对所有图像块按照由近至远的顺序进行渲染，使得最终输出的画面能够正确反映场景中各对象间的前后遮挡关系，即使图像块是并行或分块渲染的，最终合成时也能保证近处的对象不被远处的对象所遮挡。

25、作为本技术方案的进一步改进，所述s1中，模型优化处理包括模型简化、纹理压缩和减少过度绘制。

26、其中，模型简化通过算法剔除冗余顶点、边或面片，减少模型几何复杂度，对远处或者细节不明显的部分，使用lod技术动态调整模型精细度；

27、纹理压缩是对纹理资源进行高质量的压缩处理，采用mip映射技术，在保证视觉质量的前提下减小纹理数据量，加快读取速度，同时减少显存占用；

28、减少过度绘制通过背面消除技术来避免不必要的渲染计算。

29、作为本技术方案的进一步改进，所述s2中，采用空间划分算法对三维场景进行分割时，涉及以下步骤：

30、s3.1、获取三维场景中的所有模型及其空间位置信息，并设定空间划分的终止条件；

31、s3.2、通过空间划分算法确定最优分割方案，得到最优分割平面；

32、s3.3、根据所选最优分割方案，通过最优平面方程来分割整个三维空间，形成两个半空间，对于每个位于空间中的点，通过代入平面方程判断其位于平面哪一侧，从而确定它所属的半空间；

33、s3.4、对生成的每个半空间重复上述过程，即再次寻找最优分割面并进行分割，直至达到预设的终止条件，终止条件为所有子空间内无更多对象或者达到最大深度限制；

34、s3.5、通过递归分割得到的一系列半空间将形成一个多级的空间划分树结构，表示三维场景空间结构的划分树，可以用于高效的碰撞检测、渲染优化、遮挡剔除、空间查询等各种计算机图形学与游戏开发中的任务，显著提高性能和效率；

35、在空间划分算法的基础上，采用视口划分算法对三维场景进行分割，涉及以下步骤：

36、s3.6、确定渲染窗口，并设置多个视口，根据摄像机参数计算每个视口的视锥体；

37、s3.7、将先前通过空间划分算法得到的空间结构映射到视口坐标系下，即转换其在世界坐标中的位置和包围盒信息为视口坐标下的相应数据；

38、s3.8、对于每个空间划分节点，执行快速的视口裁剪测试，判断该节点对应的几何体是否与当前视口有交集；如果节点完全位于视口之外，则可以跳过该节点及其子节点；反之则继续遍历。

39、作为本技术方案的进一步改进，所述s3.2中，空间划分算法具体为：

40、s3.21、计算当前节点所有可能的分割方案；

41、s3.22、对于每个分割方案，计算其对应的值：

42、；

43、其中，表示分割面命中的概率；表示分割面的遍历代价；表示叶子节点命中的概率；表示叶子节点的相交代价；表示叶子节点的数量；

44、s3.23、比较所有分割方案的sah值，选择具有最小sah值的分割方案作为最优解。

45、作为本技术方案的进一步改进，通过最优平面方程对空间进行划分，并递归地为生成的新子节点重复上述过程，直至达到预设的终止条件：

46、其中，最优平面方程为：

47、；

48、其中，、、为平面的法向量，；表示法向量与原点到平面距离的乘积；

49、空间中的任意一点与平面关系的表达式为：

50、；

51、当时，点恰好位于平面上；

52、当时，点在平面的法向量所指一侧；

53、当时，点在平面的背离法向量的一侧；

54、终止条件：

55、；

56、其中，表示递归深度；表示最大深度限制；为一个布尔变量，表示子空间内无更多对象；

57、当递归深度达到最大值或当前子空间内没有更多的几何体需要处理时，将停止进一步的空间划分，并转向其他必要的渲染和优化步骤。

58、作为本技术方案的进一步改进，采用视口划分算法对三维场景进行分割时，当摄像机位置为，摄像机视线方向为，摄像机的上方向向量为，摄像机的右方向向量为，且与视线方向垂直，并且彼此正交，视场角包括水平视角和垂直视角，则每个视口的视锥体计算：

59、水平和垂直视场角转换为方向向量

60、；

61、；

62、其中，表示摄像机到近裁剪面的距离；

63、视锥体的表达式为

64、；

65、其中，表示在视锥体上的横向范围内的参数；表示在视锥体上的纵向范围内的参数；

66、空间结构映射到视口坐标系：

67、将空间结构中的每个顶点从世界坐标系转换到摄像机坐标系，其中，世界坐标系下的点，则转换到摄像机坐标系下的表达式为：

68、；

69、其中，表示在摄像机坐标系下的顶点；表示模型视图矩阵；表示在世界坐标系下的顶点；

70、将摄像机坐标系下的顶点进一步转换到裁剪坐标系：

71、；

72、其中，表示投影矩阵；表示在裁剪坐标系下的顶点；

73、将裁剪坐标除以其齐次坐标，将其映射到标准化区间：

74、；

75、其中，表示处于归一化设备坐标中的一个点；表示裁剪坐标系下顶点的齐次坐标的第四个分量；

76、将标准化设备坐标转换为视口坐标，即将区间映射到实际的屏幕像素位置：

77、；

78、；

79、；

80、其中，表示视口空间中的坐标；表示视口空间中的坐标；表示视口空间中的坐标；表示在归一化设备坐标中坐标分量；表示在归一化设备坐标中坐标分量；表示在归一化设备坐标中坐标分量；表示渲染窗口上视口的宽度；表示渲染窗口上视口的高度；

81、则视口空间中的坐标点为：

82、；

83、其中，表示在视口空间中的坐标点；

84、视口裁剪测试判断规则为：

85、；

86、其中，表示点在裁剪坐标系中的坐标；表示点在裁剪坐标系中的坐标；表示点在裁剪坐标系中的坐标；表示点在裁剪坐标系中的齐次坐标的第四个分量。

87、作为本技术方案的进一步改进，所述主渲染循环构建涉及的具体步骤为：

88、空间划分算法根据三维场景的空间特性，空间特性包括物体分布、复杂度因素，将整个场景划分为多个较小的图像块。

89、视口划分算法则根据观察者的视口（即屏幕）大小和位置信息，进一步细化这些图像块，确保每个图像块都能对应到视口的一个区域，便于后续的并行或分布式渲染。

90、s4.1、结合上述的空间与视口划分结果，将位于摄像机视锥体内的空间区域及其包含的图像块作为独立的渲染单元，形成主渲染循环流程；将每个图像块被视为独立的渲染单元，可以并行处理，大大提高了渲染速度；

91、s4.2、在主渲染循环流程中引入视线方向预测算法，根据观察者视线的方向和移动趋势，预测出即将进入视口的图像块以及离开视口的图像块，

92、s4.3、基于视线方向预测算法，根据视线方向的变化实时更新图像块的优先级，动态调整渲染队列的优先级；使优先渲染观众视角焦点所在的图像块，降低非关键区域的渲染频率，进一步提升渲染效率和实时交互性能。

93、对于即将进入视口或位于视线焦点区域的图像块，提升其在渲染队列中的优先级，确保这些图像块能优先渲染；

94、对于那些即将移出视口或远离视线焦点的图像块，降低其优先级，从而减少不必要的渲染工作；

95、系统能够更有效地利用gpu资源，在保证视觉效果的同时提高渲染效率，并实现更为流畅的用户交互体验。

96、作为本技术方案的进一步改进，基于视线方向预测算法，预测未来的视线方向，根据视线方向预测的结果，动态调整渲染顺序；

97、其中，观察者当前位置为，观察者的速度向量为，则视线方向预测算法具体为：

98、；

99、考虑观察者在时间内非均速直线运动，则：

100、；

101、其中，表示下一个时刻的观察者位置；表示时间间隔；表示加速度；

102、基于预测得到的下一时刻观察者的位置，则新的视线方向向量为：

103、；

104、其中，表示新的视线方向向量；表示观察者当前位置；

105、则引入视线方向预测算法后，渲染顺序决策为：

106、给定相机视线向量，分割面法向量，则视线方向向量与分割面法向量的点积为：

107、；

108、其中，表示新的视线方向向量的轴上的分量；表示新的视线方向向量的轴上的分量；表示新的视线方向向量的轴上的分量；

109、则渲染顺序为：

110、，则相机位于分割面法向量的同侧，选择先渲染该侧的子空间；

111、，则相机位于分割面法向量的背面，选择先渲染背面的子空间；

112、，则相机位于分割面上。

113、，则相机位于分割面上时，需要特殊处理，根据实际需要选择渲染分割面的哪一侧，或者同时渲染两侧以确保在分割面上的观察者能够看到分割面的两侧。

114、作为本技术方案的进一步改进，所述s4中，计算图像块在各个视点下的投影，其中，从三维空间中的点转换至对应视点坐标系下的点：

115、将点从世界坐标变换到左眼坐标：

116、；

117、将点从世界坐标变换到右眼坐标：

118、；

119、其中，表示左眼的位置；表示右眼的位置；表示将点从世界坐标系变换到左眼坐标系下得到的新坐标；表示将点从世界坐标系变换到右眼坐标系下得到的新坐标；

120、为了模拟在左眼和右眼的不同视点下观察场景时，相应点的位置发生的变化。在立体图像生成中，这是为了获得每个视点下的场景投影，从而用于后续的图像渲染和合成；

121、使用齐次坐标表示透视投影，并应用透视投影矩阵，将3d坐标转换为裁剪空间坐标：

122、；

123、其中，

124、；

125、其中，表示透视投影矩阵；表示近裁剪面的距离；表示远裁剪面的距离；表示近裁剪面的左边界；表示近裁剪面的右边界；表示近裁剪面的上边界；表示近裁剪面的下边界。

126、作为本技术方案的进一步改进，应用透视投影矩阵，将3d坐标转换为裁剪空间坐标后，得到的是裁剪空间坐标，将裁剪空间坐标转换为归一化设备坐标的过程包括除以齐次坐标的分量：

127、；

128、；

129、；

130、其中，表示归一化设备坐标系中的轴坐标；表示归一化设备坐标系中的轴坐标；表示归一化设备坐标系中的轴坐标；

131、视口的左下角位于屏幕上的像素坐标，宽度为，高度为，则将归一化设备坐标映射到实际屏幕像素坐标：

132、；

133、；

134、其中，表示最终的屏幕空间坐标中的轴坐标；表示最终的屏幕空间坐标中的轴坐标。表示经过视口变换后，映射到屏幕上的具体像素坐标；三维空间中的点经过视图变换、投影变换、归一化设备坐标转换以及视口变换后，就得到了该点在左右眼或其他多视角视口下的二维投影坐标。这些坐标可以直接用于图像渲染，并通过深度信息进行正确的前后遮挡处理，最终生成立体视觉效果。

135、与现有技术相比，本发明的有益效果：

136、1、该三维可视化多场景渲染应用集成方法中，在空间划分算法的基础上，采用视口划分算法对三维场景进行分割，将空间划分算法与视口划分算法结合，形成主渲染循环，且在主渲染循环执行过程中，基于视线方向预测算法，优化渲染队列，实现动态分配gpu、并实现图像块的并行处理能力，以更好地管理和渲染图像块，从而提高整体渲染效率和视觉效果。

137、2、该三维可视化多场景渲染应用集成方法中，基于视线方向预测算法对未来的视线方向进行预测的过程中，引入非均速直线运动模型，更新优先级渲染队列，可以使得视线方向预测更为精确，从而实现对渲染内容的前瞻性和精细化管理，确保在复杂场景下画面切换的平滑过渡，减少因渲染顺序不当造成的视觉突变问题。