一种动态环境光照的实时渲染方法与流程

本发明涉及计算机图像处理，具体地涉及一种动态环境光照的实时渲染方法。

背景技术：

1、混合现实（mixed reality，mr）以及增强现实(augmented reality，ar）技术相关应用越来越广泛，其中，混合现实技术的关键是根据真实场景中的环境光影信息对虚拟模型实现真实感渲染，用户在佩戴mr显示设备后可以在任何时间和地点观察虚拟模型，并产生虚拟模型真实存在于现实环境中的虚实融合和身临其境的视觉效果。在mr应用中，逼真的渲染结果能够达到以假乱真的效果，进而提高用户在浏览时对于虚拟模型的视觉感知。

2、但现有技术中，受到当前硬件设备以及软件算法的限制，渲染质量和交互效率通常是矛盾的，二者均会影响mr应用中使用者的体验感受。为了避免用户在使用过程中出现眩晕等问题，mr应用通常会舍弃高渲染质量以保证高效的交互功能，因此视觉体验的真实感往往会受到限制和削弱。

3、为了提高mr渲染结果与用户周围真实环境的融合度，近年来，国内外的很多研究致力于此。例如在光照估计方面，一些研究专注于通过手机从有限视野的图像中推断全方位光照，但是这种方式获取的光照信息参数较少，基于较少信息参数所推断的光照进行渲染难以适用于场景复杂的情况，且显示效果的视觉真实度和合理性较弱。

4、另外在一些基于全景图像的光照估计相关研究中，通过对高动态图像分析获取其光照信息，这种方式虽然较为准确，但是计算难度较高、效率较低，无法满足实际的mr应用开发需求。

技术实现思路

1、本发明提供了一种动态光照环境光照的渲染方法，以解决现有技术无法在交互效率较高时光照根据周围场景实时光照渲染的问题。

2、为解决上述技术问题，本发明采用的技术方案是提供一种实时环境光照的渲染方法方法，包括：

3、获取场景信息，场景信息包括实时动态环境全景信息和/或静态环境全景信息。动态环境光照重建，根据场景信息生成第一全景图像，并获取场景信息的环境光照参数，其中，环境光照参数包括真实场景内的光源位置、类型和光照强度，根据第一全景图像生成全景辐照图，并将环境光照参数映射至全景辐照图中，全景辐照图包括全方位动态光照信息。

4、获取虚拟模型，通过虚拟三维数据建模，生成虚拟模型；真实感渲染，根据全景辐照图，对虚拟模型进行渲染并生成渲染结果，其中，渲染结果能够传输至mr设备中，并在mr设备内显示。

5、本发明提供的技术方案带来的有益效果是：

6、通过动态环境光照，将用户所在的真实环境场景中的信息进行拼接得到第一全景图像，并检测出第一全景图像中的环境光照参数，进而生成hdr（high-dynamic range，高动态范围）全景辐照图。相较于现有技术中的两种方式，即，通过算法推断全方位的光照信息和直接获取hdr图像，能够在获取全方位动态光照的同时降低计算压力。使其在硬件成本较低的情况下依旧能够适用多种类型的自然场景和模型数据，并保持高精度的真实感渲染质量。

7、此外，真实感渲染通过光线追踪的方法将虚拟三维数据建模中生成的任意虚拟模型进行渲染出与当前环境光照匹配的渲染结果，并与mr设备交互。即，真实感渲染用于对虚拟模型渲染出不同程度的光照面和阴影面，进而实现用户在观看虚拟物品甚至是与虚拟模型互动时，能够实时同步动态环境光照而产生的逼真的阴影和明暗效果，提高用户的真实感。从而实现高精度mr的渲染质量的同时提供高效计算，满足mr相关应用的实时交互需求。

8、在一些实施方案中，获取场景信息，包括：至少设置一个相机，相机能够按照设定视角连续拍摄相机周围的场景，其中，设定视角为多个预设相机视角；相机拍摄连续多张设定角度的图像；多张图像传输至图形工作站中。

9、采用上述技术方案，通过相机拍摄获取多张连续的多角度的ldr（low dynamicrange，低动态范围）的图像，将其传输至图形工作站中，将其进行拼接计算生成第一全景图像。使其能够在获取真实场景全部信息的情况下降低直接获取hdr（high dynamic range，高动态范围）全景图像进行计算的计算难度。

10、在一些实施方案中，动态环境光照重建，还包括：全景重建，获取多张图像，并通过图像拼接技术，对每一时刻的多张图像进行全景拼接，并生成第一全景图像，其中，第一全景图像包括全方位环境信息；坐标系矫正，坐标系矫正用于将以相机为参考坐标系下的第一全景图像转化为世界空间坐标系下的第二全景图像；空间位置矫正，空间位置矫正用于模拟处于不同的世界空间坐标系下的光照变化。

11、采用上述技术方案，将相机拍摄的多张ldr图像拼接成第一场景图像，虽然第一场景图像具有全方位环境信息，但其是以拍摄的相机为中心的环境信息，而非虚拟模型。因此，当虚拟模型与相机处于不同位置时，若以相机为中心的第一全景图像直接计算虚拟模型的周围的光照信息是不够准确的。通过坐标系的矫正和空间位置矫正使得渲染所使用的环境光照参数是以虚拟模型为中心的。

12、在一些实施方案中，坐标系矫正具体步骤包括：获取第二全景图像上的每一个像素的uv坐标；将每一个像素的uv坐标转换为球面坐标，并将球面坐标转换为三维笛卡尔坐标；将三维笛卡尔坐标从相机坐标系转换到世界坐标系下，记为：

13、

14、其中，为设定旋转矩阵，为世界坐标；遍历第二全景图像的每一个像素并生成第二全景图像，其中，每一个像素的uv坐标对应的像素值为世界坐标在第一全景图像对应的像素值。

15、采用上述技术方案，通过具体的步骤操作，使得以相机为中心的二维平面坐标的全景图像转化为以虚拟模型为中心的世界空间坐标系下的第二全景图像。此外，还能够有效地保证mr设备在移动过程中，转化其参考坐标系不会导致虚拟模型表面渲染的光影出现闪烁、晃动等情况。

16、在一些实施方案中，空间位置矫正的具体步骤包括：将世界空间坐标系下的第二全景图像映射至单位球面上，其中，预设虚拟模型的球面坐标为；旋转环境球直至虚拟模型与预设视线方向的水平角度一致，记为：

17、

18、其中，为虚拟模型的角坐标；旋转后的环境球对应的全景图像为第三全景图像；以虚拟模型为中心进行采样的环境球上的像素可表示为：

19、

20、，表示变量，表示预设距离；还满足：

21、

22、其中，变量需保留正数解，第三全景图像上所有的像素根据变量映射至第四全景图像。

23、采用上述技术方案，当用户在不断移动时，虚拟物品会被用户移动到不同的世界空间位置，为了避免更改世界空间坐标内的所有其他物品的坐标来补偿用户的坐标矫正，通过建设所有坐标都能够可靠映射的世界坐标系。且设定稳定的变换来定义世界中用户与虚拟模型之间的深度关系，提高空间坐标的稳定性，使得其渲染结果对用户而言更加真实。

24、在一些实施方案中，动态环境光照重建还包括对全景辐照图进行光照分析，光照分析包括光照估计和相邻帧间的光照差异值计算；其中，基于第一全景图像进行光照估计获得环境辐照图；

25、其中，相邻帧间的光照差异值计算包括：对环境辐照图进行采样权重计算，记为：

26、

27、其中，表示环境辐照图的高，表示纵坐标为的像素；将环境辐照图上的所有像素与采样权值相乘后得到全景辐照图；局部光照相似性计算，将全景辐照图划分为个图像块，其中，第个图像块的相邻帧之间的光照相似性根据ssim指标计算，记为：

28、

29、其中，表示图像块中的像素平均值，的取值范围是，当的值越接近1时，第个图像块在相邻帧之间越相似；全局光照差异性计算，根据局部光照相似性计算的结果，全景辐照图的全局光照差异性可记为：

30、

31、其中，的取值范围是，当越小时，相邻帧间的环境照明差异越小。

32、采用上述技术方案，对于实际应用中而言，用户在佩戴mr设备时通常会不断移动且与虚拟模型互动，若仅依靠实时捕获用户周围不断变化的环境光照信息，其容错率以及计算算力要求较高。由于相邻视频帧之间的光照变化通常是比较小的，对坐标矫正后的第一全景图像（即，第四全景图像）进行光照估计，从而获得环境辐照图。由于越靠近全景图像顶部或底部的光源越具有较大的面积，因此也越容易被采样，通过对环境辐照图进行采样，从而有效地避免采样不均的问题。

33、此外，全景辐照图的局部光照性相似性以及全局光照差异性判断基于前一帧的渲染结果能否用于对当前帧进行进一步优化，通过上述分析当前一帧与当前帧差异较小时，能够将前一帧的渲染结果用于当前帧的渲染优化。

34、在一些实施方案中，真实感渲染包括基于光线追踪的渲染和实时去噪；实时去噪包括时域去噪和时空去噪，时域去噪通过前一帧的渲染结果对当前帧渲染进行去噪，时空去噪用于对邻域像素间的去噪和mr设备间的去噪，其中，mr设备包括第一屏幕和第二屏幕；实时去噪具体步骤为：重投影计算，重投影计算包括：通过投影矩阵获得第一屏幕的当前帧的像素的对应的第二屏幕的对应帧的像素；并结合第一屏幕的前一帧像素和第二屏幕上的前一帧像素，优化的像素值；第一步去噪，记为：

35、

36、其中，为的第一步去噪的像素值，为的第二步去噪的像素值，为的第二步去噪的像素值，包括时域去噪和时空去噪；第二步去噪，记为：

37、

38、

39、其中，为第一步去噪的像素值，为第一步去噪的像素值；为对应的像素值为与的设定加权值，表示在三维空间中对应的虚拟模型的表面反射率。

40、采用上述技术方案，通过基于光线追踪的渲染，便于环境光照信息的采样以及当前虚拟模型更逼真的着色效果（例如添加光影面）。

41、此外，通过实时去噪的第一步和第二步去噪操作实现mr设备的去噪效果，即，时域去噪通过前一帧的渲染结果对当前帧渲染进行去噪；以及时空去噪通过邻域像素和第一屏幕、第二屏幕之间的图像去噪。

42、通过实时去噪后，图形工作站将每一帧的渲染结果保存至二维纹理图像，能够通过unity或ue等渲染引擎自带的通讯协议按先后顺序连续实时传输至mr设备中，并在mr设备进行显示。

43、在一些实施方案中，根据相邻帧间的光照差异性确定上一帧渲染图像对当前帧渲染图像的贡献度为：

44、

45、其中，为第二全景辐照图的全局光照差异性，表示函数，表示相邻帧间的双边权重计算因子；基于光线追踪的渲染包括：通过光线追踪在三维数据生成的三维虚拟空间内采样并着色，并获取渲染后的二维纹理图像；将实时去噪后的渲染结果保存至二维纹理图像。

46、采用上述技术方案，设置前一帧渲染图像对当前帧图像的贡献度计算，能够判定前一帧渲染图像用于当前帧去噪的占比权重。

47、在一些实施方案中，mr设备包括多个传感器，传感器能够获取mr设备的传感器参数，通过卡尔曼滤波获得时间序列上较稳定的传感器参数，并通过防抖算法，使得相邻帧间的图像内容能够平滑过度。

48、采用上述技术方案，现有技术中，mr设备上设置多个传感器，且传感器的参数较为敏感，若直接将该传感器参数用于与图形工作站进行交互，易导致渲染结果在时间序列上出现不稳定的抖动问题，因此，将防抖算法用于mr设备中的传感器参数过滤，能够有效地提高相邻帧间的图像平滑度。

49、在一些实施方案中，mr设备还包括全景相机，全景相机固定于mr设备，且，全景相机的镜头轴心线与mr设备的轴心保持一致。

50、采用上述技术方案，将全景相机固定于mr设备并与mr设备共用同一套相机坐标系，能够有效地保证用户的视野中心与经过环境光照重建后的多个全景图的中心对齐。