辅助训练高度图生成方法、渲染方法、介质及电子设备与流程

本技术属于三维建模，涉及一种辅助训练高度图生成方法，特别是涉及一种辅助训练高度图生成方法、渲染方法、介质及电子设备。

背景技术：

1、基于图像的视点合成是计算机图形学与计算机视觉领域共同关注的重要问题。具体来说，基于图像的视点合成即为利用已知拍摄视点的若干图像作为输入，对这些图像所拍摄的三维物体或者场景进行几何、外观、光照等性质的表达，从而可以对其他未拍摄到的视点的图像进行合成，最终得到具有高真实感的绘制结果。相比传统的三维重建结合图形绘制的流程，此类方法能够得到照片级别真实感的合成结果。早期的方法一般采用“拼图”的形式实现此目的，但这类方法对于拍摄条件的限制较高，同时能够合成的视点也非常有限。后来研究者们开始尝试从输入图像中提取场景的三维信息，并以提取出的三维结构信息作为辅助，实现对不同视点的绘制，提高了自由视点合成的效果。近些年许多基于深度学习的方法也被提出，通过数据驱动的方式，进一步提高了视点合成的准确性和真实感。

2、神经辐射场(neuralradiancefields，nerf)是一项利用多目图像重建三维场景的技术。使用一组多目图作为输入，通过优化一个潜在连续的体素场景方程来得到一个完整的三维场景。神经辐射场同样仅利用输入图像作为监督信息，可以为高分辨率的几何形状拟合出准确的隐函数，从而能够对复杂场景实现照片级别真实感的视点合成结果。该类技术可以将神经网络作为隐函数对三维模型进行表示，以达到不同的应用目的，如图像生成、视角生成以及重新光照等等。然而，由于神经辐射场技术是通过隐函数建模，建模过程依赖于神经网络在已知位姿的图像上的训练过程，因此在建模区域内存在较大高低落差的场景下，神经辐射场的建模方法可能会产生建模误差，导致在低矮处上空错误建模形成异常云雾且无法人工处理进行消除。

技术实现思路

1、鉴于以上所述现有技术的缺点，本技术的目的在于提供一种辅助训练高度图生成方法、渲染方法、介质及电子设备，用于解决现有技术中神经辐射场的建模方法可能会产生建模误差的问题。

2、第一方面，本技术提供一种辅助训练高度图生成方法，包括：根据建模区域的图像获取多个特征点，所述建模区域包含若干有效子区域和若干无效子区域；根据各所述有效子区域中包含的特征点的高度值获取各所述有效子区域的高度值；根据各子区域中包含的特征点的数量获取各所述子区域的密度值，所述子区域包含所述有效子区域和所述无效子区域；根据各所述有效子区域的高度值获取所述建模区域的稀疏高度图，根据各所述子区域的密度值获取所述建模区域的稀疏密度图；根据所述稀疏密度图和所述稀疏高度图获取一个或多个所述无效子区域的高度值；根据所述稀疏高度图和所述无效子区域的高度值获取所述建模区域的稠密高度图；利用所述稠密高度图获取辅助训练高度图，所述辅助训练高度图用于辅助神经辐射场模型进行训练。

3、本技术第一方面中，可以获取一个或多个无效子区域的高度值，并根据稀疏高度图和无效子区域的高度值获取建模区域的稠密高度图。因此，基于该稠密高度图生成的辅助训练高度图包含各有效子区域的高度信息以及部分或者全部无效子区域的高度信息。该辅助训练高度图可用于辅助神经辐射场模型进行训练，由此得到的神经辐射场模型具有较低的建模误差，并且可以对实际环境中复杂场景进行适配，拓展神经辐射场建模的应用场景。

4、本技术第一方面中，利用稠密高度图获取辅助训练高度图，该辅助训练高度图可用于辅助神经辐射场模型进行训练。此种方式可以避免使用建模区域的所有图像来训练神经辐射场模型，因而能够降低训练开销。在神经辐射场建模技术本身具有的高真实度建模能力下，降低训练开销可以进一步优化模型的实际应用和部署。

5、在第一方面的一种实现方式中，根据建模区域的图像获取多个特征点包括：获取所述特征点在相对坐标系中的三维坐标；对所述特征点在所述相对坐标系中的三维坐标进行变换处理，以获取所述特征点在绝对坐标系中的坐标。

6、本实现方式中，获取特征点在相对坐标系中的坐标，通过变换得到特征点在绝对坐标系中的坐标，也是将特征点变换到世界坐标系中与实际场景相对应，以便于更好地辅助神经辐射场模型训练。

7、在第一方面的一种实现方式中，获取所述子区域的密度值包括：根据所述子区域中包含的特征点的数量与所述子区域的面积，获取所述有效子区域的密度值。

8、本实现方式中，根据子区域的特征点数量和子区域的面积，获取子区域的密度值，这种方式能够根据特征点的数量和子区域的面积共同定义子区域的密度，无论子区域的面积是否一致，都可以获得唯一的密度值。

9、在第一方面的一种实现方式中，根据各所述有效子区域的高度值获取所述建模区域的稀疏高度图包括：根据各所述有效子区域中包含的所述特征点的最大高度值获取各所述有效子区域的高度值；根据各所述有效子区域的高度值生成所述建模区域的所述稀疏高度图。

10、本实现方式中，根据各有效子区域中包含的特征点的最大高度值作为有效子区域的高度值，这种方式可以使得建筑物的边缘都有特征点的高度值来表征，避免由于高度图的误差导致物体边缘所在空间被错误掩码掉，进而避免高度图的误差传播到神经辐射场的建模中。

11、在第一方面的一种实现方式中，对于一所述子区域，所述辅助训练高度图生成方法还包括：利用所述稀疏密度图判断该子区域中特征点的数量是否大于数量阈值，若是，则将该子区域配置为所述有效子区域，否则，将该子区域配置为所述无效子区域。

12、本实现方式中，将子区域按照稀疏密度图中特征点的数量进行区分，可以保留有效的子区域，并对无效子区域进行进一步的处理，分别处理的方式减少了计算量，提高了运算效率。

13、在第一方面的一种实现方式中，对于一所述无效子区域，根据所述稀疏密度图和所述稀疏高度图获取该无效子区域的高度值包括：将该无效子区域的膨胀半径区域内各所述有效子区域中包含的所述特征点的最大高度值作为该无效子区域的高度值。

14、本实现方式中，以某一无效子区域为基准划定一个范围，将范围内有效子区域的高度值的最大值作为该无效子区域的高度值，可以有效的减少无效子区域的数量，确保绝大部分子区域都有高度值。

15、在第一方面的一种实现方式中，利用所述稠密高度图获取辅助训练高度图包括：对所述稠密高度图进行池化处理，以获取所述建模区域的辅助训练高度图；输出所述建模区域的所述辅助训练高度图。

16、本实现方式中，可以采用迭代池化的方式，对有效子区域中高值部分进行膨胀处理，以避免在辅助神经辐射场训练时建筑物的边缘被掩码掉。

17、第二方面，本技术提供一种神经辐射场的渲染方法，其特征在于，根据建模区域的图像获取多个特征点，所述建模区域包含若干有效子区域和若干无效子区域；根据各所述有效子区域中包含的特征点的高度值获取各所述有效子区域的高度值；根据各子区域中包含的特征点的数量获取各所述子区域的密度值，所述子区域包含所述有效子区域和所述无效子区域；根据各所述有效子区域的高度值获取所述建模区域的稀疏高度图，根据各所述子区域的密度值获取所述建模区域的稀疏密度图；根据所述稀疏密度图和所述稀疏高度图获取一个或多个所述无效子区域的高度值；根据所述稀疏密度图和所述无效子区域的高度值获取所述建模区域的稠密高度图；利用所述稠密高度图获取辅助训练高度图，所述辅助训练高度图用于辅助神经辐射场模型进行训练；利用所述辅助训练高度图选择渲染所需采样点，并基于所述采样点利用神经辐射场模型对所述建模区域进行渲染。本技术中使用特征点生成高度图的计算方式，利用生成的辅助训练高度图来辅助神经辐射场模型训练，在渲染过程中利用辅助训练高度图筛选采样点，剔除高度图之上的采样点，可以在渲染中避免在低矮上空出现异常云雾的问题，同时还降低了训练开销。使神经辐射场建模方法能够适应更多类型的场景，在神经辐射场建模方法本身具有的建模能力下，进一步优化模型的实际应用功能。

18、在第三方面的一种实现方式中，本技术提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本技术第一方面中任一项所述的辅助训练高度图生成方法，和/或本技术第二方面中所述的神经辐射场渲染方法。

19、在第四方面的一种实现方式中，本技术提供一种电子设备，其特征在于，包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本技术第一方面中任一项所述的辅助训练高度图生成方法，和/或本技术第二方面中所述的神经辐射场渲染方法。

20、如上所述，本技术所述的一种辅助训练高度图生成方法、介质及电子设备，具有以下有益效果：

21、本技术的一些实现方式中，生成的辅助训练高度图在用于神经辐射场训练时，能够使得大幅度超出实际物体范围的区域不参与训练，从而使神经辐射场的训练更集中于物体体积范围内的区域，通过此种方式限缩了训练区域，因此节省了建模开销。此外，在渲染过程中，使用辅助训练高度图进行筛选，剔除高于辅助训练高度图中对应子区域高度值的采样点，将辅助训练高度图的上空采样点视为透明，能够在渲染中排除物体上空出现异常云雾的可能，同时也减少了渲染时所需采样点的数目，提高了渲染速度。