物体的逆渲染方法、装置、设备及存储介质与流程

本发明涉及计算机视觉，具体涉及一种物体的逆渲染方法、装置、设备及存储介质。

背景技术：

1、随着人工智能的快速发展，自动驾驶技术也受到了广泛关注。但要实现真正的自动驾驶还面临着许多的挑战，最为关键的就是如何确保自动驾驶系统的安全性。因此，在将自动驾驶技术应用到汽车上之前，必须要对算法进行严格的测试。自动驾驶算法的测试方案大致可以分为实车测试和仿真测试这两种。由于自动驾驶算法的不确定性，实车测试存在一定的危险性，并且很难测试到罕见的危险道路情况。仿真测试则可以构建多种道路状况的场景，为自动驾驶提供了丰富的测试例子。

2、然而，仿真测试场景的构建需要专业的建模师才能完成，而建模师完成一个模型需要花费数天的时间，且所构建出来的场景与真实场景存在较大差异，逆渲染技术可以通过拍摄物体的多视角图像来还原真实物体，可以有效地提升建模效率以及场景的真实度，从而提高仿真测试的有效性。相关技术中的逆渲染方式大多是对物体进行隐式地重建和材质恢复，无法提取出物体的显式三维模型及材质贴图。而且，由于逆渲染问题的病态性，仅通过一组多视角图像来对模型、光照以及材质多种要素进行解耦，很难保证材质还原的准确性，从而难以保证场景的真实度。

技术实现思路

1、有鉴于此，本发明实施例提供了一种物体的逆渲染方法、装置、设备及存储介质，以解决难以保证材质还原准确性和场景还原真实度的问题。

2、第一方面，本发明实施例提供了一种物体的逆渲染方法，包括：获取目标物体在多个不同光照条件下的目标图像序列，目标图像序列包括目标物体在多个视图下的拍摄图像；对每个目标图像序列中的目标物体进行几何重建，得到目标物体对应的几何结构信息；基于几何结构信息确定目标物体对应的物体表面，对物体表面进行材质恢复，得到目标物体对应的材质信息；基于几何结构信息和材质信息，生成目标物体的三维模型和材质贴图。

3、本发明实施例提供的物体的逆渲染方法，通过对真实场景中的目标物体在多种光照条件以及多个视角下进行拍摄，继而采用多种光照条件下的多视角图像对目标物体进行逆向的几何重建和材质恢复，能够最大程度上保证材质还原的准确度。继而，结合几何重建所得到的几何结构信息以及材质恢复所得到的材质信息，生成目标物体的三维模型和材质贴图，使得目标物体的三维模型和材质贴图具有较高的真实度，从而保证了仿真测试场景的构建真实度。

4、在一种可选的实施方式中，对每个目标图像序列中的目标物体进行几何重建，得到目标物体对应的几何结构信息，包括：获取目标图像序列中的拍摄图像所对应的图像拍摄参数；基于拍摄图像和图像拍摄参数，生成穿过目标物体的光线簇；基于光线簇对目标物体进行体渲染，得到目标物体的几何结构信息。

5、本发明实施例提供的物体的逆渲染方法，结合目标图像序列中的拍摄图像以及图像拍摄参数生成穿过目标物体的光线簇，从而结合光线簇对目标物体的表面几何结构进行渲染，由此保证了目标物体几何重建的准确性。

6、在一种可选的实施方式中，基于光线簇对目标物体进行体渲染，得到目标物体的几何结构信息，包括：针对光线簇中的任意一条目标光线，对目标光线进行采样处理，得到目标光线的各个采样点；确定各个采样点对应的颜色参数信息；基于颜色参数信息，确定目标光线对应像素的渲染颜色；按照渲染颜色对目标物体进行三维渲染，得到目标物体的几何结构信息。

7、本发明实施例提供的物体的逆渲染方法，通过对光线簇中的任意一条目标光线进行采样处理，以便针对各个采样点计算相应的颜色参数信息，从而根据各个采样点的颜色参数信息进行三维渲染，由此最大程度上保证了几何结构的还原准确度。

8、在一种可选的实施方式中，颜色参数信息包括距离域值和颜色通道值，基于颜色参数信息，确定目标光线对应像素的渲染颜色，包括：将各个采样点对应的距离域值映射为各个采样点的颜色表达权重；基于颜色表达权重和颜色通道值，确定目标光线对应像素的渲染颜色。

9、本发明实施例提供的物体的逆渲染方法，结合颜色表达权重和颜色通道值确定目标光线上各点的渲染颜色，由此能够在最大程度上提升颜色信息的还原准确度，保证目标物体的渲染颜色与真实颜色之间的一致性。

10、在一种可选的实施方式中，基于几何结构信息确定目标物体对应的物体表面，对物体表面进行材质恢复，得到目标物体对应的材质信息，包括：对各个图像序列对应的光照条件进行模拟，得到各个图像序列对应的环境光照模拟信息；针对光线簇中的任意一条目标光线，对目标光线进行追踪处理，得到目标光线对应的物体表面点；确定物体表面点的材质属性信息；基于环境光照模拟信息以及材质属性信息，对物体表面点进行材质恢复，生成材质信息。

11、本发明实施例提供的物体的逆渲染方法，通过模拟不同光照条件下的环境光照分布，并采用多种光照条件下的多视角图像来共同恢复同一目标物体的材质信息，提升了材质恢复的准确性。

12、在一种可选的实施方式中，确定物体表面点的材质属性信息，包括：基于所述目标光线的追踪处理结果对物体表面点的漫反射率的进行预测，得到漫反射率信息；基于所述目标光线的追踪处理结果对物体表面点的镜面反射率进行预测，得到镜面反射率信息；基于所述目标光线的追踪处理结果对物体表面点的粗糙度进行预测，得到粗糙度信息；将漫反射率信息、镜面反射率信息以及粗糙度信息，确定为材质属性信息。

13、本发明实施例提供的物体的逆渲染方法，根据目标光线的追踪处理结果针对物体表面点分别进行漫反射率、镜面反射率以及粗糙度的预测，便于结合漫反射率信息、镜面反射率信息以及粗糙度信息对目标物体的材质进行准确还原，降低目标物体的渲染材质与真实材质之间的差异，从而保证了仿真测试场景的构建真实度。

14、在一种可选的实施方式中，获取目标物体在多个不同光照条件下的目标图像序列，包括：获取在不同光照条件下拍摄目标物体所得到的原始图像序列；对原始图像序列中的所有拍摄图像进行图像分割，确定目标物体的前景图像；对原始图像序列中的所有拍摄图像进行位姿估计，得到图像拍摄位姿；基于原始图像序列、前景图像和图像拍摄位姿，确定目标图像序列。

15、本发明实施例提供的物体的逆渲染方法，通过对原始图像序列中的所有拍摄图像进行图像分割以获取目标物体的前景图像，保证后续的几何重建以及材质恢复仅针对前景图像进行处理，由此实现了目标物体的针对性渲染。同时，对拍摄图像进行位姿估计以获取相应的图像拍摄位姿，便于结合图像拍摄位姿对所有拍摄图像进行校准，保证所有前景图像在位姿上的一致性，从而能够保证后续几何重建以及材质恢复的准确度。

16、在一种可选的实施方式中，该方法还包括：获取目标物体在不同原始图像序列中的点云信息；基于点云信息对图像拍摄位姿进行位姿配准，生成位姿配准结果。

17、本发明实施例提供的物体的逆渲染方法，通过点云信息对图像拍摄位姿进行位姿配准，以变换所有图像序列的位姿在同一世界坐标系下，避免位姿不统一而影响目标物体的渲染准确度，进一步的提升了目标物体的还原准确度。

18、在一种可选的实施方式中，基于几何结构信息和材质信息，生成目标物体的三维模型和材质贴图，包括：基于几何结构信息，确定目标物体对应的目标等值面；基于目标等值面，确定目标物体的三维模型；基于材质信息确定三维模型对应的目标材质信息；将目标材质信息按照预设映射方式生成材质贴图。

19、本发明实施例提供的物体的逆渲染方法，通过几何结构信息以及材质信息对目标物体的三维模型和材质贴图进行提取，由此实现了针对于目标物体的显式三维模型以及材质贴图的提取，有效的提升了目标物体的还原真实度，便于提高仿真测试的有效性。

20、第二方面，本发明实施例提供了一种物体的逆渲染装置，包括：获取模块，用于获取目标物体在多个不同光照条件下的目标图像序列，目标图像序列包括目标物体在多个视图下的拍摄图像；几何重建模块，用于对每个目标图像序列中的目标物体进行几何重建，得到目标物体对应的几何结构信息；材质恢复模块，用于基于几何结构信息确定目标物体对应的物体表面，对物体表面进行材质恢复，得到目标物体对应的材质信息；生成模块，用于基于几何结构信息和材质信息，生成目标物体的三维模型和材质贴图。

21、第三方面，本发明实施例提供了一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或其对应的任一实施方式所述的物体的逆渲染方法。

22、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行第一方面或其对应的任一实施方式所述的物体的逆渲染方法。

23、本发明的有益效果：

24、(1)本发明通过对真实场景中的目标物体在多种光照条件以及多个视角下进行拍摄，由此仅需要拍摄真实场景的多视角图像就能够将真实的目标物体虚拟化为相应的三维模型和材质贴图，大大减少了建模时间，提升了建模效率。

25、(2)本发明采用多种光照条件下的多视角图像对目标物体进行逆向的几何重建和材质恢复，能够最大程度上保证材质还原的准确度。结合几何重建所得到的几何结构信息以及材质恢复所得到的材质信息，生成目标物体的三维模型和材质贴图，使得目标物体的三维模型和材质贴图具有较高的真实度，从而保证了仿真测试场景的构建真实度。

26、(3)本发明通过模拟不同光照条件下的环境光照分布，并采用多种光照条件下的多视角图像来共同恢复同一目标物体的材质信息，提升了材质恢复的准确性。

27、(4)本发明通过几何结构信息以及材质信息对目标物体的三维模型和材质贴图进行提取，由此实现了针对于目标物体的显式三维模型以及材质贴图的提取，有效的提升了目标物体的还原真实度，便于提高仿真测试的有效性。