基于图像进行三维模型重建的方法、装置、介质和设备与流程

本公开实施例涉及三维重建，尤其涉及一种基于图像进行三维模型重建的方法、装置、介质和设备。

背景技术：

1、对物体的三维重建近些年一直是计算机图形学和计算机视觉的一个重要研究领域。而随着互联网技术的快速发展，三维重建技术也逐渐走向了成熟。三维重建的目标是根据单视图或多视图恢复物体的三维几何结构。与二维图像相比，三维模型更能反映物体的真实感和信息完整度，对于物体的局部细节与几何结构描述更为精细，一个重建完整的三维模型可以克服二维图像中出现的自遮挡和部分结构缺失等问题。在三维视觉应用中，有些物体可能具有复杂的结构和大量的细小组件，对这些物体进行三维重建是一个具有挑战性的任务。如何高效、准确地对物体进行三维重建是一个亟需解决的问题。

技术实现思路

1、本公开的实施例描述了一种基于图像进行三维模型重建的方法和装置，可以通过两个阶段对目标物体进行三维重建，在第一阶段生成第一三维模型。之后，基于第一三维模型生成目标物体的点云，并根据点云中的点在空间生成的球体引导第二阶段的光线采样，从而使采样更加高效、准确，进而使第二阶段生成的第二三维模型更加高效、准确。

2、根据第一方面，提供了一种基于图像进行三维模型重建的方法，包括：基于多角度拍摄的目标物体的多张图像和各张图像对应的相机位姿，生成上述目标物体对应的第一模型精度的第一三维模型；基于上述第一三维模型，生成上述目标物体对应的点云；基于上述多张图像、各张图像对应的相机位姿、以及上述点云中的点对应的球体进行光线采样，在每个球体中确定多个采样点；基于所述多张图像和上述多个采样点的位置信息，进行神经表面重建，得到第二模型精度的第二三维模型。由此，可以通过两个阶段对目标物体进行三维重建，在第一阶段生成第一三维模型。之后，基于第一三维模型生成目标物体的点云，并根据点云中的点在空间生成的球体引导第二阶段的光线采样，从而使采样更加高效、准确，进而使第二阶段生成的第二三维模型更加高效、准确。

3、在一个实施例中，上述方法还包括：根据上述多张图像、以及各图像对应的相机位姿，对上述第二三维模型进行纹理贴图，得到带有纹理的三维模型。通过本实施例，可以使三维模型呈现出更加真实和丰富的细节。

4、在一个实施例中，上述基于多角度拍摄的目标物体的多张图像和各张图像对应的相机位姿，生成上述目标物体对应的第一模型精度的第一三维模型，包括：基于上述多张图像、各张图像对应的相机位姿和神经表面重建方法，得到第一有符号距离场，其中，上述第一有符号距离场生成过程中采用加速训练算法进行加速；基于上述第一有符号距离场，生成上述目标物体对应的第一模型精度的第一三维模型。通过本实施例，可以基于神经表面重建方法生成第一三维模型。

5、在一个实施例中，上述第一三维模型为网格模型，包括多个顶点；以及，上述基于上述第一三维模型，生成上述目标物体对应的点云，包括：采用最远点采样算法对上述第一三维模型的顶点进行采样，生成上述目标物体对应的点云。由此，通过最远点采样算法，可以减少目标物体对应的点云的点数，且能保证所生成点云的准确性。在一个实施例中，上述点云中的点通过以下方式形成球体：对于上述点云中的各点，以该点为球心、以预设长度为半径生成该点对应的球体。由此，可以基于点云中的点生成球体。

6、在一个实施例中，上述基于上述多张图像、各张图像对应的相机位姿、以及上述点云中的点对应的球体进行光线采样，在每个球体中确定多个采样点，包括：将各球体投影到图像，从所投影到的图像中选取像素点作为候选像素点；基于相机位姿和候选像素点，确定候选光线；基于候选光线中、位于球体内部的线段，确定多个采样点。由此，可以使确定的采样点更加准确。

7、在一个实施例中，上述候选光线包括第一候选光线，上述第一候选光线与至少一个球体相交，上述至少一个球体包括第一球体；以及，上述基于候选光线中、位于球体内部的线段，确定多个采样点，包括：确定上述第一候选光线与上述第一球体相交的目标线段的目标长度，以及上述第一候选光线与上述至少一个球体相交的线段的总长度；基于上述目标长度与上述总长度，确定上述目标线段内的采样点数量，以及从上述目标线段中确定上述采样点数量个采样点。由此，可以使得到的采样点更加准确。

8、在一个实施例中，上述基于所述多张图像和上述多个采样点的位置信息，进行神经表面重建，得到第二模型精度的第二三维模型，包括：基于所述多张图像和上述多个采样点的位置信息，进行神经表面重建，得到第二有符号距离场；基于上述第二有符号距离场，生成上述目标物体对应的第二三维模型。通过本实施例，可以基于神经表面重建方法生成第二三维模型。

9、根据第二方面，提供了一种基于图像进行三维模型重建的装置，包括：第一生成单元，配置为，基于多角度拍摄的目标物体的多张图像和各张图像对应的相机位姿，生成上述目标物体对应的第一模型精度的第一三维模型；第二生成单元，配置为，基于上述第一三维模型，生成上述目标物体对应的点云；采样单元，配置为，基于上述多张图像、各张图像对应的相机位姿、以及上述点云中的点对应的球体进行光线采样，在每个球体中确定多个采样点；重建单元，配置为，基于所述多张图像和上述多个采样点的位置信息，进行神经表面重建，得到第二模型精度的第二三维模型。

10、根据第三方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序被处理器执行时实现如第一方面中任一项上述的方法。

11、根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令上述计算机执行第一方面中任一项上述的方法。

12、根据第五方面，提供了一种电子设备，包括存储器和处理器，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现第一方面中任一项上述的方法。

13、根据本公开实施例提供的基于图像进行三维模型重建的方法和装置，首先基于多角度拍摄的目标物体的多张图像和各张图像对应的相机位姿，生成目标物体对应的第一模型精度的第一三维模型。而后，基于第一三维模型生成目标物体对应的点云。然后，基于多张图像、各张图像对应的相机位姿、以及点云中的点对应的球体进行光线采样，在每个球体中确定多个采样点。最后，基于上述多张图像和多个采样点的位置信息，进行神经表面重建，得到第二模型精度的第二三维模型。由此，可以通过两个阶段对目标物体进行三维重建，在第一阶段生成第一三维模型。之后，基于第一三维模型生成目标物体的点云，并根据点云中的点在空间生成的球体引导第二阶段的光线采样，从而使采样更加高效、准确，进而使第二阶段生成的第二三维模型更加高效、准确。

技术特征：

1.一种基于图像进行三维模型重建的方法，包括：

2.根据权利要求1所述的方法，其中，所述方法还包括：

3.根据权利要求1所述的方法，其中，所述基于多角度拍摄的目标物体的多张图像和各张图像对应的相机位姿，生成所述目标物体对应的第一模型精度的第一三维模型，包括：

4.根据权利要求1所述的方法，其中，所述第一三维模型为网格模型，包括多个顶点；以及，所述基于所述第一三维模型，生成所述目标物体对应的点云，包括：

5.根据权利要求1所述的方法，其中，所述点云中的点通过以下方式形成球体：

6.根据权利要求1所述的方法，其中，所述基于所述多张图像、各张图像对应的相机位姿、以及所述点云中的点对应的球体进行光线采样，在每个球体中确定多个采样点，包括：

7.根据权利要求6所述的方法，其中，所述候选光线包括第一候选光线，所述第一候选光线与至少一个球体相交，所述至少一个球体包括第一球体；以及，所述基于候选光线中、位于球体内部的线段，确定多个采样点，包括：

8.根据权利要求1所述的方法，其中，所述基于所述多张图像和所述多个采样点的位置信息，进行神经表面重建，得到第二模型精度的第二三维模型，包括：

9.一种基于图像进行三维模型重建的装置，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令所述计算机执行权利要求1-8中任一项所述的方法。

11.一种电子设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。

技术总结
本公开实施例提供了一种基于图像进行三维模型重建的方法、装置、介质和设备。该方法的一具体实施方式包括：基于多角度拍摄的目标物体的多张图像和各张图像对应的相机位姿，生成所述目标物体对应的第一模型精度的第一三维模型；基于所述第一三维模型，生成所述目标物体对应的点云；基于所述多张图像、各张图像对应的相机位姿、以及所述点云中的点对应的球体进行光线采样，在每个球体中确定多个采样点；基于所述多张图像和所述多个采样点的位置信息，进行神经表面重建，得到第二模型精度的第二三维模型。由此，可以基于多张图像高效、准确的生成三维模型。

技术研发人员：彭以平,周文,焦少慧
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/5/9