一种三维扫描方法、装置、设备和存储介质与流程

背景技术：

1、随着计算机硬件以及工业扫描技术的发展，三维(three dimensional，3d)纹理贴图广泛应用于计算机图形学的各个领域，以增加3d物体的真实感，三维纹理贴图是将摄像装置采集的高质量多视角图像和扫描模型进行融合，以提高展示的被扫描物体的真实性。

2、但是，现有的通过sfm(structure from motion)算法进行稀疏重建后再进行贴图的方法，容易出现稀疏重建错误，且耗时也比较长；通过特征匹配后再进行贴图的方法，存在大量冗余计算，且匹配过程多依赖于标定的结果，适应性比较差。综上所述，目前采用的三维贴图方法，贴图效率比较低，用户体验也比较差。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种三维扫描方法、装置、设备和存储介质，能够快速准确的完成扫描模型贴图处理，提高了用户体验。

2、第一方面，本公开实施例提供了一种三维扫描方法，包括：

3、获取被扫描物体的第一图像集、第二图像集和三维模型，所述第一图像集包括多帧拍摄图像，所述第二图像集包括多帧扫描图像；

4、建立所述多帧拍摄图像中目标帧拍摄图像间的图型结构；

5、基于所述三维模型坐标系下的三维点和所述多帧扫描图像，构建所述三维模型表面的数据集；

6、根据所述图型结构和所述数据集，生成所述三维模型的纹理数据。

7、可选的，所述建立所述多帧拍摄图像中目标帧拍摄图像间的图型结构，包括：

8、根据提取的所述多帧拍摄图像的特征进行特征匹配，得到所述多帧拍摄图像间的特征匹配关系；

9、根据所述多帧拍摄图像间的特征匹配关系，建立所述多帧拍摄图像中目标帧拍摄图像间的图型结构。

10、可选的，所述基于所述三维模型坐标系下的三维点和所述多帧扫描图像，构建所述三维模型表面的数据集，包括：

11、提取所述多帧扫描图像的特征，其中，每帧扫描图像的特征包括多个二维点和每个二维点对应的特征描述子；

12、根据所述多帧扫描图像的特征，确定所述三维模型的每个三维点对应的特征描述子；

13、以所述三维模型为框架，基于所述三维模型坐标系下的三维点和每个三维点对应的特征描述子，构建所述三维模型表面的数据集。

14、可选的，所述根据所述图型结构和所述数据集，生成所述三维模型的纹理数据，包括：

15、基于所述图型结构在所述目标帧拍摄图像中确定第一帧拍摄图像；

16、根据所述数据集计算所述第一帧拍摄图像的第一位姿，并确定所述第一帧拍摄图像在所述三维模型坐标系下的深度图数据；

17、基于所述第一位姿和所述深度图数据将所述第一帧拍摄图像进行贴图，直至完成所有目标帧拍摄图像的贴图后，生成所述三维模型的纹理数据。

18、可选的，所述根据所述数据集计算所述第一帧拍摄图像的第一位姿，并确定所述第一帧拍摄图像在所述三维模型坐标系下的深度图数据，包括：

19、将所述第一帧拍摄图像和所述数据集进行特征匹配，得到具有第一匹配关系的第一匹配对，其中，所述第一匹配关系反映的是二维点和三维点间的匹配关系；

20、根据所述第一匹配对计算所述第一帧拍摄图像的第一位姿，并确定拍摄所述第一帧拍摄图像的摄像装置的相机参数；

21、根据所述相机参数确定所述第一帧拍摄图像在所述三维模型坐标系下的深度图数据。

22、可选的，所述确定拍摄所述第一帧拍摄图像的摄像装置的相机参数，包括：

23、根据所述第一位姿和所述数据集中每个三维点对应的特征描述子对所述第一匹配对进行扩充；

24、根据扩充后的第一匹配对确定拍摄所述第一帧拍摄图像的摄像装置的相机参数。

25、可选的，确定所述第一帧拍摄图像在所述三维模型坐标系下的深度图数据后，所述方法还包括：

26、基于所述图型结构在所述目标帧拍摄图像中确定和所述第一帧拍摄图像匹配的第二帧拍摄图像；

27、将所述第一帧拍摄图像和所述第二帧拍摄图像进行特征匹配，得到具有所述第一匹配关系的第二匹配对；

28、根据所述第二匹配对计算所述第二帧拍摄图像的第二位姿，并根据所述第二匹配对和所述第一匹配对联合优化所述相机参数；

29、根据优化后的相机参数确定所述第二帧拍摄图像在所述三维模型坐标系下的深度图数据。

30、可选的，所述将所述第一帧拍摄图像和所述第二帧拍摄图像进行特征匹配，得到具有所述第一匹配关系的第二匹配对，包括：

31、将所述第一帧拍摄图像和所述第二帧拍摄图像进行特征匹配，得到具有第二匹配关系的第三匹配对，其中，所述第二匹配关系反映的是二维点和二维点间的匹配关系；

32、根据所述第一帧拍摄图像的深度图数据和所述第三匹配对，得到具有所述第一匹配关系的第二匹配对。

33、第二方面，本公开实施例提供了一种三维扫描装置，包括：

34、获取模块，用于获取被扫描物体的第一图像集、第二图像集和三维模型，所述第一图像集包括多帧拍摄图像，所述第二图像集包括多帧扫描图像；

35、建立模块，用于建立所述多帧拍摄图像中目标帧拍摄图像间的图型结构；

36、构建模块，用于基于所述三维模型坐标系下的三维点和所述多帧扫描图像，构建所述三维模型表面的数据集；

37、生成模块，用于根据所述图型结构和所述数据集，生成所述三维模型的纹理数据。

38、第三方面，本公开实施例提供了一种电子设备，包括：

39、存储器；

40、处理器；以及

41、计算机程序；

42、其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述的三维扫描方法。

43、第四方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的三维扫描方法的步骤。

44、本公开实施例提供了一种三维扫描方法，包括：获取被扫描物体的第一图像集、第二图像集和三维模型，第一图像集包括多帧拍摄图像，第二图像集包括多帧扫描图像；建立多帧拍摄图像中目标帧拍摄图像间的图型结构；基于三维模型坐标系下的三维点和多帧扫描图像，构建三维模型表面的数据集；根据图型结构和数据集，生成三维模型的纹理数据。本公开提供的方法，能够快速准确的完成扫描模型贴图处理，提高了用户体验。

技术特征：

1.一种三维扫描方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述建立所述多帧拍摄图像中目标帧拍摄图像间的图型结构，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述三维模型坐标系下的三维点和所述多帧扫描图像，构建所述三维模型表面的数据集，包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述图型结构和所述数据集，生成所述三维模型的纹理数据，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述数据集计算所述第一帧拍摄图像的第一位姿，并确定所述第一帧拍摄图像在所述三维模型坐标系下的深度图数据，包括：

6.根据权利要求5所述的方法，其特征在于，所述确定拍摄所述第一帧拍摄图像的摄像装置的相机参数，包括：

7.根据权利要求5所述的方法，其特征在于，确定所述第一帧拍摄图像在所述三维模型坐标系下的深度图数据后，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述将所述第一帧拍摄图像和所述第二帧拍摄图像进行特征匹配，得到具有所述第一匹配关系的第二匹配对，包括：

9.一种三维扫描装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，包括：

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一所述的三维扫描方法的步骤。

技术总结
本公开涉及一种三维扫描方法、装置、设备和存储介质。扫描方法包括：获取被扫描物体的第一图像集、第二图像集和三维模型，第一图像集包括多帧拍摄图像，第二图像集包括多帧扫描图像；建立多帧拍摄图像中目标帧拍摄图像间的图型结构；基于三维模型坐标系下的三维点和多帧扫描图像，构建三维模型表面的数据集；根据图型结构和数据集，生成三维模型的纹理数据。本公开提供的方法，能够快速准确的完成扫描模型贴图处理，提高了用户体验。

技术研发人员：刘雨,李仁举,李洲强,张健
受保护的技术使用者：先临三维科技股份有限公司
技术研发日：
技术公布日：2024/1/12