一种三维重建方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体而言，涉及一种三维重建方法、装置、电子设备及存储介质。


背景技术：

2.三维重建是将图像采集设备采集的真实场景的图像数据，利用计算机自动进行计算和构建三维模型。三维重建技术在智慧城市、地质防治以及城市管理等领域得到了广泛的应用。
3.然而，根据采集到的图像数据进行三维重建后，会存在有缺失区域的现象，而完整三维模型构建的精度与该缺失区域的图像数据的精度有直接关系。
4.因此，如何获取高精度的缺失区域的图像数据是目前亟待解决的技术问题。


技术实现要素：

5.本技术的目的在于，针对上述现有技术中的不足，提供一种三维重建方法、装置、电子设备及存储介质，可以获取高精度的缺失区域的图像数据。
6.为实现上述目的，本技术实施例采用的技术方案如下：
7.第一方面，本技术实施例提供了一种三维重建方法，该方法包括：
8.确定影像集合中未参与重建初始三维模型的至少一帧待重建影像，所述影像集合包括：所述至少一帧待重建影像以及参与重建所述初始三维模型的至少一帧初始影像；
9.根据所述至少一帧待重建影像的位置信息，确定至少一个待拍摄区域；
10.获取从各待拍摄区域拍摄的初始重叠影像；
11.根据各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像进行影像三维重建，得到目标三维模型。
12.可选地，所述根据所述至少一帧待重建影像的位置信息，确定至少一个待拍摄区域，包括：
13.根据所述至少一帧待重建影像的位置信息，得到至少一个拍摄点集合，每个拍摄点集合中包括多个拍摄点，每个拍摄点具有对应的位置信息；
14.根据各拍摄点集合中各拍摄点的位置信息，确定至少一个待拍摄区域。
15.可选地，所述根据所述至少一帧待重建影像的位置信息，得到至少一个拍摄点集合，包括：
16.可选地，所述根据各拍摄点集合中各拍摄点的位置信息，确定至少一个待拍摄区域，包括：
17.根据各拍摄点集合中各拍摄点的位置信息，对各拍摄点集合进行边界检测；
18.根据边界检测的结果，得到所述至少一个待拍摄区域。
19.可选地，所述根据边界检测的结果，得到所述至少一个待拍摄区域，包括：
20.根据边缘检测的结果，得到至少一个参考区域；
21.对各参考区域进行扩展处理，得到所述至少一个待拍摄区域。
22.可选地，所述根据各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像进行影像三维重建，得到目标三维模型，包括：
23.分别对各所述待拍摄区域拍摄的初始重叠影像进行三维重建，得到至少一个中间三维模型；
24.根据各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像，对所述至少一个中间三维模型以及所述初始三维模型进行融合处理，得到目标三维模型。
25.可选地，所述分别对各所述待拍摄区域拍摄的初始重叠影像进行三维重建，得到至少一个中间三维模型，包括：
26.对第一待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像进行特征匹配，确定所述初始影像中的至少三帧匹配影像，其中，所述第一待拍摄区域为各所述待拍摄区域中的任意一个待拍摄区域；
27.将所述至少三帧匹配影像加入所述第一待拍摄区域拍摄的初始重叠影像中，得到所述第一待拍摄区域对应的目标重叠影像；
28.基于所述第一待拍摄区域对应的目标重叠影像进行三维重建，得到所述第一待拍摄区域对应的中间三维模型。
29.可选地，所述基于所述第一待拍摄区域对应的目标重叠影像进行三维重建，得到所述第一待拍摄区域对应的中间三维模型，包括：
30.可选地，基于各目标重叠影像进行三维重建，得到所述第一待拍摄区域对应的变换前三维模型；
31.根据各所述目标重叠影像中的匹配影像对应的位置信息和各所述初始影像中的匹配影像对应的位置信息，对所述变换前三维模型进行变换处理，得到所述第一待拍摄区域对应的中间三维模型。
32.可选地，所述根据各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像，对所述至少一个中间三维模型以及所述初始三维模型进行融合处理，得到目标三维模型，包括：
33.从所述第一待拍摄区域对应的中间三维模型中删除各所述匹配影像对应的点云数据，得到所述第一待拍摄区域对应的删除后的中间三维模型；
34.将各所述第一待拍摄区域对应的删除后的中间三维模型分别与所述初始三维模型进行融合处理，得到目标三维模型。
35.可选地，所述根据各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像进行影像三维重建，得到目标三维模型，包括：
36.对各所述待拍摄区域拍摄的初始重叠影像以及初始影像进行特征匹配；
37.基于特征匹配结果，采用运动恢复结构算法进行影像三维重建，得到目标三维模型。
38.可选地，所述根据各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像进行影像三维重建，得到目标三维模型，包括：
39.将各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧待重建影像注册至所述初始三维模型中，得到目标三维模型。
40.第二方面，本技术实施例还提供了一种三维重建装置，所述装置包括：
41.第一确定模块，用于确定影像集合中未参与重建初始三维模型的至少一帧待重建影像，所述影像集合包括：所述至少一帧待重建影像以及参与重建所述初始三维模型的至少一帧初始影像；
42.第二确定模块，用于根据所述至少一帧待重建影像的位置信息，确定至少一个待拍摄区域；
43.获取模块，用于获取从各待拍摄区域拍摄的初始重叠影像；
44.重建模块，用于根据各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像进行影像三维重建，得到目标三维模型。
45.可选地，所述第二确定模块，具体用于根据所述至少一帧待重建影像的位置信息，得到至少一个拍摄点集合，每个拍摄点集合中包括多个拍摄点，每个拍摄点具有对应的位置信息；根据各拍摄点集合中各拍摄点的位置信息，确定至少一个待拍摄区域。
46.可选地，所述第二确定模块，还具体用于对各待重建影像的位置信息进行聚类处理，得到所述至少一个拍摄点集合。
47.可选地，所述第二确定模块，还具体用于根据各拍摄点集合中各拍摄点的位置信息，对各拍摄点集合进行边界检测；根据边界检测的结果，得到所述至少一个待拍摄区域。
48.可选地，所述第二确定模块，还具体用于根据边缘检测的结果，得到至少一个参考区域；对各参考区域进行扩展处理，得到所述至少一个待拍摄区域。
49.可选地，所述重建模块，具体用于分别对各所述待拍摄区域拍摄的初始重叠影像进行三维重建，得到至少一个中间三维模型；根据各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像，对所述至少一个中间三维模型以及所述初始三维模型进行融合处理，得到目标三维模型。
50.可选地，所述重建模块，还具体用于对第一待拍摄区域拍摄的初始重叠影像以及所述至少一帧初始影像进行特征匹配，确定所述初始影像中的至少三帧匹配影像，其中，所述第一待拍摄区域为各所述待拍摄区域中的任意一个待拍摄区域；将所述至少三帧匹配影像加入所述第一待拍摄区域拍摄的初始重叠影像中，得到所述第一待拍摄区域对应的目标重叠影像；基于所述第一待拍摄区域对应的目标重叠影像进行三维重建，得到所述第一待拍摄区域对应的中间三维模型。
51.可选地，所述重建模块，还具体用于基于各目标重叠影像进行三维重建，得到所述第一待拍摄区域对应的变换前三维模型；根据各所述目标重叠影像中的匹配影像对应的位置信息和各所述初始影像中的匹配影像对应的位置信息，对所述变换前三维模型进行变换处理，得到所述第一待拍摄区域对应的中间三维模型。
52.可选地，所述重建模块，还具体用于从所述第一待拍摄区域对应的中间三维模型中删除各所述匹配影像对应的点云数据，得到所述第一待拍摄区域对应的删除后的中间三维模型；将各所述第一待拍摄区域对应的删除后的中间三维模型分别与所述初始三维模型进行融合处理，得到目标三维模型。
53.可选地，所述重建模块，还用于对各所述待拍摄区域拍摄的初始重叠影像以及初始影像进行特征匹配；基于特征匹配结果，采用运动恢复结构算法进行影像三维重建，得到目标三维模型。
54.可选地，所述重建模块，还用于将各所述待拍摄区域拍摄的初始重叠影像以及所述至少一帧待重建影像注册至所述初始三维模型中，得到目标三维模型。
55.第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的所述三维重建方法的步骤。
56.第四方面，本技术实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面的所述三维重建方法的步骤。
57.本技术的有益效果是：
58.本技术实施例提供一种三维重建方法、装置、电子设备及存储介质，该方法包括：确定影像集合中未参与重建初始三维模型的至少一帧待重建影像，该影像集合包括：至少一帧待重建影像以及参与重建该初始三维模型的至少一帧初始影像；根据至少一帧待重建影像的位置信息，确定至少一个待拍摄区域；获取从各待拍摄区域拍摄的初始重叠影像；根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像进行影像三维重建，得到目标三维模型。采用本技术实施例提供的三维重建方法，处理器可根据未参与重建初始三维模型的各待重建影像的位置信息，确定出至少一个待拍摄区域，根据各待拍摄区域的位置信息可重新采集初始三维模型上缺失区域的影像，即可采集各待拍摄区域对应的初始重叠影像，这样可以使重新获取的缺失区域的影像数据(初始重叠影像)的精度得到提高，在此基础上，可基于各初始重叠影像以及各初始影像得到目标三维模型的精度也得到提高。
附图说明
59.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
60.图1为本技术实施例提供的一种三维重建系统的场景示意图；
61.图2为本技术实施例提供的一种三维重建方法的流程示意图；
62.图3为本技术实施例提供的另一种三维重建方法的流程示例图；
63.图4为本技术实施例提供的又一种三维重建方法的流程示意图；
64.图5为本技术实施例提供的再一种三维重建方法的流程示意图；
65.图6为本技术实施例提供的另一种三维重建方法的流程示意图；
66.图7为本技术实施例提供的另一种三维重建方法的流程示例图；
67.图8为本技术实施例提供的又一种三维重建方法的流程示例图；
68.图9为本技术实施例提供的一种三维重建装置的结构示意图；
69.图10为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
70.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本技术一部分实施例，而不是全部的实施例。
71.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
72.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
73.在对本技术实施例进行解释之前，首先对本技术的应用场景进行介绍。该应用场景为对目标对象进行三维重建的场景，该目标对象具体可以为人、物、场景等，本技术不对其进行限定。图1为本技术实施例提供的一种三维重建系统的场景示意图。如图1所述，该三维重建系统包括图像采集设备101、图像处理设备102，其中，图像采集设备101与图像处理设备102通信连接。图像采集设备101可设置在无人机、无人车等载体的本体上，图像采集设备101的形态可包括照相机或摄像机等具有图像捕获功能的设备。
74.此处以图像采集设备101设置在无人机的本体上为例进行说明，该无人机上还可设置imu(inertialmeasurement unit，惯性测量单元)、gps(globalpositioning system，全球定位系统)、气压计等传感器，该无人机上还可设置有控制器，控制器用于接收各传感器采集到的信息，并且还可以向图像采集设备101发送拍摄指令，图像采集设备101基于拍摄指令进行图像采集。图像处理设备102可集成在该控制器上，也可是该控制器之外的一个设备，本技术不对其进行限定。
75.无人机可基于预先设置的初始飞行参数(如飞行速度、高度等)、初始图像采集参数(如拍照分辨率、重叠度等)通过图像采集设备101对目标对象进行多角度的拍摄，通过图像采集设备101采集目标对象的多个影像，将采集到的影像发送给图像处理设备102，图像处理设备102基于影像数据对目标对象进行三维建模，得到三维模型。然而，由于外界因素的影响(如光照、视点差异等)，所重建的三维模型可能存在缺失区域的现象，可根据缺失区域的特征信息，采用本技术实施例的方式获取缺失区域对应的图像数据，最终得到目标对象完整的三维模型。
76.如下结合附图对本技术所提到的三维建模方法进行示例说明。图2为本技术实施例提供的一种三维重建方法的流程示意图。如图2所示，该方法可包括：
77.s201、确定影像集合中未参与重建初始三维模型的至少一帧待重建影像。
78.需要说明的是，未参与重建初始三维模型的待重建影像可以理解为始终没有参与重建任务的影像，或者虽然参与了重建任务，但是重建失败的影像。
79.其中，该影像集合包括：至少一帧待重建影像以及参与重建该初始三维模型的至少一帧初始影像。该影像集合中的影像可通过下述方式获取，例如需要对目标区域进行三维重建，可利用上述图1中的三维重建系统中的图像采集设备101获取该目标区域对应的影像，将多个影像组成影像集合，该影像集合中的各影像还对应有位置信息，需要说明的是，本技术不对该影像集合中的影像个数进行限定。
80.可将该影像集合中的各影像发送给上述提到的图像处理设备，需要说明的是，本技术实施例中提到的处理器即为该图像处理设备。处理器可对各影像进行预处理，如进行二值化和平滑滤波等操作，这样可以提高影像的质量与可读性，便于进行后续特征提取及
匹配操作。处理器对预处理后的各影像可进行特征提取及匹配，得到各影像之间的匹配关系。根据各影像特征点的匹配关系进行稀疏重建得到该目标区域的三维模型。
81.在三维模型上有缺失区域时，可将该三维模型称为该目标区域对应的初始三维模型。根据该初始三维模型中各影像的外参(如拍摄参数)，得到参与重建该初始三维模型的影像，将该影像称为初始影像，根据各初始影像以及该影像集合，可确定出未参与重建该初始三维模型的影像，将该影像称为待重建影像，可将未进行稀疏重建的影像(待重建影像)组成待重建影像集合。
82.s202、根据至少一帧待重建影像的位置信息，确定至少一个待拍摄区域。
83.其中，上述提到的影像集合中的各影像对应有位置信息，即可确定出各待重建影像的位置信息，也就是说，图像采集设备在采集影像时，可为每个影像匹配有一个位置坐标，将位置坐标与影像进行相关联存储。基于多个待重建影像的位置坐标，可得到多个位置点。根据多个位置点以及区域划分方法可确定至少一个待拍摄区域，各待拍摄区域可对应有坐标信息，无人机可根据每个待拍摄区域的坐标信息执行拍摄任务，重新获取每个待拍摄区域对应的影像。
84.s203、获取从各待拍摄区域拍摄的初始重叠影像。
85.其中，在一种可实现的实施例中，无人机上的控制器可基于预先重新设置的飞行参数(如飞行速度、高度等)以及预先重新设置的拍照参数控制飞行设备、图像采集设备从各待拍摄区域拍摄影像，可将拍摄到的影像称为初始重叠影像，将各待拍摄区域对应的初始重叠影像可组成各初始重叠影像集合，将各待拍摄区域与各初始重叠影像集合进行相关联存储。示例性的，处理器只要获取到任何一个待拍摄区域对应的初始重叠影像集合后，就可进行重建操作。具体的，重新设置的飞行参数中的飞行高度可比上述提到的影像集合对应的飞行参数(即历史飞行参数)中的飞行高度要高，重新设置的拍照参数中的航向重叠度以及旁向重叠度可比上述提到的影像集合对应的拍照参数中的航向重叠度以及旁向重叠度要大，或者重新设置的飞行参数中的飞行高度可与上述提到的影像集合对应的飞行参数中的飞行高度一样，重新设置的飞行参数中的其他参数(如拍照参数)可比上述提到的影像集合对应的拍照参数要更优，需要说明的是，本技术不对重新设置的飞行参数以及重新设置的拍照参数的具体数值进行限定，可根据实际需求进行设置。
86.s204、根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像进行影像三维重建，得到目标三维模型。
87.其中，在一种可实现的实施例中，可从各待拍摄区域对应的初始重叠影像集合中取出各初始重叠影像，将各初始重叠影像与参与重建该初始三维模型的各初始影像进行影像三维重建，具体的，可对各初始重叠影像以及各初始影像进行预处理，如进行二值化和平滑滤波等操作，将处理后的各初始重叠影像以及各初始影像进行特征提取及匹配，得到各影像之间的匹配关系。根据匹配关系可构建点云数据，基于点云数据以及重建算法重建得到该目标区域对应的目标三维模型，该目标三维模型是该目标区域对应的完整三维模型。
88.在另一种可实现的实施例中，可基于该初始三维模型，采用求解3d
‑
2d点对运动的方法将各初始重叠影像通过注册的方式融合进已经重建好的该初始三维模型中，得到该目标区域对应的目标三维模型，求解3d
‑
2d点对运动的方法为一种传统方法，本技术不对其进行解释。
89.综上所述，本技术实施例提供的三维重建方法中，处理器可根据未参与重建初始三维模型的各待重建影像的位置信息，确定出至少一个待拍摄区域，根据各待拍摄区域的位置信息可重新采集初始三维模型上缺失区域的影像，具体的，可采集各待拍摄区域对应的初始重叠影像，这样可以使重新获取的缺失区域的影像数据(初始重叠影像)的精度得到提高，在此基础上，可基于各初始重叠影像以及各初始影像得到目标三维模型的精度也得到提高。
90.图3为本技术实施例提供的另一种三维重建方法的流程示例图。如图3所示，可选地，上述根据至少一帧待重建影像的位置信息，确定至少一个待拍摄区域，可包括：
91.s301、根据至少一帧待重建影像的位置信息，得到至少一个拍摄点集合。
92.其中，每个拍摄点集合中包括多个拍摄点，每个拍摄点具有对应的位置信息。利用图像采集设备获取目标区域的影像时，各影像会匹配对应的位置坐标，可根据待重建影像与位置坐标之间的匹配关系，得到各待重建影像对应的位置坐标，每个位置坐标相当于一个拍摄点，那么可得到多个拍摄点，将多个拍照点可分成多个拍照点集合。
93.s302、根据各拍摄点集合中各拍摄点的位置信息，确定至少一个待拍摄区域。
94.其中，可为每个拍照点集合进行编号，如拍照点集合a、拍照点集合b等，此处以一个拍照点集合(如拍照点集合a)为例进行说明，其他拍照点集合类似。拍照点集合a中包括多个拍照点，每个拍照点具有对应的位置坐标，可利用边界检测法确定出拍照点集合a对应的待拍摄区域。
95.可选地，上述根据至少一帧待重建影像的位置信息，得到至少一个拍摄点集合，包括：对各待重建影像的位置信息进行聚类处理，得到至少一个拍摄点集合。
96.其中，聚类处理具体可为k均值聚类算法(k
‑
means clustering algorithm)，各待重建影像的位置信息相当于各拍照点，对各拍照点进行k均值聚类算法，得到多个拍摄点集合。具体的，首先可从多个拍照点中选出k各拍照点作为聚类中心，然后计算每个拍照点与各聚类中心之间的距离，将每个拍照点分配给距离它最近的聚类中性，直到每个拍照点被分配完，最后可得到多个拍摄点集合。需要说明的是，拍照点集合的个数与进行k均值聚类算法时设置的k值相关，本技术不对其进行限定。
97.图4为本技术实施例提供的又一种三维重建方法的流程示意图。如图4所示，可选地，上述根据各拍摄点集合中各拍摄点的位置信息，确定至少一个待拍摄区域，包括：
98.s401、根据各拍摄点集合中各拍摄点的位置信息，对各拍摄点集合进行边界检测。
99.s402、根据边界检测的结果，得到至少一个待拍摄区域。
100.其中，在一种可实现的实施例中，该边界检测具体可为凸包检测，当然也可为其他进行边界检测的方法，本技术不对其进行限定。此处以凸包检测为例进行说明，凸包可以想象成一条刚好包住所有点的橡皮圈，凸边就是将最外层的点连接起来构成的凸边多边形，它能包住各拍摄点集合中所有的点。各拍摄点集合均采用凸包检测，首先可识别出各拍摄点集合中最外层的拍摄点，将最外层的拍照点进行连接，将连接后形成的区域可直接作为待拍摄区域，也可对连接后形成的区域进行后期处理(如扩展处理)，得到待拍摄区域。
101.可选地，上述根据边界检测的结果，得到至少一个待拍摄区域，包括：根据边缘检测的结果，得到至少一个参考区域；对各参考区域进行扩展处理，得到至少一个待拍摄区域。
102.其中，将各拍摄点集合中最外层的拍摄点连接后，可得到各拍摄点集合对应的参考区域，将各参考区域可向外扩预设距离，将扩展后的参考区域作为待拍摄区域，这样可以使从待拍摄区域拍摄的初始重叠影像与参与重建初始三维模型的初始影像具有更好的重叠，可提高三维建模的精度。
103.图5为本技术实施例提供的再一种三维重建方法的流程示意图。如图5所示，可选地，上述根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像进行影像三维重建，得到目标三维模型，包括：
104.s501、分别对各待拍摄区域拍摄的初始重叠影像进行三维重建，得到至少一个中间三维模型。
105.其中，可将各待拍摄区域对应的初始重叠影像分别组成初始重叠影像集合，可对初始重叠影像集合进行编号，如初始重叠影像集合1、初始重叠影像集合2等。根据每个初始重叠影像集合中的初始重叠影像，可对每个待拍摄区域进行三维重建，此处以待拍摄区域1对应的初始重叠影像集合1为例进行说明，其他类似，可首先对初始重叠影像集合1中的各初始重叠影像进行预处理，如进行二值化和平滑滤波等操作，然后将预处理后的各初始重叠影像进行特征提取及匹配，得到各初始重叠影像之间的匹配关系，根据各初始重叠影像之间的匹配关系以及重构算法可重构出待拍摄区域1的三维模型，将该三维模型可作为中间三维模型。
106.s502、根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像，对至少一个中间三维模型以及所述初始三维模型进行融合处理，得到目标三维模型。
107.其中，以一个待拍摄区域为例进行说明，根据该待拍摄区域对应的各初始重叠影像与各初始影像之间的匹配关系，可重新计算该待拍摄区域对应的中间三维模型与初始三维模型之间的特征追踪(track)信息，根据该特征追踪信息将该中间三维模型与该初始三维模型进行融合处理，并且进行重三角化点云处理以及ba(bundle adjustment，光束法平差)优化，得到该中间三维模型与该初始三维模型进行融合后的模型，同理，还可得到其他中间三维模型与该初始三维模型进行融合后的模型，最终可得到该目标三维模型。
108.图6为本技术实施例提供的另一种三维重建方法的流程示意图。如图6所示，可选地，上述分别对各待拍摄区域拍摄的初始重叠影像进行三维重建，得到至少一个中间三维模型，包括：
109.s601、对第一待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像进行特征匹配，确定该初始影像中的至少三帧匹配影像。
110.其中，该第一待拍摄区域为各待拍摄区域中的任意一个待拍摄区域。在获取到一个待拍摄区域对应的初始重叠影像后，处理器可直接对该待拍摄区域对应的初始重叠影像进行处理，也就是说，只要图像采集设备将某个待拍摄区域上的影像拍摄完后，处理器就可直接对其进行处理，在处理器进行处理的过程中，图像采集设备可对下一个待拍摄区域的影像进行拍摄。这样可以提高三维重建的效率，时效性高。
111.具体的，处理器可首先对图像采集设备拍摄到的第一待拍摄区域对应的初始重叠影像以及各初始影像进行预处理(如二值化、平滑滤波)，然后再对预处理后的各初始重叠影像以及各初始影像进行特征匹配，其中，各初始重叠影像以及各初始影像的特征信息可包括点特征、线特征以及面特征，可利用提取出的这些特征信息确定各影像之间的对应关
系，即进行特征匹配。在一种可实现的实施例中，可采用harris算子对各影像上的特征进行提取，还可采用sift(scale
‑
invariant feature transform，尺度不变特征转换)算法对各影像上的特征进行提取和匹配，需要说明的是，本技术不对特征匹配的具体算法进行限定。
112.根据特征匹配结果，可得到初始影像集合中与该第一拍摄区域中各初始重叠影像具有特征匹配关系的初始影像，通常，至少需要确定出三帧具有特征匹配关系的初始影像，将具有特征匹配关系的初始影像作为匹配影像，即该初始影像集合中需要存在至少三帧匹配影像，需要说明的是，本技术不对匹配影像的数量进行限定。
113.s602、将至少三帧匹配影像加入第一待拍摄区域拍摄的初始重叠影像中，得到该第一待拍摄区域对应的目标重叠影像。
114.其中，该初始影像集合中存在至少三帧作为匹配影像的初始影像。可将作为匹配影像的各初始影像加入到该第一待拍摄区域对应的初始重叠影像集合中，得到目标重叠影像集合，将该目标重叠影像集合中可包括初始重叠影像以及初始影像，可统称为目标重叠影像。
115.举例来说，以确定一帧匹配影像为例进行说明，假设第一待拍摄区域对应的初始重叠影像k与初始重叠影像i之间有匹配关系，初始影像i与初始影像j之间有匹配关系，且初始重叠影像i与初始影像i为对相同空间区域拍摄到的影像，那么初始影像j相当于匹配影像，可将初始影像j加入第一待拍摄区域拍摄的初始重叠影像集合中，进而将更新后的初始重叠影像集合称为目标重叠影像集合，该目标重叠影像集合中的各影像可称为目标重叠影像，如在该目标重叠影像中的初始重叠影像以及作为匹配影像的初始影像均可成为目标重叠影像。
116.s603、基于该第一待拍摄区域对应的目标重叠影像进行三维重建，得到该第一待拍摄区域对应的中间三维模型。
117.其中，处理器可根据该第一待拍摄区域对应的各目标重叠影像进行预处理，然后将预处理后的目标重叠影像进行特征提取及匹配，得到各目标重叠影像之间的匹配关系，根据各目标重叠影像之间的匹配关系可构建点云数据，最后基于该点云数据以及重构算法(如sfm(structure from motion，运动恢复结构))可重构出第一待拍摄区域的三维模型，将该三维模型可作为中间三维模型。
118.图7为本技术实施例提供的另一种三维重建方法的流程示例图。如图7所示，可选的，上述基于该第一待拍摄区域对应的目标重叠影像进行三维重建，得到该第一待拍摄区域对应的中间三维模型，包括：
119.s701、基于各目标重叠影像进行三维重建，得到该第一待拍摄区域对应的变换前三维模型。
120.s702、根据各目标重叠影像中的匹配影像对应的位置信息和各初始影像中的匹配影像对应的位置信息，对变换前三维模型进行变换处理，得到该第一待拍摄区域对应的中间三维模型。
121.其中，基于各目标重叠影像进行三维重建，得到变换前三维模型的具体过程此处不再进行说明，可参考相关部分描述。在得到变换前三维模型后，处理器可根据第一待拍摄区域对应的目标重叠影像集合中的匹配影像对应的位置坐标和各初始影像中的匹配影像对应的位置坐标可得到相似变换参数，基于该相似变换参数将变换前三维模型变换为中间
三维模型。
122.继续上述举例来说，以其中一帧匹配影像为例进行说明，初始重叠影像k与初始重叠影像i之间有匹配关系，初始影像i与初始影像j之间有匹配关系，且初始重叠影像i与初始影像i为对相同空间区域拍摄到的影像，那么初始影像j相当于匹配影像，进而可将初始重叠影像i与初始影像i作为一对匹配影像对。
123.在匹配影像至少为三帧时，可按照上述描述，最终得到三对匹配影像对，如初始重叠影像j与初始影像j作为一对匹配影像对，初始重叠影像k与初始影像k作为一对匹配影像对，可根据每个匹配影像对中初始重叠影像(i、j、k)的位置坐标与初始影像(i、j、k)的位置坐标之间的关系，得到相似变换参数，基于该相似变换参数将变换前三维模型变换为中间三维模型。
124.继续上述举例来说:目标重叠影像j与初始影像j的位置坐标之间的关系,计算相似变换参数；目标重叠影像与初始影像至少三对能确保变换准确；基于该相似变换参数将变换前三维模型变换为中间三维模型。
125.图8为本技术实施例提供的又一种三维重建方法的流程示例图。如图8所示，可选的，上述根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像，对至少一个中间三维模型以及初始三维模型进行融合处理，得到目标三维模型，包括：
126.s801、从第一待拍摄区域对应的中间三维模型中删除各匹配影像对应的点云数据，得到该第一待拍摄区域对应的删除后的中间三维模型。
127.其中，每个影像都有对应的点运数据，中间三维模型相当于有多个点云数据组成，在得到第一待拍摄区域对应的中间三维模型后，可对应找出各匹配影像对应的点云数据，并将各匹配影像对应的点云数据从第一待拍摄区域对应的中间三维模型上删除。
128.继续上述举例来说，可将初始重叠影像i以及加入到目标重叠影像集合中的初始影像j分别对应的点云数据从中间三维模型上删除，仅将其保留在初始影像集合中。
129.s802、将各第一待拍摄区域对应的删除后的中间三维模型分别与该初始三维模型进行融合处理，得到目标三维模型。
130.其中，第一待拍摄区域为各待拍摄区域中的任何一个，那么每个待拍摄区域对应的中间三维模型都可按照上述方式得到删除后的中间三维模型，此处不再进行解释。
131.每个待拍摄区域对应的删除后的中间三维模型可分别与该初始三维模型进行融合，并且可分别重新计算各待拍摄区域对应的删除后的中间三维模型与初始三维模型之间的特征追踪(track)信息，根据各特征追踪信息将各中间三维模型与该初始三维模型进行融合处理，并且进行重三角化点云处理以及ba(bundle adjustment，光束法平差)优化，得到该目标三维模型。
132.可选地，上述根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像进行影像三维重建，得到目标三维模型，包括：对各待拍摄区域拍摄的初始重叠影像以及初始影像进行特征匹配；基于特征匹配结果，采用运动恢复结构算法进行影像三维重建，得到目标三维模型。
133.其中，可采用sift算法对每个影像(如初始重叠影像、初始影像)上的特征进行提取和匹配，得到特征匹配结果。基于各待拍摄区域对应的特征匹配结果，均可采用增量式运动恢复结构(sfm，structure from motion)算法进行影像三维重建，可得到目标三维模型。
当然，也可采用slam(simultaneous localization and mapping，同时定位与建图)算法进行影像三维重建，本技术不对其进行限定。
134.可选地，上述根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像进行影像三维重建，得到目标三维模型，包括：将各待拍摄区域拍摄的初始重叠影像以及至少一帧待重建影像注册至该初始三维模型中，得到目标三维模型。
135.其中，可利用求解3d
‑
2d点对运动的方法(如pnp(perspective
‑
n
‑
point)算法)获取该目标三维模型，其中，pnp算法是当已知n个世界坐标系下的3d空间点以及2d归一化相机坐标下的坐标时，如何估计相机姿态的方法。首先分别将各待拍摄区域对应的初始重叠影像与该初始三维模型进行关联，再将各初始重叠影像的位置坐标进行归一化，根据归一化后的各初始重叠影像以及初始三维模型，可得到目标三维模型，pnp算法是一种传统的算法，本技术不再对其进行详细描述。
136.图9为本技术实施例提供的一种三维重建装置的结构示意图。如图9所示，该装置包括：
137.第一确定模块901，用于确定影像集合中未参与重建初始三维模型的至少一帧待重建影像；
138.第二确定模块902，用于根据至少一帧待重建影像的位置信息，确定至少一个待拍摄区域；
139.获取模块903，用于获取从各待拍摄区域拍摄的初始重叠影像；
140.重建模块904，用于根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像进行影像三维重建，得到目标三维模型。
141.可选地，第二确定模块902，具体用于根据所述至少一帧待重建影像的位置信息，得到至少一个拍摄点集合；根据各拍摄点集合中各拍摄点的位置信息，确定至少一个待拍摄区域。
142.可选地，第二确定模块902，还具体用于对各待重建影像的位置信息进行聚类处理，得到至少一个拍摄点集合。
143.选地，第二确定模块902，还具体用于根据各拍摄点集合中各拍摄点的位置信息，对各拍摄点集合进行边界检测；根据边界检测的结果，得到所述至少一个待拍摄区域。
144.可选地，第二确定模块902，还具体用于根据边缘检测的结果，得到至少一个参考区域；对各参考区域进行扩展处理，得到至少一个待拍摄区域。
145.可选地，重建模块904，具体用于分别对各待拍摄区域拍摄的初始重叠影像进行三维重建，得到至少一个中间三维模型；根据各待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像，对至少一个中间三维模型以及所述初始三维模型进行融合处理，得到目标三维模型。
146.可选地，重建模块904，还具体用于对第一待拍摄区域拍摄的初始重叠影像以及至少一帧初始影像进行特征匹配，确定该初始影像中的至少三帧匹配影像；将至少三帧匹配影像加入第一待拍摄区域拍摄的初始重叠影像中，得到该第一待拍摄区域对应的目标重叠影像；基于该第一待拍摄区域对应的目标重叠影像进行三维重建，得到该第一待拍摄区域对应的中间三维模型。
147.可选地，重建模块904，还具体用于基于各目标重叠影像进行三维重建，得到该第
一待拍摄区域对应的变换前三维模型；根据各目标重叠影像中的匹配影像对应的位置信息和各初始影像中的匹配影像对应的位置信息，对变换前三维模型进行变换处理，得到该第一待拍摄区域对应的中间三维模型。
148.可选地，重建模块904，还具体用于从第一待拍摄区域对应的中间三维模型中删除各匹配影像对应的点云数据，得到该第一待拍摄区域对应的删除后的中间三维模型；将各第一待拍摄区域对应的删除后的中间三维模型分别与该初始三维模型进行融合处理，得到目标三维模型。
149.可选地，重建模块904，还用于对各待拍摄区域拍摄的初始重叠影像以及初始影像进行特征匹配；基于特征匹配结果，采用运动恢复结构算法进行影像三维重建，得到目标三维模型。
150.可选地，重建模块904，还用于将各待拍摄区域拍摄的初始重叠影像以及至少一帧待重建影像注册至该初始三维模型中，得到目标三维模型。
151.上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
152.以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system
‑
on
‑
a
‑
chip，简称soc)的形式实现。
153.图10为本技术实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器1001、存储介质1002和总线1003，存储介质1002存储有处理器1001可执行的机器可读指令，当该电子设备运行时，处理器1001与存储介质1002之间通过总线1003通信，处理器1001执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
154.可选地，本技术还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例的步骤。
155.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
156.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
157.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
158.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本技术各个实施例方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read
‑
only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
159.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
160.以上仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。