基于目标识别与模型匹配的三维重建方法、装置及设备与流程

本技术涉及三维建模，提供一种基于目标识别与模型匹配的三维重建方法、装置及设备。

背景技术：

1、近年来，沉浸式体验已成为了未来的发展方向，其中，将现实环境迁移到虚拟网络环境的三维重建是沉浸式体验不可或缺的基础。具体的，三维重建按照重建目标可分为室内三维重建和室外三维重建。

2、目前，室内三维重建有手动建模和自动建模两种方式。其中，手动建模可通过市场中常见的建模软件来进行建模，其耗时耗力；而自动建模可通过软硬件结合的方式，利用计算机处理相应的数据来自动生成三维模型。进一步的，自动建模又可具体分主动式测量和被动式测量两种方法。主动式测量可通过向目标物体发射可控信号，根据发射信息号与返回信号来计算目标的深度信息，并进一步进行建模和量测，如：激光测距等，其由于所需的仪器大多价格昂贵并且不易携带，因此，应用场合有限。而被动式测量可通过图像获取目标的三维信息，常见的被动式测量为多视图三维重建，其本质是焦距法，该焦距法与激光测距原理类似，可通过调整相机的焦距来测量目标的不同位置距离相机的距离，即利用透镜成像公式来计算被测点的深度，其在对不同区域进行测距时，要不断的改变对焦位置来获取不同位置的深度信息，在同一位置需要获取多张成像，所以数据采集工作繁琐，且整个计算流程繁琐复杂。此外，随着数据量的增大，效率也会成倍降低。

3、室外三维重建可以全面地感知大范围的复杂场景，可通过三维重建数据采集设备及专业的三维重建系统生成的数据成果来直观地反映地物的外观纹理、位置和高度等属性，为真实效果和测绘级精度提供保证。目前，无人机倾斜摄影测量技术是室外三维重建领域中应用最广泛的一种。该倾斜摄影技术是通过飞行平台上搭载多台传感器，同时从一个垂直、四个侧视等不同角度采集影像，从而能过获取到更加丰富的侧面纹理信息。其原理为：已知摄像机的位置、姿态等外参及水平、垂直视角、主点、焦距等内参，根据后方交会原理，计算目标的空间位置，进而实现室外三维重建，其图片重叠度高，冗余量大，计算效率低且无法实现模型单体化。

4、综上可知，无论是室内三维重建还是室外三维重建，目前基本是通过大量图片以及大量时间来进行三维重建，导致三维重建效率较低。因此，如何提高三维重建效率是目前亟待解决的问题。

技术实现思路

1、本技术提供一种基于目标识别与模型匹配的三维重建方法、装置及设备，用于解决三维重建效率较低的问题。

2、一方面，提供一种基于目标识别与模型匹配的三维重建方法，所述方法包括：

3、仅根据一张采集图像中各个图像目标各自对应的多个像素点的像素坐标，确定所述多个像素点校正后的真实地理坐标；其中，所述采集图像为针对目标区域采集的含有深度信息的图像，所述多个像素点包括质心与边界角点；

4、从预设的模型样本库中分别确定出符合预设相似度条件的所述各个图像目标对应的目标模型样本；其中，所述模型样本库中包括若干设施模型样本以及若干设施模型样本的样本信息；

5、根据所述多个像素点校正后的真实地理坐标以及所述各个目标模型样本，构建所述目标区域的三维场景模型。

6、一方面，提供一种基于目标识别与模型匹配的三维重建装置，所述装置包括：

7、真实地理坐标确定单元，用于仅根据一张采集图像中各个图像目标各自对应的多个像素点的像素坐标，确定所述多个像素点校正后的真实地理坐标；其中，所述采集图像为针对目标区域采集的含有深度信息的图像，所述多个像素点包括质心与边界角点；

8、目标模型样本确定单元，用于从预设的模型样本库中分别确定出符合预设相似度条件的所述各个图像目标对应的目标模型样本；其中，所述模型样本库中包括若干设施模型样本以及若干设施模型样本的样本信息；

9、三维场景模型构建单元，用于根据所述多个像素点校正后的真实地理坐标以及所述各个目标模型样本，构建所述目标区域的三维场景模型。

10、可选的，所述装置还包括样本信息确定单元，所述样本信息确定单元，包括：

11、对所述一张采集图像进行特征提取，确定所述一张采集图像中各个图像目标各自对应的颜色信息和纹理信息；

12、对所述一张采集图像进行特征识别，确定所述一张采集图像中各个图像目标各自对应的形状信息；

13、则，所述从预设的模型样本库中分别确定出符合预设相似度条件的所述各个图像目标对应的目标模型样本，包括：

14、根据所述颜色信息、所述纹理信息和所述形状信息，从预设的模型样本库中分别确定出符合预设相似度条件的所述各个图像目标对应的目标模型样本。

15、可选的，所述目标模型样本确定单元，还用于：

16、针对所述各个图像目标中的任一图像目标，根据所述任一图像目标的语义类别，从所述预设的模型样本库中确定出与所述任一图像目标的语义类别匹配的目标模型集合；

17、根据所述任一图像目标的颜色信息、纹理信息和形状信息，从所述目标模型集合中确定出符合预设相似度条件的所述任一图像目标对应的目标模型样本。

18、可选的，所述装置还包括语义类别确定单元，所述语义类别确定单元，包括：

19、根据预设的神经网络模型，对所述一张采集图像中的各个图像目标进行语义识别，确定出所述各个图像目标各自对应的语义类别。

20、可选的，所述装置还包括模型样本库构建单元，所述模型样本库构建单元，包括：

21、采用预设的三维建模软件，对真实世界中的各种室外设施与各种室外设施进行三维建模，获得所述各种室外设施与所述各种室外设施各自对应的三维模型样本；

22、根据所述各种室外设施与所述各种室外设施各自对应的三维模型样本，构建所述模型样本库。

23、可选的，所述真实地理坐标确定单元，还用于：

24、根据所述多个像素点的深度信息、所述多个像素点的像素坐标、图像采集设备在获取所述一张采集图像时的焦距以及所述一张采集图像的长宽，确定所述多个像素点的第一世界地理坐标；

25、根据图像采集设备在获取所述一张采集图像时的设备地理坐标，对所述多个像素点的第一世界地理坐标进行平移操作，确定所述多个像素点的第二世界地理坐标；

26、根据图像采集设备在获取所述一张采集图像时的姿态信息，对所述多个像素点的第二世界地理坐标进行旋转操作，确定所述多个像素点校正后的真实地理坐标。

27、可选的，所述三维场景模型构建单元，还用于：

28、针对所述各个图像目标中的任一图像目标，根据所述任一图像目标对应的各个边界角点校正后的真实地理坐标，获取所述任一图像目标对应的目标模型样本的旋转角度以及尺寸大小；

29、根据所述旋转角度、所述尺寸大小以及所述任一图像目标对应的质心校正后的真实地理坐标，对所述任一图像目标对应的目标模型样本进行仿射变换，构建所述任一图像目标对应的三维单体模型；

30、根据所述各个图像目标各自对应的三维单体模型，构建所述目标区域的三维场景模型。

31、一方面，提供一种基于目标识别与模型匹配的三维重建的设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法的步骤。

32、一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。

33、在本技术实施例中，首先，可以仅根据一张针对目标区域所采集的采集图像中各个图像目标各自对应的质心与边界角点的像素坐标，来确定该各个图像目标各自对应的质心与边界角点校正后的真实地理坐标；进而，可以从预设的模型样本库中分别确定出符合预设相似度条件的各个图像目标对应的目标模型样本；最后，可以根据各个图像目标各自对应的质心与边界角点校正后的真实地理坐标以及各个目标模型样本，来构建目标区域的三维场景模型。因此，在本技术实施例中，由于仅通过一张采集图像，来进行三维重建，而不需要对同一目标在不同视角采集大量的重复图像，进而，也就更不需要大量的特征提取、特征匹配和生成点云的步骤，省去了庞大的计算量，大大提高了三维重建效率。此外，由于是直接从预设的模型样本库中获取与图像目标匹配的目标模型样本，并基于这些目标模型样本来建立三维场景模型，因此，进一步提高了三维重建效率。