受限空间内矢量空间搭建与图像融合建模的方法和装置

本发明涉及全景图像处理和空间场景构建领域，特别是一种受限空间内矢量空间搭建与全景图像融合建模的方法和装置。

背景技术：

1、随着全景图像技术和空间建模技术的迅速发展，全景图像处理和几何空间建模成为了科研人员研究的热点领域。上述技术在许多领域都有广泛的应用，包括采矿工程、建筑设计、地图制作、军事模拟和增强现实等。

2、目前的图像拼接结果仍是栅格形式，像素属性值并不包含空间坐标，没有形成完整的矢量空间，使得图像拼接结果只可以宏观观察，不具备沉浸式任意路线进行漫游或巡检的功能。而且目前的空间场景构建方法通常受限于相机或传感器的位置，无法获得完整的全景视角，导致了全景图像的缺失和不完整。而且在受限空间内，相机或传感器的透视效应容易导致图像变形，使得图像融合时产生扭曲和畸变，使得通过矢量空间还原真实场景变得更加困难。

3、目前针对上述受限空间内的矢量空间搭建与全景图像融合建模的问题，现有技术取得了一些技术突破，但仍然存在不足之处：

4、例如：部分方法引入卷积神经网络用于全景图像融合和建模，以减少空间透视变形并提高全景图像的质量。但是深度学习方法通常需要大量的计算资源，特别是对于嵌入式设备或资源有限的场景。同时融合成的全景图像仍为栅格形式，像素并不携带空间坐标属性值，因此不具备沉浸式任意路线进行漫游或巡检的功能。

5、此外一些矢量空间的搭建方法在不同场景和光照条件下的泛化能力有限，难以应用于如矿井生产、工厂运转等场景下的实际需求。而且传统方法几乎无法实现在空间内任意视角方向移动的同时，实时还原周围真实场景的能力，使得该类方法更加难以融入人们的日常生活当中。

技术实现思路

1、鉴于上述问题，本发明提出了一种受限空间内矢量空间搭建与全景图像融合建模的方法和装置。

2、本发明实施例提供了一种受限空间内矢量空间搭建与全景图像融合建模的方法，所述方法包括：

3、通过至少一个全景图像采集设备在受限空间内不同空间位置采集多组全景图像；

4、将多组所述全景图像进行拼接缝合后正射校正，得到完整的受限空间全景图像，根据时序将处理好的全景图像组输出成为全景视频流；

5、根据所述受限空间的形状和大小构建相应比例的矢量空间，根据所述受限空间与所述矢量空间的相对位置关系，将所述受限空间的全景视频流嵌入所述矢量空间中，使得全景图像中每个像素都有空间三维坐标，形成视频流矢量空间；

6、根据所述全景图像采集设备采集数据时的空间位置，在嵌入受限空间全景图像的矢量空间中建立对应的摄影点、3d导航视角和空间音频点；

7、根据所述摄影点的位置，结合所述3d导航视角与移动时所在巡检点的空间位置进行投影转换；

8、基于摄影点、3d导航视角和空间音频点，将所述视频流矢量空间和所述受限空间全景图像进行整合优化后输出，以形成完整的矢量空间与全景视频流的融合模型进行实景显示；

9、在所述融合模型中，利用所述投影转换进行空间移动巡检和巡检过程中的实景显示。

10、可选地，所述全景图像采集设备仅用于受限空间内全景图像采集，包括：摄像机、全景摄像机或者终端拍摄设备。

11、可选地，将所述采集到的全景图像进行图像拼接后进行正射校正，得到完整的受限空间全景图像对应的数据，使其符合矢量空间嵌入所需的数据要求，之后根据时序将处理好的全景图像组输出成为全景视频流，所述图像拼接的方法包括：基于特征点拼接或者基于频谱图配准拼接。

12、可选地，根据所述受限空间的形状和大小构建相应比例的矢量空间，根据所述受限空间与所述矢量空间的相对位置关系，将所述受限空间的全景视频流嵌入所述矢量空间中，使得全景图像中每个像素都有空间三维坐标，形成视频流矢量空间，包括：

13、根据所述受限空间的形状和大小构建等比例或缩放比例的矢量空间；

14、以工业生产企业多维地理信息系统或计算机辅助设计系统提供的生产场景空间约束数据，作为所述矢量空间的数据；

15、根据所述受限空间与所述矢量空间的相对位置对应关系，在所述矢量空间的数据基础上，将所述受限空间的全景视频流嵌入所述矢量空间之中；

16、其中，所述矢量空间包括：各类不规则多边体。

17、可选地，根据所述受限空间与所述矢量空间的相对位置对应关系，在所述矢量空间的数据基础上，将所述受限空间全景视频流嵌入所述矢量空间之中，包括：

18、提取所述受限空间全景图像的特征向量，并进行降维操作，将降维后的特征向量表示为目标矢量；

19、将所述目标矢量作为所述受限空间全景视频流在所述矢量空间中的数据表示，根据所述受限空间与所述矢量空间的相对位置对应关系，将所述受限空间的全景视频流嵌入所述矢量空间之中。

20、可选地，根据所述全景图像采集设备采集数据时的空间位置，在嵌入受限空间全景图像的矢量空间中建立对应的摄影点、3d导航视角和空间音频点，包括：

21、根据所述全景图像采集设备采集数据时的空间位置，在嵌入受限空间全景图像的矢量空间内建立所述摄影点；

22、以所述摄影点为中心，通过所述全景图像采集设备的目标方向和运动，进而计算出相对于所述摄影点的3d方向和位移，建立3d导航初始移动视角；

23、以所述摄影点的空间位置为基准，通过多个音源组成的阵列模拟双耳听觉，通过分析声音的时间差和强度，定位声源并获取声源的方向和距离，建立空间音频初始点，所述3d导航初始移动视角和所述空间音频初始点用于开始空间移动巡检的初始设置，以及在3d导航初始移动视角和空间音频初始点的基础上，建立所述3d导航视角和空间音频点。

24、可选地，根据所述摄影点的位置，结合所述3d导航视角与移动时所在巡检点的空间位置进行投影转换，包括：

25、根据所述摄影点的初始位置与视角空间移动时产生的各个空间位置进行投影转换，换算出移动过程中不同观测点的全景像素值，以使得移动时所在巡检点的全景视角不发生变形或变形小于预设值。

26、可选地，基于摄影点、3d导航视角和空间音频点，将所述视频流矢量空间和所述全景图像进行整合优化后输出，以形成完整的矢量空间与受限空间全景图像的融合模型进行实景显示，包括：

27、将所述全景视频流，摄影点、3d导航视角和空间音频点各自的特征进行提取降维后与所述矢量空间的数据对齐，使得两者处于相同的坐标系中；

28、通过评估融合质量的指标，不断调整融合参数、校准数据或改进特征提取方法，以满足所述矢量空间的数据的可访问性和更新机制，保持所述矢量空间的数据的实时性，形成完整的矢量空间与受限空间全景图像的融合模型进行实景显示。

29、可选地，所述评估融合质量的指标包括：准确性、一致性以及视觉质量各自对应的指标。

30、第二方面，本发明实施例替提供一种受限空间内矢量空间搭建与全景图像融合建模的装置，所述装置包括：

31、采集模块，用于通过至少一个全景图像采集设备在受限空间内不同空间位置采集多组全景图像；

32、全景图像模块，用于将多组所述全景图像进行拼接缝合后正射校正，得到完整的受限空间全景图像；

33、嵌入模块，用于根据所述受限空间的形状和大小构建相应比例的矢量空间，根据所述受限空间与所述矢量空间的相对位置关系，将所述受限空间全景图像嵌入所述矢量空间中，使得全景图像中每个像素都有空间三维坐标，形成视频流矢量空间；

34、建立模块，用于根据所述全景图像采集设备采集数据时的空间位置，在嵌入受限空间全景图像的矢量空间中建立对应的摄影点、3d导航视角和空间音频点；

35、投影转换模块，用于根据所述摄影点的位置，结合所述3d导航视角与移动时所在巡检点的空间位置进行投影转换；

36、整合优化模块，用于基于摄影点、3d导航视角和空间音频点，将所述视频流矢量空间和所述全景图像进行整合优化后输出，以形成完整的矢量空间与全景视频流的融合模型进行实景显示；

37、巡检模块，用于在所述融合模型中，利用所述投影转换进行沉浸式空间移动巡检和巡检过程中的实景显示。

38、本发明所提受限空间内矢量空间搭建与全景图像融合建模的方法，受限空间内全景图像采集可选择在空间内多点进行采样，使得空间内视角变化时的投影变换更加丰富，更不容易产生全景视角下的空间扭曲变形。

39、采集到全景图像后进行图像拼接缝合校正，以使得全景图像更加贴合矢量空间搭建所需的嵌入需求。在搭建矢量空间时，可参考受限空间的相应比例或一定程度缩放比例进行调整，以使得后续矢量空间移动巡检时更加贴近真实场景。

40、在场景移动过程中移动后视角与原摄影点视角投影变化的过程中，实时计算和预测移动对应点的像素值投影，从而使得操作人员在矢量空间内体验到如在受限空间内的身临其境的感觉。为受限空间内诸如矿山采掘工作面等工业生产环境矢量空间搭建提供技术支持。