基于全景视频技术的真实地理空间场景实时构建方法与流程

1.本发明涉及视频拼接和空间场景建立领域，特别是一种基于全景视频技术的真实地理空间场景实时构建方法和真实地理空间场景实时构建装置。


背景技术：

2.目前随着人类科技和工业生产水平的不断进步，人们对自然资源的开发和利用正在不断扩大，这也就使得一些高风险作业场景不可避免的出现。高风险作业场景通常存在封闭或半封闭、进出口狭窄、自然通风不良、有毒有害易燃易爆气体聚集、含氧量不足和核辐射等对人类身体不利的情况，例如矿山、油井、污水井、管道沟、化工长和核电站等场所。
3.高风险场景作业涉及的领域广泛、行业众多，作业空间环境复杂，危险有害因素众多，容易发生安全事故，造成严重后果。并且作业人员遇险时施救难度大，盲目施救或救援方法不当，又容易造成伤亡扩大。
4.目前针对上述高风险场景作业问题，大都采用视频监控结合各类传感器指标组成的预警系统进行场景监测。该类方法一定程度上能够对场景内的部分危险信号做出提前预警，但只是局部可视，而且该视频监控没有进行几何校正与图像拼接，导致其观测距离越远，形变会越大，从而难以还原场景内实时的真实情况，容易使工作人员对当前情况产生误判。同时该视频监控没有形成真实的具有三维地理坐标的可视化视频场景，无法准确分析并控制作业场景内实际的生产过程，从而使得高风险作业场景发生事故时无法及时有效的得到处理。不能很好的满足目前高风险作业场景智能化、无人化作业的要求。


技术实现要素：

5.鉴于上述问题，本发明提出了一种基于全景视频技术的真实地理空间场景实时构建方法和真实地理空间场景实时构建装置。
6.本发明实施例提供了一种基于全景视频技术的真实地理空间场景实时构建方法，所述真实地理空间场景实时构建方法包括：
7.高性能计算设备接收来自于多台全景摄像机采集的图像数据，并组合成图像数据序列，所述多台全景摄像机受控于远程控制指令，所述多台全景摄像机采用固定式或架线式安装于真实地理空间场景内，并在所述真实地理空间场景内设置标记点；
8.所述高性能计算设备接收场景内每台全景摄像机的三维地理坐标，所述三维地理坐标由测量机器人利用安装于每台全景摄像机上的棱镜获取后发送；
9.所述高性能计算设备接收来自于姿态传感器的外方位参数，所述每台全景摄像机上均安装有姿态传感器，所述姿态传感器是一种高性能三维运动姿态测量系统，其包含三轴陀螺仪、三轴加速度计、三轴电子罗盘等辅助运动传感器，所述姿态传感器用于实时标定自身所在全景摄像机的方位角、俯仰角、横滚角，提供摄影测量时的外方位参数，便于后续全景图像的正射几何校正、拼接和优化；
10.所述高性能计算设备接收场景环境音，所述场景环境音由安装于真实地理空间场
景中的多个音频采集设备获取并发送；
11.所述高性能计算设备根据不同的安装方式、所述图像数据序列、所述标记点、所述外方位参数和所述三维地理坐标，对所述图像数据序列进行拼接缝合以及正射几何校正或者畸变校正，得到正射图像或者全景图像序列，其中，不同的安装方式采用不同的拼接优化方法，所述正射图像为基于固定式安装方式得到的图像序列进行拼接缝合和正射几何校正后得到，所述全景图像序列为基于架线式安装方式得到的图像序列进行拼接缝合和畸变校正后得到；
12.所述高性能设备将合成的正射图像或全景图像序列与所述场景环境音和所述三维地理坐标进行增强现实优化，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流；
13.所述高性能计算设备将所述真实地理空间场景视频流发送至输出控制设备中，以使得所述输出控制设备实时显示所述真实地理空间场景，并使得操作人员通过所述输出控制设备发送所述远程控制指令，远程实时控制全部或者部分全景摄像机进行摄像或运动。
14.可选地，所述标记点包括：多个第一标记点和多个第二标记点；所述多台全景摄像机采用固定式或架线式安装于真实地理空间场景内，并在所述真实地理空间场景内设置标记点，包括：
15.若所述多台全景摄像机采用固定式安装于所述真实地理空间场景内，则所述多台全景摄像机在所述真实地理空间场景内固定均匀安装，其安装间隔距离根据其采集的图像精度自行设定，在确保每台全景摄像机的摄影覆盖区域满足实际场景的应用需求的同时，保证相邻图像重合度大于某一阈值，并在所述多台全景摄像机的重叠视场中分别设置多个第一标记点；
16.若所述多台全景摄像机采用架线式安装于所述真实地理空间场景内，则所述多台全景摄像机分别安装于引导装置上，所述引导装置分成若干局部线段，所述每个局部线段上安装有至少一台全景摄像机，所述每个局部线段均可独立带动其上安装的全景摄像机运动，并根据所述多台全景摄像机的移动速度与实时性需求，在所述真实地理空间场景内设置多个第二标记点；
17.所述每个局部线段的两端均设有防撞环，以防止所述每个局部线段上安装的至少一台全景摄像机在运动时脱轨，且每台全景摄像机的摄影速度与其运动速度匹配，以使得所述图像数据序列内的重叠度足以完成大范围的拼接，以及保障真实地理空间场景重建时图像拼接和融合的实时性；
18.可选地，所述高性能计算设备接收来自于多台全景摄像机采集的图像数据，并组合成图像数据序列，包括：
19.根据所述多台全景摄像机采用安装方式的不同，其采集所述图像数据的方式不同；
20.若所述多台全景摄像机采用所述固定式安装，则根据目标范围的需求，所述高性能计算设备转发所述远程控制指令，控制所述多台全景摄像机各自采集所述目标范围的实时全景图像，并组合成实时全景图像数据序列；
21.若所述多台全景摄像机采用所述架线式安装，则根据所述目标范围的需求，所述高性能计算设备转发所述远程控制指令，利用所述引导装置控制所述多台全景摄像机的运
动方式，所述运动方式包括：每个全景摄像机独立运动，或者若干全景摄像机同步运动；
22.若控制所述每个全景摄像机同步运动，则所述高性能计算设备接收来自于所述每个全景摄像机各自采集的所述目标范围和非目标范围的动态图像数据，并组合成动态图像数据序列；
23.若控制所述若干全景摄像机独立运动，则所述高性能计算设备接收来自于所述若干全景摄像机各自采集的所述目标范围的动态图像数据，以及接收来自于其它未运动全景摄像机各自采集的所述非目标范围的静态图像数据，并组合成动态图像数据序列。
24.可选地，所述测量机器人获取所述棱镜的三维地理坐标后，利用所述棱镜与自身所在全景摄像机的镜头中心的相对偏移量，确定每台全景摄像机的三维地理坐标；
25.其中，所述三维地理坐标包括：每台全景摄像机运动时的实时三维地理坐标，和每台全景摄像机静止时的固定三维地理坐标，所述三维地理坐标作为摄影测量所需的外方位参数，用于后续的图像正射几何校正、拼接缝合以及增强现实优化。
26.可选地，所述高性能计算设备接收来自于姿态传感器的外方位参数，所述每台全景摄像机上均安装有姿态传感器；
27.所述姿态传感器是一种高性能三维运动姿态测量系统，其包含三轴陀螺仪、三轴加速度计、三轴电子罗盘等辅助运动传感器，所述姿态传感器用于实时标定自身所在全景摄像机的方位角、俯仰角、横滚角，提供摄影测量时的外方位参数，便于后续全景图像的正射几何校正、拼接和优化；
28.可选地，所述多个音频采集设备分散安装于所述真实地理空间场景中，且具有唯一标号，以使得所述多个音频采集设备全覆盖采集所述真实地理空间场景的场景环境音；
29.所述多个音频采集设备发送自身采集的场景环境音时，携带自身的唯一标号，以使得后续所述操作人员通过所述输出控制设备听到声音并感知声音的发出位置。
30.可选地，所述高性能计算设备根据不同的安装方式、所述图像数据序列、所述标记点、所述外方位参数和所述三维地理坐标，对所述图像数据序列进行拼接缝合以及正射几何校正或者畸变校正，得到正射图像或者全景图像序列，其中，不同的安装方式采用不同的拼接优化方法，包括：
31.若所述多台全景摄像机采用所述固定式安装，则所述高性能计算设备接收到所述实时全景图像数据序列，并基于该实时全景图像数据序列形成固定式全景视频序列；
32.所述高性能计算设备根据实际需求，利用所述标记点信息、特征提取算法和计算机视觉方法对所述固定式全景视频序列进行快速特征提取和匹配；
33.所述高性能计算设备结合摄影测量方法和所述多台全景摄像机的空间位置与姿态以及所述外方位参数，使用摄影测量、计算机视觉技术对快速特征提取和匹配后的固定式全景视频序列进行正射校正及图像拼接，得到所述全景正射图像，所述全景正射图像的范围比所述实时全景图像的范围更大；
34.若所述多台全景摄像机采用所述架线式安装，则所述高性能计算设备接收到所述动态图像数据序列，并基于该动态图像数据序列形成架线式全景视频序列；
35.所述高性能计算设备采用特征提取算法并利用所述标记点对所述架线式全景视频序列进行快速特征提取和匹配；
36.所述高性能计算设备结合摄影测量方法以及所述外方位参数，基于快速特征提取
和匹配后的架线式全景视频序列，进行图像拼接缝合和畸变校正，得到所述全景图像序列。
37.可选地，所述高性能计算设备将合成的正射图像或全景图像序列与所述场景环境音和所述三维地理坐标进行增强现实优化，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流，包括：
38.所述高性能计算设备基于所述全景正射图像，根据所述三维地理坐标和所述外方位参数，并且按照空间透视关系，确定所述目标范围内的物体，以及所述非目标范围内的物体，在真实空间环境中的正确放置位置，建立对应所述真实地理空间场景的三维场景；
39.所述高性能计算设备在所述三维场景中融合所述场景环境音，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流；
40.或者，所述高性能计算设备基于所述全景视频序列，根据所述三维地理坐标和所述外方位参数，并且按照空间透视关系，确定所述目标范围内的物体，以及所述非目标范围内的物体，在真实空间环境中的正确放置位置，建立对应所述真实地理空间场景的三维场景；
41.所述高性能计算设备在所述三维场景中融合所述场景环境音，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流。
42.可选地，所述每个局部线段的两侧均安装有照明装置和粉尘自动清洗装置；
43.所述照明装置使得所述多台全景摄像机在摄像范围内的环境清晰可见；
44.所述粉尘自动清洗装置使得所述多台全景摄像机各自在运动时流畅。
45.可选地，每台全景摄像机均设有远程控制接口，以及一个鱼眼镜头，或者一个反射镜面，或者多个朝向不同方向的普通镜头拼接而成的镜头；
46.所述一个鱼眼镜头，或者一个反射镜面，或者多个朝向不同方向的普通镜头拼接而成的镜头，使得所述每台全景摄像机均拥有横向和纵向共720
°
全景视场，且中央无盲区；
47.所述远程控制接口用于接收远程控制指令，使得所述操作人员通过有线或无线网络对所述多台全景摄像机进行远程实时操控，所述有线或无线网络可选用但不限于5g网络等，所述远程控制指令包括：根据所述目标范围的摄像需求调整全景摄像机的空间位姿指令和拍摄图像大小指令。
48.可选地，所述输出控制设备包括：智能显示设备或头戴vr设备；
49.所述头戴vr设备对所述操作人员的目视区域的视点亮度进行自动增强，并基于所述真实地理空间场景视频流，显示所述目视区域中目标物体的属性信息和真实地理坐标信息；
50.所述操作人员利用所述智能显示设备或所述头戴vr设备，远程实时控制全部或者部分全景摄像机，对任意目标范围进行摄影，并向其发送相应控制参数。
51.本发明实施例提供了一种基于全景视频技术的真实地理空间场景实时构建装置，所述真实地理空间场景实时构建装置应用于高性能计算设备中，所述高性能计算设备包括：
52.接收图像数据模块，用于接收来自于多台全景摄像机采集的图像数据，并组合成图像数据序列，所述多台全景摄像机受控于远程控制指令，所述多台全景摄像机采用固定式或架线式安装于真实地理空间场景内，并在所述真实地理空间场景内设置标记点；
53.接收三维地理坐标模块，用于每台全景摄像机的三维地理坐标，所述三维地理坐
标由测量机器人利用安装于每台全景摄像机上的棱镜获取后发送；
54.接收全景摄像机空间姿态模块，用于接收来自于姿态传感器的外方位参数，所述每台全景摄像机上均安装有姿态传感器，所述姿态传感器是一种高性能三维运动姿态测量系统，其包含三轴陀螺仪、三轴加速度计、三轴电子罗盘等辅助运动传感器，所述姿态传感器用于实时标定自身所在全景摄像机的方位角、俯仰角、横滚角，提供摄影测量时的外方位参数，便于后续全景图像的正射几何校正、拼接和优化；
55.接收声音模块，用于接收场景环境音，所述场景环境音由安装于真实地理空间场景中的多个音频采集设备获取并发送；
56.拼接模块，用于根据不同的安装方式、所述图像数据序列、所述标记点、所述外方位参数和所述三维地理坐标，对所述图像数据序列进行拼接缝合以及正射几何校正或者畸变校正，得到正射图像或者全景图像序列，其中，不同的安装方式采用不同的拼接优化方法，所述正射图像为基于固定式安装方式得到的图像序列进行拼接缝合和正射几何校正后得到，所述全景图像序列为基于架线式安装方式得到的图像序列进行拼接缝合和畸变校正后得到；
57.增强现实优化模块，用于将合成的正射图像或全景图像序列与所述场景环境音和所述三维地理坐标进行增强现实优化，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流；
58.发送模块，用于将所述真实地理空间场景视频流发送至输出控制设备中，以使得所述输出控制设备实时显示所述真实地理空间场景，并使得操作人员通过所述输出控制设备发送所述远程控制指令，远程实时控制全部或者部分全景摄像机进行摄像或运动。
59.可选地，所述接收图像数据模块具体用于：
60.根据所述多台全景摄像机采用安装方式的不同，其采集所述图像数据的方式不同；
61.若所述多台全景摄像机采用所述固定式安装，则根据目标范围的需求，转发所述远程控制指令，控制所述多台全景摄像机各自采集所述目标范围的实时全景图像，并组合成实时全景图像数据序列；
62.若所述多台全景摄像机采用所述架线式安装，则根据所述目标范围的需求，转发所述远程控制指令，利用所述引导装置控制所述多台全景摄像机的运动方式，所述运动方式包括：每个全景摄像机独立运动，或者若干全景摄像机同步运动；
63.若控制所述每个全景摄像机同步运动，则接收来自于所述每个全景摄像机各自采集的所述目标范围和非目标范围的动态图像数据，并组合成动态图像数据序列；
64.若控制所述若干全景摄像机独立运动，则接收来自于所述若干全景摄像机各自采集的所述目标范围的动态图像数据，以及接收来自于其它未运动全景摄像机各自采集的所述非目标范围的静态图像数据，并组合成动态图像数据序列。
65.可选地，所述拼接模块具体用于：
66.若所述多台全景摄像机采用所述固定式安装，则接收到所述实时全景图像数据序列，并基于该实时全景图像数据序列形成固定式全景视频序列；
67.根据实际需求，利用所述标记点信息、特征提取算法和计算机视觉方法对所述固定式全景视频序列进行快速特征提取和匹配；
68.结合摄影测量方法和所述多台全景摄像机的空间位置与姿态以及所述外方位参数，使用摄影测量、计算机视觉技术对快速特征提取和匹配后的固定式全景视频序列进行正射校正及图像拼接，得到所述全景正射图像，所述全景正射图像的范围比所述实时全景图像的范围更大；
69.若所述多台全景摄像机采用所述架线式安装，则接收到所述动态图像数据序列，并基于该动态图像数据序列形成架线式全景视频序列；
70.采用特征提取算法并利用所述标记点对所述架线式全景视频序列进行快速特征提取和匹配；
71.结合摄影测量方法以及所述外方位参数，基于快速特征提取和匹配后的架线式全景视频序列，进行图像拼接缝合和畸变校正，得到所述全景图像序列。
72.可选地，所述增强现实优化模块具体用于：
73.基于所述全景正射图像，根据所述三维地理坐标和所述外方位参数，并且按照空间透视关系，确定所述目标范围内的物体，以及所述非目标范围内的物体，在真实空间环境中的正确放置位置，建立对应所述真实地理空间场景的三维场景；
74.在所述三维场景中融合所述场景环境音，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流；
75.或者，基于所述全景视频序列，根据所述三维地理坐标和所述外方位参数，并且按照空间透视关系，确定所述目标范围内的物体，以及所述非目标范围内的物体，在真实空间环境中的正确放置位置，建立对应所述真实地理空间场景的三维场景；
76.在所述三维场景中融合所述场景环境音，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流。
77.本发明提供的基于全景视频技术的真实地理空间场景实时构建方法，接收来自于多台全景摄像机采集的图像数据，并组合成图像数据序列，并且接收每台全景摄像机的三维地理坐标、空间姿态以及场景环境音，根据图像数据、三维地理坐标和空间姿态，对图像数据序列进行拼接缝合和几何校正或者畸变校正，将合成的正射图像或全景图像序列与所述场景环境音和所述三维地理坐标进行增强现实优化，得到处于地理坐标框架中，为具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流，将真实地理空间场景视频流发送至输出控制设备中，以使得输出控制设备实时显示最优真实地理空间场景，并使得操作人员通过输出控制设备远程实时控制全部或者部分全景摄像机运动。
78.本发明主要通过视频图像、音频、真实地理坐标和摄像机空间姿态的输入输出，并且配合相应的硬件设备和软件算法，在远离当前场景的任意位置实现空间场景的建立，使操作人员产生仿佛置身作业现场的“身临其境”的感觉。从而使得操作人员在生产或发生事故时能够对现场情况有清晰准确的判断。在此基础上不断发展远程控制和通信技术，不仅使得人们能够间接观测当前作业场景，更能够在任意位置实时控制生产场景作业的相关过程。从而实现高风险作业现场的少人化，甚至是无人化，在充分保障远程操作人员安全的基础上，进一步提高生产作业效率。很好的满足了目前高风险作业场景智能化、无人化作业的要求。
附图说明
79.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
80.图1是本发明实施例一种基于全景视频技术的真实地理空间场景实时构建方法的流程图；
81.图2是本发明实施例中例举的全景摄像机架线式布置示意图；
82.图3是本发明实施例中例举的多个全景摄像机和对应标记点布置的俯视示意图；
83.图4是本发明实施例一种基于全景视频技术的真实地理空间场景实时构建方法的通信连接示意图；
84.图5是本发明实施例一种基于全景视频技术的真实地理空间场景实时构建装置的框图。
具体实施方式
85.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。应当理解，此处所描述的具体实施例仅用以解释本发明，仅仅是本发明一部分实施例，而不是全部的实施例，并不用于限定本发明。
86.参照图1，示出了本发明实施例的基于全景视频技术的真实地理空间场景实时构建方法的流程图，以架线式安装方法为例，该方法包括：
87.步骤101：高性能计算设备接收来自于多台全景摄像机采集的图像数据，并组合成图像数据序列，多台全景摄像机受控于远程控制指令，多台全景摄像机采用固定式或架线式安装于真实地理空间场景内，并在真实地理空间场景内设置标记点。
88.本发明实施例中，为了实现真实地理空间场景的全景再现，以及考虑到全景摄像机拍摄范围的限制，需要根据真实地理空间场景的大小、位置等因素，布置多台全景摄像机。
89.本发明实施例中，多台全景摄像机安装方式以架线式为例，分别将其安装于引导装置上，引导装置分成若干局部线段，每个局部线段上安装有至少一台全景摄像机，具体安装几台全景摄像机根据实际需求决定。每个局部线段内全景摄像机均可独立快速运动。引导装置是为了使得全景摄像机可以自由运动而设计的，其可以采用包括但不限于架线式或者导轨式的结构实现。
90.例如：以架线式布置方式为例，参照图2示出的全景摄像机架线式布置示意图，图2中架线示意性的简单示出，以引导装置分为3个局部线段，每个局部线段安装有一台全景摄像机201为示例示出。每个全景摄像机都安装有一个棱镜202。由于是示例性的示出，因此整个真实地理空间场景20中可以一台测量机器人203实现真实地理坐标测量，在实际应用中，可以根据真实地理空间场景20的大小决定测量机器人203的数量。
91.需要说明的是，对于图像拼接、处理以及各种数据的处理可以由高性能计算设备实现，由高性能计算设备接收所有数据进行处理。处理完成后得到的最优真实地理空间场景的视频流发送给输出控制设备，同时高性能计算设备接收输出控制设备发送的远程控制指令，再转发给对应的引导装置或者全景摄像机。
92.为了保证后续图像拼接的精准度，需要设置标记点，以图2中所示的3个标记点204的设置方式为例：在架线式安装方法中，在真实空间场景内均匀设置第二标记点204，其安装间隔根据全景摄像机移动速度与实时性需求进行设置，所设第二标记点204用以拼接同一全景摄像机运动时不同时刻或不同全景摄像机运动时同一时刻所采集的全景图像。若全景摄像机移速较快或实时性要求高，则第二标记点204安装间隔较小，若全景摄像机移速较慢或实时性要求低，则第二标记点204安装间隔较大。
93.对于固定式安装方法中，多台全景摄像机的摄影覆盖区域满足真实地理空间场景的应用需求的同时，需要保证相邻图像重合度大于预设阈值，在每两台全景摄像机的重叠视场中设置第一标记点。具体理解可以参照图3所示，全景摄像机301与302之间有一摄像重叠区域3012，全景摄像机302与303之间也有一摄像重叠区域3023，更多全景摄像机的摄像重叠区域以此类推，不多赘述。在摄像重叠区域3012和3023中分别设置两个标记点30120、30230。
94.另外，在架线式安装方法中的每个局部线段的两端均设有防撞环205，以防止每个局部线段上安装的全景摄像机201在运动时脱轨，且每台全景摄像机201的摄影速度与其运动速度匹配，以使得图像数据内的重叠度足以完成大范围的拼接，以及保障真实地理空间场景重建时图像拼接和融合的实时性。
95.类似的，对于固定式来说，若多台全景摄像机采用固定式安装于真实地理空间场景内，则多台全景摄像机在真实地理空间场景内固定均匀安装，其安装间隔距离根据其采集的图像精度自行设定，在确保每台全景摄像机的摄影覆盖区域满足实际场景的应用需求的同时，保证相邻图像重合度大于某一阈值，并在多台全景摄像机的重叠视场中分别设置多个标记点。固定式安装可以理解为较为特殊的架线式安装，仅在图像数据采集和拼接上略有不同，可参照架线式安装的方式，不多赘述。
96.本发明实施例中，多台全景摄像机受控于远程控制指令，远程控制指令由操作人员利用输出控制设备产生并经高性能计算设备转发，同样的，由于全景摄像机的运动是依靠引导装置实现，因此引导装置的运动方式决定了全景摄像机的运动方式，引导装置的运动速度即为全景摄像机的运动速度，引导装置的运动方式和速度，也受控于操作人员利用输出控制设备产生并经高性能计算设备转发的远程控制指令。不同的是，引导装置和全景摄像机上，均各自安装有远程控制接口，引导装置接收的远程控制指令是控制引导装置的运动方式和速度，全景摄像机接收的远程控制指令是根据目标范围的摄像需求调整全景摄像机的空间位姿指令和拍摄图像大小指令。
97.通过这种方式，可以实现每个全景摄像机的独立运动，或者若干全景摄像机的同步运动；当然，可以理解的是，也可以实现所有全景摄像机的同步运动。决定采用哪种运动方式是由拍摄目标范围的需求决定，若控制每个全景摄像机同步运动，则高性能计算设备接收来自于每个全景摄像机各自采集的目标范围和非目标范围的动态图像数据；若控制若干全景摄像机独立运动，则高性能计算设备接收来自于若干全景摄像机各自采集的目标范围的动态图像数据，以及接收来自于其它未运动全景摄像机各自采集的非目标范围的静态图像数据。每个全景摄像机独立运动的方式摄影，有利于对较小目标范围，或者单个目标物体的追踪和实时场景检测。若干或者全部全景摄像机同步运动，有利于对较大目标范围和整体真实地理空间场景的建立。
98.此外，考虑到亮度需求和运动流畅度，在每个局部线段的两侧均安装有照明装置和粉尘自动清洗装置；照明装置可以产生足够的光照，使得多台全景摄像机在摄像范围内的环境清晰可见；粉尘自动清洗装置可以自动清洗粉尘，使得多台全景摄像机各自在运动时流畅。
99.考虑的目前的全景摄像机有多种类型，并不是所有的全景摄像机都可以满足需求，因此每台全景摄像机均设有远程控制接口以外，还可以设有一个鱼眼镜头，或者一个反射镜面(如抛物线，双曲线镜面等)，或者多个朝向不同方向的普通镜头拼接而成的镜头，使得每台全景摄像机均拥有横向和纵向共720
°
的全景视场，且中央无盲区，这样有利于后续的三维场景建立。
100.若多台全景摄像机采用固定式安装，则根据目标范围的需求，高性能计算设备转发远程控制指令，控制多台全景摄像机各自采集目标范围的实时全景图像，并组合成实时全景图像数据序列；
101.若多台全景摄像机采用架线式安装，则根据目标范围的需求，高性能计算设备转发远程控制指令，利用引导装置控制多台全景摄像机的运动方式，运动方式包括：每个全景摄像机独立运动，或者若干全景摄像机同步运动；
102.若控制每个全景摄像机同步运动，则高性能计算设备接收来自于每个全景摄像机各自采集的目标范围和非目标范围的动态图像数据，并组合成动态图像数据序列；
103.若控制若干全景摄像机独立运动，则高性能计算设备接收来自于若干全景摄像机各自采集的目标范围的动态图像数据，以及接收来自于其它未运动全景摄像机各自采集的非目标范围的静态图像数据，并组合成动态图像数据序列。
104.步骤102：高性能计算设备接收场景内每台全景摄像机的三维地理坐标，三维地理坐标由测量机器人利用安装于每台全景摄像机上的棱镜获取后发送。
105.本发明实施例中，为了能得到每台全景摄像机的真实地理坐标，需要借助于测量机器人和棱镜。测量机器人是一种用于自动定位目标棱镜的精密仪器，其核心部件包括陀螺寻北仪和智能全站仪，其中陀螺寻北仪寻北完成测量机器人的定向，测量机器人在完成定向的基础上，通过自动识别和跟踪目标棱镜，同时测量自身与目标棱镜之间的水平角、垂直角和三维距离，实时输出目标棱镜的三维地理坐标，精度通常可达毫米级。
106.安装于每台全景摄像机上的棱镜，精确标定棱镜与自身所在全景摄像机的镜头中心的相对偏移量。测量机器人获取棱镜的三维地理坐标后，利用棱镜与自身所在全景摄像机的镜头中心的相对偏移量，确定每台全景摄像机的三维地理坐标，再由测量机器人发送至高性能计算设备。其中，该三维地理坐标包括：每台全景摄像机运动时的实时三维地理坐标，和每台全景摄像机静止时的固定三维地理坐标，三维地理坐标作为摄影测量所需的外方位参数，用于后续高性能计算设备的图像拼接缝合以及增强现实优化。
107.步骤103：高性能计算设备接收来自于姿态传感器的外方位参数，每台全景摄像机上均安装有姿态传感器，姿态传感器是一种高性能三维运动姿态测量系统，其包含三轴陀螺仪、三轴加速度计、三轴电子罗盘等辅助运动传感器，姿态传感器用于实时标定自身所在全景摄像机的方位角、俯仰角、横滚角，提供摄影测量时的外方位参数，便于后续全景图像的正射几何校正、拼接和优化。
108.本发明实施例中，为了建立对应真实地理空间场景的三维场景，每台全景摄像机
均装配有姿态传感器，姿态传感器是一种高性能三维运动姿态测量系统，它包含三轴陀螺仪、三轴加速度计、三轴电子罗盘等辅助运动传感器，所述姿态传感器用于实时标定自身所在全景摄像机的方位角、俯仰角、横滚角，提供摄影测量时的外方位参数，便于后续全景图像的校正、拼接和优化。
109.步骤104：高性能计算设备接收场景环境音，场景环境音由安装于真实地理空间场景中的多个音频采集设备获取并发送。
110.本发明实施例中，为了进一步增强“身临其境”的感觉，在真实地理空间场景中分散安装音频采集设备，例如：麦克风等。每个音频采集设备均具有唯一标号，以使得多个音频采集设备全覆盖采集真实地理空间场景的场景环境音；多个音频采集设备向高性能计算设备发送自身采集的场景环境音时，携带自身的唯一标号，以使得后续操作人员通过输出控制设备听到声音并感知声音的发出位置。
111.步骤105：高性能计算设备根据不同的安装方式、图像数据序列、标记点、外方位参数和三维地理坐标，对图像数据序列进行拼接缝合以及正射几何校正或者畸变校正，得到正射图像或者全景图像序列，其中，不同的安装方式采用不同的拼接优化方法，正射图像为基于固定式安装方式得到的图像序列进行拼接缝合和正射几何校正后得到，全景图像序列为基于架线式安装方式得到的图像序列进行拼接缝合和畸变校正后得到。
112.若高性能计算设备转发的远程控制指令，是控制固定式安装的每台全景摄像机对目标范围进行摄像，则高性能计算设备接收到目标范围和非目标范围的实时全景图像数据序列，之后基于该实时全景图像数据序列形成固定式全景视频序列；采用特征提取算法并利用标记点对固定式全景视频序列进行快速特征提取和匹配，然后结合摄影测量方法以及外方位参数，基于快速特征提取和匹配后的固定式全景视频序列，进行图像的拼接缝合和正射几何校正，这样可以得到全景正射图像，全景正射图像的范围比实时全景图像的范围更大。
113.若高性能计算设备转发的远程控制指令，是控制架线式安装的全景摄像机对目标范围进行摄像，则高性能计算设备接收到动态图像数据序列，并基于该动态图像数据序列形成架线式全景视频序列；采用特征提取算法并利用标记点对架线式全景视频序列进行快速特征提取和匹配；然后结合摄影测量方法以及外方位参数，基于快速特征提取和匹配后的架线式全景视频序列，进行图像拼接缝合和畸变校正，得到全景图像序列。
114.步骤106：高性能计算设备将合成的正射图像或全景图像序列与场景环境音和三维地理坐标进行增强现实优化，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流。
115.本发明实施例中，对于固定式安装方式，高性能计算设备基于全景正射图像，根据三维地理坐标和外方位参数，并且按照空间透视关系，确定目标范围内的物体，以及非目标范围内的物体，在真实空间环境中的正确放置位置，建立对应真实地理空间场景的三维场景，最后在三维场景中融合场景环境音，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流。
116.或者，对于架线式安装方式，高性能计算设备基于全景视频序列，根据三维地理坐标和外方位参数，并且按照空间透视关系，确定目标范围内的物体，以及非目标范围内的物体，在真实空间环境中的正确放置位置，建立对应真实地理空间场景的三维场景，最后在三
维场景中融合场景环境音，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流。
117.需要说明的是，由于音频采集设备分散布置于真实地理空间场景中，因此音频采集设备实质上属于目标范围以及非目标范围内的物体，所以音频采集设备的真实地理坐标也确定了，再结合音频采集设备的唯一标号，即可使得最优三维场景具有空间音频，从而可以使得操作人员在输出控制设备中听到声音并且感知声音的位置。
118.本发明实施例中，全景摄像机采集到的全景图像、音频采集设备采集到的环境音以及测量机器人采集的三维地理坐标等数据，可以通过有线或无线的方式传入并保存到高性能计算设备中，所述有线或无线网络可选用但不限于5g网络等。具体传输方式可选用移动通信网络传输为主，光纤通道传输为辅的方式进行数据传输；充分利用移动通信网络部署更快、更方便的优势传输数据，但当真实地理空间场景内移动通信传输信号差时，可以切换使用光纤传输数据，光纤传输数据更加稳定。
119.步骤107：高性能计算设备将真实地理空间场景视频流发送至输出控制设备中，以使得输出控制设备实时显示真实地理空间场景，并使得操作人员通过输出控制设备发送远程控制指令，远程实时控制全部或者部分全景摄像机进行摄像或运动。
120.本发明实施例中，完成前述步骤101～步骤106之后，即可得到反应真实地理空间场景的真实地理空间场景视频流。基于该真实地理空间场景视频流，为了方便操作人员的远程控制，还需要高性能计算设备将真实地理空间场景视频流发送给输出控制设备，以使得输出控制设备实时显示真实地理空间场景视频流，达到“身临其境”的感觉。并使得操作人员通过输出控制设备发送远程控制指令，远程实时控制全部或者部分全景摄像机运动。
121.本发明实施例中，输出控制设备包括：智能显示设备或头戴vr设备；头戴vr设备是目前一种较新的高科技产品，相对于其它设备具有更好的虚拟现实功能，其可对操作人员的目视区域的视点亮度进行自动增强，并基于最优三维场景，显示目视区域中目标物体的属性信息和真实地理坐标信息。
122.当然，操作人员可以利用智能显示设备或头戴vr设备，远程实时控制全部或者部分全景摄像机，对任意目标范围进行摄影，并向其发送相应控制参数，控制全景摄像机的位姿以及控制全景摄像机的拍摄图像大小。如前所述，操作人员也可以利用智能显示设备或头戴vr设备，远程实时控制架线式引导装置的运动方式和速度(例如自动巡航功能，使得全景摄像机以特定的速度运动等)，更好、更便捷的控制全景摄像机完成需求的目标范围拍摄。
123.本发明实施例中，基于全景视频技术的真实地理空间场景实时构建方法的通信连接示意图可以参照图4所示，其中包括：高性能计算设备600、输出控制设备800以及真实地理空间场景20，三者结合实现基于全景视频技术的真实地理空间场景构建方法。
124.本发明实施例中，基于上述基于全景视频技术的真实地理空间场景实时构建方法，还提出一种基于全景视频技术的真实地理空间场景实时构建装置，参照图5，示出了本发明实施例一种基于全景视频技术的真实地理空间场景实时构建装置的框图，所述真实地理空间场景实时构建装置应用于高性能计算设备中，高性能计算设备包括：
125.接收图像数据模块510，用于接收来自于多台全景摄像机采集的图像数据，并组合成图像数据序列，所述多台全景摄像机受控于远程控制指令，所述多台全景摄像机采用固
定式或架线式安装于真实地理空间场景内，并在所述真实地理空间场景内设置标记点；
126.接收三维地理坐标模块520，用于每台全景摄像机的三维地理坐标，所述三维地理坐标由测量机器人利用安装于每台全景摄像机上的棱镜获取后发送，所述测量机器人是一种用于自动定位目标棱镜的精密仪器，其核心部件包括陀螺寻北仪和智能全站仪，其中陀螺寻北仪寻北完成所述测量机器人的定向，智能全站仪在完成定向的基础上，通过自动识别和跟踪所述目标棱镜，同时测量自身与所述目标棱镜之间的水平角、垂直角和三维距离，实时输出所述目标棱镜的三维地理坐标；
127.接收全景摄像机空间姿态模块530，用于接收来自于姿态传感器的外方位参数，所述每台全景摄像机上均安装有姿态传感器，所述姿态传感器是一种高性能三维运动姿态测量系统，其包含三轴陀螺仪、三轴加速度计、三轴电子罗盘等辅助运动传感器，所述姿态传感器用于实时标定自身所在全景摄像机的方位角、俯仰角、横滚角，提供摄影测量时的外方位参数，便于后续全景图像的正射几何校正、拼接和优化；
128.接收声音模块540，用于接收场景环境音，所述场景环境音由安装于真实地理空间场景中的多个音频采集设备获取并发送；
129.拼接模块550，用于根据不同的安装方式、所述图像数据序列、所述标记点、所述外方位参数和所述三维地理坐标，对所述图像数据序列进行拼接缝合以及正射几何校正或者畸变校正，得到正射图像或者全景图像序列，其中，不同的安装方式采用不同的拼接优化方法，所述正射图像为基于固定式安装方式得到的图像序列进行拼接缝合和正射几何校正后得到，所述全景图像序列为基于架线式安装方式得到的图像序列进行拼接缝合和畸变校正后得到；
130.增强现实优化模块560，用于将合成的正射图像或全景图像序列与所述场景环境音和所述三维地理坐标进行增强现实优化，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流；
131.发送模块570，用于将所述真实地理空间场景视频流发送至输出控制设备中，以使得所述输出控制设备实时显示所述真实地理空间场景，并使得操作人员通过所述输出控制设备发送所述远程控制指令，远程实时控制全部或者部分全景摄像机进行摄像或运动。
132.可选地，所述接收图像数据模块510具体用于：
133.根据所述多台全景摄像机采用安装方式的不同，其采集所述图像数据的方式不同；
134.若所述多台全景摄像机采用所述固定式安装，则根据目标范围的需求，转发所述远程控制指令，控制所述多台全景摄像机各自采集所述目标范围的实时全景图像，并组合成实时全景图像数据序列；
135.若所述多台全景摄像机采用所述架线式安装，则根据所述目标范围的需求，转发所述远程控制指令，利用所述引导装置控制所述多台全景摄像机的运动方式，所述运动方式包括：每个全景摄像机独立运动，或者若干全景摄像机同步运动；
136.若控制所述每个全景摄像机同步运动，则接收来自于所述每个全景摄像机各自采集的所述目标范围和非目标范围的动态图像数据，并组合成动态图像数据序列；
137.若控制所述若干全景摄像机独立运动，则接收来自于所述若干全景摄像机各自采集的所述目标范围的动态图像数据，以及接收来自于其它未运动全景摄像机各自采集的所
述非目标范围的静态图像数据，并组合成动态图像数据序列。
138.可选地，每台全景摄像机均装配有姿态传感器，所述姿态传感器是一种高性能三维运动姿态测量系统，其包含三轴陀螺仪、三轴加速度计、三轴电子罗盘等辅助运动传感器，所述姿态传感器用于实时标定自身所在全景摄像机的方位角、俯仰角、横滚角，提供摄影测量时的外方位参数，便于后续全景图像的校正、拼接和优化；所述拼接模块550具体用于：
139.若所述多台全景摄像机采用所述固定式安装，则接收到所述实时全景图像数据序列，并基于该实时全景图像数据序列形成固定式全景视频序列；
140.根据实际需求，利用所述标记点信息、特征提取算法和计算机视觉方法对所述固定式全景视频序列进行快速特征提取和匹配；
141.结合摄影测量方法和所述多台全景摄像机的空间位置与姿态以及所述外方位参数，使用摄影测量、计算机视觉技术对快速特征提取和匹配后的固定式全景视频序列进行正射校正及图像拼接，得到所述全景正射图像，所述全景正射图像的范围比所述实时全景图像的范围更大；
142.若所述多台全景摄像机采用所述架线式安装，则接收到所述动态图像数据序列，并基于该动态图像数据序列形成架线式全景视频序列；
143.采用特征提取算法并利用所述标记点对所述架线式全景视频序列进行快速特征提取和匹配；
144.结合摄影测量方法以及所述外方位参数，基于快速特征提取和匹配后的架线式全景视频序列，进行图像拼接缝合和畸变校正，得到所述全景图像序列。
145.可选地，所述增强现实优化模块560具体用于：
146.基于所述全景正射图像，根据所述三维地理坐标和所述外方位参数，并且按照空间透视关系，确定所述目标范围内的物体，以及所述非目标范围内的物体，在真实空间环境中的正确放置位置，建立对应所述真实地理空间场景的三维场景；
147.在所述三维场景中融合所述场景环境音，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流；
148.或者，基于所述全景视频序列，根据所述三维地理坐标和所述外方位参数，并且按照空间透视关系，确定所述目标范围内的物体，以及所述非目标范围内的物体，在真实空间环境中的正确放置位置，建立对应所述真实地理空间场景的三维场景；
149.在所述三维场景中融合所述场景环境音，得到位于地理坐标框架中的具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流。
150.综上所述，本发明的基于全景视频技术的真实地理空间场景构建方法，接收来自于多台全景摄像机采集的图像数据，并组合成图像数据序列，并且接收每台全景摄像机的三维地理坐标、空间姿态以及场景环境音，根据图像数据、三维地理坐标和空间姿态，对图像数据序列进行拼接缝合和几何校正或者畸变校正，将合成的正射图像或全景图像序列与所述场景环境音和所述三维地理坐标进行增强现实优化，得到处于地理坐标框架中，为具有增强现实、空间音频以及地理坐标的真实地理空间场景视频流，将真实地理空间场景视频流发送至输出控制设备中，以使得输出控制设备实时显示最优真实地理空间场景，并使得操作人员通过输出控制设备远程实时控制全部或者部分全景摄像机运动。
151.本发明主要通过视频图像、音频和真实地理坐标的输入输出，并且配合相应的硬件设备和软件算法，在远离当前场景的任意位置实现空间场景的建立，使操作人员产生仿佛置身作业现场的“身临其境”的感觉。从而使得操作人员在生产或发生事故时能够对现场情况有清晰准确的判断。在此基础上不断发展远程控制和通信技术，不仅使得人们能够间接观测当前作业场景，更能够在任意位置实时控制生产场景作业的相关过程。从而实现高风险作业现场的少人化，甚至是无人化，在充分保障远程操作人员安全的基础上，进一步提高生产作业效率。很好的满足了目前高风险作业场景智能化、无人化作业的要求。
152.尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
153.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
154.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。