基于时空信息融合技术的无人机应急快反数据链系统及方法与流程

本发明涉及无人机动态监控技术，尤其涉及一种基于时空信息融合技术的无人机应急快反监控系统及方法，可应用于无人机应急救灾、森林防火、公共安全、维稳处突、态势监控，电力/管线等例行性巡检等领域。

背景技术：

随着无人机等无人飞行技术在民用领域的持续推广应用，无人机应用与应急监控越来越普遍。无人机具有机动灵活、成本低、使用方便的特点，很多传统的非固定区域的监控或巡检工作都在试图用无人机来代替旧的技术手段。

目前市场上的无人机平台系统已经基本上解决了视频的采集和短距离传输问题，主要利用微波电台实现从无人机到地面站的实时传输。但在应急情况下，会有多方领导及多方单位参与事件的处理或指导工作，他们都需要了解现场的情况，并需要对现场及周边的空间信息及相关资源进行全方位了解。

因此，在应急情况下，只解决实时监控信息到地面站的视频传输是远远不够的，还需要将事件周边的空间信息及实时监控信息传送给位于不同单位或处所得多个相关人员，以便实时全面了解现场情况。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种基于时空信息融合技术的无人机应急快反监控系统及方法，以实现实时视频监控信息与空间地理信息的融合应用，并借助互联网与移动互联网技术实现融合监控信息的远程共享。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于时空信息融合技术的无人机应急快反监控系统，包括无人机平台系统和吊舱系统；该应急快反监控系统还包括：飞控地面站、图像地面站和时 空信息融合监控服务平台以及监控终端；其中，

所述吊舱系统搭载有传感器系统，用于采集多视倾斜影像、采集实时视频和目标追踪；

所述飞控地面站，用于无人机的地面调试、飞行控制和状态监视；

所述图像地面站，用于三维快视图的处理；

所述时空信息融合监控服务平台，用于提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化服务；以及，

所述监控终端，用于无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。

其中，所述无人机平台系统集成有数传发射模块，用于实现无人机飞控控制数字传输链路。

所述传感器系统，进一步包含图传发射模块，用于实现实时视频的传输。

所述图像地面站，进一步包含：

图像信息处理模块，用于完成倾斜影像的三维实景建模处理，受处理能力的限制；

视频信息处理模块，用于完成视频和无人机POS信息的采集和同步处理、同步转发及视频信息与电子沙盘信息的融合处理和可视化显示。

所述POS信息，包括GPS位置、无人机姿态和吊舱姿态信息。

所述无人机平台系统的飞控模块通过RS422接口与吊舱系统相连实现飞控对吊舱的控制和数据传输，所述吊舱系统通过图像跟踪板控制伺服系统实现对目标的跟踪功能，并通过图传电台实时传输给图像地面站。

一种基于时空信息融合的无人机应急快反监控方法，包括如下步骤：

A、无人机平台系统集成带目标跟踪功能的吊舱系统，该吊舱系统通过图像跟踪板实现目标跟踪功能；

B、图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，实现对吊舱的姿态控制，并可采集吊舱传回的监控视频和吊舱姿态信息；

C、视频信息与无人机姿态信息和吊舱信息的同步采集及编码，保证视频与平台姿态参数的时间一致性，有利于后期进行时空融合处理；

D、同步编码信息的网络转发和接收，将视频流信息进行重新拆分和编码，然后对视频和POS信息进行同步转发处理；

E、监控区域空间信息及电子沙盘的信息获取及可视化，空间信息的获取有多种渠道；

F、监控区域空间信息与同步编码后的视频监控信息融合处理，为实时视频赋予清晰的地理位置属性。

较佳地，进一步包括步骤G：

通过时空信息融合服务平台系统实现时空信息融合后的信息共享的步骤。

所述吊舱系统进一步集成有图像跟踪单元，用于自动检测监控区域内的动态目标，并利用图像跟踪单元将自身的姿态信息、图像中的目标位置信息发送给无人机平台的飞行控制器，飞行控制器将这些信息联同无人机的GPS和IMU参数一同发送给无人机飞控地面站。

其中，图像地面站对图像、无人机POS、吊舱POS进行融合编码的过程，包括：

图像地面站集成图像采集卡对模拟视频进行采集，并进行基于H.264的编码；

图像地面站通过图像地面站专用软件从图像采集卡读取压缩后的视频流，通过串口读取吊舱姿态和无人机姿态信息；

图像地面站对视频码流按照相应格式拆包分解，在每一包的开头或结尾写入吊舱姿态信息和无人机姿态信息；以及，

对新的包信息进行重组打包以后发送给其他模块，并转发出去，发给时空信息融合监控服务平台。

所述监控区域空间信息及电子沙盘的信息获取方式，包括：

利用三维GIS软件直接加载公共服务平台提供的地图服务；

对局部监控区域进行手工建模，将模型导入三维GIS软件；以及，

利用无人机平台对监控区域进行倾斜摄影，利用专用软件处理成三维实景模型，再导入三位GIS软件，构建该区域的电子沙盘。

所述监控区域空间信息与同步编码后的视频监控信息融合处理，包括如下步骤：

F1：利用无人机GPS位置信息、无人机IMU姿态信息及吊舱的姿态信息进行联合解算，获取视频拍摄时的外方位参数；

F2：提前对搭载摄像头信息进行内参数标定，获取摄像头内参数信息，并从吊舱姿态里实时获取变焦的焦距信息；

F3：以GPS位置点为射线起点，依据内外方位参数形成摄像机对地拍摄的射线，此射线与地面空间信息会有交点，分别计算经过图像四个角点发射的射线根地面的交点，形成无人机监控摄频的拍摄视锥体；

F4：在三维GIS软件上实时接收由前端转发过来视频信息，在同一界面上既能够看到实时视频，还能够看到无人机航线和视频拍摄范围；

F5：当拍摄区域内有动态目标时，机上吊舱输出动态目标在视频中的位置，此时三维GIS软件收到此目标的图像位置信息，依据此计算得到目标的空间位置和移动轨迹。

所述时空信息融合后的信息共享，具体为：

时空信息融合监控服务平台为BS架构的基于地理信息服务框架的平台系统，通过3G或4G网络实时接收来自前端图像地面站发送过来的视频信息和姿态信息，或通过电台或其他形式的视频传输网络获得实时视频，时空信息融合监控服务平台通过网络服务能力，向其他连入的终端系统转发监控区域的视频信息及融合后的空间信息，从而实现信息的多方共享。

本发明基于时空信息融合技术的无人机应急快反监控系统及方法与现有技术相比的优点在于：

传统无人机监控仅解决了无人机飞行问题和视频信息的采集问题，而本发明侧重于监控信息在空间地理信息平台上的深度融合应用，为视频监控信息赋予大空间的位置属性，且通过时空信息融合监控服务平台实现无人机监控信息 的远程传输和信息共享，这在应急快反中至关重要。此外，通过吊舱系统与无人机平台和地理信息系统的集成，还可实现目标的检测、跟踪和地理定位，这在公安应急、处理突发事件、安防应用等方面非常重要。

附图说明

图1A为本发明基于时空信息融合的无人机应急快反监控系统功能方框图；

图1B为本发明基于时空信息融合的无人机应急快反监控系统结构示意图；

图2为无人机平台系统与吊舱系统集成结构示意图；

图3、图4为图像地面站示意图；

图5为本发明的快反时空信息融合监控服务平台及APP应用系统的框架结构示意图；

图6为本发明的快反监控终端视频监控画面示意图；

图7为本发明的快反监控终端图像处理画面示意图。

具体实施方式

下面结合附图及本发明的实例对本发明基于时空信息融合技术的无人机应急快反监控系统及方法作进一步详细的说明。

本发明的主要技术原理在于：首先，传感器采集的图像信息结合飞行平台采集的位置信息和姿态信息按照摄影测量的原理，理论上不能确定传感器的拍摄位置，但如再结合已知的地理信息数据，则可通过射线求交的方式确定出传感器拍摄的范围。其次，监控区域空间信息的获取最直接有效的办法是通过无人机搭载倾斜相机系统进行多角度数据采集，通过多视图像空中三角测量、密集点云提取、三维重建和纹理映射等处理技术，可获得拍摄区域的三维实景模型。再次，通过倾斜摄影获取的三维实景模型及在其上叠加的实时视频监控信息首先可在无人机地面站上看到，这些信息通过与时空信息融合监控服务平台系统对接可实现监控信息的实时远程共享，通过连接服务平台的客户端系统可查看无人机平台获取的三维实景及监控信息。

本发明基于已经逐渐成熟的无人机技术、地理信息技术、互联网技术及移动互联网技术，提出了一种基于时空信息融合技术的无人机应急快反监控方法，并提供一种简单的、轻量化的与无人机平台紧密集成的时空信息融合监控服务平台系统，该系统不但可以利用无人机平台实时监控关注区域，并且可以将实时监控图像与空间地理信息进行深度融合，同时，利用互联网和移动互联网技术，这些深度融合后的时空信息画面还可实时共享给各个相关单位人员，这些人员的手机或平板(如PAD)终端上只需安装一个APP应用。

图1A为本发明基于时空信息融合的无人机应急快反监控系统功能方框图。如图1A所示，其主要实现步骤包括：从无人机平台获取无人机平台姿态参数；从无人机载吊舱系统获取视频监控图像信息和吊舱的姿态参数；由图像地面站同时获取视频信息、无人机姿态信息、吊舱姿态信息，并对同时刻三维信息进行同步处理；图像地面站利用图像地面站软件系统一方面对同步后的监控信息进行与空间信息的融合，并进行可视化显示，另一方面对同步后的信息利用4G网络或其他网络转发给远程的时空信息融合服务平台；时空信息融合服务平台可向所有与平台连接的时空信息监控终端系统提供时空信息融合后的无人机监控信息；时空信息监控终端系统即可向使用者提供无人机监控视频，又可提供无人机航线位置，以及视频的监控范围和目标位置、轨迹信息。

图1B为本发明基于时空信息融合的无人机应急快反监控系统结构示意图。如图1B所示，本发明的基于时空信息融合的无人机应急快反监控方法，主要包括如下步骤：

步骤1：无人机平台系统集成带目标跟踪功能的吊舱系统，该吊舱系统通过图像跟踪板实现目标跟踪功能。

步骤2：图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，即可实现对吊舱的姿态控制，又可采集吊舱传回的监控视频和吊舱姿态信息。通过通信网络(如局域网或WIFI)，图像地面站可从飞控地面站实时获取数传电台下传的无人机姿态和位置信息以及吊舱姿态信息。

步骤3：视频信息与无人机姿态信息和吊舱信息的同步采集及编码，保证 视频与平台姿态参数的时间一致性，有利于后期进行时空融合处理。

步骤4：同步编码信息的网络转发和接收，视频采集过来是通用的H.264编码视频流，为了要进行视频与POS的同步转发处理，需要对视频流信息进行重新拆分和编码。

步骤5：监控区域空间信息及电子沙盘的信息获取及可视化，空间信息的获取有多种渠道。譬如，可通过倾斜摄影的方式快速获取三维实景模型，这是目前最有效的手段。

步骤6：监控区域空间信息与同步编码后的视频监控信息融合处理，为实时视频赋予清晰的地理位置属性。

步骤7：通过时空信息融合服务平台系统实现时空信息融合后的信息共享。应急状态下往往需要多个部门、多个相关人员需要了解现场情况。

这里，所述吊舱系统内部集成有图像跟踪单元，图像跟踪单元一方面可自动检测监控区域内的动态目标，另一方面图像跟踪单元可将自身的姿态信息、图像中的目标位置信息发送给无人机平台的飞行控制器，飞行控制器可将这些信息联同无人机的GPS和IMU参数一同发送给无人机飞控地面站。

另外，图像地面站集成吊舱控制摇杆、图像采集单元和吊舱数传电台，图像地面站作为以监控任务为主导工作的核心单元完成对吊舱的直接控制，而非飞控地面站直接控制吊舱；图像地面站完成图像采集、吊舱姿态采集和无人机姿态采集任务。图像地面站完成三种信息采集有两种方式：

其一，吊舱在机上获取无人机飞控单元采集的无人机GPS信息和IMU姿态信息，再与自身姿态一起打包下发给图像地面站。

其二，吊舱不与机上飞控对接，地面飞控地面站获取无人机GPS信息和IMU姿态信息后转发给图像地面站，图像地面站再通过图像采集设备和吊舱数传电台完成其他信息的采集。

其中，图像地面站对图像、无人机POS、吊舱POS进行融合编码的步骤如下：

(1)图像地面站集成图像采集卡对模拟视频进行采集，并进行基于H.264 的编码。

(2)图像地面站通过图像地面站专用软件从图像采集卡读取压缩后的视频流，通过串口读取吊舱姿态和无人机姿态信息。

(3)图像地面站专用软件对视频码流按照相应格式拆包分解，在每一包的开头或结尾写入吊舱姿态信息和无人机姿态信息。

(4)对新的包信息进行重组打包以后发送给其他模块，并转发出去，发给时空信息融合监控服务平台。

监控区域空间信息及电子沙盘的信息获取有多种渠道：

(1)利用三维GIS软件直接加载公共服务平台提供的地图服务，比如百度地图、Google地图、天地图等公共地图服务平台；

(2)对局部监控区域进行手工建模，将模型导入三维GIS软件；

(3)利用无人机平台对监控区域进行倾斜摄影，利用专用软件处理成三维实景模型，再导入三位GIS软件，构建该区域的电子沙盘。

其中，监控区域空间信息与同步编码后的视频监控信息融合处理其主要步骤包括：

(1)利用无人机GPS位置信息、无人机IMU姿态信息及吊舱的姿态信息(俯仰角、航向角)进行联合解算，获取视频拍摄时的外方位参数；

(2)提前对搭载摄像头信息进行内参数标定，获取摄像头内参数信息，并可从吊舱姿态里实时获取变焦的焦距信息；

(3)以GPS位置点为射线起点，依据内外方位参数可形成摄像机对地拍摄的射线，此射线与地面空间信息会有交点，分别计算经过图像四个角点发射的射线根地面的交点，则可形成无人机监控摄频的拍摄视锥体；

(4)同时在三维GIS软件上实时接收由前端转发过来视频信息，可在同一界面上既然可看到实时视频，又可看到无人机航线和视频拍摄范围；

(5)当拍摄区域内有动态目标时，机上吊舱会输出动态目标在视频中的位置，此时三维GIS软件可收到此目标的图像位置信息，可依据此计算得到目标的空间位置和移动轨迹。其中的原理与视椎体的计算方法相同。

时空信息融合后的信息共享的主要方法是，时空信息融合监控服务平台为BS架构的基于地理信息服务框架的平台系统，他可通过3G或4G网络实时接收来自前端图像地面站发送过来的视频信息和姿态信息，也可通过电台或其他形式的视频传输网络获得实时视频，时空信息融合监控服务平台可提供强大的网络服务能力，可向其他连入的终端系统转发监控区域的视频信息及融合后的空间信息，达到信息的多方共享。

如图1B所示，本发明的基于时空信息融合技术的无人机应急快反的监控系统，主要由传感器系统、无人机平台系统、图像地面站、飞控地面站(UAV地面站)、快反时空信息融合监控服务平台、监控终端(如快反PAD终端、快反手机终端)等几个部分组成。

其中，传感器系统是吊舱系统搭载的主要工作单元，所述传感器系统的传感器可以包含以下几种类型：三轴立体相机和智能光电吊舱。

所述三轴立体相机负责多视倾斜影像的采集；所述智能光电吊舱负责实时视频采集和目标追踪。所述无人机平台系统为多旋翼无人机，其关键核心部件为飞控模块(如无人机快反飞控自驾仪)，主要负责无人机平台系统的安全飞行，以及与任务载荷的联合控制。

另外，无人机平台系统还集成了图传发射模块和数传发射模块，主要实现无人机飞控控制数字传输链路。并通过集成在传感器系统中的图传发射模块实现实时视频的传输。

本发明的无人机平台系统与吊舱系统集成结构示意图，如图2所示，飞控模块与吊舱系统通过RS422接口相连实现飞控对吊舱的控制和数据传输，吊舱通过图像跟踪板控制伺服系统实现对目标的跟踪功能，以可见光或红外传感器方式通过图传电台实时传输给地面站。

吊舱系统与无人机飞行平台监控信息采集的主要工作流程是：吊舱系统内部集成了可见光或红外传感器、图像跟踪单元，吊舱系统与图传系统连接，并通过其向地面传输实时视频；图像跟踪单元与无人机飞行平台的飞控系统通过RS422接口相连，一方面可自动检测监控区域内的动态目标，另一方面图像跟 踪单元可将自身的姿态信息、图像中的目标位置信息发送给无人机平台的飞行控制器，飞行控制器可将这些信息联同无人机的GPS和IMU参数一同发送给无人机飞控地面站。

飞控地面站集成了飞控地面站软件及数传接收电台，主要负责无人机的地面调试、飞行控制和状态监视。

本发明的图像地面站示意图，如图3、4所示，其主要集成了图传接收模块、视频采集模块、吊舱控制模块及图像处理软件模块。

这里，所述图像地面站主要用于吊舱控制、实时视频监视、视频处理和图像处理任务。图像地面站还预留了远程通讯接口，内置4G网卡，可通过接入互联网、专网或4G网络实现与快反时空信息融合监控服务平台的连接，图像地面站可将无人机飞行数据、视频监控数据及图像数据发送给服务平台，也可从服务平台获取空间地理信息数据构建电子沙盘。

图像地面站包含两大模块：视频信息处理模块和图像信息处理模块。地面站主要完成三维快视图的处理。其中，图像信息处理模块，主要完成倾斜影像的三维实景建模处理，受处理能力的限制。视频信息处理模块，主要任务是完成视频和无人机POS(GPS位置、无人机姿态、吊舱姿态)信息的采集和同步处理、同步转发及视频信息与电子沙盘信息的融合处理和可视化显示。

这里，视频与电子沙盘融合处理的内容包括：

(1)视频监控覆盖地理范围的计算及可视化；

(2)视频帧的地理矫正及与电子地图的叠加显示；

(3)视频信息中目标的位置、移动速度、移动方位的计算和可视化；

(4)无人机航迹信息可视化。

视频监控覆盖范围的计算和视频帧纠正的基本原理均为摄影测量的共线方程，下列公式(1)、(2)中，矩阵R为相机的外方位元素构建的旋转矩阵，通过机上下传的IMU参数可获得，公式1中，Xs、Ys、Zs为摄站坐标，可通过机上下传的GPS信息近似获得，(x，y)为图像上任一点的像空间坐标系的坐标，f为焦距，唯一要确定的即Z。通常军事应用中，一般通过激光测距仪向目 标方向测距来精确判断目标的位置。如我们已知监测区域的高精度DEM数据，以GPS点为原点，通过图像上(x，y)点做射线，求得该射线与DEM的交点，即可确定(x，y)点对应的空间坐标(X，Y，Z)，根据同样的原理，也可计算目标在任意时刻的位置信息，进而可求得运动速度和方向。

外方位角元素 (2)

视频与POS信息的同步处理及转发功能处理过程如下：

(1)通过图像地面站集成的图像采集卡采集和压缩视频流信息；

(2)图像地面站软件从视频采集卡直接读取视频压缩后的码流信息；

(3)对码流解包处理；

(4)飞控地面站通过数传电台接收无人机上下传的POS(包括GPS信息、气压高、飞机IMU姿态和吊舱的姿态信息及跟踪信息等)信息，并向图像地面站转发相同信息；

(5)图像地面站接收飞控地面站转发过来的POS信息；

(6)在视频码流的每包数据的开头或末尾加入POS信息，重新构建视频帧码流数据；

(7)将新的码流数据进行转发；

(8)视频播放及处理模块接收新的码流数据进行解包处理，首先获得POS数据，再对剩下的视频码流进行解码处理。

快反时空信息融合监控服务平台是一个融合了空间地理信息、动态视频监控信息及传感信息的综合性服务平台，可对外提供倾斜影像三维实景建模服务、通用三维地图服务、三维分析服务、三维标注标绘、动态模拟推演、地理信息与动态信息融合分析及综合可视化等服务；该服务平台还对外开放web应用开发、桌面端应用开发及移动应用开发接口。

快反PAD终端及手机终端等监控终端，是连接快反时空信息融合监控服务 平台的两类App应用，主要实现无人机视频监控信息与电子沙盘信息的融合可视化、交互分析及应急应用。

图5为快反时空信息融合监控服务平台及APP应用系统的框架结构。从下到上可分为：支撑平台层、服务层和应用层。支撑平台层包含Google三维可视化插件、炫界基础三维GIS平台、Smart3D图像处理引擎。服务层包含两大服务子系统：图像处理子系统、视频处理子系统，这两个子系统共同调用了炫界基础三维GIS平台里的三维GIS插件。应用层为快反PAD终端app和手机端app。

快反终端应用App均支持按键式触摸屏操作，使用方便，操作简单灵活，图6、图7分别为快反监控终端上视频监控画面示意图和图像处理画面示意图。

要实现基于时空信息融合的无人机应急监控，监控区域空间信息及电子沙盘的信息获取及可视化也是必须要解决的问题。电子沙盘信息的获取有多重方式：

(1)利用三维GIS软件直接加载公共服务平台提供的地图服务，比如百度地图、Google地图、天地图等公共地图服务平台；

(2)对局部监控区域进行手工建模，将模型导入三维GIS软件；

(3)利用无人机平台对监控区域进行倾斜摄影，利用专用软件处理成三维实景模型，再导入三位GIS软件，构建该区域的电子沙盘。本方法倾斜摄影的获取采用三轴立体相机拍摄获取，倾斜影像的实景建模处理利用快反时空信息融合监控服务平台完成大批量数据处理任务，利用图像地面站图像处理软件完成三维快视图的处理。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。