一种实时视频与地理位置信息同时显示的系统及方法与流程

本发明涉及信息显示领域，具体涉及一种实时视频与地理位置信息同时显示的系统及方法。

背景技术：

随着技术的发展，防灾减灾救灾及应急指挥所使用的技术手段也在发生着变化，从早期的单纯对讲机到手持电话再到基于3g/4g技术的无线音视频会议，覆盖面越来越广，信息展现方式越来越丰富。在无信号或信号基站遭破坏地区，卫星电话和卫星定位技术的引入为应急救援提供了最直接、最重要的信息保障。利用国产的北斗卫星和天通卫星提供的定位和信息传输技术，结合成熟的无线音视频技术及地理信息技术，可为应急救援指挥提供新的更加便捷、直观、可靠的方案。

在通常的视频与地理位置相关的应用中，信息的显示都是独立的，即要么只显示视频相关的内容，要么只显示地理位置相关的内容。显示视频相关内容时，并不显示地理位置相关的内容，比如视频会议，视频监控等，如果要显示地理位置信息，通常是关闭视频画面，或者地理位置信息覆盖到视频画面上，遮挡住视频画面。显然，这种方式信息的展现效率比较低，而且在有多个视频源并且视频源在地理位置上相隔较远时，一般无法很好的展示各个视频源所处地理位置的信息。比如，要在一个显示屏上显示所有位置的信息，必将导致地图缩放，这样很多的地图细节信息就会被忽略掉，而我们在应急救援时，所需要了解的地理位置相关信息，更多的是救援位置附近的道路、地形等信息，以便为救援及资源调度提供更科学的方案。

技术实现要素：

本发明的目的在于提供一种实时视频与地理位置信息同时显示的系统及方法，以克服现有技术的缺点，本发明可同时显示实时视频和其对应的地理位置信息、环境信息，同时可方便的调整显示布局，支持对多个节点的融合显示，信息展示方式独特、高效。

为达到上述目的，本发明采用如下技术方案：

一种实时视频与地理位置信息同时显示的系统，包括前方节点群和后方指挥中心节点，所述前方节点群包括若干用于采集现场音视频数据和地理位置信息的前方节点，前方节点和后方指挥中心节点通过无线链路进行双向通信。

进一步地，所述无线链路包括北斗短报文、天通卫星短信、天通卫星电话以及3g和4g链路。

进一步地，所述前方节点包括：

音视频数据实时采集模块：用于实时采集现场的视频数据和音频数据，并将其编码处理；

音视频数据发送模块：用于将音视频数据实时采集模块处理后的数据通过3g或4g链路发送给后方指挥中心节点；

北斗定位数据获取模块：用于不断获取现场的经纬度信息，并通过私有协议将其加密编码；

北斗定位数据发送模块：用于将北斗定位数据获取模块加密编码后的数据通过北斗短报文或者3g、4g链路发送到后方指挥中心节点；

现场环境信息采集模块：用于采集现场各种环境信息，并通过私有协议进行加密编码打包；

现场环境信息发送模块：用于将现场环境信息采集模块加密编码打包后的数据通过天通卫星短信或者3g、4g链路发送到后方指挥中心节点；

指挥中心数据接收处理模块：用于接收并处理后方指挥中心节点发送过来的数据；其中音视频通过3g或4g链路接收，其他数据通过天通卫星短信链路或者3g、4g链路接收；对于视频数据的处理具体为：解码视频数据，并将解码后的图像通过设备屏幕进行显示；对于音频数据的处理具体为：解码音频数据，将解码后的声音通过设备喇叭播放；对于其它数据的处理具体为：按照私有协议解密数据包，通过文字或者语音的形式表达指挥中心的调度指令。

进一步地，所述后方指挥中心节点包括：

前方节点群数据接收处理模块：用于接收并处理各个前方节点采集的数据；

显示策略配置模块：用于在前方节点群数据接收处理模块接收并处理各个前方节点采集的数据后，调取配置的显示策略，根据显示策略在显示屏上展示前方节点的数据；

显示数据层序化模块：所述显示数据层序化模块中设置有预显示内存，预显示内存与显示屏满屏显示所需内存大小一致，所述显示数据层序化模块用于读取显示策略配置模块的配置信息，根据配置信息，将预显示内存划分为若干窗口，窗口的布局由配置决定，随后将每一个窗口相关的数据渲染到其所属的内存空间中，最后将预显示内存刷写到显存中，实现信息的屏幕展示；

指挥中心指令编辑发送模块：用于下发指挥调度指令，指令编辑好后，将被加密封包，然后通过天通卫星短信链路或者3g、4g链路下发到现场的前方节点群中。

进一步地，所述显示策略配置模块将显示屏划分为三个区域，分别为指挥中心操作控制区、指挥中心显示区以及节点群显示区；其中指挥中心操作控制区和指挥中心显示区显示内容的位置和大小固定，节点群显示区显示内容的大小和位置通过配置策略决定。

一种实时视频与地理位置信息同时显示的方法，前方节点采集现场音视频数据和地理位置信息，并将现场音视频数据和地理位置信息发送到后方指挥中心节点，后方指挥中心节点接收各个前方节点的数据，对数据进行处理，然后显示到显示屏上，反方向上，后方指挥中心节点下发数据到前方节点，对前方节点做出统一的指挥调度。

进一步地，所述后方指挥中心节点包括：

前方节点群数据接收处理模块：用于接收并处理各个前方节点采集的数据；

显示策略配置模块：用于在前方节点群数据接收处理模块接收并处理各个前方节点采集的数据后，调取配置的显示策略，根据显示策略在显示屏上展示前方节点的数据；

显示数据层序化模块：所述显示数据层序化模块中设置有预显示内存，预显示内存与显示屏满屏显示所需内存大小一致，所述显示数据层序化模块用于读取显示策略配置模块的配置信息，根据配置信息，将预显示内存划分为若干窗口，窗口的布局由配置决定，随后将每一个窗口相关的数据渲染到其所属的内存空间中，最后将预显示内存刷写到显存中，实现信息的屏幕展示；

指挥中心指令编辑发送模块：用于下发指挥调度指令，指令编辑好后，将被加密封包，然后通过天通卫星短信链路或者3g、4g链路下发到现场的前方节点群中。

进一步地，后方指挥中心节点接收各个前方节点的数据，对数据进行处理后显示到显示屏上时，动态配置显示策略模块，显示数据层序化模块检测到显示策略模块配置变化后，获取新的显示策略配置信息，并依据新的配置，改变数据窗口的布局，实现实际的屏幕展示效果的改变。

与现有技术相比，本发明具有以下有益的技术效果：

本发明更好的、更高效的将视频与地理位置信息关联起来，前方救援人员或作业人员，通过自身携带的专业设备，将现场获取的数据通过无线网络发送到后方指挥中心节点，后方指挥中心节点可同时显示实时视频和其对应的地理位置信息、环境信息。

进一步地，采集数据包括实时采集的音视频数据，通过北斗卫星获取的现场经纬度数据，以及通过其他传感器获取的现场高度、温度等数据。后方指挥中心根据配置策略，将显示屏分为多块区域，每个区域分为视频、地图、信息三个子区域。当接收到前方传送过来的数据后，如果是视频数据，则选中一个显示区域，将视频解码播放到其所属的视频子区域；如果是经纬度信息，则选中与其视频关联的地图子区域，以经纬度为中心点，加载卫星地图，并在地图上标记该经纬度点；如果是其他高度、温度等信息，则在信息子区域显示。

即使有多个前方的数据到来，后方也可以在一个显示屏上同时展示每个前方节点的实时视频，及与其相关联的周边地形、道路、海拔、温度、湿度等影响抢险救援的关键信息，从而为应急指挥调度的可靠性、高效性、科学性提供重要保障。

附图说明

图1为本发明系统的结构示意图；

图2为本发明前方节点的结构示意图；

图3为本发明后方指挥中心节点结构示意图；

图4为本发明的显示策略配置模块的一种结构示意图；

图5为本发明的显示策略配置模块的另一种结构示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

本发明系统由前方节点群和后方指挥中心节点构成，前方节点和后方指挥中心通过无线链路，进行双向通信。前方节点采集数据，将数据发送到后方指挥中心节点，后方指挥中心节点接收各个前方节点的数据，对数据进行处理，然后显示到显示屏上。反方向上，后方指挥中心节点也可以下发数据到前方节点，对前方节点做出统一的指挥调度，系统结构如图1所示。

前方节点一般位于现场，可用双向通信链路包括北斗短报文、天通卫星短信、天通卫星电话，在有运营商网络覆盖的情况下，则包括3g、4g链路。后方节点位于有通信保障的区域，可以收发北斗短报文、天通卫星短信、天通卫星电话、3g、4g数据等。

前方节点由多个模块组成，包括音视频数据实时采集模块，北斗定位数据获取模块，现场环境信息采集模块，音视频数据发送模块，定位数据发送模块，现场环境信息发送模块，指挥中心数据接收处理模块等，如图2所示。

其中，音视频数据实时采集模块实时采集摄像头的图像数据，麦克风的音频数据，将其编码处理，然后交给内部音视频数据发送模块，音视频数据发送模块通过3g、4g链路将数据发送给后方指挥中心节点。北斗定位模块不断获取现场的经纬度信息，通过私有协议，将其加密编码，然后交给定位数据发送模块，定位数据发送模块通过北斗短报文方式或者3g、4g链路发送到后方指挥中心节点。现场信息采集模块获取设备集成的各种传感器获取的数据，包括现场的海拔高度、环境实时温度湿度等，通过私有协议，进行加密编码打包，交给现场环境信息发送模块，现场环境信息发送模块通过天通卫星短信或者3g、4g链路发送到后方指挥中心节点。指挥中心数据接收处理模块接收并处理后方指挥中心发送过来的数据。其中音视频通过3g、4g链路接收，其他数据通过天通卫星短信链路或者3g、4g链路接收。对于视频数据，节点解码视频数据，并将解码后的图像显示到设备屏幕上；对于音频数据，节点解码音频数据，将解码后的声音通过设备喇叭播放；对于其他数据，比如调度指令，节点按照私有协议，解密数据包，通过文字或者语音的形式，表达指挥中心的调度指令。

后方指挥中心节点同样由多个模块构成，包括前方节点群数据接收处理模块，显示策略配置模块，显示数据层序化模块及指挥中心指令编辑发送模块，如图3所示。

其中，前方节点群数据接收处理模块接收前方各个前方节点的数据，包括视频数据，音频数据，节点经纬度数据，节点现场环境信息数据等，并对数据进行处理，包括视频数据的解码、音频数据的解码播放、经纬度数据的解封包解密、现场环境信息数据的解封包解密等。显示策略配置模块用于配置显示策略。指挥中心节点在获取现场节点的数据并对数据完成显示前的处理后，调取配置的显示策略，根据显示策略在显示屏上展示现场节点的数据。显示数据层序化模块。该模块首先准备一块预显示内存，其大小与显示一屏画面所需内存大小相同。然后读取显示策略配置模块的配置信息，根据配置信息，将之前为显示预留的内存块划分为许多窗口，窗口的布局由配置决定。随后将每一个窗口相关的数据渲染到其所属的内存空间中。最后将预显示内存刷写到显存中，实现信息的屏幕展示。指挥中心指令编辑发送模块用于下发指挥调度指令。指令编辑好后，将被加密封包，然后通过天通卫星短信通道或者3g、4g通道下发到现场节点群中。

本发明工作过程主要与显示策略配置模块及显示数据层序化模块相关。为了更好更高效的展示前方节点的信息，整个系统工作时，可以动态配置显示策略模块，显示数据层序化模块检测到显示策略模块配置变化后，将获取新的显示策略配置信息，并依据新的配置，改变数据窗口的布局，实现实际的屏幕展示效果的改变。

显示策略配置模块将整个显示屏划分为三个大区域，分别为指挥中心操作控制区、指挥中心显示区以及节点群显示区。其中指挥中心操作控制区和指挥中心显示区显示内容的位置和大小固定，节点群显示区显示内容的大小和位置，可以进一步通过配置决定。

显示策略配置模块将节点群显示区抽象为一个窗口，窗口中可以包含子窗口，子窗口可以包含下一级的子窗口，子窗口允许叠加。整个屏幕显示区域的一个示例如图4所示。

整个节点群显示区域以一种类似树形的层次化结构表示。上一级窗口包含下一级窗口的内容。最顶层是包括整个节点群显示区域的大窗口，最底层是包含特定信息的不可再分割的数据窗口，主要包括三类数据，分别是实时音视频、卫星地图以及环境数据。中间各子项是由各个单独节点或多个节点融合显示的窗口构成，如图5所示。

每个窗口在配置中都有相关的属性项，包括窗口数据源，窗口大小，窗口位置，窗口透明度，窗口显示方式等。窗口数据源决定了该窗口显示内容的来源，窗口位置决定窗口在其父窗口中所处的位置，以父窗口左上角作为坐标原点，窗口透明度在窗口有叠加遮挡时，影响被其遮挡部分的可见程度。如果不透明，则被遮挡部分不可见，如果全透明，则被遮挡部分完全可见，这种情况，该窗口处于不可见状态。窗口显示方式为自定义可扩展属性，对于环境数据窗口，因为主要显示文本信息，所以一般可定义文字的闪烁方式等；对于卫星地图窗口，可定义经纬度坐标点覆盖图标；对于实时视频窗口，可用于定义窗口边框的闪烁方式等。显示方式属性主要是用于对部分需要特别关注的窗口进行加强显示，便于人眼能够更容易关注到。

对于节点融合显示，主要是将需要融合的节点的各个独立地图合并到一起，只显示一个地图，同时在一个地图上标记被融合的多个节点的经纬度信息。

完成显示策略配置后，具体的解析和展示工作由显示数据层序化模块完成。显示数据层序化模块读取显示策略配置模块生成的配置信息，如果没有配置信息可读，则使用默认的窗口布局方式。如果有配置信息，则解析这些信息，判断是否有语法或者语义错误。如果有语法相关错误，则提示用户，配置有错，然后指导用户选择默认配置或者修改配置后重试。无误后，即开始窗口的布局。布局过程主要是计算每一个实际可显示窗口在屏幕上的绝对坐标和大小。布局完成后，显示层序化模块检查每个窗口的数据源信息，如果是文本信息，读取数据接收处理模块解封包解密处理后的环境文本信息，调用系统gui接口，渲染文本信息；如果是地图信息，调用第三方地图sdk，加载地图实例，并读取数据接收处理模块解封包解密处理后的经纬度数据，标记经纬度坐标点；如果是视频信息，读取数据接收处理模块解码后的yuv原始数据。最后，利用双缓冲模式，刷新显存，将所有窗口的画面显示到屏幕上。

显示层序化模块实时监测显示策略配置信息是否有变化，检测到变化后，显示层序化模块重新解析配置信息，调整窗口布局，按照配置要求，重新刷新显示画面。在显示策略配置无变化的情况下，显示层序化模块保证视频画面、环境数据以及地图位置的实时更新显示。