一种指挥调度信息展示方法及系统与流程

本发明涉及指挥调度领域，具体涉及一种指挥调度信息展示方法及系统。

背景技术

随着互联网技术的进步，各行各业都在进行信息化建设。许多企事业单位的指挥部门也使用了很多信息化程度很高的设备来进行辅助，大大提高了工作效率。指挥调度系统作为其中一个重要部分，可以使决策管理人员和现场人员进行实时沟通，更加提高了工作效率。然而很多指挥调度系统在易用性、可视化、集成度方面体验不佳，仍有很多可改进之处。

指挥调度系统的核心主要为两大功能：人员和设备的可视化展示和音视频实时通讯。可视化展示一般基于设备定位信息配合地图实现，音视频通讯基于流媒体技术实现。因低层传输协议的不同实时性略有不同，目前主要的流媒体传输协议延时从低到高为：rtsp、rtmp、hls。当前的指挥调度系统可以分为两类：桌面端系统和浏览器端系统。桌面端系统功能比较丰富，性能较高但相对独立且无法跨平台；浏览器端系统集成度高，但在音视频方面功能较薄弱。由此可见，设计一种指挥调度信息展示方法及系统是非常具有意义的。

技术实现要素：

针对以上所述的指挥调度系统在易用性、可视化、集成度方面体验不佳等问题，本发明提出了一种指挥调度信息展示方法，包括以下步骤：

s1：通过websocket实时上传人员位置信息到浏览器端的指挥调度页面；

s2：浏览器端的指挥调度页面请求人员位置信息并根据位置经纬度在地图上显示人员移动轨迹；

s3：将音频和视频基于流媒体技术分离进行传输通讯并实现在浏览器端实时指挥调度，将采集到的视频信号压缩并通过rtmp协议发送到视频服务器，浏览器端的指挥调度页面通过flash连接至视频服务器，实现指挥调度页面实时观看、播放设备端的视频信号；指挥调度页面实时采集音频信号，通过websocket发送到浏览器端，浏览器端通过socket转发到设备端；设备端通过持续监听socket获取来自指挥调度页面的音频信号，实现设备端实时播放来自指挥调度页面的音频信号。

进一步地，s1中的人员位置信息上传流程具体包括如下步骤：

s11：用户通过设备登录系统，系统将登录用户标记为在线状态，登录后设备将与系统建立socket连接，以供实时通讯；

s12：设备每间隔一定时间进行位置采集，通过程序判断人员位置是否移动，如果移动则通过socket向系统上传设备信息、位置信息、人员信息；

s13：系统将设备信息、位置信息、人员信息关联存储，并同时存储到持久化存储和临时缓存中；

s14：系统将人员移动信息通过websocket转发到所有指挥调度页面，浏览器端的指挥调度页面将实时更新人员移动轨迹。

进一步地，s2中人员位置信息显示流程具体包括如下步骤：

s21：用户通过浏览器端登录系统，并进入指挥调度页面；

s22：指挥调度页面请求系统建立websocket连接；

s23：websocket连接建立后，指挥调度页面向系统请求在线人员位置信息并根据位置经纬度在地图上显示；

s24：实时更新系统通过websocket发来的人员轨迹信息。

进一步地，s3还包括如下步骤：

s31：用户选择在线状态的人员，通过websocket向系统发起通讯请求；

s32：系统受到通讯请求后，通过socket将通讯请求转发到在线设备；

s33：设备端可以选择同意或拒绝通讯，如果拒绝则流程结束。

进一步地，通过原生安卓camera2api进行视频信号采集，通过h264算法进行视频信号压缩，采用rtmp协议进行视频信号传输，浏览器端采用flash技术通过视频播放。使用原生安卓camera2api可以进行拍照或摄像。h264算法能够具有较高的编码效率，并且在低码率情况下提供高质量的视频图像，在较低带宽上提供高质量的图像传输。rtmp协议是一种设计用来进行实时数据通信的网络协议，主要用来在flash/air平台和支持rtmp协议的流媒体/交互服务器之间进行音视频和数据通信。flash技术可以在浏览器端进行视频播放，并且可以跨浏览器进行传播，易用性强。

进一步地，设备端通过安卓原生audioapi进行音频信号采集，并通过websocket进行音频信号传输，浏览器端通过webaudioapi进行音频信号接收并通过socket进行转发，再通过mediacodec解码技术对音频信号进行解码，通过audiotrack进行音频播放。采集后的音频信号由pcm格式转换成aac格式进行传输。websocket协议支持客户端与远程主机之间进行全双工通信，为基于浏览器的、需要和服务器进行双向通信的应用程序提供一种通信机制。mediacodec解码技术实现将音频信号由aac格式转换成pcm格式。

本发明还提出了一种指挥调度信息展示系统，包括：

信号采集终端，用以采集设备信息、位置信息、人员信息、音频信号和视频信号，并进行传输；

服务器，用以接收信号采集终端传输的视频信号和音频信号并进行转发推流；

显示模块，用于连接到服务器接收视频信号，并连接到信号采集终端实时接收设备信息、位置信息、人员信息，在浏览器端的指挥调度页面进行展示以及视频播放；

音频播放模块，用以连接到服务器并接收音频信号进行解码播放。

进一步地，服务器采用虚拟服务器的方式运行，服务器包含多个虚拟服务器，多个虚拟服务器之间的功能互相独立，多个虚拟服务器包括：

视频服务器，用以通过rtmp协议接收视频信号并转发推流至显示模块；

音频服务器，用以接收音频信号并通过socket传输至音频播放模块。

进一步地，视频服务器为rtmp服务器，采用red5或nginx直播服务器。

进一步地，信号采集终端包括：

位置信息采集组件，用以采集设备信息、位置信息、人员信息并通过websocket传输到显示模块；

视频信号采集组件，用以将视频信号采集压缩成rtmp视频流，并通过rtmp客户端进行传输到视频服务器；

音频信号采集组件，用以将音频信号采集压缩并通过websocket传输至音频服务器。

进一步地，视频信号采集组件通过原生安卓camera2api采集视频信号，通过h264算法将视频信号压缩，采用rtmp协议将视频信号进行传输，音频信号采集组件通过安卓原生audioapi采集音频信号，并通过websocket进行音频信号传输到音频服务器。

进一步地，显示模块包括：

人员移动轨迹展示模块，用以实时接收位置信息采集组件传输的设备信息、位置信息、人员信息并进行展示；

视频播放组件，通过flash播放组件用以实时接收rtmp服务器传输的视频信号并进行解码播放。

进一步地，音频服务器通过socket将音频信号转发送到音频播放模块，浏览器端的音频播放模块通过webaudioapi接收音频信号，再通过mediacodec解码技术对音频信号进行解码，并通过audiotrack进行音频播放。

进一步地，信号采集终端包括具有无线通信模块、定位模块、输入模块和输出模块的电子设备，无线通信模块通过zigbee通信方式、z-wave通信方式、wifi通信方式、nfc通信方式、3g/4g通信方式和gprs无线通信方式中的任一种通信方式实现，输入模块通过文字输入方式、语音输入方式和影像输入方式中的任一种输入方式实现，输出模块通过文字输出方式、语音输出方式和影像输出方式中的任一种输出方式实现。

本发明提出了一种指挥调度信息展示方法，通过websocket实时上传人员位置信息到浏览器端的指挥调度页面；浏览器端的指挥调度页面请求人员位置信息并根据位置经纬度在地图上显示人员移动轨迹；将音频和视频基于流媒体技术分离进行传输通讯并实现在浏览器端实时指挥调度，实现设备端实时播放来自指挥调度页面的音频信号。并提出了一种指挥调度信息展示系统，包括：信号采集终端，用以采集设备信息、位置信息、人员信息、音频信号和视频信号，并进行传输；服务器，用以接收信号采集终端传输的所述视频信号和音频信号并进行转发推流；显示模块，用于连接到服务器接收视频信号，并连接到信号采集终端实时接收设备信息、位置信息、人员信息，在浏览器端的指挥调度页面进行展示以及视频播放；音频播放模块，用以连接到服务器并接收音频信号进行解码播放。本方法将视频信号和音频信号分别传输，并且将视频信号和音频信号的传输时间差控制在3秒内。系统运行必须组件均为js文件或java-jar文件形式，可以嵌入相同编程语言开发的系统中，根据业务定制实现实时性良好，嵌入型强的指挥调度信息展示系统。有效实现人员设备移动轨迹可视化展示以及视音频实时传输，因此达到实时指挥调度的效果。并且结合桌面端系统和浏览器端系统的优势，利用flash、websocket和全新的webaudioapi提高浏览器端的音视频通讯体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例的指挥调度信息展示方法的流程示意图；

图2为本发明的实施例的指挥调度信息展示方法的骤s1中的人员位置信息上传流程的示意图；

图3为本发明的实施例的指挥调度信息展示方法的步骤s2中的人员位置信息显示流程的示意图；

图4为本发明的实施例的指挥调度信息展示方法的步骤s3补充流程的示意图；

图5为本发明的实施例的指挥调度信息展示系统的示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，公开了一种指挥调度信息展示方法，包括以下步骤：

s1：通过websocket实时上传人员位置信息到浏览器端的指挥调度页面；

s2：浏览器端的指挥调度页面请求人员位置信息并根据位置经纬度在地图上显示人员移动轨迹；

s3：将音频和视频基于流媒体技术分离进行传输通讯并实现在浏览器端实时指挥调度，将采集到的视频信号压缩并通过rtmp协议发送到视频服务器，浏览器端的指挥调度页面通过flash连接至视频服务器，实现指挥调度页面实时观看、播放设备端的视频信号；指挥调度页面实时采集音频信号，通过websocket发送到浏览器端，浏览器端通过socket转发到设备端；设备端通过持续监听socket获取来自指挥调度页面的音频信号，实现设备端实时播放来自指挥调度页面的音频信号。

如图2所示，其中步骤s1中的人员位置信息上传流程具体包括如下步骤：

s11：用户通过设备登录系统，系统将登录用户标记为在线状态，登录后设备将与系统建立socket连接，以供实时通讯；

s12：设备每间隔一定时间进行位置采集，通过程序判断人员位置是否移动，如果移动则通过socket向系统上传设备信息、位置信息、人员信息；

s13：系统将设备信息、位置信息、人员信息关联存储，并同时存储到持久化存储和临时缓存中；

s14：系统将人员移动信息通过websocket转发到所有指挥调度页面，浏览器端的指挥调度页面将实时更新人员移动轨迹。

本流程中使用的程序用以判断人员位置是否移动的算法如下：

人员上一位置为p0(xp0,yp0)，当前位置为p1(xp1,yp1)，常量c为衡量系数。两点距离δ：

若人员移动，则：|δ|-c＞0。

如图3所示，其中步骤s2中的人员位置信息显示流程具体包括如下步骤：

s21：用户通过浏览器端登录系统，并进入指挥调度页面；

s22：指挥调度页面请求系统建立websocket连接；

s23：websocket连接建立后，指挥调度页面向系统请求在线人员位置信息并根据位置经纬度在地图上显示；

s24：实时更新系统通过websocket发来的人员轨迹信息。

如图4所示，其中s3还包括如下步骤：

s31：用户选择在线状态的人员，通过websocket向系统发起通讯请求；

s32：系统受到通讯请求后，通过socket将通讯请求转发到在线设备；

s33：设备端可以选择同意或拒绝通讯，如果拒绝则流程结束。

对于视频信号，在优选的实施例中，通过原生安卓camera2api进行视频信号采集，通过h264算法进行视频信号压缩，采用rtmp协议进行视频信号传输，浏览器端采用flash技术通过视频播放。使用原生安卓camera2api可以进行拍照或摄像。h264算法能够具有较高的编码效率，并且在低码率情况下提供高质量的视频图像，在较低带宽上提供高质量的图像传输。rtmp协议是一种设计用来进行实时数据通信的网络协议，主要用来在flash/air平台和支持rtmp协议的流媒体/交互服务器之间进行音视频和数据通信。flash技术可以在浏览器端进行视频播放，并且可以跨平台进行传播，易用性强。

对于音频信号，在优选的实施例中，设备端通过安卓原生audioapi进行音频信号采集，并通过websocket进行音频信号传输，浏览器端通过webaudioapi进行音频信号接收并通过socket进行转发，再通过mediacodec解码技术对音频信号进行解码，通过audiotrack进行音频播放。采集后的音频信号由pcm格式转换成aac格式进行传输。websocket协议支持客户端与远程主机之间进行全双工通信，为基于浏览器的、需要和服务器进行双向通信的应用程序提供一种通信机制。mediacodec解码技术实现将音频信号由aac格式转换成pcm格式。并且结合桌面端系统和浏览器端系统的优势，利用flash、websocket和全新的webaudioapi提高浏览器端的音视频通讯体验。

如图5所示，公开了一种指挥调度信息展示系统，包括信号采集终端1、服务器2、显示模块3、音频播放模块4。其中，服务器2包括视频服务器21和音频服务器22。信号采集终端1，用以采集设备信息、位置信息、人员信息、音频信号和视频信号，并进行传输，其中信号采集终端1包括位置信息采集组件11、视频信号采集组件12、音频信号采集组件13。

其中，位置信息采集组件11用以采集设备信息、位置信息、人员信息并通过websocket传输到显示模块3；在优选的实施例中，位置信息采集组件11每间隔10秒进行位置采集，程序判断位置是否移动，如果移动通过socket向系统上传设备信息、位置信息、人员信息。程序中使用的判断人员位置是否移动的算法如下：

人员上一位置为p0(xp0,yp0)，当前位置为p1(xp1,yp1)，常量c为衡量系数。两点距离δ：

若人员移动，则：|δ|-c＞0。

其中，视频信号采集组件12用以将视频信号采集压缩成rtmp视频流，并通过rtmp客户端进行传输到视频服务器21。在优选的实施例中，视频信号采集组件12通过原生安卓camera2api采集视频信号，通过h264算法将视频信号压缩，采用rtmp协议将视频信号进行传输，采集后的视频信号由yuv420数据格式通过h264算法压缩编码为h264格式进行推流。

其中，音频信号采集组件13用以将音频信号采集压缩并通过websocket传输至音频服务器22。在优选的实施例中，将采集后的音频信号由pcm数据格式编码压缩为aac格式进行websocket传输。

其中，信号采集终端1包括具有无线通信模块、定位模块、输入模块和输出模块的电子设备，无线通信模块通过zigbee通信方式、z-wave通信方式、wifi通信方式、nfc通信方式、3g/4g通信方式和gprs无线通信方式中的任一种通信方式实现，输入模块通过文字输入方式、语音输入方式和影像输入方式中的任一种输入方式实现，输出模块通过文字输出方式、语音输出方式和影像输出方式中的任一种输出方式实现。

其中，服务器2用以接收信号采集终端传输的视频信号和音频信号并进行转发推流；服务器2采用虚拟服务器的方式运行，服务器2包含多个虚拟服务器，多个虚拟服务器之间的功能互相独立，多个虚拟服务器包括：

其中，视频服务器21用以通过rtmp协议接收视频信号并转发推流至显示模块3；在优选的实施例中，视频服务器21为rtmp服务器，采用red5或nginx直播服务器。

其中，音频服务器22用以接收音频信号并通过socket传输至音频播放模块4，音频服务器通过socket将音频信号转发送到音频播放模块4。

其中，显示模块3用于连接到服务器2接收视频信号，并连接到信号采集终端1实时接收设备信息、位置信息、人员信息，在浏览器端的指挥调度页面进行展示以及视频播放；

音频播放模块4用以连接到服务器2并接收音频信号进行解码播放。在优选的实施例中，浏览器端的音频播放模块通过webaudioapi接收音频信号，再通过mediacodec解码技术对音频信号进行解码，并通过audiotrack进行音频播放。通过mediacodec解码技术将aac格式的音频信号解码为pcm数据格式以进行播放。

显示模块3包括：人员移动轨迹展示模块31，用以实时接收位置信息采集组件11传输的设备信息、位置信息、人员信息并进行展示；

视频播放组件32通过flash播放组件用以实时接收rtmp服务器传输的视频信号并进行解码播放。flash播放组件直接拉取rtmp服务器中的视频信号进行播放，因此可以实现提高易用性。本系统将音频和视频基于流媒体技术分离进行传输通讯并实现在浏览器端的实时指挥调度，将采集到的视频信号压缩并通过rtmp协议发送到视频服务器21，浏览器端的指挥调度页面通过flash技术连接至视频服务器21，实现指挥调度页面实时观看、播放设备端的视频信号；指挥调度页面实时采集音频信号，通过websocket发送到浏览器端，浏览器端通过socket转发到设备端；设备端通过持续监听socket获取来自指挥调度页面的音频信号，实现设备端实时播放来自指挥调度页面的音频信号。集成音频播放模块4，实现视频音频的实时传输。

指挥调度信息展示系统的运行流程如下：

首先用户通过信号采集终端1登录系统，系统将登录用户标记为在线状态。登录后位置信息采集组件11每间隔10秒进行位置采集，程序判断位置是否移动，如果移动通过socket向系统上传设备信息、位置信息、人员信息，人员移动轨迹展示模块31接收到设备信息、位置信息、人员信息并进行实时更新展示。另一方面，信号采集终端1的视频信号采集组件12将现场拍摄处理成视频信号并采集压缩成rtmp视频流，再通过rtmp客户端进行传输到视频服务器21。视频服务器21用以通过rtmp协议接收视频信号并转发推流至显示模块3。显示模块3中的视频播放组件32通过在浏览器端flash播放组件用以实时接收rtmp服务器传输的视频信号并进行解码播放。音频信号采集组件13将音频信号采集压缩并通过websocket传输至音频服务器22，音频服务器22接收音频信号并通过socket传输至音频播放模块4。因此最终在显示模块4的指挥调度页面可以展示人员移动轨迹信息，并且实时接收视频信号和音频信号，实现在浏览器端进行跨平台音视频通讯及指挥调度。

本方法将视频信号和音频信号分别传输，并且将视频信号和音频信号的传输时间差控制在3秒内。系统运行必须组件均为js文件或java-jar文件形式，可以嵌入相同编程语言开发的系统中，根据业务定制实现实时性良好，嵌入型强的指挥调度信息展示系统。有效实现人员设备移动轨迹可视化展示以及视音频实时传输，因此达到实时指挥调度的效果。结合桌面端系统和浏览器端系统的优势，利用flash、websocket和全新的webaudioapi提高浏览器端的音视频通讯体验，并实现跨平台音视频通讯效果。

显然，本领域技术人员在不偏离本发明的精神和范围的情况下可以做出对本发明的实施例的各种修改和改变。以该方式，如果这些修改和改变处于本发明的权利要求及其等同形式的范围内，则本发明还旨在涵盖这些修改和改变。词语“包括”不排除未在权利要求中列出的其它元件或步骤的存在。某些措施记载在相互不同的从属权利要求中的简单事实不表明这些措施的组合不能被用于获利。权利要求中的任何附图标记不应当被认为限制范围。