一种无人值守的视频远程监控系统的制作方法

1.本发明涉及远程视频监控领域，具体公开一种具有远程端视频服务(拉取、推送视频流和目标检测)和控制中心(视频显示及sei扩展数据解析反馈)的远程视频监控系统的设计方案，以及实际通信链路不稳定情况下的流数据传输问题的解决思路。


背景技术：

2.远程视频监控系统是通过通信链路对远程场景进行实时监控的程序。近年来，随着计算机硬件和视频图像处理技术的快速发展，数据规模逐渐扩大，尤其伴随着监测结点的增加，需要传输的数据量更是越来越大，然而在实际远距离传输中由于通信保障条件不好，因此如何长时间高质量的进行流数据传输、实现快速响应、确保实时监控的有效性和敏感信息传输的保密性以及监控中重要事件的不丢失就成为了当前特种监控系统的重要研究课题。
3.传统的技术方案一般着眼于视频图像的编码压缩，例如使用h264格式采用局部编码的方式确实可以在相当程度上降低高清图像传输所需要的通信带宽，但考虑到目标在各视频线路中出现时间的稀疏性，设计出一套合理的推流机制便可进一步节省通信带宽，本发明提出的设计方案通过联合编码压缩与合理的信道资源分配，在链路带宽受限的情况下能实现更好的传输性能。


技术实现要素：

4.本发明为了适应现实的网络环境与最大限度地节省通信链路带宽，实现在任何时间和地点能将服务端的视频流数据传输至本地端显示，提出了一种无人值守的视频远程监控系统，解决了受限链路网络通信故障时断线重连和通信正常时的网络带宽规划问题。
5.本发明采用的技术方案为：
6.一种无人值守的视频远程监控系统，包括远程端监控设备、视频源设备、远程端视频服务、流媒体服务器、通信链路和控制中心；
7.远程端视频服务用于利用音视频解码工具实时获取视频源设备数据，并对视频源数据的每一帧数据利用yolo深度学习算法实时识别图像，若检测出重要目标，则根据识别结果按照重要程度对多路视频流进行优先度排序，并将视频流插入sei扩展数据推送至流媒体服务器，否则按照获取的视频流顺序推送至流媒体服务器；还用于依据控制中心反馈的结果对多路视频流重要程度进行重新排序；
8.流媒体服务器用于以流协议的方式将视频流通过通信链路传输至控制中心；
9.控制中心用于接收来自流媒体服务器的视频流，解析视频流的sei扩展数据，若提取的sei扩展数据与控制中心判别结果一致，则接收视频流数据，若提取的sei扩展数据与控制中心判别结果不一致，则将控制中心的判别结果发送至远程端视频服务；
10.远程端监控设备用于建立与远程端视频服务、通信链路和视频源设备的状态监测，并将状态监测结果传输至控制中心。
11.进一步的，远程端视频服务还用于将除优先级最高的视频流以外其他视频流进行缓存,并将缓存视频信息通过流媒体服务器和通信链路推送至控制中心，还用于根据控制中心的点播指令和换流指令推送视频流；控制中心还用于将缓存视频信息生成点播列表，并根据点播情况向远程端视频服务发出点播指令，或者向远程端视频服务发出换流指令。
12.进一步的，远程端监控设备还用于将实时带宽信息传输至远程端视频服务，远程端视频服务在带宽小于阈值时，在保持分辨率不变的情况下选择预先设定的帧率档位推送视频流。
13.本发明相比背景技术的优点在于：
14.(1)本发明具有反馈机制，更加“智能化”。具有一定的目标识别功能和图像处理功能，可自动将已识别出目标的视频线路推送至客户端(控制中心)，控制中心也可将自身的判别结果反馈至远程端视频服务，修正目标特征提取和检测模块的错误。使用户快速掌握有效的视频监控信息，能够有效帮助安防或其它项目的管理者提升监控效率，提高服务质量。
15.(2)具有更高的稳定性。该系统能在网络异常情况下自动重连，无需重启应用服务，直至网络情况转良，确保视频流数据的传输。
16.(3)更具“扩展性”。该系统的可扩展性较强，可实现多设备大视角的监控，由于扩大监控范围主要是通过服务端(远程端视频服务)监控点的增加，而客户端(控制中心)只通过ip地址进行识别和拉取源数据，因此设备的增加只意味着ip地址的扩展，可轻易实现多台计算机拉取同一视频源数据进行调阅。
17.(4)更具“灵活性”。该系统除了可自动推送最有监控价值的视频至控制中心外，用户还可自由调阅其它线路或缓存区中的视频。
附图说明
18.图1是本发明远程视频监控系统原理框图。
19.图2是本发明远程视频监控系统视频流切换决策流程图。
具体实施方式
20.下面结合附图对本发明做进一步解释说明。
21.远程通信链路传输数据时本身就受到其自身小带宽和易被干扰的限制,极易出现实际数据占用带宽远大于实际的通信带宽的情形，因此为保障上述背景下的实时监控有效性的需求，该系统的设计将目标检测模块前置至服务端，服务端(远程端视频服务)需实时检测多路图像特征,即对从各视频线路采集来的高清图像数据进行预分析，并按照检测结果的重要性对各路视频数据进行优先度重排后再推流至流媒体服务器上，将包含最重要目标的相应视频数据推送出去,确保将最有监控价值的视频数据传输至控制中心，从而大大减小了实际网络通信带宽的占有量，同时还需将实时重要敏感目标的识别结果传输至控制中心，考虑到保密性的需求，本发明将识别结果封装成sei字段通用格式插入h264码流。为保证系统的“灵活性”，控制中心可通过视频线路切换指令调阅其它线路的视频，另外考虑到每个线路中均有目标的情形，本发明还设计了缓存点播机制，会将优先度较低的线路中的视频放入缓存区中，并将缓存视频信息上报至控制中心生成点播列表提醒操作人员可点
播查看。此外，服务端能接收到来自远程端监控设备的实时带宽信息，若实时带宽过小，则会在保持分辨率不变的情况下选择预先设定的帧率档位推送视频流，上述技术方案能够解决通信链路受限的情况下长时间高质量地传输视频流数据。
22.由于使用传递视频流数据来实现实时监控，且通信链路易受障碍物、天气以及强信号干扰源等因素的影响，进而影响远程视频监控系统的流数据传输，该系统应建立断线重连机制来确保其稳定运行。
23.同时，由于服务端(远程端视频服务)长期处于无人值守的状态，需辅助以设备监测系统向客户端(控制中心)发送当前的远程端所有设备的工作状态信息，考虑到紧急情况(如断电、服务端电源故障或通信链路故障)下，设备监测系统需维持正常的工作状态，该监测系统应具备低功耗的特点，需配备ups不间断电源和4g网卡，确保能够将监控系统远程端实时的状态信息发送出去。
24.如图1所示，一种无人值守的视频远程监控系统，包括远程端监控设备、视频源设备、远程端视频服务、流媒体服务器、通信链路和控制中心；
25.远程端视频服务用于利用音视频解码工具实时获取视频源设备数据，并对视频源数据的每一帧数据利用yolo深度学习算法实时识别图像，若检测出重要目标，则根据识别结果按照重要程度对多路视频流进行优先度排序，并将视频流插入sei扩展数据推送至流媒体服务器，否则按照获取的视频流顺序推送至流媒体服务器，并在带宽小于阈值时，在保持分辨率不变的情况下选择预先设定的帧率档位推送视频流；还用于依据控制中心反馈的结果对多路视频流重要程度进行重新排序；还用于将除优先级最高的视频流以外其他视频流进行缓存,并将缓存视频信息推送至流媒体服务器，以及根据控制中心的点播指令和换流指令推送视频流；
26.流媒体服务器用于以流协议的方式将视频流和缓存视频信息通过通信链路传输至控制中心；
27.控制中心用于接收来自流媒体服务器的视频流，解析视频流的sei扩展数据，若提取的sei扩展数据与控制中心判别结果一致，则接收视频流数据，若提取的sei扩展数据与控制中心判别结果不一致，则将控制中心的判别结果发送至远程端视频服务；控制中心还用于将缓存视频信息生成点播列表，并根据点播情况向远程端视频服务发出点播指令，或者向远程端视频服务发出换流指令。
28.远程端监控设备用于建立与远程端视频服务、通信链路和视频源设备的状态监测，并将状态监测结果传输至控制中心。还用于将实时带宽信息传输至远程端视频服务。
29.实现流程如图2所示：
30.步骤1：搭建流媒体服务器，并打开远程端监测设备。流媒体服务器的主要功能是以流协议的方式将视频传输至客户端，供用户拉取流数据，其定位是运营级的互联网直播服务器集群，具有易部署的特点，提供了多种安装方案、监控指标和可观测性日志等，能适配不同的操作系统，此外可实现统一部署且可在部署成功后设置开机自启动选项，实现对流媒体内容进行采集、缓存、调度和传输播放的功能。打开远程监控设备并建立其与服务端设备的连接后，可在控制中心接收到来自监控设备的状态信息以及当前链路的带宽大小。
31.步骤2：服务端(远程端视频服务)拉取视频源数据，实现流数据的转封装并推送视频流至流媒体服务器。由于从视频源上拉取的原始h264码流满足rtsp实时流协议，该协议
主要用来控制具有实时特性的数据发送，其本身并不传输数据，而绝大多数业务需求都是要将rtsp视频流转化为能在手机或浏览器等主流的播放渠道上能播放的视频(mp4,flv,m3u8,rtmp等格式)，目前市面上互联网直播云服务和流媒体服务器大部分都支持的是rtmp推流输入，我们需要做的就是要将rtsp流转码为rtmp流并推送至公有云或流媒体服务器的直播地址。rtmp流采用的封装格式是flv，因此需指定输出流媒体的格式参数为正确的封装格式，此外发送至流媒体的流数据需要做延时处理，这是由于ffmpeg处理数据的速度很快造成的，会在一瞬间将所有数据发送出去，这样的话流媒体服务器是无法承受的，所以在视频传输部件中需要使用ffmpeg内置的av_usleep函数来进行休眠处理，实现视频帧与帧之间的延迟发送，但没有封装的裸流数据(例如h264裸流)是不包含视频帧参数的(例如pts,dts和duration)，发送流数据时视频传输部件需自行计算相关参数，相应的解码显示时造成的延时只有在av_dict结构体中设置缓存区空间为无时方可消除。考虑到远程网络通信易受到多方面因素的影响，因此无论是服务端还是控制中心启动拉流线程后中都需要开启定时器监测拉流线程是否正在运行或者已关闭，若关闭则需要重新启动拉流线程。
32.步骤3：进行高清图像采集与目标检测后，按优先度次序推送一路视频至控制中心。一般来说，光电设备拥有可供开发者使用的sdk或其它相应的外部接口用以采集高清图像，例如halcon标准机器视觉算法包中就提供有grab_image_async函数使得图像的获取与处理并行。视频传输部件在获取高清图像后，会使用opencv开源计算机视觉库对图像进行预处理，其中包括了去除背景，去噪声以及阈值化，本发明中选取原始图片与背景图进行差分，在进行高斯滤波去噪，同时选取阈值将图像变为二值图像来连接像素并标记图像实现图像分割的操作，为了简单起见，使用了opencv的dnn模块调用yolo v4训练模型完成对目标结果的预测。识别出的特征结果通过sei扩展数据插入到视频帧中以保证视频数据与识别结果精准同步，同时按照重要程度对多路视频流数据进行优先度排序，优先度最高的视频数据将被推送至预先设定的流媒体服务器的推流地址以供控制中心拉取,其它线路数据会暂时不推送，若其它线路数据中也出现目标，服务端会发送提示信息至控制中心并生成点播列表,若重要程度相同，则选取目标结果置信度较高的线路为优先度较高。sei增强信息具备极好的兼容性，若使用其它第三方播放器软件拉取推送至推流地址的视频流数据无法解析sei时，播放器会自动忽略sei数据包，不影响视频的正常播放。当接收到远程端监控设备发来的当前链路带宽大小信息发生变化时，服务端可自动登录至光电设备后台按照当前带宽大小和预先设定好的帧率档位选择匹配的视频帧率。
33.步骤4：控制中心解码显示流数据及反馈调节。控制中心从流媒体服务器上拉取rtmp流数据后，使用ffmpeg将其解码播放，此外控制中心在对sei数据解析后会用解析数据与自身的判别结果对比，若不同则发出反馈指令至服务端，服务端会根据反馈的结果对所有视频流数据进行优先度重排，重新推送重要程度最高的视频至控制中心，若控制中心选择了点播列表中的视频后，控制中心会发出指令至服务端，服务端会立即暂停推流、重置编码器并根据指令在缓存区中将选择的本地视频推流至流媒体服务器，点播完成后继续按照优先度顺序推流,若控制中心选择了其它线路视频后，控制中心会发出相应的换流指令至服务端，服务端会按照指定的切换线路重新推流。