铁路作业安全防控和大客流预警联动的智能视频分析系统的制作方法

本实用新型属于基于目标行为的智能监控技术领域，涉及计算机视觉技术图像识别和处理，尤其涉及一种铁路作业安全防控和大客流预警联动的智能视频分析系统。

背景技术：

铁路发展日新月异，对安全生产管理的要求越来越高。虽然铁路现场实施严密的视频监控，通过架设大量各种各样的摄像机来监控各个场合，配套其他的安全措施，以避免意外事件的发生。然而，传统的监控系统也面临巨大挑战，因为大量的视频源轮循显示在大屏幕上，通过人工方式进行监督，人工监管工作显得繁重而低效，大量视频数据只能用于事后的回放、取证和检索，而不能实时自动分析、视频异常自动报警，所以现有过度依赖人工监控的方式不能真正发挥安全监管作用，难以及时发现、处置异常情况(如作业人员违章违纪、闲杂人员非法侵入线路等)，此种状况已不能适应当前铁路安全生产管控的需要，与确保“高铁和旅客安全”的要求相差较大。

由于传统视频监控存在诸多缺陷，智能视频分析的需求应运而生，人们希望通过智能视频分析系统的部署来实现分析现场的实时视频流，以检测出可疑活动、事件或者行为，并产生报警提醒值守人员注意。当前主流智能视频分析技术主要包括：诊断类智能分析、识别类智能分析(侧重静态场景)、行为类智能分析(侧重动态场景)等，然而，这些技术衍生的单一产品的实用性相对单薄，尤其对特定行业场景(如铁路系统)的识别准确度不够理想，难以实现对业务更深层次的应用。

技术实现要素：

本实用新型要解决的技术问题是提供一种自动、准确、高效的铁路作业安全防控和大客流预警联动的智能视频分析系统。

为解决上述技术问题，本实用新型采用以下技术方案：

铁路作业安全防控和大客流预警联动的智能视频分析系统，主要由视频接入模块、视频分析模块、分转发模块、存储模块和综合管理模块两两相互连接组成。

视频接入模块用于实时采集视频数据信息并将其传送到视频分析模块、分转发模块、存储模块和综合管理模块；

视频分析模块用于实现摄像头视频流的实时分析、处理功能，根据接收到的综合管理模块的控制命令对视频数据信息进行分析，并将分析后的数据信息上传给综合管理模块；

分转发模块用于实现摄像头媒体流的分发、转发功能；

存储模块用于接收并实时和定时存储视频数据信息及分析出异常事件的视频信息；

综合管理模块用于实时显示视频接入模块上传的视频数据信息，并向视频分析模块发送对视频数据信息进行分转分、分析的控制命令，将视频分析模块上传的分析结果进行显示，在分析结果不满足预设条件时发出警报，以及对视频分析模块中存储的视频数据进行处理以统计发生的事件。

视频接入模块由多个视频接入单元组成，每个视频视频接入单元包括一个编码单元、处理单元和多个采集单元和或多个第三方接入单元；其中，

编码单元与采集单元相连，用于将采集单元采集的视频数据信息进行编码后传送给处理单元；

处理单元将编码后的流转成rstp流或gb288181协议的流(，支持通用的国标标准)；

采集单元是摄像头，用于实时采集视频数据信息；

第三方接入单元通过sdk平台和基于url的rstp直接接入视频。

视频分析模块由目标推理单元、数据挖掘模块和算法单元组成；其中，

目标推理单元用于根据数据信息和逻辑规则对视频目标的行为、动作或者当时的场景进行推理和判断。

所述数据挖掘模块用于根据用户指令，在报警事件存储单元中挖掘出用户需要的信息；

算法单元根据后台配置和不同的事件调整不同的算法。

分转发模块由转码单元、解码单元、分发单元和转发单元组成；其中，

转码单元根据不同的客户端及播放器的要求设定对应的转码格式；

解码单元将编码后的视频信息解码，传送到客户展示前端供客户观看；

分发单元实现实时流、历史流、历史流下载分发功能；

转发单元实现实时流、历史流、历史流下载转发功能。

存储模块由实时存储单元、历史存储单元和报警事件存储单元组成；其中，

实时存储单元用于实时接收并存储视频接入模块上传的视频数据信息；

历史存储单元为分布式文件存储模块，用于定时接收并存储实时存储单元传送的视频数据信息；

报警事件存储单元用于接收并存储视频分析模块分析得出异常的截取的视频片断和对应的事件信息。

综合管理模块由报警管理模块、设备管理模块、监控中心、数据统计单元组成；其中，

报警管理模块与视频分析模块相连，用于当视频分析模块的分析结果不满足预设条件时，发出警报；

设备管理模块用于管理视频接入模块，并将视频接入模块上传的频数据信息发送给监控中心；

监控中心用于实时显示视频接入模块上传的视频数据信息以及视频分析模块上传的分析结果，包括大屏单元和b/s客户端两种展示方式；

数据统计单元用于根据处理单元解压的历史视频数据统计发生的事件。

针对目前铁路系统内视频监控存在的问题，发明人设计了一种铁路作业安全防控和大客流预警联动的智能视频分析系统，主要由视频接入模块、视频分析模块、分转发模块、存储模块和综合管理模块两两相互连接组成。该系统具有自动、准确、高效的特点，它能够在图像或图像序列与事件描述之间建立映射关系，从而使计算机从纷繁的视频图像中分辩、识别出关键目标的行为，过滤用户不关心的信息，其实质是自动分析和抽取视频源中的关键信息。与现有技术相比，本发明具有以下突出优势：

(1)克服了人力监控管理疲劳作业的局限性，能够全天实时工作，实现视频监控中异常行为的智能识别、提前发现和自动报警，在报警发生的同时实时监视和记录事件过程。

(2)采用模块化的分布式部署，基于现有监控平台的有效补充和升级，不必更换原有设备，不必大规模布线，能有效保护原有投资。

(3)自行检测监控中的不安因素及人流信息，降低因为监控人员人为失误引起的高误差，使得安全性得到提高且节约人力。

附图说明

图1是本实用新型铁路作业安全防控和大客流预警联动的智能视频分析系统的结构示意图。

图2是图1智能视频分析系统中视频接入模块的结构示意图。

图3是图1智能视频分析系统中视频分析模块的结构示意图。

图4是图1智能视频分析系统中分转发模块的结构示意图。

图5是图1智能视频分析系统中存储模块的结构示意图。

图6是图1智能视频分析系统中综合管理模块的结构示意图。

具体实施方式

一、基本结构和实现功能

如图1至图6所示，本实用新型的铁路作业安全防控和大客流预警联动的智能视频分析系统，主要由视频接入模块、视频分析模块、分转发模块、存储模块和综合管理模块两两相互连接组成。

视频接入模块用于实时采集视频数据信息并将其传送到视频分析模块、分转发模块、存储模块和综合管理模块。视频接入模块由多个视频接入单元组成，每个视频视频接入单元包括一个编码单元、处理单元和多个采集单元和或多个第三方接入单元；其中，编码单元用于将采集单元采集的视频数据信息进行编码后传送给处理单元；处理单元将编码后的流转成rstp流或gb288181协议的流，支持通用的国标标准；采集单元是摄像头，用于实时采集视频数据信息；第三方接入单元通过各大厂商sdk平台和其他的基于url的rstp直接接入视频。

视频分析模块用于实现摄像头视频流的实时分析、处理功能，根据接收到的综合管理模块的控制命令对视频数据信息进行分析，并将分析后的数据信息上传给综合管理模块；具体是是根据控制命令下发的命令，调用对就的场景算法(如行车室人员离岗实时识别、站台区域越线实时检测、封闭区域实时检测、遗留物或抛洒物实时检测、明烟明火监测、分区域客流统计、大客流实时预警、人脸识别大规模动态布控与预警、列车启停)及针对场景的目标推理单元的选择，得出分析后的数据情况，并把分析后的数据返回给管理模块。视频分析模块由目标推理单元、数据挖掘模块和算法单元组成；其中，目标推理单元，根据后台事件属性调用对应视频源事件的算法后得出一些基础的数据信息，根据这些数据信息以及一些逻辑规则来对目标的行为、动作或者当时的场景做一个推理和判断，实现集团公司十多项个具体业务场景应用功能；所述数据挖掘模块用于根据用户指令，在报警事件存储单元中挖掘出用户需要的信息；算法单元，由标准化的视频算法face++(人脸识别、图像质量分析等)和定制化的算法event_detect(如目标检测、目标跟踪、遗留物检测、烟火检测、行为分析、事件分析等)，组成基本算法模板集，根据后台配置，不同的事件调整不同的算法。

分转发模块用于实现摄像头媒体流的分发、转发功能。分转发模块由转码单元、解码单元、分发单元和转发单元组成；其中，转码单元根据不同的客户端及播放器的要求可以设定对应的转码格式；解码单元将编码后的视频信息解码，传送到客户展示前端供客户观看；分发单元实现实时流、历史流、历史流下载分发功能；转发单元实现实时流、历史流、历史流下载转发功能。

存储模块用于接收并实时和定时存储视频数据信息及分析出异常事件的视频信息；存储模块由实时存储单元、历史存储单元和报警事件存储单元组成；其中，实时存储单元用于实时接收并存储视频接入模块上传的视频数据信息；历史存储单元为分布式文件存储模块，用于定时接收并存储实时存储单元传送的视频数据信息；报警事件存储单元用于接收并存储视频分析模块分析得出异常的截取的视频片断和对应的事件信息。

综合管理模块用于实时显示视频接入模块上传的视频数据信息，并向视频分析模块发送对视频数据信息进行分转分、分析的控制命令，将视频分析模块上传的分析结果进行显示，在分析结果不满足预设条件时发出警报，以及对视频分析模块中存储的视频数据进行处理以统计发生的事件。综合管理模块由报警管理模块、设备管理模块、监控中心、数据统计单元组成；其中，报警管理模块与视频分析模块相连，用于当视频分析模块的分析结果不满足预设条件时，发出警报(监控大屏/web监控中心/声光报警设备/震动手环多种方式)；设备管理模块用于管理视频接入模块，并将视频接入模块上传的频数据信息发送给监控中心；监控中心用于实时显示视频接入模块上传的视频数据信息以及视频分析模块上传的分析结果，包括大屏单元(即led显示屏)和b/s客户端(即浏览器)两种展示方式；数据统计单元用于根据处理单元解压的历史视频数据统计发生的事件。

上述系统模块来源信息如表1：

表1

二、设计原理和实现过程

应用本实用新型，采用基于后端+大数据+深度学习的检测的方式，研发的软硬件一体的视频分析模块的服务器放在机房，通过与交换机连接与摄像头同在一个网络中，从流媒体服务器或摄像头的汇聚交换机中以rtsp等协议的主流码url来取得摄像头的视频流，取得视频流后通过定制的模型算法对视频流每帧图像进行目标推理和分析，当检测出异常时，把告警输出到与分析服务器连接的监控大屏/web监控中心/声光报警设备/震动手环上。

其中，视频分析过程采用图计算、数据流处理、边缘算法、颜色空间算法、深度学习、卷积神经网络、模型训练等关键技术及如下核心算法：

1)目标检测

识别并定位场景中感兴趣的物体算法：采用多图像目标检测算法。

2)目标跟踪

利用视觉算法对前后帧中的目标进行自动关联，并绘出运动轨迹；采用实时多目标跟踪算法。

3)人脸识别

识别或验证场景中的人脸以及对人脸进行比对；采用face++算法，提升1:1对比，1:n识别，活体检测等能力。

4)事件检测

判别视频中是否发生了某些事件，事件具体发生的时间段；采用事件检测算法event_detect。

应用本实用新型结合前述关键技术和核心算法，可以实现对铁路作业十多项个具体业务场景应用功能，除常见的实现列车启停检测；站台区域的越线检测；封闭区域检测、明烟明火预警检测；遗留物检测或抛洒物检测；分区域客流统计，大客流实时预警；人脸识别大规模动态布控与预警；智能巡检分析；图像质量诊断等功能；货运安全智能分析预警；还有高难度的对铁路关键作业岗位工作人员的视频进行实时分析，检测工作人员是否遵守作业规程和工作规范。具体场景包括行车室人员行为动作监测、接车规范监测等，实现过程如下：

1)取得训练的视频或图像素材

历史或实时视频数据通过拷贝的方式取得原始素材。

2)处理训练素材

利用视觉算法库对对原始的素材进行视频编解码处理、图像去噪、增强等预处理，并打标签形成训练样本库，存放到集中存储中。

3)构建模型算法

针对不同的业务场景定制不同的模型算法，如上述的算法及其他扩展等。

4)模型训练及优化

通过tensorflow，caffe，mxnet等深度学习框架镜像，不断的优化模型算法，训练中涉及多个训练任务的提交，其资源管理、调度、监控将由统一管理平台完成，得出一个相对完善的模型算法。

5)上线试用，在线优化

训练好模型后，根据实际应用场景的不同，加载到分析服务器，并接入在线摄像头视频，利用gpu卡处理摄像头视频和图片并提取特征，实时分析，并做出反馈预警，边训练优化边使用。

6)发出告警

根据实时视频分析结果向监控大屏/web监控中心/声光报警设备/震动手环发送事件告警，并关联汇报事件所属摄像头

7)告警确认

监测业务人员在前端界面确认事件是否属实，若属误报，系统计入误报数据库，并取消报警；监测业务人员确认事件属实，系统根据管理员设定的事件录像时间，存储事件发生前后一段时间的视频证据，并更新事件监测统计报表。