一种铁路视频监控识别方法、系统和计算机可读介质与流程

本发明涉及图像处理和模式识别的技术领域，尤其是涉及一种铁路视频监控识别方法、系统和计算机可读介质。

背景技术：

随着我国高速铁路的快速发展，铁路作为国家重要基础设施和大众化交通工具，在我国社会发展中具有重大作用。因此高速铁路运营安全及灾害防护是我国铁路建设中遇到的重要问题，经调查研究，我国高速铁路面对灾害主要有自然灾害(洪水、地震等)、火灾、突发事故、异物侵限几个方面。相比之下，异物侵限发生频率较高，同时它造成的危害也并不亚于前者。现有的高速铁路线路都建有综合视频监控系统，该系统可实时查看铁路现场的视频，并能保存历史视频，为各部门了解现场情况提供了平台。但是现有综合视频监控系统，虽然具有初步的视频分析和识别能力，但是识别的准确率不高，存在大量误报的情况，只能在无人值守的机房等简单场合使用，无法在复杂场景和夜间使用。因此有必要研究能够适应各种场景，并具有较高识别准确率的铁路视频智能识别(高铁周界入侵)系统。

技术实现要素：

有鉴于此，本发明的目的在于提供一种铁路视频监控识别方法、系统和计算机可读介质，以缓解现有视频入侵检测算法误检率较高的技术问题。

第一方面，本发明实施例提供了一种铁路视频监控识别系统，包括：多个图像处理服务器，智能识别服务器和管理服务器；所述多个图像处理服务器，所述智能识别服务器和所述管理服务器分别与前端视频采集设备相连接；所述多个图像处理服务器用于获取所述前端视频采集设备采集的铁路的目标路段的经过数据预处理之后的目标视频图像，并对所述目标视频图像进行异物检测，得到异物检测结果，其中，所述异物检测结果为包含异物的视频图像；所述智能识别服务器用于对所述异物检测结果进行分类，得到分类结果，其中，所述分类结果用于表征所述异物检测结果的报警等级信息；所述管理服务器用于对所述异物检测结果和所述报警等级信息进行处理，其中，所述处理包括以下至少之一：存储，发布和展示。

进一步地，所述系统还包括：交换机，所述多个图像处理服务器，所述智能识别服务器和所述管理服务器分别通过所述交换机与前端视频采集设备相连接。

进一步地，所述系统还包括：图像预处理模块，其中，所述图像预处理模块包括所述前端视频采集设备和多个相机，其中，每个相机分别与所述前端视频采集设备相连接；所述前端视频采集设备用于采集目标铁路路段的原始视频图像；并对所述原始视频图像进行处理，得到所述目标视频图像。

第二方面，本发明实施例还提供了一种铁路视频监控识别方法，应用于上述第一方面中任一项所述的铁路视频监控识别系统，包括：获取前端视频采集设备采集的铁路的目标路段的经过数据预处理之后的目标视频图像，并对所述目标视频图像进行异物检测，得到异物检测结果，其中，所述异物检测结果为包含异物的视频图像；对所述异物检测结果进行分类，得到分类结果，其中，所述分类结果用于表征所述异物检测结果的报警等级信息；对所述异物检测结果和所述报警等级信息进行处理，其中，所述处理包括以下至少之一：存储，发布和展示。

进一步地，所述方法还包括：采集目标铁路路段的原始视频图像；对所述原始视频图像进行处理，得到所述目标视频图像。

进一步地，所述视频图像为rgb图像，对所述原始视频图像进行处理，得到所述目标视频图像包括：对所述rgb图像进行图像去抖动处理，并对图像去抖动处理之后的rgb图像进行图像均衡处理和图像增强处理，得到所述目标视频图像。

进一步地，所述视频图像为多光谱图像，对所述原始视频图像进行处理，得到所述目标视频图像包括：对所述多光谱图像进行图像配准，得到图像配准之后的多光谱图像；对所述图像配准之后的多光谱图像进行图像融合，得到目标融合图像，并将所述目标融合图像作为所述目标视频图像。

进一步地，对所述异物检测结果进行分类，得到分类结果包括：通过深度卷积神经网络对所述异物检测结果进行分类处理，以确定所述异物检测结果中的各个视频图像中所包含异物的类型信息；基于所述类型信息确定对所述异物检测结果进行分类，得到所述分类结果。

进一步地，所述方法还包括：基于所述异物检测结果中各个视频图像所对应的报警等级信息确定报警信号，并按照所述报警信号执行报警动作。

第三方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一所述方法。

在本发明实施例中，通过多个图像处理服务器获取前端视频采集设备采集的铁路的目标路段的经过数据预处理之后的目标视频图像，并对视频图像进行异物检测，得到异物检测结果，其中，异物检测结果为包含异物的视频图像；通过智能识别服务器对异物检测结果进行分类，得到分类结果，其中，分类结果用于表征异物检测结果的报警等级信息；通过管理服务器对异物检测结果和报警等级信息进行处理，其中，处理包括以下至少之一：存储，发布和展示。在本实施例中，采用分布-集中式处理方法，通过低成本处理设备在各相机的视频采集前端对图像进行处理，将初步识别出的疑似异常情况图像传送至铁路视频智能识别系统进行集中处理，实现对铁路异物入侵的精准检测和智能识别，进而缓解了现有视频入侵检测算法误检率较高的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种铁路视频监控识别系统的示意图；

图2是根据本发明实施例的一种铁路视频监控识别方法的流程图；

图3是根据本发明实施例的第一种可选地铁路视频监控识别方法的流程图；

图4是根据本发明实施例的第二种可选地铁路视频监控识别方法的流程图；

图5是根据本发明实施例的一种电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

根据本发明实施例，提供了一种铁路视频监控识别系统实施例。

图1是根据本发明实施例的一种铁路视频监控识别系统的示意图，如图1所示，该系统包括：多个图像处理服务器10，智能识别服务器20和管理服务器30；所述多个图像处理服务器10，所述智能识别服务器20和所述管理服务器30分别与前端视频采集设备40相连接。

具体地，所述多个图像处理服务器10用于获取所述前端视频采集设备采集的铁路的目标路段的经过数据预处理之后的目标视频图像，并并对所述目标视频图像进行异物检测，得到异物检测结果，其中，所述异物检测结果为包含异物的视频图像；

所述智能识别服务器20用于对所述异物检测结果进行分类，得到分类结果，其中，所述分类结果用于表征所述异物检测结果的报警等级信息；

所述管理服务器30用于对所述异物检测结果和所述报警等级信息进行处理，其中，所述处理包括以下至少之一：存储，发布和展示。

在本发明实施例中，通过多个图像处理服务器获取前端视频采集设备采集的铁路的目标路段的经过数据预处理之后的目标视频图像，并对视频图像进行异物检测，得到异物检测结果，其中，异物检测结果为包含异物的视频图像；通过智能识别服务器对异物检测结果进行分类，得到分类结果，其中，分类结果用于表征异物检测结果的报警等级信息；通过管理服务器对异物检测结果和报警等级信息进行处理，其中，处理包括以下至少之一：存储，发布和展示。在本实施例中，采用分布-集中式处理方法，通过低成本处理设备在各相机的视频采集前端对图像进行处理，将初步识别出的疑似异常情况图像传送至铁路视频智能识别系统进行集中处理，实现对铁路异物入侵的精准检测和智能识别，进而缓解了现有视频入侵检测算法误检率较高的技术问题。

可选地，在本实施例中，该系统还包括：交换机，所述多个图像处理服务器，所述智能识别服务器和所述管理服务器分别通过所述交换机与前端视频采集设备相连接。

可选地，在本实施例中，所述系统还包括：图像预处理模块，其中，所述图像预处理模块包括所述前端视频采集设备和多个相机，其中，每个相机分别与所述前端视频采集设备相连接。

在本实施例中，前端视频采集设备用于获取所述前端视频采集设备采集的铁路的目标路段的原始视频图像；并对所述原始视频图像进行处理，得到所述目标视频图像。

具体地，如图1所示，在本实施例中，包括若干台图像处理服务器，分别为：图像处理服务器11，图像处理服务器12，…，图像处理服务器1n；1台智能识别服务器；1台管理服务器。若干台图像处理服务器、1台智能识别服务器和1台管理服务器通过交换机接入图像预处理模块。上述服务器与图像预处理模块的i类或ii类视频接入节点进行接口获取视频图像。

需要说明的是，在本实施例中，可以根据不同节点接入的视频数量可调整图像处理服务器的数量，并配置1台智能识别服务器和1台管理服务器，对于视频接入数量较多的节点可以配置多套系统。

实施例二：

根据本发明实施例，提供了一种铁路视频监控识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种铁路视频监控识别方法的流程图，如图2所示，该方法包括如下步骤：

步骤s202，获取前端视频采集设备采集的铁路的目标路段的经过数据预处理之后的目标视频图像，并对所述目标视频图像进行异物检测，得到异物检测结果，其中，所述异物检测结果为包含异物的视频图像；

具体地，在本实施例中，通过图1中所示的前端视频采集设备获取前端视频采集设备采集的铁路的目标路段的原始视频图像；并对所述原始视频图像进行处理，得到目标视频图像。通过图像处理服务器对目标视频图像进行异物检测，得到异物检测结果。

步骤s204，对所述异物检测结果进行分类，得到分类结果，其中，所述分类结果用于表征所述异物检测结果的报警等级信息；

在本实施例中，通过图1中所示的智能识别服务器对异物检测结果进行分类，得到分类结果。

步骤s206，对所述异物检测结果和所述报警等级信息进行处理，其中，所述处理包括以下至少之一：存储，发布和展示。

在本实施例中，通过图1所示的管理服务器对异物检测结果和报警等级信息进行处理。

在本实施例中，采用分布-集中式处理方法，通过低成本处理设备在各相机的视频采集前端对图像进行处理，将初步识别出的疑似异常情况图像传送至铁路视频智能识别系统进行集中处理，实现对铁路异物入侵的精准检测和智能识别，进而缓解了现有视频入侵检测算法误检率较高的技术问题。

通过上述描述可知，在本实施例中，在获取前端视频采集设备采集的铁路的目标路段的经过数据预处理之后的目标视频图像之前，还包括如下步骤：

步骤s2011，采集目标铁路路段的原始视频图像；

步骤s2012，对所述原始视频图像进行处理，得到所述目标视频图像然后，通过前端视频采集设备对该原始视频图像进行处理，得到目标视频图像。

在图像预处理结果，需要针对不同的图像源采用不同的预处理方法。当视频图像为rgb图像时，对所述原始视频图像进行处理，得到所述目标视频图像包括如下步骤：

对所述rgb图像进行图像去抖动处理，并对图像去抖动处理之后的rgb图像进行图像均衡处理和图像增强处理，得到所述目标视频图像。

需要说明的是，此处的rgb图像可以为既有综合视频图像的标清、高清或星光级图像。如图3所示，在本实施例中，首先对rgb图像进行图像去抖动处理(也称为相机抖动剔除)，然后，利用图像均衡处理和图像增强处理依次对图像去抖动处理之后的rgb图像进行处理，得到目标视频图像。

在按照上述方式得到目标视频图像之后，图像处理服务器就可以采用基于背景差分的检测方法初步检测目标视频图像中出现的异物。但受到光线及天气条件的影响，该检测方法的检测结果可能存在一定数量的误报警，同时只能标识出异物但无法对异物进行分类识别。

当视频图像为多光谱图像时，对所述原始视频图像进行处理，得到所述目标视频图像包括如下步骤：

对所述多光谱图像进行图像配准，得到图像配准之后的多光谱图像；

对所述图像配准之后的多光谱图像进行图像融合，得到目标融合图像，并将所述目标融合图像作为所述目标视频图像。

一般情况下，会在铁路的重点路段采集多光谱图像，例如包括：红外图像、可见光图像和激光图像。如图4所示，在本实施例中，在得到多光谱图像之后，就可以对红外图像、可见光图像和激光图像进行图像配准处理，得到图像配准之后的多光谱图像。图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。之后，就可以对图像配准之后的多光谱图像进行图像融合，得到目标融合图像，并将所述目标融合图像作为所述目标视频图像。

在按照上述方式得到目标视频图像之后，图像处理服务器就可以采用目标检测算法检测目标视频图像中出现的异物。

通过上述描述可知，在得到目标视频图像之后，图像处理服务器对目标视频图像进行异物检测，得到异物检测结果，从而对入侵和其他异常情况进行初步识别，得到异物检测结果，其中，述异物检测结果为包含异物的视频图像。

在本实施例中，在得到异物检测结果之后，就可以通过智能识别服务器对异物检测结果进行分类，得到分类结果。

可选地，对所述异物检测结果进行分类，得到分类结果包括：

通过深度卷积神经网络对所述异物检测结果进行分类处理，以确定所述异物检测结果中的各个视频图像中所包含异物的类型信息；

基于所述类型信息确定对所述异物检测结果进行分类，得到所述分类结果。

具体地，在本实施例中，智能识别服务器对图像处理服务器发来的异物检测结果和目标视频图像进行进一步智能识别和分类。智能识别服务器利用人工智能，特别是深度学习算法的最新成果，针对铁路场景进行训练和优化后，可以显著提高铁路视频图像智能识别的准确性。智能识别服务器还可以对识别的结果进行分类，并实现对不同情况设置不同的紧急程度(或者，报警等级信息)实现分级预警，并将最终的异物检测结果和分类结果发送给管理服务器进行存储，发布和展示。

需要说明的是，在本实施例中，在通过智能识别服务器对异物检测结果和目标视频图像进行识别和分类之前，需要对智能识别服务器中的深度卷积神经网络进行训练。

训练时，首先利用前端视频采集设备获取多个相机的铁路场景图像(即，原始视频图像)，并对不同类别的图像进行标注和图像预处理构建铁路场景数据集；设计网络结构，调整网络结构超参数如网络层(卷积、池化、dropout、bn等)，参数选择(卷积核大小，步长等)。一般网络的卷积核及层数增多，网络的学习能力越强，但在实际应用中会存在网络模型占用内存大和检测时间较长的问题，在设计卷积神经网络结构的同时对网络进行模型压缩，能够降低网络冗余度和内存量，增加检测速度，满足铁路场景实时监测的要求。通过铁路场景数据集对该深度卷积神经网络进行训练。

上述智能识别服务器可以采用高性能gpu运算服务器，但是由于其只处理前端图像处理服务器初步处理后的图像，1台智能识别服务器就可处理较多数量的视频图像，且总体成本并没有显著增加。

除此之外，管理服务器还可以基于异物检测结果中各个视频图像所对应的报警等级信息确定报警信号，并按照所述报警信号执行报警动作。

需要说明的是，管理服务器面向用户提供系统的访问接口，可实现鉴权登陆、自动检测与报警、历史报警信息查询、报警视频保存与导出、设备管理、用户管理等功能。

通过上述描述可知，在本实施例中，采用分布-集中式的视频图像处理方式，在各相机视频采集前端对图像进行预处理，将初步识别出的疑似异常情况图像传送至图像处理服务器，智能识别服务器和管理服务器进行集中处理，虽然分布式处理设备数量较多，但均为低成本处理设备，总成本反而下降。在本实施例中，为了保证检测准确率，降低误报率，将初步识别结果传送至图像处理服务器和智能识别服务器进行集中处理，首先，图像处理服务器对目标视频图像进行初步识别，再利用智能识别服务器对异物检测结果进行确认和分类。这样既可以提高识别的准确率又可以降低算法对硬件资源的效果，从而降低系统整体成本。同时在重点地段和复杂地段可适当增加多光谱相机，并针对多光谱图像优化智能识别算法，提高夜间视频智能识别的准确率和入侵监测的能力。

综上所述，利用本发明提供的方法对于铁路视频监控图像的识别中，具有以下优点：

1.采用分布式处理方法能够解决集中处理时占用大量网络带宽问题，虽然处理设备较多，但由于采用低成本设备，使得总体成本反而有所下降。

2.将初步识别具有异常情况的数据传输至集中式处理系统，对疑似存在异常的情况两级识别的方法，即：首先，图像处理服务器对目标视频图像进行初步识别，再利用智能识别服务器对异物检测结果进行确认和分类。

3.本发明不需要对既有铁路综合视频系统进行改动并能够在保证高准确率以及满足实时监测要求的情况下，降低系统整体成本。

实施例三：

本实施例提供了一种电子设备，参见图5所示的一种电子设备的结构示意图，该电子设备包括：处理器50、存储器51、总线52和通信接口55，所述处理器50、通信接口55和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。

其中，存储器51可能包含高速随机存取存储器(ram，randomaccessmemory)，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个通信接口55(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线52可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。

处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。

上述电子设备可用于执行本实施例提供的分级预警方法，或者安设有本实施例提供的分级预警装置。

进一步，本实施例还提供了一种机器可读存储介质，机器可读存储介质存储有处理器可执行的程序代码，程序代码被配置成使处理器执行前述入侵预警方法。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。