一种监控视频的处理系统及方法与流程

本发明涉及计算机视觉技术领域，尤其涉及一种监控视频的处理系统及方法。

背景技术：

近年来，运用摄像头进行视频监控得到广泛应用，然而绝大多数摄像头一直没能摆脱人工监控的传统监控方法，导致大量视频数据堆积占用存储资源、视频监控实时性差、视频检索困难等问题，一旦有检索需要，海量摄像头带来海量监控视频，需要耗费大量人力物力，为解决此问题，现有技术中通过将摄像头获取的海量视频数据传输至gpu视频智能分析服务器集群，在服务器上进行监控视频的解码并将视频发送至深度神经网络获取视频的结构化信息，然后将结构化信息发送至客户端，但此方法中gpu视频智能分析服务器价格昂贵并且能耗高、监控视频需传至服务器带宽成本高、视频压缩然后传输到服务器有一定延时，并且服务器处理多路视频通常存在长时间排队，最终结果实时性难以保证等问题。因此亟待设计一种监控视频智能处理系统以精确筛选出有价值的监控视频片段具有重要意义。

技术实现要素：

(一)要解决的技术问题

本发明提供了一监控视频的处理系统及方法，降低了传输带宽和计算能耗，从原始监控视频数据中精确的剔除了海量无用监控视频数据，智能化程度高，误报率低，解决了监控视频数据存储的问题，间接的延长了监控视频数据的生存周期。

(二)技术方案

第一方面，本发明提供了一种监控视频的处理系统，包括：图像采集模块，用于采集监控视频；智能分析模块，用于获取监控视频中每一元素的结构化信息，并根据结构化信息识别出目标元素；编码模块，用于对目标元素及其对应的结构化信息进行压缩和编码；传输模块，用于传输编码后的目标元素及其对应的结构化信息；存储模块，用于存储编码后的目标元素及其对应的结构化信息。

可选地，结构化信息包括元素的边界框坐标及其对应的预测类别，并根据结构化信息识别出目标元素具体包括：根据预测类别判断是否为研究对象，若预测类别是研究对象则其对应的元素为目标元素。

可选地，智能分析模块包括智能分析单元以及控制单元，其中：智能分析单元，用于获取监控视频中每一元素的结构化信息；控制单元，用于根据结构化信息识别出目标元素。

可选地，智能分析单元根据卷积神经网络算法获取监控视频中每一元素的结构化信息。

可选地，图像采集模块包括网络摄像头、半球摄像头、云台摄像机、一体化摄像机中的一种或多种。

可选地，编码模块采用标准的音频和/或视频编码标准。

可选地，还包括预处理模块，用于对视频进行裁剪、明亮度调节、对比度调节、图像增强或滤波。

另一方面，本发明提供了一种监控视频的处理方法，包括：s1，采集监控视频；s2，获取监控视频中每一元素的结构化信息，并根据结构化信息识别出目标元素；s3，对目标元素及其对应的结构化信息进行压缩和编码；s4，传输编码后的目标元素及其对应的结构化信息；s5，存储编码后的目标元素及其对应的结构化信息。

可选地，步骤s3之前还包括：s3’，对监控视频进行预处理，预处理包括裁剪、明亮度调节、对比度调节、图像增强或滤波处理。

可选地，结构化信息包括元素的边界框坐标及其对应的预测类别，其特征在于，步骤s2中并根据结构化信息识别出目标元素具体包括：根据预测类别判断是否为研究对象，若预测类别是研究对象则其对应的元素为目标元素。

(三)有益效果

本发明提供了一监控视频的处理系统及方法，至少达到如下技术效果：

(1)通过对监控视频进行实时结构化分析，解决了传输监控视频需要专门人员对画面进行实时监视和分析，解决了人力资源浪费和视频检索困难的问题；

(2)智能分析模块从原始监控视频中剔除海量无用监控数据，编码模块和存储模块只需对有价值的监控视频进行编码传输和存储等，减少了传输所用带宽，减低了存储所用内存，间接的延长了监控视频的生成周期；

(3)该系统中的智能分析模块设置于摄像头前端设备，解决了目前视频智能分析服务器价格昂贵、能耗高、视频数据需要传至服务器，带宽成本高、算法复杂度高、视频压缩后传输至服务器的延时问题，而且服务器处理多路视频通常存储长时间排队，最终结果实时性难以保证的问题。

附图说明

图1示意性示出了本公开实施例中的监控视频的处理系统示意图；

图2示意性示出了本公开实施例中的监控视频的处理流程示意图；

图3示意性示出了本公开实施例中的监控视频的处理系统的一具体实施例；

图4示意性示出了本公开实施例中的监控视频的处理方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

第一方面，本发明提供了一种监控视频的处理系统，参见图1，该系统包括：图像采集模块，用于采集视频；智能分析模块，用于获取视频中每一元素的结构化信息，并根据结构化信息识别出目标元素；编码模块，用于对目标元素及其对应的结构化信息进行编码；传输模块，用于传输编码后的目标元素及其对应的结构化信息；存储模块，用于存储编码后的目标元素及其对应的结构化信息。本发明实施例中优选的图像采集模块、智能分析模块、编码模块和传输模块集成于摄像头前端设备中，存储模块可以独立于摄像头前端设备，并且可以与多个摄像头前端设备相连，用于存储多个摄像头前端设备传输的数据。

具体的，图像采集模块用于对监控视频进行采集，可以为网络摄像头、半球摄像头、云台摄像机、一体化摄像机等影像采集设备中的一种或多种。

智能分析模块，用于获取视频中每一元素的结构化信息，并根据结构化信息识别出目标元素，其中结构化信息包括元素的边界框坐标及其对应的预测类别，视频由多帧图像组成，每一图像中有多种元素，如人、车、狗等，因此需要将每一图像中的元素的类别识别出来，而后判定哪些元素为所要研究的对象，哪些不是所要研究的对象。智能分析模块包括基于边缘人工智能视觉处理器的智能分析单元和基于嵌入式系统的控制单元，其中，智能分析单元用于获取视频中每一元素的结构化信息，具体的智能分析单元可以根据卷积神经网络算法获取视频中每一元素的结构化信息；控制单元用于根据结构化信息识别出目标元素，具体的根据结构化信息中的预测类别判断是否为研究对象，若预测类别是研究对象则其对应的元素为目标元素，目标元素所对应的图像就存储下来，否则不含目标元素的图像则丢弃。

编码模块，用于对目标元素及其对应的结构化信息进行压缩和编码，一方面对目标元素进行了压缩减少了其传输过程中的占用的带宽和存储占用的内存，另一方面对其进行编码可以有效的对其进行标识，编码模块优选采用标准的音频和/或视频编码标准，如h.245，h.246等。

传输模块，用于传输编码后的目标元素及其对应的结构化信息，传输的方式可以为有线传输或无线传输，其传输形式不受限制。

存储模块，用于存储编码后的目标元素及其对应的结构化信息，其独立于摄像头前端设备，其可以和多路摄像头前端设备连接，存储多路摄像头前端设备传输的数据。该存储模块可以为能够磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。

另外，参见图2，该处理系统还包括预处理模块，图像采集模块采集的视频往往不符合后续的处理要求，因此一般需要预处理模块对图像进行裁剪、明亮度调节、对比度调节、图像增强或滤波等操作，而后由智能分析模块中的智能分析算法得到目标边界框坐标和其对应的类别等结构化信息，该智能分析算法可以是对深度神经网络模型进行优化和加速操作，例如，对深度神经网络进行通道稀疏，批归一化，层间特征融合等优化操作；加速操作可以是对神经网络层间通道之间的运算进行深度可分离操作和逐点卷积。

具体的，本发明实施例中为实现上述处理系统，参见图3，智能分析模块中可以采用嵌入式开源硬件树莓派3b+作为控制单元和采用边缘人工智能视觉处理器intel的神经计算棒作为智能分析单元；华为公司的海思hi3516a作为编码模块和传输模块，用来实现智能分析模块中指定视频帧及其结构化信息的压缩编码并将其进行网络传输。该系统对采集的监控视频执行实时的智能视频分析算法，将有价值的监控视频帧和其结构化信息通过压缩编码并传输至存储模块进行存储，无价值的监控视频帧及其结构化信息则丢弃，然后通过千兆网络将编码后的数据流传输给远程的数据存储设备。

另一方面，参见图4，本发明提供了一种监控视频的处理方法，包括：

s1，采集监控视频；

s2，获取监控视频中每一元素的结构化信息，并根据结构化信息识别出目标元素；

视频由多帧图像组成，每一图像中有多种元素，如人、车、狗等，因此需要将每一图像中的元素的类别识别出来，而后判定哪些元素为所要研究的对象也即目标元素，哪些不是所要研究的对象。

具体的，结构化信息包括元素的边界框坐标及其对应的预测类别，步骤s2中并根据结构化信息识别出目标元素具体包括：根据预测类别判断是否为研究对象，若预测类别是研究对象则其对应的元素为目标元素。

s3，对目标元素及其对应的结构化信息进行压缩和编码；

一方面对目标元素进行了压缩减少了其传输过程中的占用的带宽和存储占用的内存，另一方面对其进行编码可以有效的对其进行标识，编码模块优选采用标准的音频和/或视频编码标准，如h.245，h.246等。

s4，传输编码后的目标元素及其对应的结构化信息；

传输的方式可以为有线传输或无线传输，其传输形式不受限制。

s5，存储编码后的目标元素及其对应的结构化信息。

该存储模块可以为能够磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。

步骤s3之前还包括：s3’，对监控视频进行预处理，预处理包括裁剪、明亮度调节、对比度调节、图像增强或滤波处理。

通过以上所述的监控视频的处理系统和方法，在每一摄像头前端设备都设置独立的图像采集模块、智能分析模块、编码模块以及传输模块，后台存储模块负责存储多路摄像头前端设备处理过的监控视频数据，无需配置后端视频分析服务器。本系统通过把传统的后端gpu视频智能分析服务器替换成嵌入到摄像头前端设备的智能分析模块等，优化加速深度神经网络降低了目标检测算法的时间复杂度，一方面解决了目前视频智能分析服务器价格昂贵、能耗高、监控视频数据需要传至服务器，带宽成本高、算法复杂度过高、视频压缩然后传输到服务器有一定延时，并且服务器处理多路视频通常存在长时间排队，最终结果实时性难以保证等问题，另一方面从原始监控视频数据中精确的剔除了海量无用监控视频数据，智能化程度高，误报率低，解决了监控视频数据存储的问题，间接的延长了监控视频数据的生存周期。

本领域技术人员可以理解，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本申请的范围。

尽管已经参照本申请的特定示例性实施例示出并描述了本申请，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本申请的精神和范围的情况下，可以对本申请进行形式和细节上的多种改变。因此，本申请的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。