一种大规模分布式监控视频数据处理方法及装置与流程

本发明涉及数据处理技术领域，尤其涉及一种大规模分布式监控视频数据处理方法及装置。

背景技术：

随着监控视频系统逐步从模拟、标清向高清、超高清及4k的发展，在智慧城市、智慧交通等众多领域监控视频数据分析，是监控视频系统应用最基本的要求。由于传统高清监控视频系统的视频数据分析，大都依赖与后端大型pc服务器进行处理，需要将高清视频数据通过网络传输到服务器机房进行分析运算，再存储目标分析结果，特别是当高清监控视频达到几千甚至上万路、数据达到pb级以上时候，监控视频网络传输带宽成本以及需要的视频分析服务器数量成倍增加，根本不能满足正常的高清监控视频数据分析系统的业务应用需求。

因此，现有监控视频数据分析的方法已经严重制约了安防监控行业向更高层次的发展，如何能处理几万甚至十几万路高清监控视频数据分析的问题，是高清监控视频系统应用亟待解决的问题。

技术实现要素：

本发明所要解决的技术问题是：针对后端高清监控视频分析存在的难题，提供一种依托前端大规模分布式部署的高性能摄像机装置实现高清视频数据分析的方法，解决现有高清监控视频系统中视频网络传输、数据分析计算资源成为瓶颈的问题。

为了解决上述技术问题，本发明采用的技术方案为：提供一种大规模分布式监控视频数据处理方法，包括前端视频数据处理流程和后端视频数据处理流程，所述前端视频数据处理流程包括步骤：

s10、获取监控视频流数据；

s20、提取视频流数据中的目标区域；

s30、计算目标区域的特征值；

s40、对目标区域的特征值进行特征识别，提取目标元数据信息；

s50、根据目标元数据信息，得到视频数据处理结果；

s60、发送视频数据处理结果至后端；

所述后端视频数据处理流程包括步骤：

s70、获取视频数据处理结果；

s80、对视频数据处理结果进行二次处理。

为了解决上述技术问题，本发明采用的另一技术方案为：提供一种大规模分布式监控视频数据处理装置，包括前端视频数据处理装置和后端视频数据处理装置，所述前端视频数据处理装置包括：

第一获取模块，用于获取监控视频流数据，结束跳转到提取模块；

提取模块，用于提取视频流数据中的目标区域，结束跳转到计算模块；

计算模块，用于计算目标区域的特征值，结束跳转到特征识别模块；

特征识别模块，用于对目标区域的特征值进行特征识别，提取目标元数据信息，结束跳转到生成模块；

生成模块，用于生成视频数据处理结果元数据报文和图片，结束跳转到发送模块；

发送模块，用于发送视频数据处理结果至后端；

所述后端视频数据处理装置包括：

第二获取模块，用于获取视频数据处理结果，结束跳转到二次处理模块；

二次处理模块，用于对视频数据处理结果进行二次处理。

本发明的有益效果在于：区别于现有技术中的依赖与后端大型pc服务器进行处理，需要将高清视频数据通过网络传输到服务器机房进行分析运算，再存储目标分析结果的问题，本发明提供了一种利用大规模分布式监控数据处理方法，利用部署在前端高性能摄像机装置实现前端对高清监控视频数据的分析处理处理，相比后端高清视频数据分析降低了网络传输的带宽、视频分析计算资源等，为大规模的高清监控视频部署及业务应用，提供了高清视频数据分析和传输的新解决方案。

附图说明

下面结合附图详述本发明的具体结构

图1为本发明的方法的流程图；

图2为步骤s20的具体流程图；

图3为步骤s30的具体流程图；

图4为本发明的装置的结构图。

标号说明：

01、前端视频数据处理装置；02、后端视频数据处理装置；10、第一获取模块；20、提取模块；30、计算模块；40、特征识别模块；50、生成模块；60、发送模块；70、第二获取模块；80、二次处理模块。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于：利用部署在前端高性能摄像机装置作为视频分析平台，能够实现各种视频分析算法，将高清视频进行实时分析，提取出监控视频中感兴趣的目标元数据信息，实现前端对高清监控视频数据的分析处理，相比后端高清视频数据分析降低了网络传输的带宽、视频分析计算资源等，为大规模的高清监控视频部署及业务应用，提供了高清视频数据分析和传输的新解决方案。

请参阅图1，本发明提供了一种大规模分布式监控视频数据处理方法，包括前端视频数据处理步骤和后端视频数据处理步骤，所述前端视频数据处理步骤包括：

s10、获取监控视频流数据；

本实施方式中，是从isp中获取yuv视频流，其中，isp是imagesignalprocessor的缩写，全称是影像处理器。在相机成像的整个环节中，它负责接收感光元件的原始信号数据，可以理解为整个录像的第一步处理流程，对图像质量起着非常重要的作用。

在另外一个优选的实施方式中，在步骤s10之前还包括步骤s01：

获取用户设定对目标的特征识别请求，所述对目标的特征识别的内容还包括：对目标的行为识别、目标的图像质量识别和目标的数量识别。

此处的用户设定对目标的特征识别内容可以理解为用户设定的触发规则，触发规则主要包括四个大类：行为分析、特征检测、视频图像质量诊断以及目标统计功能。比如：需要对某点位摄像机布控目标越线、或者人脸检测、或视频偏色检测、或人数统计等规则，视频分析算法依据布控触发规则进行实时报警，上传目标图片和元数据信息等。

行为分析规则包括但不限于运动检测、越线、区域入侵、遗留物检测、遗失检测、人群密度检测、人群聚集检测、斗殴检测、徘徊检测等；

特征检测包括但不限于人脸检测、车辆检测、行人检测、颜色识别等；

视频图像质量诊断包括但不限于摄像机偏移、虚焦检测、偏色检测，亮度异常检测、条纹检测、视频丢失检测等；

目标统计功能包括但不限于人数统计、车辆计数、顾客关注度统计、排队长度统计等。

s20、提取视频流数据中的目标区域；

在本方案的实施方式中，先对视频流数据进行动态建模，通过对多个历史帧或图像信息统计得到该视频图像的背景图像，当有感兴趣目标或运动目标出现时，其运动的像素点可以从背景里分割成感兴趣目标或运动目标疑似区域。

参考图2，在另外一个优选的实施方式中，步骤s20具体包括如下步骤：

s202、采用高斯过程对图像中的每个像素点进行动态建模；

高斯模型就是用高斯概率密度函数精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数形成的模型。

s204、根据对多个历史帧或图像信息统计得到该视频图像的背景图像；

对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以认为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相比比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。

s206、从背景图像里分割出目标的像素点，提取目标区域n块，所述n是自然数。

s30、计算目标区域的特征值；

在本实施方式中，根据用户设定的四大类触发规则计算不同的特征值。常见的特征有二值特征(haar,lbp等)、梯度特征(canny，sobel，hog等)、角点特征(sift,surf等)等。

例如，在行人检测时通常采用计算hog特征值，方向梯度直方图(histogramoforientedgradient,hog)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。

参考图3，在另外一个优选的实施方式中，所述步骤s30具体包括如下步骤：

s302、计算第一目标区域的特征值；

s304、依次扫描n块目标区域，重复步骤s302，得到所有目标区域内的特征值。通过循环遍历的方式，得到所有目标区域的特征值，然后在对目标区域的特征值进行特征识别，提取目标元数据信息。

s40、对目标区域的特征值进行特征识别，提取目标元数据信息；

在本实施方式中，根据计算的不同特征值，进行相应的特征提取，特征提取通常采用积分图、图像边缘分割、角点提取等，特征检测识别会用到特征训练分类相关的知识，包括boost、ann、cnn等方法。提取的目标元数据信息根据用户设定的四大触发规则，包括目标类型、时间戳、gps定位信息、颜色、纹理、大小及运动轨迹等。另外，在提取目标元数据信息的同时，可以触发抓图或实时报警信号。抓取的图片可以是目标的缩略图，也可以是当前时间戳目标所对应的包含整个场景的完整图片。报警信号可以发送到指定的监控端，实现实时的监控告警。

s50、根据目标元数据信息，生成视频数据处理结果；

在本实施方式中，提取的目标元数据信息包括但不限于目标类型、时间戳、gps定位信息、颜色、纹理、大小及运动轨迹等。此外，还包括在输出目标的元数据信息时所抓取的图片，所述图片可以是目标的缩略图，也可以是包含整个场景的完整图像。根据所述的目标元数据信息生成视频数据处理结果元数据报文和图片。

s60、发送视频数据处理结果至后端；

在本实施方式中，将提取的目标元数据信息包括但不限于目标类型、时间戳、gps定位信息、颜色、纹理、大小及运动轨迹等通过http协议或onvif协议发送到后端。将提取的图片通过ftp协议或http协议发送到后端。由于前端摄像机设有基于高性能arm低功耗处理器，采用上述的机器学习视频分析算法，实现了对视频流数据的目标特征实时提取，在前端分析视频数据流程中，主要是去掉了后端分析取视频流网络传输的带宽，同时后端不用在部署大规模的服务器进行视频分析处理，节省了视频网络传输带宽、后端服务器硬件计算资源和机房建设成本等。

所述后端视频数据处理步骤包括：

s70、获取视频数据处理结果；

在本实施方式中，获取的视频数据处理结果包括目标元数据报文和图片。目标元数据信息包括但不限于目标类型、时间戳、gps定位信息、颜色、纹理、大小及运动轨迹等。图片可以是目标的缩略图也可以是包含整个场景的完整图像。

s80、对视频数据处理结果进行二次处理。

在本实施方式中，将获得的视频数据处理结果存储在后端指定的存储单元，以便于后端随时读取和对视频数据处理结果进行二次处理。

再另一个具体的实施方式中，后端可以对前端触发规则目标进行二次分析，包括人脸识别比对、嫌疑人布控、车牌识别以及套牌车布控等大数据分析应用。还可以对目标进行目标检索，目标检索可以针对大规模分布式前端采集到的目标元数据和图片，结合gis电子地图对目标活动范围进行时空分析，排查线索。

需要说明的是，对于前述的各种方法的实施方式，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他的顺序或者同时进行。此外，还可以对上述实施例进行任意组合，得到其他实施例。

基于与上述实施方式中的一种大规模分布式监控视频数据处理方法相同的思想，本发明还提供一种大规模分布式监控视频数据处理装置，该装置可以执行上述的方法。为了便于说明，在所述一种大规模分布式监控视频数据处理装置，仅仅示出了与本发明实施事例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或者更少的部件，或者某些部件的组合，或者不同的部件布置。

参考图4，为本发明一种大规模分布式监控数据处理装置的示意性结构图，在本实施例中，该装置包括前端视频数据处理装置01和后端视频数据处理装置02，其中前端视频数据处理装置01包括：第一获取模块10，用于获取监控视频流数据；提取模块20，用于提取视频流数据中的目标区域；计算模块30，用于计算目标区域的特征值；特征识别模块40，用于对目标区域的特征值进行特征识别，提取目标元数据信息；生成模块50，用于生成视频数据处理结果元数据报文和图片；发送模块60，用于发送视频数据处理结果至后端；所述后端视频数据处理装置02包括：第二获取模块70，用于获取视频数据处理结果；二次处理模块80，用于对视频数据处理结果进行二次处理。

该装置是基于摄像机前端的高性能arm低功耗处理器，对前端对视频流数据进行分析处理，达到提取目标特征的目的，从而生成目标视频数据处理结果元数据报文和图片信息，相比后端高清视频数据分析降低了网络传输的带宽、视频分析计算资源等，为大规模的高清监控视频部署及业务应用，提供了高清视频数据分析和传输的新解决方案。

在另外一个优选的实施例中，前端视频数据处理装置01还包括：获取请求模块，用于获取用户设定对目标的特征识别请求，所述对目标的特征识别的内容还包括：对目标的行为识别、目标的图像质量识别和目标的数量识别。此处的用户设定对目标的特征识别内容可以理解为用户设定的触发规则，触发规则主要包括四个大类：行为分析、特征检测、视频图像质量诊断以及目标统计功能。

在另外一个优选的实施例中，提取模块20还包括：动态建模模块，用于采用高斯过程对图像中的每个像素点进行动态建模；第一提取模块，用于根据对多个历史帧或图像信息统计提取该视频图像的背景图像；第二提取模块，用于从背景图像里分割出目标的像素点，提取目标区域n块，所述n是自然数。计算模块30具体包括：第一计算模块，用于计算第一目标区域的特征值；扫描模块，用于依次扫描n块目标区域。

在另外一个优选的实施例中，二次处理模块80，还可以用于将视频数据处理结果元数据报文和图片进行目标特征比对、目标布控和目标检索。具体地包括人脸识别比对、嫌疑人布控、车牌识别以及套牌车布控等大数据分析应用。还可以对目标进行目标检索，目标检索可以针对大规模分布式前端采集到的目标元数据和图片，结合gis电子地图对目标活动范围进行时空分析，排查线索。

此外，上述一种大规模分布式监控数据处理装置的实施方式中，各功能模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的功能模块完成等，都属于发明的保护范围。

在上述事实中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例中的相关描述。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。