面向多视频监控数据的目标检测与追踪方法、装置及设备与流程

本申请涉及计算机视觉领域，具体涉及一种面向多视频监控数据的目标检测与追踪处理方法、装置及设备。

背景技术：

近年来，数字化、网络化的视频监控系统对于安防产业的发展提供了更加广阔的发展空间，其中智能视频监控则是网络化视频监控领域前沿的应用发展方向之一。

智能视频技术源自计算机视觉技术，而计算机视觉技术是人工智能研究的主要分支之一。简单地说，智能视频技术是指计算机通过数字图像处理和分析算法来对图像对或者连续视频画面进行运算处理，识别并且跟踪视频图像中的各个目标，让计算机像人脑一样理解图像或者视频中的内容。其中，智能视频监控技术以数字化、网络化视频监控为基础，但又有别于一般的网络化视频监控，是一种更高端的视频监控应用。

一般的智能视频监控系统大致由两部分组成，即智能视频分析处理子系统和网络视频监控系统。其中，智能视频分析处理子系统承担着对重点摄像头所拍摄的连续视频画面内容进行实时分析、处理、记录画面中各个目标情况的功能。然而，当前的智能视频分析处理并没有一个好的方法解决针对大规模多监控视频处理分析的问题。通常其对于多视频数据的处理是十分简单粗暴的。例如，在公安人员需要通过监控视频数据定位某一嫌疑人时，传统的视频处理方式是将所有视频进行简单排序，依次查找目标。然而目标所处的视频在处理序列中的位置是随机的，因此对于检索时间的长短是不固定并且可能耗时很长。此外，监控数据任务请求通常可以由多视频进行协同处理，而传统视频处理方法并未考虑这一点。例如，在执行监控追踪任务时，对于搜索目标的追踪和定位在现实情况中是需要在多个监控视频中进行协同处理，而不仅仅是在单个视频中的局部优化。因此，多摄像头的追踪、识别与检测已经成为未来监控视频智能化处理的趋势。现有的多视频数据处理分析技术，其以视频整体作为处理单位，仅仅简单的将各个视频进行无差别排序，单一遍历检索。没有充分考虑数据在时空方面的关联性。

技术实现要素：

针对现有技术的缺陷，我们提出了一种新的视频流分析方法、装置及设备，支持用户针对多视频条件下利用监控视频的特征对视频进行快速检索。

一种面向多视频监控数据的目标检测与追踪处理方法，其特征在于，包括如下步骤：步骤1：设置待处理视频监控数据集合s为整个视频监控数据；根据多视频监控器物理位置关系的关联性抽象成以流表项为节点组成的有向无环dag图；根据多视频监控器物理位置关系的重要性的不同设置第i个视频监控器采集的视频监控数据的权重为wi；基于视频监控数据的权重设置集合s中视频监控数据检测顺序；

步骤2：基于离散时间片轮询方法，将所述集合s中第i个视频监控数据划分为长度为li的多个连续的时间片，其中第k次划分时间片的长度记为lik，对于任意两个视频监控数据i和j，满足lik/wi=ljk/wj；步骤3：按照视频监控数据检测顺序对所述集合s中视频监控数据集进行基于离散时间片的多视频监控数据轮询检测，找到检测目标；步骤4：跟踪检测目标，直至检测目标丢失，进入步骤5；步骤5：根据多视频监控器物理位置关系的关联性解析所述dag图，更新集合s为检测目标丢失视频监控数据及其相邻所有尚未处理完成的视频监控数据；

步骤6：基于视频监控数据权重，调整集合s中的视频监控数据的检测顺序，并将检测目标丢失时间确定为集合s中所有监控视频数据轮询检测的起始位置，返回步骤3。

优选的，步骤1中所述dag图表示为dag＝[v,e,w]，其中v表示视频监控，e表示连接两个视频监控的有向边，w表示视频监控数据的权重。

优选的，步骤5中所述集合s如果为空，则退出。

一种面向多视频监控数据的目标检测与追踪处理装置，包括：

设置模块，用于接收视频监控数据并建立视频监控数据集合；构建有向无环dag图；设置视频监控数据的权重和检测顺序；

时间片划分模块，基于离散时间片轮询方法，将所述集合s中第i个视频监控数据划分为长度为li的多个连续的时间片，其中第k次划分时间片的长度记为lik，对于任意两个视频监控数据i和j，满足lik/wi=ljk/wj；轮询检测模块，用于按照视频监控数据检测顺序对视频监控数据进行基于离散时间片的多视频监控数据轮询检测，找到检测目标；

目标跟踪模块，在轮询检测模块找到检测目标后，接收轮询检测模块的检测信息，包括检测目标所处视频监控数据序号及出现时间，并对检测目标继续执行目标追踪任务，同时实时判断检测目标是否丢失，若检测目标丢失，则将相关视频监控数据信息提交至dag图解析模块。

dag图解析模块，在目标跟踪模块丢失检测目标后执行，用于解析dag图获取监控视频数据之间的关系，返回丢失检测目标的时间及丢失检测目标的视频监控数据序号及与其相邻所有尚未处理完成的视频监控数据序号，跟新集合s为检测目标丢失视频监控数据及其相邻所有尚未处理完成的视频监控数据；

调度模块，接收dag图解析模块返回的检测目标丢失时间，调整集合s中视频监控数据的检测顺序和确定视频监控数据轮询检测的起始位置。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

步骤1：设置待处理视频监控数据集合s为整个视频监控数据；根据多视频监控器物理位置关系的关联性抽象成以流表项为节点组成的有向无环dag图；根据多视频监控器物理位置关系的重要性的不同设置第i个视频监控器采集的视频监控数据的权重为wi；基于视频监控数据的权重设置集合s中视频监控数据检测顺序；

步骤2：基于离散时间片轮询方法，将所述集合s中第i个视频监控数据划分为长度为li的多个连续的时间片，其中第k次划分时间片的长度记为lik，对于任意两个视频监控数据i和j，满足lik/wi=ljk/wj；步骤3：按照视频监控数据检测顺序对所述集合s中视频监控数据集进行基于离散时间片的多视频监控数据轮询检测，找到检测目标；步骤4：跟踪检测目标，直至检测目标丢失，进入步骤5；步骤5：根据多视频监控器物理位置关系的关联性解析所述dag图，更新集合s为检测目标丢失视频监控数据及其相邻所有尚未处理完成的视频监控数据；

步骤6：基于视频监控数据权重，调整集合s中的视频监控数据的检测顺序，并将检测目标丢失时间确定为集合s中所有监控视频数据轮询检测的起始位置，返回步骤3。

本申请根据视频监控数据具有时间戳与定点位置的特殊性质，构建基于离散时间片的轮询处理方式以加快视频检索速度，在处理过程中，结合视频监控器采集的视频监控数据具有时间和相对位置的关联性，动态调整视频监控数据的调度策略，及时调整视频监控数据轮询检测的顺序和起始位置，充分利用视频监控数据的时空二重性特征，提高视频检索效率，减少由于图像处理技术的高昂代价带来的视频处理的较长延迟，以较短的时间完成用户提交的任务。

附图说明

图1为本申请实施例的一种面向多视频监控数据的目标检测与追踪处理方法流程示意图；

图2为本申请实施例的dag图；

图3为本申请实施例一种向多视频监控数据的目标检测与追踪处理装置的原理框图；

图4为本申请实施例一种计算机设备结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供一种面向多视频监控数据的目标检测与追踪处理方法，包括如下步骤：

步骤100，设置待处理视频监控数据集合s为整个视频监控数据；根据多视频监控物理位置关系抽象成以流表项为节点组成的有向无环dag图；根据多视频监控物理位置重要性的不同设置第i个视频监控数据的权重为wi；基于视频监控数据的权重设置集合s中视频监控数据检测顺序；

本实施例中，任务执行的基础是视频监控数据集合s，其中视频监控数据支持当前监控视频的大多格式类型，例如，mpg4格式以及h.263。

此外，根据多视频监控器物理位置关系的关联性抽象成以流表项为节点组成的有向无环dag图。具体的，dag图表示为dag＝[v,e,w]，其中v表示视频监控，e表示连接两个视频监控的有向边，w表示视频监控数据的权重。

例如图2所示，根据摄像头camera1、camera2、camera3、camera4和camera5，（所述camera1、camera2、camera3、camera4和camera5采集的视频监控数据简称c1、c2、c3、c4和c5）的物理经纬度生成对应的dag图，其中各摄像头之间的联系主要通过经纬度之间的相对距离进行计算。

进一步地，如图2所示，根据摄像头camera1、camera2、camera3、camera4和camera5物理位置关系重要性的不同，设置其采集的视频监控数据的权重分别为w1、w2、w3、w4和w5，且w1＞w2＞w3＞w4＞w5，则集合s中的视频监控数据的检测顺序为{c1,c2,c3,c4,c5}。

其中，权重的定义提供两种方式，包括自适应方法以及自定义方法。自适应方法根据视频监控数据的数量对每个视频监控数据的权重进行均值分配并在实际执行过程中动态调整权重大小。此外用户可根据实际情况与请求任务的关联性对视频监控数据进行自定义权重赋值。

步骤200，基于离散时间片轮询方法，将所述集合s中第i个视频监控数据划分为长度为li的多个连续的时间片，其中第k次划分时间片的长度记为lik，对于任意两个视频监控数据i和j，满足lik/wi=ljk/wj；。

步骤300，按照视频监控数据检测顺序对所述集合s中视频监控数据进行基于离散时间片的多视频监控数据轮询检测，找到检测目标。

具体的，基于时间片轮询方法是在步骤200的基础上，进一步对集合s中的视频监控数据进行轮询检测，当找到检测目标后停止轮询。

按照图2中的dag图及视频监控数据的权重，则基于离散时间片多视频监控数据轮询检测的第一次轮询检测顺序为{l11,l21,l31,l41,l51}。

步骤400，跟踪检测目标，直至检测目标丢失。

其中，检测与跟踪目标的算法提供了深度学习模型的应用接口，用户可以将训练好的模型对应放置并直接使用。

步骤500，根据多视频监控物理位置关系的关联性解析所述dag图，更新集合s为检测目标丢失视频监控数据及其相邻所有尚未处理完成的视频监控数据。

例如，当图2中camera1检测目标丢失后，更新集合s为{c1,c3,c4,c5}。

具体的，如果集合s为空，表示检测目标在集合s中没有再出现过，则退出。

步骤600，基于视频监控数据权重，调整集合s中的视频监控数据的检测顺序，并将检测目标消失时间确定为集合s中所有监控视频数据轮询检测的起始位置，返回步骤300。

具体的，如图2所示，根据视频监控数据的权重w1＞w3＞w4＞w5，则集合s中的视频监控数据的检测顺序为{c1,c3,c4,c5}，camera1中检测目标丢失时间确定为集合s中所有监控视频数据轮询检测的起始位置。

本说明书实施例还提供一种面向多视频监控数据的目标检测与追踪处理装置，如图3所示，包括：

设置模块10，用于接收视频监控数据并建立视频监控数据集合；构建有向无环dag图；设置视频监控数据的权重和检测顺序；

时间片划分模块20，基于离散时间片轮询方法，将所述集合s中第i个视频监控数据划分为长度为li的多个连续的时间片，其中第k次划分时间片的长度记为lik，对于任意两个视频监控数据i和j，满足lik/wi=ljk/wj；轮询检测模块30，用于按照视频监控数据检测顺序对视频监控数据进行基于离散时间片的多视频监控数据轮询检测，找到检测目标；

目标跟踪模块40，在轮询检测模块找到检测目标后，接收轮询检测模块的检测信息，包括检测目标所处视频监控数据序号及出现时间，并对检测目标继续执行目标追踪任务，同时实时判断检测目标是否丢失，若检测目标丢失，则将相关视频监控数据信息提交至dag图解析模块。

dag图解析模块50，在目标跟踪模块丢失检测目标后执行，用于解析dag图获取监控视频数据之间的关系，返回丢失检测目标的时间及丢失检测目标的视频监控数据序号及与其相邻所有尚未处理完成的视频监控数据序号，更新集合s为检测目标丢失视频监控数据及其相邻所有尚未处理完成的视频监控数据；

调度模块60，接收dag图解析模块的返回的检测目标丢失时间，调整集合s中视频监控数据的检测顺序和确定视频监控数据轮询检测的起始位置。

如图4所示，一种计算机设备，包括存储器2和处理器1，所述存储器2存储有计算机程序，所述处理器1执行所述计算机程序时实现以下步骤：

步骤1：设置待处理视频监控数据集合s为整个视频监控数据；根据多视频监控器物理位置关系的关联性抽象成以流表项为节点组成的有向无环dag图；根据多视频监控器物理位置关系的重要性的不同设置第i个视频监控器采集的视频监控数据的权重为wi；基于视频监控数据的权重设置集合s中视频监控数据检测顺序；

步骤2：基于离散时间片轮询方法，将所述集合s中第i个视频监控数据划分为长度为li的多个连续的时间片，其中第k次划分时间片的长度记为lik，对于任意两个视频监控数据i和j，满足lik/wi=ljk/wj；步骤3：按照视频监控数据检测顺序对所述集合s中视频监控数据集进行基于离散时间片的多视频监控数据轮询检测，找到检测目标；步骤4：跟踪检测目标，直至检测目标丢失，进入步骤5；步骤5：根据多视频监控器物理位置关系的关联性解析所述dag图，更新集合s为检测目标丢失视频监控数据及其相邻所有尚未处理完成的视频监控数据；

步骤6：基于视频监控数据权重，调整集合s中的视频监控数据的检测顺序，并将检测目标丢失时间确定为集合s中所有监控视频数据轮询检测的起始位置，返回步骤3。

上述实施例阐明的设备、装置或模块，具体可以由计算机实现。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个包含计算机可用程序代码的计算机上实施计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图来描述的。应理解可有计算机程序指令实现流程图中的每一流程、以及流程图中的流程的结合。可提供这些计算机程序指令到通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程制定的功能装置。以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所做的任何修改、等同替换、改进等，均应包含在本申请的权力要求范围。