基于序列时空立方体特征的视频交互事件分析方法及装置制造方法
【专利摘要】本发明涉及一种基于序列时空立方体特征的视频交互事件分析方法及装置，该方法包括：基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；在每个时空立方体内提取对象轨迹、表观和局部运动描述子，并将提取的描述子组成特征片段；对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测。该装置包括预处理模块、视频序列划分模块、时空立方体特征提取模块、时序特征重构模块和序列特征分类模块。本发明实现了对监控视频内容的高层语义层描述，并且利用基于动态时间对齐核函数的多核支持向量机，实现了变长序列特征分类，从而实现了对监控视频流交互事件的智能检测。
【专利说明】基于序列时空立方体特征的视频交互事件分析方法及装置
【技术领域】
[0001]本发明属于计算机视觉【技术领域】，涉及监控视频交互事件分析方法，具体涉及一种基于序列时空立方体特征的监控视频交互事件分析方法，以及实现该方法的装置。
【背景技术】
[0002]随着监控摄像头广泛的应用于人们生活的方方面面，监控视频数据呈现爆炸式的增长，如何智能地分析其中发生的感兴趣的事件，是一个富有挑战性的问题。在感兴趣的事件当中，有一部分是多对象交互事件，例如:打架、抢劫、凶杀和撞车等。为了能够在事件发生的早期报警，以及在事件发生之后协助侦查取证，针对这类事件的智能分析方法十分关键。
[0003]目前对这类事件的处理主要依赖目击者报警，然后调取相应时间段的监控视频来调查取证。但往往有些事件没有目击者，或者目击者不能及时报案，这就会导致对事件处理的延误。另外在取证阶段，如果不知道事件发生的确切时间或地点，就需要耗费大量的人力来查看监控视频数据。
[0004]现有的大部分智能监控系统均是采用运动目标检测及速度估计的方式，来分析对象发生的事件，例如中国专利CN201020660336.8公开的监控系统。这种分析方法缺乏针对对象局部运动特点的描述，不能够通过分析复杂事件的各个阶段前后因果关系，来判断复杂事件具体是什么类型。
【发明内容】
[0005]针对现有技术的局限性，本发明提出了一种基于序列时空立方体特征的监控视频交互事件分析方法及装置，可以对对象局部运动特点进行描述，通过分析复杂事件的各个阶段前后因果关系判断复杂事件的具体类型。
[0006]为实现上述目的，本发明采用如下技术方案:
[0007]一种基于序列时空立方体特征的视频交互事件分析方法，其步骤包括:
[0008]I)基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列；
[0009]2)在每个时空立方体内提取对象轨迹、对象表观、对象局部运动描述子，并将提取的描述子组成特征片段；
[0010]3)对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测。
[0011]进一步地，为了增强视觉特征的描述能力，上面步骤I)划分时空立方体的实现方法包括如下子步骤:
[0012]a)对象检测跟踪:根据每帧视频内的梯度、形状、运动等信息，结合目标对象的特点，检测出对象的位置及运动轨迹；
[0013]b )选择对象对:对于监控视频中出现的全部对象，利用已知的事件知识，选择出所有可能发生交互的对象对，截取每对对象共同出现的视频段；[0014]c)时空立方体划分:对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体。
[0015]进一步地，上面步骤2)中各描述子为:
[0016]对象轨迹描述子:其包括的轨迹信息是:两个对象之间的平均距离、两个对象之间速度方向夹角、两个对象区域的重叠面积；
[0017]对象表观描述子:在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包(bag-of-feature)方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子；
[0018]对象局部运动描述子:在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包(bag-of-feature)方法,将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。
[0019]进一步地，上面步骤3)所述重构的方法为:将各特征片段串连在一起形成时序特征，将相邻时空立方体内的特征片段的差分值加入所述时序特征中。
[0020]进一步地，为了适应同一类事件持续时间可能不同这一特点，本发明提出的序列时空立方体特征也是变长的，根据事件发生的具体情况及具体时长(帧数)而定。
[0021]进一步地，采用动态时间对齐核函数来计算时空立方体特征的相似性，利用多核支持向量机来学习、分类视频段。
[0022]一种采用上述方法的基于序列时空立方体特征的视频交互事件分析装置，其包括:
[0023]预处理模块，用于检测并跟踪监控视频中感兴趣的对象；
[0024]视频序列划分模块，连接所述预处理模块，基于检测跟踪结果将监控视频自适应地划分成时空立方体序列；
[0025]时空立方体特征提取模块，连接所述预处理模块和所述视频序列划分模块，用于提取监控视频中感兴趣对象的视觉特征；
[0026]时序特征重构模块，连接所述时空立方体特征提取模块，用于将提取的时空立方体特征重构成变长序列特征；
[0027]序列特征分类模块，连接所述时序特征重构模块，用于检测监控视频中对象发生的交互事件。
[0028]进一步地，所述时空立方体特征提取模块包括对象轨迹描述子提取单元、对象表观描述子提取单元和对象局部运动描述子提取单元。对各提取单元分别说明如下:
[0029]对象轨迹描述子提取单元:在每个时空立方体内提取的轨迹信息包括:两个对象之间的平均距离，两个对象之间速度方向夹角，以及两个对象区域的重叠面积。
[0030]对象表观描述子提取单元:在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包(bag-of-feature)方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子。
[0031]对象局部运动描述子提取单元:在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包(bag-of-feature)方法,将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。
[0032]本发明的基于序列时空立方体特征的监控视频交互事件分析方法，提出了新的监控视频事件描述特征一序列的时空立方体特征，基于检测跟踪结果，将监控视频序列自适应的分成若干阶段，在每个阶段内提取描述子，然后经过特征重构，利用描述子序列以及时间上邻接的描述子之间的变化信息构成刻画事件的特征，增强了特征的描述能力。
[0033]本发明通过对监控视频序列的自适应时空立方体划分，提取对象轨迹、表观、局部运动的特征信息，特征重构，实现了对监控视频内容的高层语义层描述，并且利用基于动态时间对齐核函数的多核支持向量机，实现了变长序列特征分类，从而实现了对监控视频流交互事件的智能检测。
【专利附图】
【附图说明】
[0034]图1为实施例中基于序列时空立方体特征的视频交互事件分析装置的组成示意图；
[0035]图2为实施例中基于序列时空立方体特征的视频交互事件分析方法的步骤流程图；
[0036]图3为实施例中基于检测跟踪的时空立方体划分方法示意图；
[0037]图4为实施例中单个时空立方体内特征片段提取示意图；
[0038]图5为时实施例中序时空立方体特征重构示意图。
【具体实施方式】
[0039]下面通过具体实施例，并配合附图，对本发明做详细的说明。
[0040]图1为本实施例的基于序列时空立方体特征的视频交互事件分析装置的组成结构图，其包括:预处理模块，用于检测并跟踪监控视频中感兴趣的对象；视频序列划分模块，连接所述预处理模块，用于基于检测跟踪结果将监控视频自适应地划分成时空立方体序列；时空立方体特征提取模块，连接所述预处理模块和所述视频序列划分模块，用于提取监控视频中感兴趣对象的视觉特征；时序特征重构模块，连接所述时空立方体特征提取模块，用于将提取的时空立方体特征重构成变长序列特征；序列特征分类模块，连接所述时序特征重构模块，用于检测监控视频中对象发生的交互事件。
[0041]图2为本实施例的基于序列时空立方体特征的视频交互事件分析方法的流程图，对其具体说明如下:
[0042]I)将监控视频序列划分成若干时空立方体，如图3所示。
[0043]首先，对输入的视频序列进行对象检测及跟踪，得到对象的位置和轨迹信息；然后以对象对(两个对象)为基本处理单位，对每一个对象对，截取他们共同出现的视频段，分析每个对象的轨迹变化，以及两个轨迹的关系，以变化剧烈的时间点作为分隔点，将视频段在时空域分成若干立方体，即时空立方体。采用“对象对”有利于研究对象之间的交互关系。
[0044]2)在每个时空立方体内提取轨迹、表观、局部运动描述子，组成特征片段，如图4所示。
[0045]在每个时空立方体内，提取轨迹关系、梯度、光流信息，分别来表征两个对象的关系、表观、局部运动特点；包括如下提取单元:
[0046]对象轨迹特征提取单元:在每个时空立方体内提取的轨迹信息，包括:两个对象之间的平均距离、两个对象之间速度方向夹角、两个对象区域的重叠面积；[0047]对象表观特征提取单元:在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近的梯度直方图，并运用特征包(bag-of-feature)方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子；
[0048]对象局部运动特征提取单元:在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近的光流直方图，并运用特征包(bag-of-feature )方法,将每个时空立方体内的所有特征点附近提取的光流直方图构建成一个描述子。
[0049]每个时空立方体内取到的描述对象对关系、表观、局部运动的描述子组合在一起构成一个特征片段，时间域相邻的特征片段之间的差异描述了对像对的动态变化信息。
[0050]3)针对所有时空立方体内的特征片段进行重构，构建序列时空立方体特征，利用重构的特征进行交互事件分类检测，如图5所示。该步骤具体包括:
[0051]a)利用视频段内的一系列特征片段以及特征片段的时域差分信息进行特征重构，将其串联排列成一个时空立方体特征；
[0052]b)采用动态时间对齐核函数来计算时空立方体特征的相似性，利用支持向量机来学习、分类视频段；
[0053]c)对已经标注好的交互事件视频段提取时空立方体特征，作为正样本，随机选取其他无关视频段 ，对其提取时空立方体特征并作为负样本，运用基于动态时间对齐核函数的支持向量机来进行训练，得到分类模型；
[0054]d)运用已经得到的分类模型对未知视频段进行分类，输出分类结果。得到该分类结果后，还可以进行结果筛选等后续处理环节。
[0055]下面提供一个具体应用实例，该实例采用的视频为交通监控视频。
[0056]输入一段交通监控视频，首先进行车辆检测，得到每一帧图像中车辆的位置区域R1, R2,…Rn。其中Ri=U, y, width, height),表示车辆位置区域的起始点坐标和车辆的长和宽。然后利用跟踪算法，对于每个车辆进行跟踪，从而得到车辆的连续的位置轨迹T1, T2,…,Tffl,其中7； K Ι0-)，^?0-+?)，…5 / , t为视频帧号，I⑴表示第t帧图像中标号为i的对象。
[0057]对于两个车辆轨迹Ti, Tj，截取他们共同出现的一段时间(如果没有则判定未发生异常事件)。然后按照以下规则将该段视频分成若干时空立方体:1)从起始帧往后扫描，如果两个对象距离大于L，则划入第I个时空立方体，直到某一帧距离小于L ;2)从该帧开始，以K帧为单位，将剩余视频段划分成若干时空立方体；3)每段时空立方体内，以对象的覆盖区域为目标，截取视频中对象信息。
[0058]然后对于上一步获得的时空立方体序列，首先提取对象的轨迹描述子，描述两个对象的关系。轨迹描述子的提取方法如下:
[0059]Tlf = {4,4,04,00 (公式 U
[0060]其中，Ci，怂分别表示平均距离、平均相对速率以及平均重迭区域，k为时空立方体标号，并且
, f O k = \
_1] ,>!
? O k ~\
[0062]dc^ = k η(公式 2)
[6SP -cSP? > 1
【权利要求】
1.一种基于序列时空立方体特征的视频交互事件分析方法，其步骤包括: 1)基于监控视频的检测跟踪结果将该监控视频划分成若干时空立方体序列； 2)在每个时空立方体内提取对象轨迹描述子、对象表观描述子和对象局部运动描述子，并将提取的描述子组成特征片段； 3)对所有时空立方体内的特征片段进行重构以构建序列时空立方体特征，利用该序列时空立方体特征进行交互事件分类检测。
2.根据权利要求1所述的方法，其特征在于，所述步骤I)包括如下子步骤: a)根据每帧视频内的梯度、形状和运动信息，并结合目标对象的特点，检测出对象的位置及运动轨迹； b)对于监控视频中出现的全部对象，利用已知的事件知识选择出所有可能发生交互的对象对，并截取每对对象共同出现的视频段； c)对于截取的视频段，根据视频段的时长以及视频段内的内容变化，自适应地划分成若干时间子段，再结合对象的空间位置，构成时空立方体。
3.根据权利要求1所述的方法，其特征在于，所述对象轨迹描述子包括的轨迹信息是:两个对象之间的平均距离、两个对象之间速度方向夹角和两个对象区域的重叠面积。
4.根据权利要求1所述的方法，其特征在于:在每个时空立方体内提取的表观信息为对象覆盖区域内的特征 像素点附近梯度直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成所述对象表观描述子；在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的光流直方图构建成所述对象局部运动描述子。
5.根据权利要求1所述的方法，其特征在于，步骤3)所述重构的方法为:将各特征片段串连在一起形成时序特征，将相邻时空立方体内的特征片段的差分值加入所述时序特征中。
6.根据权利要求1所述的方法，其特征在于:所述序列时空立方体特征是变长的，根据事件发生的具体情况及具体时长而定。
7.根据权利要求1所述的方法，其特征在于:采用动态时间对齐核函数计算时空立方体特征的相似性，利用多核的支持向量机学习、分类视频段。
8.一种基于序列时空立方体特征的视频交互事件分析装置，其特征在于，包括: 预处理模块，用于检测并跟踪监控视频中感兴趣的对象； 视频序列划分模块，连接所述预处理模块，用于基于检测跟踪结果将监控视频自适应地划分成时空立方体序列； 时空立方体特征提取模块，连接所述预处理模块和所述视频序列划分模块，用于提取监控视频中感兴趣对象的视觉特征； 时序特征重构模块，连接所述时空立方体特征提取模块，用于将提取的时空立方体特征重构成变长序列特征； 序列特征分类模块，连接所述时序特征重构模块，用于检测监控视频中对象发生的交互事件。
9.根据权利要求8所述的装置，其特征在于:所述时空立方体特征提取模块包括对象轨迹特征提取单元、对象表观特征提取单元和对象局部运动特征提取单元。
10.根据权利要求9所述的装置，其特征在于: 所述对象轨迹描述子提取单元在每个时空立方体内提取的轨迹信息包括:两个对象之间的平均距离，两个对象之间速度方向夹角，以及两个对象区域的重叠面积； 所述对象表观描述子提取单元在每个时空立方体内提取的表观信息为对象覆盖区域内的特征像素点附近梯度直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提取的梯度直方图构建成一个描述子； 所述对象局部运动描述子提取单元在每个立方体内提取的局部运动信息为对象覆盖区域内的特征像素点附近光流直方图，并运用特征包方法，将每个时空立方体内的所有特征点附近提 取的光流直方图构建成一个描述子。
【文档编号】G06T7/00GK103902966SQ201210590580
【公开日】2014年7月2日 申请日期:2012年12月28日 优先权日:2012年12月28日
【发明者】田永鸿, 房晓宇, 王耀威, 黄铁军 申请人:北京大学