基于运动能量模型针对监控视频速度异常目标的检测方法与流程

本发明涉及视频监控异常检测技术领域，尤其涉及一种基于运动能量模型针对监控视频速度异常目标的检测方法。

背景技术：

近年来，随着一些恐怖袭击事件和群体暴力事件的频发，人们对城市生活质量和生活安全防范的要求与日俱增。虽然各种视频监控设备已经广泛安置在各种人流密集的公共场所，如火车站、地铁站、医院、广场、以及小区等等，但是目前的视频监控系统只能够对某个监控场景进行简单的视频录制，将视频传输至监控室，通过监控人员进行人工的场景监控；或是将监控视频存储起来，供事后查找取证之用。这种传统的监控系统缺乏实时性和智能性，十分依赖于监控人员的经验和主观判断。因此，为了能够使监控系统实时自动地分析视频内容，判断监控视频中的异常目标和异常事件，辅助监控人员进行判断，需要大大提高监控视频异常判断的准确度和公共场所安全防范的质量。

公共场景下的异常事件是多种多样的，例如：抢劫、跌倒、入侵、人群聚拢、人流逆行，物体超速等等。其中，检测速度异常目标的应用范围非常广泛，实用性非常高。在近年来的研究中，许多科研人员基于不同的技术提出了不同的物体速度异常检测方法。

Helbing等人基于运动信息提出社会力模型来计算人群的交互力，以此判断方向及速度的异常，但该方法对于缺乏足够运动信息的人群稀疏的场景并不适用^[1]；Adam等人利用位置固定的多重监控单元对场景的低级特征进行统计，检测超速不同位置的超速物体，但是该方法受限于监控单元的数量和密度^[2]；Weixin等人提取场景中物体的动态文理特征描述不同状态的物体，以此对异常和正常进行分类，但该方法的特征提取过程时间复杂度高，实时效果不佳^[3]；Vikas综合物体的速度、大小及纹理特征，通过一个多级分类器对异常进行判断，但该方法受限于模板的选取和分级检测机制的设置^[4]。

技术实现要素：

本发明提供了一种基于运动能量模型针对监控视频速度异常目标的检测方法，本发明同时考虑了目标物体及其临近物体的运动信息，对运动强度的检测有较好的鲁棒性，可以有效地检测不同场景下的速度异常目标，详见下文描述：

一种基于运动能量模型针对监控视频速度异常目标的检测方法，所述检测方法包括以下步骤：

考虑异常目标及其周围8邻域的运动矢量信息，建立运动能量模型，所述模型包括：数据项和差异项，利用数据项和差异项的加和，来表示每一个空间块的运动能量值；

对视频帧的每一空间块均进行边界值提取，每一个边界值代表其对应空间块的，区分正常运动和异常运动的边界值；

基于sigmoid函数的二分类器对测试集中的运动能量值进行分类，以测试集每一块的运动能量值和提取的边界值的差异作为输入，并输出一个[0,1]的概率值；

该空间块对应的概率值越大，表示发生异常运动，即速度异常的可能性越高。

所述检测方法还包括：

结合图像金字塔，利用Lucas-Kanade光流法在不同尺度上对监控视频中的每一帧提取光流矢量，建立光流场，将每一帧的光流场分为M×N的不重叠的空间块，获取每一空间块的运动矢量。

所述运动矢量具体为：

B_i.j＝(f_x,y(h,v)|x＝1,2,...,M,y＝1,2,...,N)

i＝1,2,...,P,j＝1,2,...,Q

其中，B_i,j表示位置为(i,j)的空间块；f_x,y(h,v)表示包含于块B_i,j中的位置为(x,y)的运动矢量，包含一个水平分量h和竖直分量v；M为每一个空间块的水平长度；N为每一个空间块的竖直长度；P为每一帧水平方向的空间块数量；Q为每一帧竖直方向的空间块数量。

所述方法还包括：对运动矢量进行量化。

所述边界值提取具体为：

若数据增长率大于预设的一定阈值，则将前一个数据点的运动能量值视为边界值。

本发明提供的技术方案的有益效果是：本发明提出的运动能量模型可以有效地表达运动强度模式，算法复杂度较低，平衡了检测精确度和检测效率，能够实时检测监控视频中速度异常的目标。

附图说明

图1给出了基于运动能量模型针对监控视频速度异常目标的检测方法的流程图；

图2给出了存在局部速度异常的监控场景示例图；

(a)为人行道中快速行驶的机动车的示意图；(b)为人行道中穿行的自行车的示意图。

图3给出了局部速度异常目标及其运动能量值的示例图；

(a)、(c)为测试集中包含异常运动的任意两帧的示意图；(b)、(d)分别为(a)、(c)相应帧的运动能量值的示意图。

图4给出了利用数据增长率的方法估计运动能量边界值的示例图；

(a)为训练集中的所有帧，该示例统计方块标记区域的运动能量值；(b)为该块运动能量值从小到大的分布情况，可以看出大部分值趋于零，存在极少的非常大的噪声值；(c)为运动能量值的数据增长率，当数据增长率过大时，则认为该值已超出了正常运动能量值的范围；(d)为最终选取的运动能量边界值(两条虚线交点)，加粗虚线表示正常运动能量值的范围。

图5给出了最终的运动能量边界值图；

图6给出了本发明与Social Force，MDT及MPPCA方法的性能在UCSD数据集上的比较结果图；

(a)为UCSD Ped1测试集的帧级异常检测性能的示意图；(b)为UCSD Ped2测试集的帧级异常检测性能的示意图；(c)为UCSD Ped2测试集的像素级异常检测性能的示意图。

图7给出了本发明在UCSD数据集上的可视化结果图(标注异常目标)。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

本发明实施例针对监控场景下的速度异常目标的检测，基于场景运动信息，提出了一种运动能量模型来描述物体运动模式，并通过对不同区域运动能量值的分类，实现速度异常目标的实时检测，参见图1，该方法包括以下步骤：

101：提取目标区域的运动信息，获得运动强度值；

102：利用SSD度量对目标区域及其8邻域进行差异度计算，获得一个运动差异值；

103：利用两项加和表示中心区域物体的运动能量值，进而通过对运动能量值的分类，来检测速度异常的目标。

综上所述，本发明实施例提出的运动能量模型同时考虑了目标物体及其临近物体的运动信息，对运动强度的检测有较好的鲁棒性，可以有效地检测不同场景下的速度异常目标。

实施例2

下面结合具体的计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

201：提取运动信息；

运动矢量是能够表达物体运动信息的重要特征，而光流法是计算运动矢量的最为有效的方法之一。本发明实施例结合图像金字塔，利用Lucas-Kanade光流法在不同尺度上对监控视频中的每一帧提取光流矢量，建立光流场。之后，将每一帧的光流场分为大小为M×N的不重叠的空间块，共P×Q个。对于每一块，运动矢量表示如下：

B_i.j＝(f_x,y(h,v)|x＝1,2,...,M,y＝1,2,...,N)

i＝1,2,...,P,j＝1,2,...,Q

其中，B_i,j表示位置为(i,j)的空间块；f_x,y(h,v)表示包含于块B_i,j中的位置为(x,y)的运动矢量，其包含一个水平分量h和竖直分量v。位于(x,y)的运动矢量的强度表示为：

mag_x,y＝||f_x,y(h,v)||₂

为了便于统计，本发明实施例将各像素点的运动矢量进行适当的量化，实验表明量化等级为16时检测效果最好，具体量化方式如下：首先找到每一个空间块的运动矢量强度值的最大值max mag_x,y，将区间[0,max mag_x,y]16等分，落到每一小等分区间上的运动矢量强度值量化为该区间中点值的大小，最终得到mag_x,y，即(x,y)位置上的经量化后的运动矢量的强度。

202：运动能量模型；

对于局部异常，异常目标一定是被正常目标所包围着的。因此，本发明实施例同时考虑异常目标及其周围8邻域的运动矢量信息，建立一个运动能量模型。该模型包括两项：数据项和差异项，如下所示：

其中，DataTerm(i,j)表示数据项；DifferenceTerm(i,j)表示差异项；空间块B_i,j中的主运动强度表示为Dom mag^i_,j_x,y，它是该块中数量最多的运动矢量的强度值。在差异项中，S_i,j表示中心块B_i,j的8邻域区域，B_m,n是属于该8邻域内的一个空间块。中心块与其临近区域的运动强度差异度用SSD度量表示如下：

其中，SSD(B_i,j,B_m,n)为两个图像块对应像素点的误差的平方和，度量两个空间快的运动强度差异；为序号为(i,j)的空间块中位于(x,y)位置上的运动矢量强度；为序号为(m,n)的空间块中位于(x,y)位置上的运动矢量强度；N_f为B_m,n中的运动矢量数量。由于距离中心块越近的区域，与中心块的关联就越大。因此，对位于不同距离下的空间块赋不同的权重值ω_m,n来调整不同区域的权重。

利用数据项和差异项的加和，来表示每一个空间块的运动能量值，通过α和β来调整两项的比重，如下所示：

E(i,j)＝α·DataTerm(i,j)+β·DifferenceTerm(i,j)

203：边界值提取；

对训练集的所有视频帧的每一个空间块计算运动能量值，并统计每一个空间块运动能量值的分布。为了减少光流场的噪声的影响，应该剔除掉运动能量值中过大的值，并找到正常运动和异常运动的边界值。本发明实施例通过计算每一个空间块的运动能量值的数据增长率，来提取边界值。若数据增长率大于预设的一定阈值，则将前一个数据点的运动能量值视为边界值。根据实验，该阈值设定为0.5效果最好。

204：空间块分类。

由于监控镜头在监控场景中的位置，使得运动物体在不同的区域会被检测到不同的运动强度值和运动能量值。通常，距离摄像头越近的物体拥有越大的运动强度。因此，对视频帧的每一空间块均进行边界值提取，每一个边界值代表其对应空间块的，区分正常运动和异常运动的边界值。

本发明实施例通过一个基于sigmoid函数的二分类器对测试集中的运动能量值进行分类，该二分类器以测试集每一块的运动能量值和提取的边界值的差异作为输入，并输出一个[0,1]的概率值。该空间块对应的概率值越大，表示发生异常运动，即速度异常的可能性越高。也就是说，该空间块的运动能量值超出正常范围过大。二分类器如下所示：

其中，E’(i,j)和E(i,j)分别表示边界能量值和待测试的运动能量值。

综上所述，本发明实施例提出的运动能量模型同时考虑了目标物体及其临近物体的运动信息，对运动强度的检测有较好的鲁棒性，可以有效地检测不同场景下的速度异常目标。

实施例3

下面结合具体的附图、实验数据对实施例1和2中的方案进行可行性验证，详见下文描述：

实验在MATLAB平台上对UCSD数据集进行仿真测试。UCSD数据集被广泛使用在局部异常目标检测中，它包含两个不同场景的子集——Ped1和Ped2。两个子集的训练集均只包含正常运动(行走的行人)，测试集中包含一些速度异常的运动目标如穿行的自行车、快速行驶的机动车、滑板等等。对于帧级检测，只要在测试过程中有一个像素点被检测为异常，则该帧即标为异常；对于像素级异常检测，只要在测试过程中，标为异常的像素点占真正异常目标像素点的40％以上，则可视为检测正确，反之检测错误。

本发明实施例与同样属于低级特征检测方法的Social Force，MPPCA，MDT方法进行比较，比较结果如下：

在帧级检测任务中，由图6(a)、(b)的ROC曲线结果可以看出，本方法表现最佳：在Ped1中与MDT方法可比较，差距微小；在Ped2中表现超过MDT方法。如表1所示，本发明的平均错误率与MDT-temporal相近。在像素级检测任务中，由图6(c)的ROC曲线结果可以看出，本发明的检测率与MDT方法差距微小。但由表2所示，本方法的算法效率远远高出其他方法，经过优化后基本可以实现实时异常目标检测。

表1 帧级别平均错误率(PED1和PED2)

表2 检测率和算法效率(PED2)

图7(a)和(b)展示了可视化结果：图中标注为白色的区域为发生速度异常的区域，可以清楚的看出本发明有效地检测到机动车，自行车，滑板等速度异常目标。

综上所述，本发明实施例提出的运动能量模型同时考虑了目标物体及其临近物体的运动信息，对运动强度的检测有较好的鲁棒性，可以有效地检测不同场景下的速度异常目标。

参考文献

[1]Helbing,Dirk,and Peter Molnar."Social force model for pedestrian dynamics."Physical review E 51.5(1995):4282.

[2]Adam,Amit,et al."Robust real-time unusual event detection using multiple fixed-location monitors."IEEE Transactions on Pattern Analysis and Machine Intelligence 30.3(2008):555-560.

[3]Li,Weixin,Vijay Mahadevan,and Nuno Vasconcelos."Anomaly detection and localization in crowdedscenes."IEEE transactions on pattern analysis and machine intelligence 36.1(2014):18-32.

[4]Reddy,Vikas,Conrad Sanderson,and Brian C.Lovell."Improved anomaly detection in crowded scenesvia cell-based analysis of foreground speed,size and texture."CVPR 2011WORKSHOPS.IEEE,2011.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。