一种基于目标运动特性的全局异常行为检测方法与流程

本发明涉及一种基于目标运动特性的全局异常行为检测方法，属于视频异常行为检测的技术领域。

背景技术：

视频异常行为检测是指能自动分析视频监控场景下发生的异常行为，并能对其发出报警信号。例如：空旷草坪上人群突然四处散开的行为、走廊通道内人群突然各处躲藏的行为、开阔广场上人群突然四处逃窜的行为，智能监控系统都能及时检测到并进行警报。假设在获得一组正常训练视频样本的基础上，再确定测试视频是否包含异常行为。

早期异常行为检测的研究工作主要集中于利用简单集合模型描述人体行为，如基于二维轮廓模型、三维圆柱体模型等；除静态几何模型外，研究人员还尝试利用描述人体运动的某些特征进行建模，如形状、角度、所在位置、运动速度、运动方向、运动轨迹等特征进行行为描述和区分，并采用包括主成分分析法、独立成分分析法等在内的子空间方法对提取的特征进行降维和筛选，从而进行行为分析。现有针对异常行为检测的发明，存在未能真正理解异常行为的固有特点，因而现有异常行为检测模型并不能完全反应异常行为的本质，从而导致依据现有异常行为检测模型得到的检测精度并未达到理想效果。

技术实现要素：

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于目标运动特性的全局异常行为检测方法，解决现有的视频异常检测方法中无法全局性检测，降低检测效果的问题。

本发明具体采用以下技术方案解决上述技术问题：

一种基于目标运动特性的全局异常行为检测方法，包括以下步骤：

步骤a、提取视频中运动目标的运动特性；

步骤b、根据步骤a所提取运动特性对运动目标分别进行基于能量、基于色散和基于拉格朗日粒子动力学的异常行为模型学习和确立；

步骤c、依据确立的基于能量、基于色散和基于拉格朗日粒子动力学的异常行为模型进行运动目标的全局异常行为检测，确定异常区域并进行标记。

进一步地，作为本发明的一种优选技术方案：所述步骤a中运动目标的运动特性包括:时空特征、运动矢量特征、运动矢量方向直方图、运动矢量强度、运动矢量网格尺度。

进一步地，作为本发明的一种优选技术方案：所述步骤b中基于能量的异常行为模型学习，具体为：

确定固体中两个粒子势能的联系程度：

其中，u(r)表示两个粒子之间的势能，r表示它们的欧氏距离，a,b,m,n表示常量，且m>n；

利用结合力计算两粒子间的相互作用力：

结合步骤a所提取运动特性，对运动矢量强度的每个方向进行修正：

其中，ri为前景区域和背景区域的速率，i为视频图像帧的数量，j为运动块的数量，k是运动矢量的数量。w(r)表示距离为r的两个粒子的连接权重，为第i个视频帧中第j个运动块的第k个运动矢量强度的方向，为改进的运动矢量强度。

所述运动矢量强度的每个方向的阈值取决于的最大值：

进一步地，作为本发明的一种优选技术方案：所述步骤b中基于色散的异常行为模型学习和确立，具体为：

确定运动矢量强度的每个分方向的阈值取决于的最大值：

根据熵和联合熵的定义，确定交互信息是基于熵的定义i(x,y)＝h(x)+h(y)-h(x,y)，其中，h(x)和h(y)分别是x和y方向的香农熵；h(x,y)为联合熵；

利用归一化交互信息表示归一化的联合熵的交互信息，其定义如下：

其中，nmi(x,y)具有固定的下界0，固定的上界1。

进一步地，作为本发明的一种优选技术方案：所述步骤b中基于拉格朗日粒子动力学的异常行为模型学习，包括：归一化的方向直方图交互信息的计算：

其中，γ∈[0,1]为融合参数，σ表示标准偏差；nmi(x,y)为联合熵的交互信息；为每个方向的阈值。

进一步地，作为本发明的一种优选技术方案：所述步骤c中进行运动目标的全局异常行为检测包括：对运动目标进行预处理，所述预处理包括滤波和平滑处理

本发明采用上述技术方案，能产生如下技术效果：

本发明提供的一种基于目标运动特性的全局异常行为检测方法，首先提取跟踪目标的运动特性；然后，对运动目标分别进行基于能量、基于色散和基于拉格朗日粒子动力学的异常行为模型学习；最后，依据学习结果进行运动目标的全局异常行为检测，确定异常区域并进行有效的标记。本发明基于目标运动特性的全局异常行为检测方法能有效提高全局异常行为检测的准确性和检测的效率。相较于已有的发明，本发明的优点在于依据异常行为的固有特点，依次使用基于能量的模型、基于色散的模型、基于拉格朗日粒子动力学的模型进行异常行为检测，从而进一步提高了异常行为检测的精度。

附图说明

图1为本发明基于目标运动特性的全局异常行为检测方法的流程示意图。

图2(a)为本发明在大厅场景下的正常行为的示意图，图2(b)为本发明在大厅场景下异常行为的示意图。

图3(a)为本发明在走廊场景下的正常行为的无标注的示意图，图3(b)和(c)为本发明在异常行为标注的示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明提出一种基于目标运动特性的全局异常行为检测方法，该方法具体包括以下步骤：

步骤a、提取视频中运动目标的运动特性；

步骤b、根据步骤a所提取运动特性对运动目标分别进行基于能量、基于色散和基于拉格朗日粒子动力学的异常行为模型学习和确立；

步骤c、依据确立的基于能量、基于色散和基于拉格朗日粒子动力学的异常行为模型进行运动目标的全局异常行为检测，确定异常区域并进行标记。

具体地，所述步骤a中，所述在异常行为检测过程中，最关键的步骤是从活动视频中提取最重要、最合理的运动信息。本文为提取包含速度和方向的光流信息。优选地运动目标的运动特性包括:时空特征、运动矢量特征、运动矢量方向直方图、运动矢量强度、运动矢量网格尺度。

步骤a1、视频运动目标时空特征的提取过程如下：

(1)空间特征。考虑计算效率和逻辑合理性，本发明使用的空间特征模型定义如下：

s(x,y)＝||f^-1(e^{i·p(f(i(x,y)))})||

其中，s(x,y)表示空间特征，i(x,y)表示视频中给定的视频帧，f和f^-1分别表示傅里叶变换和逆傅里叶变换，p(·)表示相位谱。

(2)时间特征。首先，计算两个连续视频帧间的不同，以获得全局变化；然后，提取不同视频帧间的显著特征，以获得动态变化。计算公式如下：

其中，d(x,y)表示不同的图像帧，i和i-2表示视频帧的时空特征。每隔一帧计算不同视频帧的时间特征，是为避免在视频编码和视频解码过程引入干扰。

步骤a2、所述运动矢量特征的提取过程如下：

运动矢量是由一条具有明确方向的线段表示，这个线段连接初始点p和终点q。当初始点的坐标为运动矢量是通过一系列的两个相邻帧i和i-1的跟踪特征。由初始位置运动强度运动方向和运动速度组成，公式如下：

其中i为帧数，j为块数，k为运动矢量的数量。

运动强度通过以下公式计算：

此外，运动速度通过以下公式计算：

其中m表示第i帧中第j块内运动矢量的数量，ψ表示时空特征的中心在(x,y)。

运动矢量的方向是由相邻帧初始化点的坐标决定。群体运动主要运动方向的计算需要考虑各个运动方向特征点的密集百分比。当该百分比大于设定阈值时，则认为在此方向是混乱的。

为提高计算效率，将图像分割为m×v块。本发明中第i帧图像的粒子能量由该帧图像的前景if与背景的比例ri决定：

其中iw和ih分别是背景图像的宽度和高度。

步骤a3、运动矢量方向直方图的提取过程如下：

运动矢量方向直方图：本发明将方向2π划分为方向直方图的36个容器，且生产的直方图用于表示目标运动的分布和方向。如将2π划分为8个方向直方图，则每部分方向角度介于[α,α+45]，其中α∈{0,45,90,135,180,225,270,315}，可由下式表示：

其中，h是方向直方图容器的数量，本发明取为36，n是量化等级的数量。

由于运动矢量的方向体现为每个方向特征点的密度百分比，因此，可通过调整方向窗口wi来区分主要和次要人群运动方向。通过基于显性方向窗口分析每帧方向直方图，则运动矢量的相反方向可通过方向概率分布进行检测。对每个方向窗口wi的尺寸可通过下式所示的阈值进行判断：

其中，表示矢量的总数。

通过寻找直方图的主要方向窗口wi，x轴截距通过与图形相交获得，通过以下公式计算：

当矢量数量超过阈值时，容器数量为b的直方图x表示为：

x∈{x1,x2,...,xa,...,xn},0≤a＜n(b),a∈n

因此，主要定向窗口wi的计算如下：

步骤a4、运动矢量强度的提取过程如下：

通常情况下，静态特征的运动小于最小强度。通过对比，噪声特征的强度远远超过一般阈值。实验中设置运动强度从最小的每帧ε(＝1.0e^-6)像素到最大的每帧像素，该最大值和最小值通过实验获得。如目标运动速度更快，则运动矢量的更多特征将会丢失。因此，理想情况下，一个目标的运动矢量表示为4×4×3。另外，当网格点为3×3时，该目标尺度为9×9像素，且以每秒45像素移动。每个方向的运动矢量数量可通过以下公式计算得到：

其中，表示t时刻运动矢量总数。

每帧运动矢量方向概率分布可通过方向直方图进行估计：

其中，表示t时刻运动矢量总数。

运动矢量总数会随着相反运动目标增加而减少，这意味着运动分布须考虑运动强度和运动方向间的相关性进行计算，因此，本发明采用下式计算运动向量的强度和速度：

步骤a5、运动矢量网格尺度的提取过程如下：

运动方向直方图z的标准化形式为：

如运动矢量方向直方图中所述，网格尺寸最小时，每个主要定向窗口wi取最大。

如果网格尺寸最大时，在拥挤区域的运动矢量数量将会减少；另一方面，在稀疏区域的运动矢量数量并不会变化。如视频序列运动特征数量保持不变且相邻帧的特征数量相对稳定，则可利用表示人群区域的掩码对这些特征进行优化。如果网格化尺寸最小时，运动强度的方差也为最小。

以及，所述步骤b根据步骤a所提取运动特性对运动目标分别进行基于能量、基于色散和基于拉格朗日粒子动力学的异常行为模型学习和确立。具体如下：

步骤b1、基于能量的异常行为模型学习和确立。

固体中两个粒子的势能，可用下式所示的联系程度表示：

其中u(r)表示两个粒子之间的势能，r表示它们的欧氏距离，a,b,m,n(通常m>n)表示常量。公式中的第一项表示互斥的势能场，第二项表示吸引的势能场。当r很小时，两个粒子处于互斥状态；当r较大时，两个粒子处于吸引状态。

利用结合力计算两粒子间的相互作用力。若两粒子间相距较远，则粒子间的结合力也会较弱。这里，结合力表示为u(r)的负导数：

其中参数a,b,m,n分别设置为1，1，3和2。当r为个像素时，函数取最小值。随着的增加，f(r)的绝对值不断减小。

由于实际中两运动目标间距离远大于从而导致f(r)的变化趋势不能满足需求，因此，使用f(r)的导数取代原先函数，并进一步标准化：

其中w(r)表示相距r的两粒子的连接权重。

拥挤场景下的异常行为识别，目前研究工作主要集中于利用人群运动特征，这些特征包括运动矢量强度和运动矢量方向。利用下式，对粒子能量对应于运动矢量强度的每个方向进行修正：

其中ri为前景区域和背景区域的速率，i为视频图像帧的数量，j为运动块的数量，k是运动矢量的数量。

运动矢量强度的每个方向的阈值取决于的最大值：

步骤b2、基于色散的异常行为模型学习和确立。

运动矢量强度每个分方向的阈值取决于的最大值：

运动矢量的概率分布可表示为每个运动矢量在图像中出现的概率。一幅几乎由全部单一强度组成的图像，其包含的信息较少，即其熵值较低，此时运动矢量的概率分布对应于低熵值的单一峰值的概率分布的色散；反之，色散分布产生一个较高的熵值。熵的定义如下：

其中，x是可能值{x1,...,xn}的离散随机变量，n'是一个概率分布。同理，联合熵的定义如下：

其中，y是可能值{y1,...,yn}的离散随机变量。

交互信息可度量两随机变量间的依赖关系，交互信息方法用于度量两方向直方图间的相似性，这两个方向直方图来自于三个相邻图像帧。交互信息是基于熵的定义：

i(x,y)＝h(x)+h(y)-h(x,y)

其中h(x)和h(y)分别是x和y方向的香农熵。

上式包含了h(x,y)项，这意味着极大值交互信息与联合熵的极小值相关联。高的交互信息表示不确定性大量减少；低的交互信息表示一个较小的减少；两个随机变量的零交互信息意味着是相互独立的变量。修正后的粒子能量与方向直方图的交互信息有助于异常行为的检测。

本发明中，通过运动矢量建立方向直方图，用于表示跟踪目标的运动方向分布和运动方向趋势。另外，可通过两个连续相似的矢量场建立联合方向直方图。这两个矢量场由三个相邻帧推导而来，其中每帧的方向概率分布由方向直方图矢量总和熵的分割获得。所有视频帧的熵通过归一化的交互信息获得。

归一化交互信息表示归一化的联合熵的交互信息，其定义如下：

其中nmi具有固定的下界0，固定的上界1。当两聚类类别相同时，值为1；当两聚类类别相互独立时，值为0。

因此，本发明所提方法不仅可提取用于计算方向概率分布的两组特征矢量，且可计算基于这两个概率分布的熵和联合熵的交互信息。

步骤b3、基于拉格朗日粒子动力学的异常行为模型学习和确立。

由于存在各种各样的系统测量偏差，如熵和标准偏差，因此本发明采用归一化交互信息和标准方差进行检测运动的混乱程度，这是因为相比较于其它方法，归一化交互信息和标准方差能得到更好的整体性能。

在人群密集拥挤的环境下，可根据人群的时空特征观察他们的运动情况，实现异常情况检测。如使用拉格朗日粒子动力学的动力系统概念进行目标跟踪，该观点来自于流体动力学的计算方法。

人群动力学主要用于检测一个视频序列是否存在运动状态的突然变化，这是由于忽略运动矢量的方向而只考虑运动矢量的强度时，基于能量方差的异常行为检测的效果并未十分理想。因此，本发明提出归一化的方向直方图交互信息。归一化的方向直方图交互信息的计算公式如下：

其中γ∈[0,1]为融合参数，σ表示标准偏差。

对于拥挤场景下的异常行为检测而言，动态异常检测是非常重要的，这是因为动态异常行为常常伴有明显的变化，如人群的聚集、分散和混乱等情况。实验结果显示，本发明所提方法能有效识别异常行为。

最后，所述步骤c依据学习结果进行运动目标的全局异常行为检测，确定异常区域并进行有效的标记。

步骤c1、预处理，所述预处理包括滤波和平滑处理。

大量目标聚集时将出现大量遮挡，这将增大异常行为检测难度。因此，本发明采用3×3的中值滤波器对运动特征进行处理，然后使用3×3的均值滤波器对运动区域进行平滑。

运动平滑器用于对突然运动的目标进行平滑。为实现这一目标，需作出关于运动本质的假设。具体而言，假设正常活动在图像帧与帧间的缓慢变化是平滑的，且运动噪声随运动速度的变化而变化。因此，本发明通过运动平均滤波器进行运动平滑。

为计算连续帧间的光流特性，可利用特征跟踪算法快速得到可靠的光流信息。本发明将结合图像内容变化特性与多网格策略计算光流信息。

步骤c2、异常行为检测。

分三步进行检测：以大厅场景视频图像为例，利用上述步骤提取运动目标特征和建立模型，可获得在大厅场景下视频图像中运动目标为正常行为如图2(a)所示，及在大厅场景下视频图像中运动目标为异常行为如图2(b)所示。

然后，在上述步骤提取运动目标特征和建立模型后，依据确立的基于能量、基于色散和基于拉格朗日粒子动力学的异常行为模型进行运动目标的全局异常行为检测。当建立上述模型后，以走廊下场景为例进行一场行为检测，具体包括：首先，利用基于能量的异常行为模型根据提取的运动矢量强度特性进行异常行为检测；若不存在异常行为，则利用基于色散的异常行为模型根据提取的运动矢量方向直方图的色散特征进行异常行为检测；若不存在异常行为，则基于拉格朗日粒子动力学的异常行为模型根据提取的时空特征间的拉格朗日粒子动力学进行异常行为检测。当不存在异常区域时，在走廊场景下的视频图像显示为正常行为且无需标注，如图3(a)所示；当存在异常区域时，根据异常行为的存在确定异常行为区域，并用方块进行标注,如图3(b)及图3(c)所示。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。