视频时空运动轨迹提取方法与流程

本发明涉及图像处理方法技术领域，尤其涉及一种视频时空运动轨迹提取方法。

背景技术：

随着视频数据的爆炸式增长，快速、准确地分析和浏览视频已经成为一个迫切需要解决的问题，此问题在视频监控应用中尤为突出。关键帧提取作为一个可行的解决方案越来越得到人们的关注。关键帧的评估主要是看其是否能够全面、准确的再现原视频中的主要事件，在保证提取全面的前提下，尽量降低冗余。目前广泛应用的关键帧提取算法通常是基于视频的底层特征分析的，以单帧或少量帧的内容特征(颜色、形状、运动等特征)变化为准则进行关键帧提取。但是由于缺乏完整的时间维度的特征分析，难以从整体上把握关键帧的提取数量以及确定关键帧的位置，容易受到环境变化、目标姿态变化、目标遮挡等干扰造成运动目标漏检，进而导致真正的关键帧没有被提取到。提取结果与视频的真实语义之间存在差别，不能全面、准确的反应视频的真实语义。也就是说，关键帧提取结果不符合人眼视觉感知。

在不丢失视频语义信息的基础上，快速、准确的提取关键帧具有重要的研究意义和现实需求，视频时空运动轨迹作为关键帧提取准则为此提供了一种有效的解决途径。目标时空运动轨迹能够准确的反应目标的运动状态变化，无论是在民用上还是在军事领域中都有着广泛的应用。采用传统的光流法提取视频时空运动轨迹虽然可行，但是计算量很大，难以满足系统实时性的需求。为此，迫切需要一种高效的视频时空运动轨迹提取方法。

技术实现要素：

本发明所要解决的技术问题是提供一种视频时空运动轨迹提取方法，通过所述方法建立的STS-CS模型，能够充分捕捉到所有的吸引视觉注意的目标运动状态改变，且描述简单、计算量小、准确度高。

为解决上述技术问题，本发明所采取的技术方案是：一种视频时空运动轨迹提取方法，其特征在于包括如下步骤：

1)视频时空切片的生成；

2)视频时空切片上的运动轨迹提取；

3)将若干个视频时空切片的目标运动轨迹信息进行融合；

4)将融合后的视频时空运动轨迹进行分解并建模成STS-CS模型；

5)用STS-CS模型描述视频时空运动轨迹。

优选的，所述步骤1)中视频时空切片的生成方法如下：

对于视频V(x,y,t)，假设其视频长度为L，视频帧大小为H×W，那么视频时空切片S_k可以按照如下公式生成：

上式中：表示t＝i,x＝j,y＝k处的像素点。

优选的，所述步骤2)中时空切片S_k上的运动轨迹T_r可以用公式描述为：

进一步的技术方案在于：视频时空切片的数目由用户需求确定：生成的视频时空切片数目越多，融合所得到的目标时空运动轨迹越完整，所需要的处理时间越长；反之亦然。

优选的，所述步骤4)中公式化描述STS-CS模型，涉及到四个必需的模型参数：起点c_s，终点c_e，直线段斜率和直线段长度c_l，那么，STS-CS模型表示为：

四个模型参数之间的关系表示为：

和

c_l＝|c_e-c_s|

上式中：c_s1，c_s2分别是起点c_s的水平坐标和垂直坐标，相似的，c_e1，c_e2分别是终点c_e的水平坐标和垂直坐标；

如果目标在运动过程中停止了一段时间，那么这段停止时间内的STS-CS模型表示为：

(c_s,c_e,0,c_l)

在所建立的STS-CS模型中，直线段的数目越多，表明运动状态改变的次数越多，反之则运动状态改变的次数越少。

优选的，直线段的起点代表着运动目标进入视频场景或者场景内的静止目标开始运动，对应的，直线段的终点代表着运动目标离开视频场景或者运动目标在视频场景内停止运动；如果某一条直线段的终点同时也是另一条直线段的起点，则说明运动目标在当前时刻改变了运动方向或者运动速度。

优选的，所述的视频时空切片均是指在水平方向提取的视频时空切片。

采用上述技术方案所产生的有益效果在于：通过所述方法建立的STS-CS模型，能够充分捕捉到所有的吸引视觉注意的目标运动状态改变，且描述简单、计算量小、准确度高。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1a-1e是不同运动模式所产生的切片纹理；

图2是同一目标运动模式在不同位置时空切片上的轨迹纹理；

图3是不同目标运动模式在同一时空切片上具有可分的轨迹纹理；

图4是视频时空切片的形象化描述；

图5是四个时空切片的轨迹信息融合；

图6a是向右运动的小球的二维空间表示，图6b是向右运动的小球的三维空间表示，图6c是向右运动的小球的时空切片运动轨迹；

图7是不同速度的匀速运动目标时空切片运动轨迹(单位：pixels per unit time)；

图8a-8d是加速度对切片运动轨迹的影响；

图9a-9c是复杂运动模式的时空切片运动轨迹；

图10是STS-CS模型示例；

图11a是提取的目标时空切片运动轨迹，图11b是去除背景后的运动轨迹，图11c是目标运动状态改变的检测结果；

图12是本发明所述方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

总体的，如图12所示，本发明公开了一种视频时空运动轨迹提取方法，包括如下步骤：

1)视频时空切片的生成；

2)视频时空切片上的运动轨迹提取；

3)将若干个视频时空切片的目标运动轨迹信息进行融合；

4)将融合后的视频时空运动轨迹进行分解并建模成STS-CS模型；

5)用STS-CS模型描述视频时空运动轨迹。

具体的，本发明从以下几个方面进行详细说明：

关键帧定义为具有目标运动状态改变的视频帧。采用传统的光流分析方法计算运动状态改变虽然可以实现，但是计算量很大，难以满足实时性需求。时空运动轨迹可以准确的反应目标运动状态的改变，时空切片是一种高效的视频时空分析工具。基于这种考虑，本发明建立了STS-CS模型来捕捉视频中的目标运动状态改变。

切片纹理：

时空切片的纹理模式反应了视频中目标的运动状态，切片纹理与目标运动模式以及切片提取位置具有对应关系，为STS-CS模型的构建奠定基础。

时空切片的选取角度不同，其所反映的目标运动信息也不同。对角线切片反映的是运动目标在斜向运动时的运动信息，在特定场景下才有所应用。垂直切片反映的是视频垂直区域的像素灰度变化趋势，主要应用于经过该区域的运动目标个数统计(如车辆数目统计)、水平运动的瞬时速度估计以及目标高度测量等，或者用于视频场景中垂直方向的运动目标检测和跟踪。水平时空切片包含有最为丰富的运动目标信息和场景变化信息，更重要的是其纹理能够反映出目标的运动轨迹。因此，本发明中的视频时空切片在视频帧的水平方向选取，无特殊说明时，视频时空切片均是指在水平方向提取的视频时空切片。

具体地，假设一视频序列V(x,y,t)的长度为L、视频帧大小为H×W，直接提取视频帧中间位置的像素行来组成视频时空切片，切片生成过程如下：

对于第i视频帧V_i，以图像左上角为坐标原点O，向右方向为X轴正向，向下方向为Y轴正向建立平面直角坐标系OXY，则图像水平方向的像素行，可以表示为：

按照公式(1)提取视频V(x,y,t)各帧的中间像素行，并依次排列便可以得到视频时空切片

对于视频时空切片处于(x,y)位置处的像素与视频V(x,y,t)中第x帧的(x,H/2)位置处的像素亮度值相等。Y方向上连续的像素点是同一帧的像素行上相邻的像素点，反应的是视频内容的空间相关性，X方向上连续的像素点则是连续视频帧的位置相同的像素点，反应的是视频内容的时间相关性。

运动目标的颜色与背景不同，其运动会导致时空切片中运动路径的灰度变化，进而产生有别于水平直条纹的切片纹理，所产生的纹理模式取决于目标的运动状态。图1给出了几种包含不同运动目标的视频时空切片示例。图1a对应的视频是一个人在平坦的广场上走路，速度变化不大，可以看出：切片纹理背景大都是平行直条纹，行人目标的运动轨迹近似直线，目标轨迹两侧的间歇性突起是目标代表着双臂的摆动。图1b对应的视频是一个人在楼道里沿着远离镜头的方向行走，最后转弯离开镜头，切片纹理逐渐变为垂直方向，运动轨迹宽度逐渐变窄并且下方有突起。图1c对应的视频是小区门口走出的行人突然停止又返回的情景，切片纹理中近似余弦曲线的轨迹代表着行人“走出-转头-返回”的运动状态。图1d对应的视频是商场门前，沿交叉方向相对而行，相遇后又各自沿原方向前进的2个行人，切片纹理表现为两条交叉的运动轨迹。图1e对应的视频是人在走了一段时间后突然停止不动，一段时间后又开始继续沿原方向行走，切片纹理先是倾斜的直线段，然后变为水平方向的直线段，后又变为倾斜的直线段。

由图1a-1e可以看出：不同的目标运动模式会在视频时空切片上留下不同的运动轨迹，当目标的运动状态(运动速度和运动方向)发生变化时，目标轨迹会呈现出弯曲的纹理，曲率的大小取决于运动速度变化率或运动方向变化率。变向运动由于运动方向的快速变化，会形成曲率较大的纹理，并且变向前后的轨迹斜率方向相反。变速运动由于目标运动速度的变化相对平缓，轨迹斜率变化相对平滑，因此会形成渐变的曲线纹理。停顿运动目标在停止运动期间会形成一条恒定的水平条纹，而在停顿前后则会根据不同的运动模式产生相应的轨迹纹理。

在时空切片提取过程中，只有当行像素的位置处于运动目标的高度范围以内时，才能捕捉到目标的时空切片运动轨迹。但是，运动目标出现的位置及其高度具有一定的随机性。为了更充分的捕捉到目标的时空切片运动轨迹，可以在多个位置进行时空切片提取。同一目标运动模式在不同位置的时空切片上具有相同的轨迹纹理，如图2所示。不同目标运动模式在同一位置的时空切片上具有可分的轨迹纹理，如图3所示。

假设视频时空切片中第k列第i个目标为则第k列第i个目标当前的运动状态可以表示为：

上式中：表示运动目标的中心位置，表示运动目标的当前速度，表示运动目标的当前加速度。分别定义如下：

和

上式中：为第k-2列对应的视频帧，为第k-1列对应的视频帧。要得到目标当前运动状态的参数需要确定连续三帧之间的对应关系。

使用平滑运动模型表示连续帧之间的映射代价，分别最小化每一视频帧的总的映射代价来得到运动目标在各帧之间的对应关系。映射代价定义为：

上式中：表示第k-1视频帧的映射关系。

连续视频帧之间的映射关系建立之后，即可得到运动目标的速度、加速度等目标运动状态特征。

可行性分析：

视频的时间频率和空间频率密不可分，而时空切片正是由两者组成的二维数据图像，因此采用时空切片分析目标的运动状态是可行的。多层时空切片的目标运动信息融合可以弥补时空切片的空间信息匮乏，从而实现高效、充分的捕捉视频中的目标运动状态。

视觉注意力是指人们将精力集中于某一区域的能力。已有研究表明视觉注意力A与视频的功率谱P之间的关系为：

上式中：N_o是噪声功率谱。

假设视频序列中位于像素点(x,y)处的运动目标从第t视频帧移动到第t+1视频帧，参数为φ＝[a₁,a₂,a₃,a₄,d_x,d_y]^T的二维的运动模型定义为：

上式中：u_x(x,y,φ)，u_y(x,y,φ)分别表示u(x,y,φ)的水平分量和垂直分量。

那么，目标运动可以描述为：

I(x+u_x(x,y,φ),y+u_y(x,y,φ),t+1)＝I(x,y,t) (9)

上式中：I(x,y,t)是第t帧的像素点(x,y)处的像素亮度值。

对公式(9)进行一次泰勒系数展开得到得到运动的频率描述形式：

I_t(x,y)+[I_x(x,y),I_y(x,y)]·u(x,y,φ)＝0 (10)

上式中：[I_x(x,y),I_y(x,y)]和I_t(x,y)分别表示像素点(x,y)处的视频空间频率和视频时间频率。

公式(10)也可以表示为：

上式中：I_x(x,y)和I_y(x,y)分别是视频空间频率I_s(x,y)的水平分量和垂直分量。

视频功率谱P可以表示为:

上式中：P_s是静态背景的功率谱，P_d是运动目标的功率谱。

将公式(11)代入公式(7)，可以得到：

公式(13)表明视觉注意力A主要由功率谱P_d和P_s决定。通常，视频内容的时空变化是由目标运动造成的。因此，功率谱P_d(I_t/I_s)在吸引人眼视觉注意A方面占据主导地位，而(I_t/I_s)正是视频的最本质特征。目标运动状态的改变会引起视频时空频率的更为明显的变化。因此，目标运动状态的改变更为吸引人的视觉注意。

所幸的是，视频时空切片包含了视频时、空频率的相关信息(I_t/I_s)。因此，基于视频时空切片分析目标的运动状态、捕捉目标运动状态的改变是可行的。

视频时空切片是由行像素组成的一幅二维数据图像，行像素从视频的每一帧的相同位置连续采样得到。视频时空切片将视频从三维XYT视频空间转换到了二维XT数据空间，并且保留了丰富的目标运动信息。对于视频V(x,y,t)，假设其视频长度为L，视频帧大小为H×W，那么视频时空切片S_k可以描述为：

上式中：表示t＝i,x＝j,y＝k处的像素点。

图4给出了视频时空切片的形象化描述。取样于相同位置的每一行的像素表征着视频的时间信息，而取样于相邻位置的每一列的像素表征着视频的空间信息。虽然时空切片仅仅是完整视频的很小的一部分，它却包含了视频的时、空频率关联信息(I_t/I_s)，这也是人眼视觉注意力A的表征公式的最重要部分。

通常，一个单独的时空切片所包含的目标运动轨迹信息并不完整。同一运动目标模式在不同位置的视频时空切片的运动轨迹具有时空一致性。因此，可以提取多个视频时空切片，对其所包含的目标运动轨迹信息进行叠加融合，以求得到更为完整的目标运动轨迹。图5给出了四个时空切片的目标运动轨迹信息融合的示例。

一般情况下，提取的时空切片数目越多，所得到的目标运动轨迹越完整，数据计算量也会随之增加。

由上述分析可知：视频时空切片包含了视频的时、空频率相关信息，可以用于分析目标的运动状态改变。而视频时空切片的空间信息匮乏可以通过多个时空切片的信息融合进行弥补。

构建STS-CS模型：

每一个运动目标都会在时空切片上留下运动轨迹，通过分析运动轨迹可以得到目标的运动状态变化。根据公式(14)，静止的背景在时空切片上表现为水平的直条纹，而运动目标会产生偏离直条纹的运动轨迹。那么，时空切片S_k上的运动轨迹T_r可以用公式描述为：

图6a-6c给出了时空切片运动轨迹的提取过程。假设一个小球以恒定的速度向右运动，如图6a所示，其三维空间(空间维x,y和时间维t)的运动轨迹如图6b所示，其中小球的空间运动轨迹呈现长条状。如果在空间维y的中间部位提取时空切片，可以得到图6c所示的时空切片运动轨迹。

从图6c中可以看出，运动的小球在时空切片上的轨迹是一条倾斜的直线段。直线段的斜率取决于目标的运动速度

上式中：x_t-1和x_t分别是运动目标在视频帧t-1和t中的位置的水平坐标。

时空切片上的目标运动速度是目标水平运动速度和视频帧速率的合成，可以由以下公式计算得到：

上式中：是一常量，通常取25～30。

从公式(17)可以看出，时空切片上的目标速度主要取决于目标的水平速度运动目标以恒定的速度运动将产生直线段的时空切片运动轨迹。相似的，以不同的恒定速度运动的目标也都将产生直线段的时空切片运动轨迹，只是直线段的斜率彼此不同。图7给出了不同速度的匀速运动目标产生的直线段时空切片运动轨迹。

从图7中可以看出，不同速度的运动目标对应着不同的直线段时空切片运动轨迹，并且它们之间是一一对应的关系。因此，直线段时空切片运动轨迹可以用来表征匀速直线运动。

匀速运动目标在时空切片上的运动轨迹呈现直线段，变速直线运动目标在时空切片上的运动轨迹呈现弯曲，在短时间内也可以近似认为是直线，如图8a-8d所示。图8a是匀加速直线运动，时空切片运动轨迹呈现上凸，图8b是匀减速直线运动，时空切片运动轨迹呈现下凸，曲率的大小取决于目标的运动加速度。图8d给出了匀加速、匀减速的运动轨迹与图8c中的匀速运动的轨迹对照，其中：8a中v＝1,a＝0.01，8b中v＝1,a＝-0.01，8c中v＝1,a＝0，8d用于对照。

变向运动目标在时空切片上的运动轨迹呈现明显的弯曲，可以近似认为是两条直线段相连，如图9a-9c所示，分别为三个复杂运动模式，可以看做是多段简单的直线段运动轨迹的组合。

图9a:同方向的“走-停-走”，图9b:等速度“去-回”，图9c:反方向的“走-停-走”

因此，复杂运动模式可以分解为简单运动模式的组合，时空切片上的直线段运动轨迹代表了目标的稳定运动状态，两条直线段的连接处代表了运动状态的改变。

自然条件下，目标将保持匀速直线运动状态或者静止状态，直到有外力迫使其改变原来的状态。运动状态的改变将导致直线段时空切片运动轨迹的方向发生变化。从另一方面看，直线段时空切片运动轨迹的方向改变也代表了目标运动状态的改变。

直线段的几何特征简单，很容易被检测到。因此，直线段时空切片运动轨迹建模为STS-CS模型。图10给出了一个STS-CS模型示例，直线段代表着目标处于稳定的运动状态，而直线段的端点(*)代表着目标运动状态的改变。具体地，直线段的起点代表着运动目标进入视频场景或者场景内的静止目标开始运动，对应的，直线段的终点代表着运动目标离开视频场景或者运动目标在视频场景内停止运动。如果某一条直线段的终点同时也是另一条直线段的起点，则说明运动目标在当前时刻改变了运动方向或者运动速度。所有的这些吸引视觉注意的目标运动状态改变都能够被所建立的STS-CS模型充分捕捉到。

公式化描述STS-CS模型，涉及到四个必需的模型参数：起点c_s，终点c_e，直线段斜率和直线段长度c_l。那么，STS-CS模型可以表示为：

四个模型参数之间的关系可以表示为：

和

c_l＝|c_e-c_s| (20)

上式中：c_s1，c_s2分别是起点c_s的水平坐标和垂直坐标，相似的，c_e1，c_e2分别是终点c_e的水平坐标和垂直坐标。

如果目标在运动过程中停止了一段时间，那么这段停止时间内的STS-CS模型可以表示为：

(c_s,c_e,0,c_l) (21)

不同的目标运动状态会产生各种类型的目标运动轨迹，但是这些运动状态的改变却很容易的由所建立的STS-CS模型检测出来。在所建立的STS-CS模型中，直线段的数目越多，表明运动状态改变的次数越多，反之则运动状态改变的次数越少。

有效性验证：

为了评估STS-CS模型的性能，对几种典型的运动模式进行了实验，图11a-11c给出了算法实现的主要步骤和性能测试结果。图11a是提取的目标时空切片运动轨迹，图11b是去除背景后的前景轨迹，图11c是目标运动状态改变的检测结果。比较图11a和图11c可以看出运动状态改变已被正确检出。

为了评估所建立的STS-CS模型捕捉目标运动状态改变的准确程度，分析了直线段和它所对应的运动轨迹的差异率。对于第i个STS-CS模型直线段长度和它所对应的运动轨迹长度分别定义为：

和

那么，直线段和它所对应的运动轨迹的差异率e由以下公式计算得到：

在大约5个小时时长的监控视频中，对900个STS-CS模型的直线段进行统计所得到的差异率e约是0.04。这说明所建立的STS-CS模型与运动目标在时空切片上的运动轨迹相当匹配，充分说明了所建立的STS-CS模型的有效性。

通过以上部分的论证可以得出这样一个结论，即目标运动状态的改变可以由所建立的STS-CS模型充分捕捉到。且通过所述方法建立的STS-CS模型，能够充分捕捉到所有的吸引视觉注意的目标运动状态改变，且描述简单、计算量小、准确度高。