一种基于局部时空连续性聚合描述的视频纹理描述方法与流程

本发明涉及计算机视觉领域，特别涉及一种视频纹理描述方法。

背景技术：

视频纹理描述算子的设计一直是计算机视觉、视频分析与处理等领域的研究热点和难点问题，对于解决视频人脸识别、视频人体行为识别、智能视频监控等问题具有重要意义和研究价值。虽然目前出现了一些有效的视频纹理描述方法，但仍然存在自动对齐、对各种环境变化鲁棒性较差等问题。围绕如何解决光照变化、复杂环境背景对视频描述鲁棒性的影响，众多学者也从多方面展开了相关的研究工作。总之，高效且鲁棒的视频纹理描述算子对于解决与视频相关的研究与应用具有重要作用。因此，需要一种行之有效的方法来解决上述问题。

技术实现要素：

本发明所要解决的技术问题是为如何有效描述视频纹理问题，提出一种基于局部时空连续性聚合描述的视频纹理描述方法。所述方法对于解决视频人脸识别、视频人体动作视频以及视频处理与分析等方面具有重要价值。

为了解决上述技术问题，本发明所采用的技术方案是：

一种基于局部时空连续性聚合描述的视频纹理描述方法，包括如下步骤：

步骤a，对输入视频中的目标进行检测并跟踪，获取含有目标的连续视频序列并进行归一化处理；

步骤b，对归一化后的帧图像集合划分分块，为获取视频的局部时空连续性信息，可对每个分块提取lbp-top视频纹理特征，以获得每个分块级的特征直方图信息；

步骤c，在所有分块级的lbp-top特征构成的特征分布空间中进行k-mean聚类，并聚合属于同一聚类的特征与聚类中的残差，得到描述整个视频序列的局部时空连续性聚合描述矩阵，从而获得视频的更为紧凑的描述形式；

步骤d，将上述聚合描述矩阵会以向量的形式表示，同时基于fisher准则对向量进行权重计算以提高视频纹理的表示能力，并获得最终的视频纹理描述向量。

在步骤b中，所述lbp-top特征提取首先对视频序列进行灰度化处理得到视频帧的灰度图像，然后在视频序列的三个正交平面上分别提取lbp特征，最后将这三个lbp特征直方图进行级联操作已获得视频序列的纹理特征。

在步骤d中，所述基于fisher准则对向量进行权重计算以提高视频纹理的表示能力，对于含有多个类别的视频分类问题，隶属于同一类别的不同视频序列之间的相似度分布构成了类内相似度空间，隶属于不同类别的视频序列之间的相似度分布形成了类间相似度空间，这里对视频局部聚合描述向量的权重学习利用了fisher准则，即通过使类内散度尽可能小而类间散度尽可能大的方式来获得每个分量的权值。

本发明的有益效果：本发明提出了一种基于局部时空连续性聚合描述的视频纹理描述方法，该算法用图像集合表示视频，对图像集合划分分块，通过lbp-top算子提取视频的局部时空纹理特征，利用k-means算法获取该视频描述集合的聚类中心，基于这些聚类中心对视频描述集合进行聚合得到一个单独的向量，以得到更为细致的刻画视频的局部信息。特征向量之间的相似性是通过欧式距离来定义，并对不同分量赋予相应权重。最后利用最近邻方法获得最佳视频分类结果。通过在honda/ucsd数据库上与当前几种主流视频描述算子进行的对比实验，验证了本文算法的有效性，所提算法识别精度较高，误差较低，并且具有较强的鲁棒性。

附图说明

图1是本发明基于局部时空连续性聚合描述的视频纹理描述方法的流程图。

具体实施方式

下面结合附图，对本发明提出的一种基于局部时空连续性聚合描述的视频纹理描述方法进行详细说明：

如图1所示，本发明的视频纹理描述方法，其步骤如下：

步骤a，对输入视频中的目标进行检测并跟踪，获取含有目标的连续视频序列并进行归一化处理。

步骤b，对归一化后的帧图像集合划分分块，为获取视频的局部时空连续性信息，可对每个分块提取lbp-top视频纹理特征，以获得每个分块级的特征直方图信息。

所述lbp-top特征提取首先对视频序列进行灰度化处理得到视频帧的灰度图像，然后在视频序列的三个正交平面上分别提取lbp特征，通过对每段视频进行划分分块操作就可以获得大量的局部lbp-top描述符，可以通过将这些分块级的lbp-top进行级联以获得视频的全局纹理特征，而本文为了更为细致的刻画视频的局部信息，同时保证特征没有损失，引入了vlad的思想，即设法将一个视频序列的局部描述符聚合到一个单独的向量中去。该描述是一种对视频更加紧凑的表达形式，可以反映视频特征某些方面的分布特性。

步骤c，在所有分块级的lbp-top特征构成的特征分布空间中进行k-mean聚类，并聚合属于同一聚类的特征与聚类中的残差，得到描述整个视频序列的局部时空连续性聚合描述矩阵，从而获得视频的更为紧凑的描述形式。

对视频库中的每个视频序列通过上述视频纹理特征提取可以获得大量的局部lbp-top描述符{x1,…,xi,…,xn}，其中n代表描述符数量。对这些局部描述符进行聚合的具体步骤如下：

1、聚类。对上述训练集中的n个d维的局部lbp-top描述符i＝1,2,…,n，利用k-means聚类算法聚类成k类，设c＝{c1,…,ck}为通过聚类得到的聚类中心向量集合，nn(xi)为每个局部lbp-top描述符xi所属聚类中心编号。

2、聚合。对其中一个视频序列来说，其局部lbp-top描述符集合为{x1,…,xi,…,xn}，对每一个聚类中心cj，计算所有xi-cj的差，其中xi满足nn(xi)＝cj。即计算每个局部lbp-top描述符xi与所属聚类中心向量cj的残差值，统计属于相同聚类的残差向量求和，聚类中心个数为k，这样，最终可得到k个d维的子向量，这种方式能够描述所有的局部特征在集合c上的分布。如式(2)所示，v^j为d维向量，j＝{1,…,k}为聚类中心下标。

将k个子向量拉成一个d＝k*d的一维向量。如下式所示：

v＝[v¹,v²,…,v^k]＝[v1,v2,v3,…,vd](3)

3、幂律归一化。对向量v的每个分量执行vj:＝|vj|^α×sign(vj)，j＝1,2,…,d，其中参数0≤a＜1，这里取α＝0.5，此时，对于上述训练集的局部lbp-top特征空间分布来说，当出现某些lbp-top特征出现的次数过多的情况时，聚类中心通常会落在其附近，这样对该聚类中心计算得到的残差值会比较小，而幂律归一化的目的就是为了减少聚类过于密集所带来的影响。

4、l2范数归一化。为保证对视频局部时空聚合描述特征的比较可以在同一个尺度上进行，可以对整个子向量执行操作，目的主要是为了使得聚合描述向量的范数为1。同时，归一化操作还可以减少由于光照变化等因素带来的特征差异，进一步提升算法的鲁棒性。

步骤d，将上述聚合描述矩阵会以向量的形式表示，同时基于fisher准则对向量进行权重计算以提高视频纹理的表示能力，并获得最终的视频纹理描述向量。

这里对视频局部聚合描述向量进行加权的基本思想，即通过使类内散度尽可能小而类间散度尽可能大的方式来获得每个分量的权值。对于含有c个类别的视频分类问题，隶属于同一类别的不同视频序列之间的相似度分布构成了类内相似度空间，隶属于不同类别的视频序列之间的相似度分布形成了类间相似度空间。则聚合描述向量每个分量的类内相似度均值和方差可通过如下公式计算得到。

类内相似度均值为：

类内相似度方差为：

这里，和分别表示第i个类别中的第j个和第k个视频序列的聚合向量，ni表示属于第i类的视频序列数目，b用来表示当前分量。每个分量的类间相似度均值和方差可通过下式得到。

类间相似度均值为：

类间相似度方差为：

最终聚合描述向量的第b个分量的权重可以通过如下公式计算得到：

对于给定训练集，可通过上述方式获得视频局部聚合描述。

通过上述实施方式，可见本发明具有如下优点：

本发明可以得到高效的视频纹理描述向量，有效解决视频纹理表示及视频相似度度量的问题，并且该方法对复杂背景具有较强的抗干扰能力。

另外，本发明利用lbp-top算子获取空间纹理特征，该算子对光照变化、旋转等具有较好的鲁棒性。另外，本发明采用fisher准则进行特征的权重学习，增强了该方法的可辨别能力。