专利名称：基于相对梯度的isa模型的行为识别方法
技术领域：
本发明涉及基于相对梯度的ISA模型的行为识别方法。
背景技术：
行为识别是在计算机视觉和模式识别领域备受关注并具挑战性的一个研究方向。行为识别任务不只是实现对人或者虚拟现实中机器人行为的识别，还有比如说对车辆、坦克等的加速、停止、左转、右转等行为的识别等等，在安全监控，战场演习、人机交互，基于行为的视频检索等方面有广泛的应用背景。行为识别是在成功实现视频图像序列中的跟踪，完成特征提取的基础上进行的，属于更高一层的视觉任务。独立子空间分析(independent subspace analysis, ISA)是一种可以用于特征提取的无监督学习模型。独立子空间分析模型是独立分量分析(independent component analysis, ICA)模型的一个扩展模型。它是一种能够有效地模拟人类视觉系统中Vl区简单细胞与复杂细胞感受野的响应模式的层次化结构模型，并利用ISA对大量的视频数据样本进行无监督学习，获取具有统计独立性与稀疏特性的视频基元，被认为是一种有效的视频图像统计分析方法，对于提取视频中的局部特征也是一种很有效的方法。公开号为CN 101334845 A的专利公开了一种基于轨迹序列分析和规则归纳的视频行为识别方法，该专利主要是解决了固定摄像机场景中利用计算机自动学习频繁发生的运动事件规则，并对感兴趣的行为进行自动识别的问题，主要用于智能监控。但是如果要检测的视频中不是固定摄像机拍摄的，场景信息比较多，对场景进行分割，需要花费一定的时间；或者如果要检测的视频中行为模式比较复杂，采用隐马尔科夫模型(HMM)进行建模，高效性可能就会降低。公开号为CN 102306301 A的专利申请文件虽然解决了现有的仿生模型目标识别速度低的问题。但它仍然存在许多不足的地方，比如只考虑了视觉皮层Vi中复杂细胞的基本属性，而其他特性如环绕抑制等没有考虑。对基于视觉的行为识别而言，从视频图像序列中抽取出能够合理表示视频中实体的行为数据至关重要。目前人的行为表示方法根据特征提取方法不同分为基于表观的表示方法和基于人体模型的表示方法。基于表观的表示方法不是对人体物理结构直接建模，而是直接计算感兴趣区域的简单2D表观表示，如从视频图像序列中提取人的运动轨迹信息、人的轮廓特征或者直接利用图像信息进行分析。如前述现有技术一(公开号CN 101334845A)、技术二(公开号CN 102306301 A)就是基于表观的表不方法,这类表不方法容易计算，易于实时。人体模型主要有三种线图模型、2D模型和3D模型，其中3D模型由于复杂度较高，很少用于人的行为识别中。虽然基于人体模型的表示方法可以提高行为识别的准确度，但是它的计算量大、复杂度很高和算法鲁棒性差
发明内容
鉴于上述不足之处，本发明的目的在于提供一种基于相对梯度的ISA模型的行为识别方法，该方法采用改进的独立子空间分析算法来提取视频的局部特征；接着对所提取的局部特征进行聚类，得到聚类中心(即视觉关键词)，对每个视频，建立视觉关键词直方图，则每个视频表示为基于视觉关键词直方图的特征向量；最后就是采用多类别支持向量机SVM对其进行分类，完成对行为的识别。本发明可以用于个体行为识别，也可以用于群体行为识别。本发明为一种基于相对梯度的算法，不需要求逆过程，收敛速度更快。为了达到上述目的，本发明采用了以下技术方案
一种基于相对梯度的ISA模型的行为识别方法，其特征在于该行为识别方法包括以下步骤
步骤1:样本数据的预处理；
步骤2 :特征提取；
步骤3 :特征聚类；
步骤4:分类/识别。具体为
步骤1:样本数据的预处理。步骤1.1首先，采集大量具有视觉行为模式的视频集合，假设选取N个视频样本进行采样。步骤1. 2然后,把每个视频样本随机地分割为num_patches个视频块,每个视频块的大小为sp_siz eXsp_sizeXtp_size,将分割的所有视频块组成一个样本矩阵X,表示成=X=U1, X2,…，Xwj^heJ，其中N是视频样本的个数，num_patches表示对每个视频分割的视频块的数量，每一列向量表示一个视频块数据，维数为sp_size2xtp_size。步骤1. 3最后，对步骤1. 2得到的样本矩阵X进行特征中心化、数据白化的处理。步骤1. 3.1 特征中心化X=X-ones (size (X，I)，I) Xmean (X)；
其中，size(X, I)表示矩阵X行数的大小dim, ones (size (X, 1)，1)表示构建一个dim维且元素都为I的列向量，mean(X)表示一个维数等于和矩阵X列数的行向量，每一元素表示矩阵X对应列向量的均值；
步骤1. 3. 2 数据白化数据白化是采用主成分分析PCA (principal componentanalysis PCA)来完成的；
主成分分析的具体分析步骤如下
(1)计算样本矩阵X的协方差矩阵C ；
(2)计算协方差矩阵C的特征向量的特征值，并把特征值按从大到小排序；
(3)提取最大的m个特征值，其对应的特征向量构成一个矩阵H ；
(4)用特征矩阵Ht与样本矩阵X相乘，即可得预处理后的样本矩阵Z。步骤2:特征提取；
步骤2.1构造ISA网络，把经过预处理之后的样本矩阵Z，作为ISA网络的输入；
ISA网络是一种具有两层网络的生成模型，可以有效地模拟人类视觉系统Vl区简单细胞与复杂细胞感受野的响应模式。步骤2.1.1 ISA网络的基元响应
对应于ISA网络的第一层，输入样本矩阵Z与第一层响应S之间满足Z=BS(I)
式中，B=Od1, b2,…，bm}表示视频基元，每一列为一个基元向量，视频基元个数m是由PCA主成分个数直接决定，m的大小可根据需要进行设置，它是一个标准正交矩阵，S= (S1, S2,…sm}τ表示特征系数；
自然场景视频中含有各种类别的视频基元(video primitives),它们构成了整个高维视频块空间，具有不同的结构维度及复杂度，由空间表观与运动共同描述。从数学角度来看，视频块位于高维(如15X15X5维)空间不同的聚类子空间中，这些聚类子空间就称为视频基元(video primitive)。一段视频中不同的视频块可能会映射到不同子空间(视频基
元)Jlo为了便于求第一层的视频基元响应，我们将公式(I)变形为 S=WZ (2)
式中，W=B'即W是视频基元矩阵B的逆，由于W被视作对视皮层简单细胞感受野的模拟，故W被称作基元逆向滤波器，此时S表示感受野W对视频数据样本X产生的响应，在ISA双层网络中，W可以更直观的看作是第一层网络的组合权值，第一层输出响应S可以看作是由样本矩阵Z的各分量通过W加权的线性组合得到；
对应于第一层的基元响应，第二层的输出的激活值为
权利要求
1.一种基于相对梯度的ISA模型的行为识别方法，其特征在于该行为识别方法包括以下步骤 步骤1:样本数据的预处理； 步骤2 :特征提取； 步骤3 :特征聚类； 步骤4:分类/识别。
2.根据权利要求1所述的基于相对梯度的ISA模型的行为识别方法，其特征在于所述样本数据的预处理包括以下步骤 步骤1.1首先，采集大量具有视觉行为模式的视频集合，假设选取N个视频样本进行采样； 步骤1. 2然后,把每个视频样本随机地分割为num_patches个视频块,每个视频块的大小为8口_8126\8口_8126\丨口_8126,将分割的所有视频块组成一个样本矩阵乂,表示成X= {Xi, X2,…，Xj^num—p—teJ，其中N是视频样本的个数，num_patches表示对每个视频分割的视频块的数量，每一列向量表示一个视频块数据，维数为sp_size2Xtp_size ； 步骤1. 3最后，对步骤1. 2得到的样本矩阵X进行特征中心化、数据白化的处理； 步骤1. 3.1 特征中心化X=X-ones (size (X，I), I) Xmean (X)； 其中，size(X, I)表示矩阵X行数的大小dim, ones (size (X, 1)，1)表示构建一个dim维且元素都为I的列向量，mean(X)表示一个维数等于和矩阵X列数的行向量，每一元素表示矩阵X对应列向量的均值； 步骤1. 3. 2数据白化数据白化是采用主成分分析PCA来完成的； 主成分分析的具体分析步骤如下 计算样本矩阵X的协方差矩阵C ； 计算协方差矩阵C的特征向量的特征值，并把特征值按从大到小排序； 提取最大的m个特征值，其对应的特征向量构成一个矩阵H ； 用特征矩阵Ht与样本矩阵X相乘，即可得预处理后的样本矩阵Z。
3.根据权利要求1所述的基于相对梯度的ISA模型的行为识别方法，其特征在于所述特征提取包括以下步骤 步骤2.1构造ISA网络，把经过预处理之后的样本矩阵Z，作为ISA网络的输入； 步骤2.1.1 ISA网络的基元响应 对应于ISA网络的第一层，输入样本矩阵Z与第一层响应S之间满足 Z=BS(I) 式中，B=Od1, b2,…，bm}表示视频基元，每一列为一个基元向量，视频基元个数m是由PCA主成分个数直接决定，m的大小可根据需要进行设置，它是一个标准正交矩阵，S= (S1, S2,…sm}τ表示特征系数； 为了便于求第一层的视频基元响应，我们将公式(I)变形为 S=WZ(2) 式中，W=B'即W是视频基元矩阵B的逆，由于W被视作对视皮层简单细胞感受野的模拟，故W被称作基元逆向滤波器，此时S表示感受野W对视频数据样本X产生的响应，在ISA双层网络中，W可以更直观的看作是第一层网络的组合权值，第一层输出响应S可以看作是由样本矩阵Z的各分量通过W加权的线性组合得到； 对应于第一层的基元响应，第二层输出的激活值为
4.根据权利要求1所述的基于相对梯度的ISA模型的行为识别方法，其特征在于所述特征聚类包括以下步骤 步骤3.1将ISA算法提取的视频基元响应特征进行k-均值聚类，形成k个聚类中心即视觉关键词； k_均值聚类的具体步骤 步骤3.1.1从所有的基元响应特征中随机取k个特征，作为这k个聚类各自的中心；步骤3.1. 2 分别计算剩下的所有特征到这k个聚类中心的欧式距离，将这些特征分别划归到距离最小的聚类中； 步骤3.1. 3根据得到的聚类结果，重新计算这k个聚类各自的中心； 步骤3.1. 4 将所有的特征按照新的聚类中心重新进行聚类即重复步骤3.1. 2和步骤3.1. 3，直到聚类结果收敛； 步骤3. 2构造基于视觉关键词直方图的特征向量； 计算每个视频中各局部特征即各视频块的基元响应特征与聚类中心的欧式距离，距离最小的聚类中心即为此局部特征对应的视觉关键词，统计每个视频中包含各视觉关键词的数目，形成视觉关键词直方图，可表示为视频基于视觉关键词直方图的特征向量。
5.根据权利要求1所述的基于相对梯度的ISA模型的行为识别方法，其特征在于所述分类/识别包括以下步骤 将步骤3. 2所得的特征向量输入到支持向量机，并利用SVM多类别分类器进行分类，SP对视频中的行为模式进行识别；具体为 步骤4.1归一化处理对视频基于视觉关键词直方图的特征向量进行归一化处理； 步骤4. 2构造训练集 构造训练集
全文摘要
本发明公开了一种基于相对梯度的ISA模型的行为识别方法，该方法采用改进的独立子空间分析算法来提取视频的局部特征；接着对所提取的局部特征进行聚类，得到聚类中心(即视觉关键词)，对每个视频，建立视觉关键词直方图，则每个视频表示为基于视觉关键词直方图的特征向量；最后就是采用多类别支持向量机SVM对其进行分类，完成对行为的识别。本发明可以用于个体行为识别，也可以用于群体行为识别。本发明为一种基于相对梯度的算法，不需要求逆过程，收敛速度更快。
文档编号G06K9/62GK103065158SQ201210578578
公开日2013年4月24日 申请日期2012年12月28日 优先权日2012年12月28日
发明者刘启和, 陈雷霆, 蔡洪斌, 邱航, 肖燕霞, 周川 申请人:电子科技大学