一种基于流形对齐的跨视角行为识别方法

本发明属于智能安防，具体为一种基于流形对齐的跨视角行为识别方法。

背景技术：

1、跨视角行为识别方法是目前比较先进的识别方法之一，存在不足和完善的地方，跨视角行为识别方法的研究方向分为两种，一种是直接提取与视角无关的行为表征，但通常投影特征是行为识别的重要因素之一，所以对视角不敏感的行为表征，其判别能力不容乐观，另一种是应用迁移学习思想将不同视角下的特征数据映射到同一个子空间中，可以有效削弱不同数据域中数据分布的差异，在有限训练样本内完成更大范围样本集的测试；这两种方法均是在原始特征空间中进行映射处理，但通常行为特征是一种高维特征向量，很难设计一种有效的线性分类器；

2、目前的跨视角行为识别方法存在以下缺点：

3、(1)跨视角下的行为特征对齐问题；

4、(2)单一视角下的行为特征提取问题。

技术实现思路

1、本发明的目的在于提供一种基于流形对齐的跨视角行为识别方法，以解决上述背景技术中提出的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种基于流形对齐的跨视角行为识别方法，跨视角行为识别方法主要分为三个步骤：单一视角下行为特征提取、跨视角下行为特征对齐和跨视角下行为特征分类；

3、单一视角下行为特征提取可以分为：视频帧级特征提取和视频序列级特征构建两种；

4、首先在单一视角(源视角和目的视角均参与)下提取行为的形状—运动上下文特征，并依次进行特征编码、聚类、降维等方式得到关键姿态的行为表征，并将这些关键姿态级联形成序列级的行为表征；然后，来自不同视角的序列级行为表征通过非线性核化流形对齐进行匹配，并使用两个不同的投影矩阵将其映射到一个公共特征空间以得到与视角无关的跨视角行为表征；最后，利用跨视角行为表征为每一种行为学习一个线性svm分类器，用来测试来自未知视角域的行为类别。

5、优选地，所述视频帧级特征提取大致分为两个步骤：提取视频行为和时空兴趣点，利用检测到的时空兴趣点点集计算形状—运动上下文特征；

6、对点集中每一个兴趣点计算对应的形状直方图，用其来存储该特征点与其他所有时空特征点全部的矢量关系。如附图2所示，直方图每个区间内数字表示落在对应极坐标区间内的时空兴趣点个数。这样一帧姿态的形状—运动上下文特征可以由一个尺寸为5*12*n的三维向量表示，其中n代表每一帧姿态的时空特征点数，由于相邻样本点的时空特征的相似度较高，为降低特征的冗余度，方法中引入局部约束线性编码来“压缩”上述三维向量，以获得每个姿势的稀疏表示。

7、优选地，所述视频序列级特征构建需要根据两帧姿态的形状—运动上下文特征的匹配度进行聚类和联系，进而得到特征向量；

8、聚类中心所对应的图像帧即为关键帧，并将每一帧图像都分配给与它匹配距离最近的那个聚类中心类别；得到一段行为的关键帧后，将关键姿态的时空形状上下文描述子级联起来即可得到一个用于描述整段行为的特征向量。根据上述形状—运动上下文特征的构建过程，不难发现一帧姿态的特征维数较大，那么级联后的特征向量极有可能出现维数爆炸的现象，为此采用主成分分析(pca)来进一步降低维度。最后，基于关键帧的视频序列可以表示为大小从500到600不等的特征向量，具体数值视数据集而定。

9、优选地，所述跨视角下行为特征对齐需要在得到上述单一视角下的行为特征之后，建立源视角和目的视角下行为特征之间的对应关系；

10、这种流形对齐方式有一个潜在假设，即默认两个流形存在一个公共特征空间，这种强制对齐方式极有可能降低迁移效率。为此在实际设计中，需要首先对已标记好的样本k-最近邻聚类，以实现对公共空间中的映射簇进行分类，从而放松强制对齐的约束。然后添加未标记样本来调整聚类中心，直至收敛，并将聚类中心表示的特征向量作为跨视角行为表征。

11、优选地，所述跨视角下行为特征分类中使用从源视角和目的视角中提取的跨视角行为特征训练svm，然后使用从目的视角中未标记样本中提取的跨视角行为特征测试svm分类器的识别性能；

12、考虑到在实际应用中，源视角和目的视角下的样本数量通常出现不平衡的现象，为了避免过拟合，仅将上面提到的k-最近邻分类器作为特征提取器而不是分类器，采用rbf核多类svm分类器来对上一步骤中得到的跨视角行为表征进行分类。

13、优选地，所述行为特征是指物体做出相关动作后，通过识别技术将其识别并记录后，用于表示动作发生的证明。

14、首先在单一视角下提取行为的时空兴趣点，并对该点集计算形状—运动上下文描述子，来构成视频中每一帧的行为表征；然后通过特征降维、特征聚类步骤得到关键姿态的行为表征，并将这些关键帧级的行为表征级联形成视频序列级的行为表征，用于后续跨视角特征学习；

15、优选地，所述时空兴趣点是指视频局部空间和时间域上像素值的梯度具有显著变化的点；

16、属于一种局部不变特征，对于光照变化、仿射变换与基于时空特征的行为识别算法研究和部分遮挡等干扰具有鲁棒性。

17、本发明的有益效果如下：

18、1、本发明通过挖掘源视角和目标视角之间的私有行为特征和共有行为特征来缩小数据域之间的差距，将两个视角下各自提取的行为特征映射到高维的流形空间，并通过流形对齐来实现同种行为在不同视角域下的特征匹配，通过最小化映射函数使不同视角下的同种行为特征共同映射到一个公共特征空间，从而得到跨视角行为表征，有效提高了面向不确定拍摄视角情况下行为表征的鲁棒性和泛化能力；通过设置两种约束来最小化同种行为特征距离、最大化不同种行为特征距离，同时保持同一流形上的局部拓扑结构，需要注意的是，这里只考虑特征之间的距离作为聚类标准，无需考虑是否来自同一流形。引入流形空间的最大好处在于它可以将原始特征空间中的多维特征向量看作流形空间中的一个基础元素(即一个样本点)，不仅能够考虑到距离，更能够考虑到数据本身的拓扑结构，因此更容易挖掘到同源特征之间最本质的关联，使特征迁移效果更加准确。

19、2、本发明通过提出了点集级的形状—运动上下文特征，先后经过编码、降维和聚类步骤得到基于关键姿态的视频帧级特征，再级联得到视频序列级行为表征，来提高行为特征在时空域上的判别能力；该行为表征的判别能力较强，能够同时描述单帧姿态的空间信息和关键帧序列随时间的变化特点，并在此基础上利用聚类算法实现关键帧的提取，大幅度降低了行为序列表征的复杂度。

技术特征：

1.一种基于流形对齐的跨视角行为识别方法，其特征在于：跨视角行为识别方法主要分为三个步骤：单一视角下行为特征提取、跨视角下行为特征对齐和跨视角下行为特征分类；

2.根据权利要求1所述的一种基于流形对齐的跨视角行为识别方法，其特征在于：所述视频帧级特征提取大致分为两个步骤：提取视频行为和时空兴趣点，利用检测到的时空兴趣点点集计算形状—运动上下文特征。

3.根据权利要求1所述的一种基于流形对齐的跨视角行为识别方法，其特征在于：所述视频序列级特征构建需要根据两帧姿态的形状—运动上下文特征的匹配度进行聚类和联系，进而得到特征向量。

4.根据权利要求1所述的一种基于流形对齐的跨视角行为识别方法，其特征在于：所述跨视角下行为特征对齐需要在得到上述单一视角下的行为特征之后，建立源视角和目的视角下行为特征之间的对应关系。

5.根据权利要求1所述的一种基于流形对齐的跨视角行为识别方法，其特征在于：所述跨视角下行为特征分类中使用从源视角和目的视角中提取的跨视角行为特征训练svm，然后使用从目的视角中未标记样本中提取的跨视角行为特征测试svm分类器的识别性能。

6.根据权利要求4所述的一种基于流形对齐的跨视角行为识别方法，其特征在于：所述行为特征是指物体做出相关动作后，通过识别技术将其识别并记录后，用于表示动作发生的证明。

7.根据权利要求2所述的一种基于流形对齐的跨视角行为识别方法，其特征在于：所述时空兴趣点是指视频局部空间和时间域上像素值的梯度具有显著变化的点。

技术总结
本发明属于智能安防技术领域，且公开了一种基于流形对齐的跨视角行为识别方法，跨视角行为识别方法主要分为三个步骤：单一视角下行为特征提取、跨视角下行为特征对齐和跨视角下行为特征分类。通过设置两种约束来最小化同种行为特征距离、最大化不同种行为特征距离，同时保持同一流形上的局部拓扑结构，需要注意的是，这里只考虑特征之间的距离作为聚类标准，无需考虑是否来自同一流形。引入流形空间的最大好处在于它可以将原始特征空间中的多维特征向量看作流形空间中的一个基础元素，不仅能够考虑到距离，更能够考虑到数据本身的拓扑结构，因此更容易挖掘到同源特征之间最本质的关联，使特征迁移效果更加准确。

技术研发人员：李艳荻
受保护的技术使用者：吉林工商学院
技术研发日：
技术公布日：2024/1/14