基于主题知识迁移的人体行为识别方法
【专利摘要】基于主题知识迁移的人体行为识别方法，包括：构建训练视角和测试视角下的双语词典，所述双语词典用于将该两个视角下同一动作的低层特征转换成为相同表征；包括低层特征提取、中层特征表示和双语词典获得三个步骤；采用训练视角下的全部动作视频，通过所述双语词典将该视角下不同动作的低层特征分别转换成为表征，训练出识别不同动作的分类模型；采用测试视角下的测试动作视频，通过所述双语词典将该视角下动作的低层特征转换成为表征，运用所述分类模型获得对该动作的识别结果。该方法显著提高了交叉视角下人体行为的识别率，对视角的变化有很高的鲁棒性，在视频监控中有重要的应用价值。
【专利说明】基于主题知识迁移的人体行为识别方法
【技术领域】
[0001]本发明属于图像处理技术及模式识别领域，特别涉及一种基于主题知识迁移的视角无关的人体行为识别方法。
【背景技术】
[0002]人体行为识别是计算机视觉领域备受关注的前沿方向，其中视角问题是其研究和应用的瓶颈之处。视角无关的人体行为识别的研究不仅能够增加视频监控的智能化程度，而且能够降低多视角监控的成本，具有广泛的应用前景和经济价值。尽管人体行为识别的研究已经取得了一定的成果，但大部分工作都是基于固定和已知视角的，而由于人体运动、摄像机运动等原因实际拍摄得到的数据常常是任意角度的。不同的拍摄角度不仅会给人体图像序列的外观带来很大变化，运动的过程也会有所不同。视角问题已经成为机器视觉方面急需解决的问题。
[0003]人体运动是在3D空间中进行的，目前比较常见的视角无关的人体行为识别方面的工作就是考虑动态视角变化的环境，以多个视角的运动序列为基础，融合多个角度数据，重构出3D模型进行人体运动分析。这类方法不仅增加了算法的复杂性和计算量，而且透视投影等原因也会使重构出的动作不准确。更重要的是在实际监控中，同时得到多个视角的数据是比较困难的。能够实现不同视角间的行为识别是发展趋势。根据成像平面与实际的人体平面间的几何关系进行匹配是解决此问题的一种热门方法，如对极几何(epipolargeometry)法，它提供了不同视角下图像特征点之间的约束关系。通过分析人们对运动的感知，可以发现运动轨迹上速度和方向的显著变化使人们获得运动信息。Cen等人据此提出利用2D轨迹的时空曲率来捕捉行为的显著变化，利用行为单元即动态瞬间和间隔来解释行为。但这种方法需要可靠的人体关节的检测和跟踪，限制了此方法的应用。迁移学习是目前比较通用的方法，迁移学习的主旨是建立不同视角学特征的桥梁，通过此桥梁可以实现不同视角下的特征变换到一个共同的领域。这类方法与基于词袋的方法密切相连，虽然取得了比较好的识别效果，但`是在视角变化较大时，比如自上而下的视角，表现仍不是很理
本巨
ο
【发明内容】
[0004]对于外观特征改变较为明显的不同视角下的人体行为而言，传统的方法存在很大的局限性，现有的迁移学习方法在自上而下的视角仍不能获得满意的效果。本发明的目的在于提出一种对视角变化不敏感的基于主题知识迁移的视角无关的人体行为识别方法。
[0005]实现本发明的目的，本发明技术方案是:基于主题知识迁移的人体行为识别方法，其特征是，该方法包括如下步骤:
[0006]步骤I构建训练视角和测试视角下的双语词典，所述双语词典用于将该两个视角下同一动作的低层特征转换成为相同表征；包括低层特征提取、中层特征表示和双语词典获得三个步骤；[0007]步骤2训练步骤:采用训练视角下的全部动作视频，通过所述双语词典将该视角下不同动作的低层特征分别转换成为表征，训练出识别不同动作的分类模型；
[0008]步骤3识别步骤:采用测试视角下的测试动作视频，通过所述双语词典将该视角下动作的低层特征转换成为表征，运用所述分类模型获得对该动作的识别结果。
[0009]作为本发明的进一步改进，所述步骤I具体包括:
[0010]步骤11两个视角的低层特征提取:选取训练视角和测试视角下的训练动作视频，分别通过二维Gabor滤波的方法选取特征点，并以其为中心提取时空立方体，在每个立方体的中心计算亮度梯度作为立方体描述符，立方体描述符即为低层特征；
[0011]步骤12两个视角的中层特征表示:对得到的两个视角下的低层特征分别进行Kmeans聚类，得到训练视角下的第一聚类中心和测试视角下的第二聚类中心；根据两个视角的聚类中心在每个动作样本中的分布将两个视角的动作样本量化为分类直方图，然后用各个视角下的分类直方图分别训练第一 LDA模型和第二 LDA模型，得到每个样本的主题分布，即中层特征；
[0012]步骤13双语词典获得:将两个视角下得到的中层特征结合起来，运用K-SVD(K_奇异值分解)算法，形成一个词典对，即为双语词典。
[0013]作为本发明的进一步改进，所述步骤2具体包括:
[0014]步骤21低层特征提取:将训练视角下的个体的全部动作视频，通过二维Gabor滤波的方法选取特征点，并以其为中心提取时空立方体，在每个立方体的中心计算亮度梯度作为立方体描述符，立方体描述符即为低层特征；
[0015]步骤22中层特征表示:计算低层特征到第一聚类中心的距离，从而得到低层特征的分类直方图，由第一 LDA训练模型预测得到主题分布，作为中层特征；
[0016]步骤23将中层特征通过所述双语词典变换为稀疏表示，对得到的稀疏表示建立能识别不同动作的分类模型；
[0017]作为本发明的进一步改进，所述步骤3具体包括:
[0018]步骤31低层特征提取:将测试视角下的测试动作视频通过二维Gabor滤波的方法选取特征点，并以其为中心提取时空立方体，在每个立方体的中心计算亮度梯度作为立方体描述符，立方体描述符即为低层特征；
[0019]步骤32中层特征表示:计算低层特征到第二聚类中心的距离，从而得到低层特征的分类直方图，然后将根据第二 LDA训练模型预测得到的主题分布作为中层特征；
[0020]步骤33将中层特征通过双语词典变换为稀疏表示，并输入到所述的分类模型，得出识别结果。
[0021]作为本发明的进一步改进，所述步骤23采用含有径向基函数的支持向量机(SVM)分类算法对得到的稀疏表示建立所述分类模型。
[0022]本发明的有益效果为:
[0023]由于视角变化引起了同一动作视频在外观上有较大改变，基于外观的特征难以在不同视角下的行为识别中获得好的效果，导致传统的行为识别方法难以应用。本发明基于LDA模型的语义分析作用和迁移学习的桥梁作用，提出了一种基于主题知识迁移的视角无关的人体行为识别方法，能够实现对视角变化不敏感的交叉视角的行为识别。由于LDA模型根据主题与词汇表的关系得到了每个样本中主题的分布，这样得到的特征更能捕捉到同一视角下不同动作样本的类间的差异和类内的相似性。而迁移学习使得不同视角下的同一动作通过字典的学习，能够得到近似相同的稀疏表示，而且这样的得到的特征又能很好区分不同类别的动作。该方法显著提高了交叉视角下人体行为的识别率，对视角的变化有很高的鲁棒性，降低了多视角监控的成本，在视频监控中有重要的应用价值。
【专利附图】
【附图说明】
[0024]图1本发明的主流程图。
[0025]图2是双语字典构建过程图。
[0026]图3是本发明的识别系统图。
[0027]图4IXMAS多视角数据库例图。
[0028]图5是各个动作在不同角度下识别结果。
[0029]图6是各视角所有动作平均识别结果图表。
【具体实施方式】
[0030]下面结合附图和实施例对本发明作进一步说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
[0031]基于主题知识迁移的人体行为识别方法，包括如下步骤:
[0032]步骤I构建训练视角和测试视角下的双语词典，所述双语词典用于将该两个视角下同一动作的低层特征转换成为相同表征；包括低层特征提取、中层特征表示和双语词典获得三个步骤；
[0033]步骤2训练步骤:采用训练视角下的全部动作视频，通过所述双语词典将该视角下不同动作的低层特征分别转换成为表征，训练出识别不同动作的分类模型；
[0034]步骤3识别步骤:采用测试视角下的测试动作视频，通过所述双语词典将该视角下动作的低层特征转换成为表征，运用所述分类模型获得对该动作的识别结果。
[0035]如图1，是双语词典的构建过程图所示:
[0036]双语词典的构建过程包括:
[0037]步骤11训练视角和测试视角下的训练动作视频的低层特征提取；
[0038]步骤12训练视角和测试视角下的训练动作视频的中层特征表示；
[0039]步骤13双语词典获得。
[0040]步骤11低层特征提取。具体的操作有:
[0041]步骤选取训练视角和测试视角下的训练动作视频，将视频序列中的每一帧用二维坐标到像素点亮度的映射表示。然后对视频序列沿着时间轴方向对每一列元素进行选定窗口的二维Gabor滤波。二维Gabor滤波器有两部分组成，第一部分为一个正弦函数如下:
[0042]S (X，y, i) =Cos (2 (u0x+v0y) + Θ ) (I)
[0043]Θ i定义了滤波器的方向，八个方向定义如下:
[0044]Θ i=1，2...8={0。，±22。，±45。，±67。，90。} (2)
[0045]第二部分是一个高斯函数，如下:
【权利要求】
1.基于主题知识迁移的人体行为识别方法，其特征是，该方法包括如下步骤: 步骤1 构建训练视角和测试视角下的双语词典，所述双语词典用于将该两个视角下同一动作的低层特征转换成为相同表征；包括低层特征提取、中层特征表示和双语词典获得三个步骤； 步骤2 训练步骤:采用训练视角下的全部动作视频，通过所述双语词典将该视角下不同动作的低层特征分别转换成为表征，训练出识别不同动作的分类模型； 步骤3 识别步骤:采用测试视角下的测试动作视频，通过所述双语词典将该视角下动作的低层特征转换成为表征，运用所述分类模型获得对该动作的识别结果。
2.根据权利要求1所述的人体行为识别方法，其特征是，所述步骤I具体包括: 步骤11 两个视角的低层特征提取:选取训练视角和测试视角下的训练动作视频，分别通过二维Gabor滤波的方法选取特征点，并以其为中心提取时空立方体，在每个立方体的中心计算亮度梯度作为立方体描述符，立方体描述符即为低层特征； 步骤12 两个视角的中层特征表示:对得到的两个视角下的低层特征分别进行Kmeans聚类，得到训练视角下的第一聚类中心和测试视角下的第二聚类中心；根据两个视角的聚类中心在每个动作样本中的分布将两个视角的动作样本量化为特征直方图，然后用各个视角下的特征直方图分别训练第一 LDA模型和第二 LDA模型，得到每个样本的主题分布，即中层特征； 步骤13双语词典获得:将两个视角下得到的中层特征结合起来，运用K-奇异值分解算法对其进行分解，形成一个词典对，即为双语词典。
3.根据权利要求1所述的人体行为识别方法，其特征是，所述步骤2具体包括: 步骤21低层特征提取:将训练视角下的个体的所有动作视频，通过二维Gabor滤波的方法选取特征点，并以其为中心提取时空立方体，在每个立方体的中心计算亮度梯度作为立方体描述符，立方体描述符即为低层特征； 步骤22中层特征表示:计算低层特征到第一聚类中心的距离，从而得到低层特征的分类直方图，由第一 LDA模型预测得到主题分布，作为中层特征； 步骤23将中层特征通过所述双语词典变换为稀疏表示，对得到的稀疏表示建立能识别不同动作的分类模型。
4.根据权利要求2所述的人体行为识别方法，其特征是，所述步骤3具体包括: 步骤31低层特征提取:将测试视角下的测试动作的视频通过二维Gabor滤波的方法选取特征点，并以其为中心提取时空立方体，在每个立方体的中心计算亮度梯度作为立方体描述符，立方体描述符即为低层特征； 步骤32中层特征表示:计算低层特征到第二聚类中心的距离，从而得到低层特征的分类直方图，然后将根据第二 LDA训练模型预测得到的主题分布作为中层特征； 步骤33将中层特征通过双语词典变换为稀疏表示，并输入到所述的分类模型，得出识别结果。
5.根据权利要求1或2或3所述的人体行为识别方法，其特征是，所述低层特征提取，具体包括: 将动作视频序列中的每一帧用二维坐标到像素点亮度的映射表示；然后沿着时间轴方向对视频帧进行选定窗口及八个方向的二维Gabor滤波；当响应值R大于一定阈值时,表明此处有一个兴趣点，得到此处的坐标，并以此坐标为中心提取大小为σ X σ X τ的时空体特征；其中S=13，t=19 ;然后计算立方体的亮度梯度作为立方体描述符。
6.根据权利要求2所述的人体行为识别方法，其特征是，所述步骤12中对得到的两个视角下的低层特征进行Kmeans聚类，聚类个数为1000。
7.根据权利要求3所述的人体行为识别方法，其特征是，所述步骤23中采用含有径向基函数的支持向量机(SVM)分类算法对得到的稀疏表示建立所述分类模型。
【文档编号】G06K9/62GK103500340SQ201310419997
【公开日】2014年1月8日 申请日期:2013年9月13日 优先权日:2013年9月13日
【发明者】陈昌红, 杨顺卿 申请人:南京邮电大学