专利名称：基于在线序贯极限学习机的递增式人体行为识别方法
技术领域：
本发明涉及一种利用机器视觉进行人体行为识别的方法，属于模式识别技术领域。
背景技术：
基于视频的人的行为识别在机器人学、人机交互、基于视频的智能监控、运动分析、基于内容的视频检索等领域应用广泛，是计算机视觉中一个研究热点，有着广泛的应用前景和潜在的经济和社会价值，因而得到了广大科研工作者及相关商家的高度关注。在机器人学方面，研究人的步态特征为双足机器人的步态规划提供理论基础；在构建和谐社会，维护社会稳定以及犯罪技术侦察等方面，基于视频的智能监控发挥着不可
估量的作用，理解人的行为则是关键；在人机交互方面，未来的人机交互将是基于人的手势、行为、表情等智能化的交互方式，行为识别的研究为智能人机交互提供了技术支持；在体育运动分析方向中，分析人的行为并进行数字量化为体育运动打破传统的凭经验练习并向数字化体育发展打下坚实基础；21世纪是数字化时代，互联网上的信息尤其是视频信息呈指数型迅速增长趋势，如何检索到想要的视频信息并归类是一个亟待解决的问题，基于视频的人体行为分析为解决此问题提供了技术解决方案。然而，由于真实自然环境复杂多变(如背景复杂、环境光照变化)，人的个体差异(身高、外形、衣服等)，获得视频图像的视角不同，以及人们完成某一动作的方式和速度不同，使得基于视频的人体行为识别问题是一个非常具有挑战性的问题。针对基于视频图像的人体行为识别问题，研究者们提出了很多检测和描述基于视频图像的人体行为特征的方法。2003年《Proceedings of Ninth IEEE InternationalConference on Computer Vision》(第九届IEEE计算机视觉国际会议论文集)在432-439页发表的《Space-time interest points))(时空兴趣点)将二维Harris角点检测算法扩展到三维时空，首次提出了时空兴趣点检测子-3D Harris角点检测子，将那些灰度值在时间和空间都有很大变化的区域定义为三维角点。由于同时满足条件的区域较少，故3D Harris角点具有稀疏性。2005 年《Proceedings of2ndJoint IEEE International Workshop onVisual Surveillance and performance Evaluationof Tracking and Survei I lance〉〉(第二届IEEE视频监控和跟踪与监控性能评价联合国际研讨会会议论文集》在65-72页发表的((Behavior recognition via sparse spatio-temporal features))(基于稀疏时空特征的行为识别)提出Cuboids检测算法，在空间2D高斯滤波器的基础上引入时间ID Gabor滤波器，将响应函数高于某一阈值的区域定义为时空兴趣点。2008年《Proceedingsof EuropeanConference on Computer Vision》(欧洲计算机视觉国际会议论文集)在650-663页发表的((An Efficient Dense and Scale-Invariant Spatio-Temporal Interest PointDetector))(一种有效的高密度和尺度不变的时空兴趣点检测子)首次将二维Hessian检测子扩展到时空领域得到Hessian时空兴趣点(Hes-STIP)检测子，检测到的时空兴趣点在时间和空间上尺度不变并且能够密集地覆盖视频内容，利用三维Hessian矩阵的行列式，将兴趣点定位与尺度选择合二为一，避免了迭代运算。2009年《Proceedings of IEEEConference on Computer Vision and Pattern Recognition)) (IEEE 计算机视觉与模式识别国际会议论文集)在1996-2003页发表的《Recognizing realistic actions fromvideos "in the wild”》(自然环境下人体行为识别)从视频中提取运动特征和静态特征，利用运动统计特性获取稳定的运动特征，并对静态特征进行去噪处理，使用Cuboid检测子检测运动特征，而静态特征的提取则通过检测感兴趣的区域，利用运动线索和网页排名技术实现，改善了复杂自然环境下人体行为识别精度。2011年《Neurocomputing》(神经计算)在74 (6) :962-973 页发表的((Transform based spatio-temporal descriptors for humanaction recognition))(基于变换的时空描述子的人体行为识别)将基于变换的方法应用到动作识别领域采用Cuboid检测子提取视频帧的兴趣点，利用基于变换(离散傅里叶变换(DFT)、离散余弦变换(DCT)、离散小波变换(DWT))的H0G/H0F描述子对Cuboid检测子提取出的兴趣点进行描述。2009 年《Proceedingsof the 13th International ConferenceonComputer Analysisof Images and Patterns))(第13届图像和模式计算机分析国际会议论文集)在 740-747 页发表的((Human action recognition using LBP-TOP as sparsespatio-temporal feature descriptor》(基于LBP-TOP稀疏时空特征描述子的人体行为·识别)用 Cuboid 检测子提取兴趣点，利用 Local Binary Pattern on Three OrthogonalPlanes (LBP-TOP)描述子描述提取到的兴趣点及其邻域,生成时空单词(spatial-temporalwords)用以表不人的行为。2008 年《International Journal of Computer Vision》(计算机视觉国际期刊)在 79 (3):299-318 页发表的《Unsupervised learning of human actioncategories using spatial-temporal words》(基于时空单词的非监督的人体行为学习)应用Cuboid检测子从视频序列中提取兴趣点，利用HoG描述子描述提取到的兴趣点，生成视觉单词，应用概率潜在语义分析模型(Probabilistic Latent Semantic Analysis)学习和分类人体行为，该方法不仅可以识别多个单动作视频序列，而且可以识别一个长视频中的多个动作。2008 年《Proceedings of IEEE International Conference on ComputerVision and Pattern Recognition》(IEEE计算机视觉与模式识别国际会议论文集)在1-8页发表的《Recognizing human actions using multiple features》(基于多特征的人体行为识别)将视觉单词表示的局部特征和反映人的体型变化的全局特征相结合实现人体行为识别。在特征检测和识别基础上，研究者们应用阈值法、支持向量机、隐马尔科夫模型以及神经网络等离线分类器分类和识别人体行为。2008年《Proceedingsof EuropeanConference on Computer Vision》(欧洲计算机视觉国际会议论文集)在650-663页发表的((An Efficient Dense and Scale-Invariant Spatio-Temporal Interest PointDetector))(一种有效的高密度和尺度不变的时空兴趣点检测子)应用Kmeans聚类算法聚类从视频集中提取的运动特征向量构造视觉词汇表，利用支持向量机(SVM)分类器分类和识别人体行为，SVM分类器的建立需要大量的训练样本和较长的训练时间。2010年《Neurocomputing》(神经计算)在 73 (10-12) : 1906-1917 页发表的《Human actionrecognition using extreme learning machine basedon visual vocabularies〉〉(基于视频词汇利用极限学习机的人体行为识别)将时空特征和局部静态特征相结合，应用三维二元树复小波变换(3D DT-CWT)和仿射SIFT (ASIFT)局部描述子检测和描述时空特征和局部静态特征，建立词包模型，然后利用极限学习机ELM分类器进行分类。2005年《Proceedingsof IASTED International Conference onComputational Intelligence)))(计算机智倉泛国际会议论文集)发表的《On-line sequential extreme learning machine))(在线序贯极限学习机)提出一种基于单隐层前馈神经网络的在线学习算法一在线序贯极限学习机(0S-ELM)，这种基于批量学习的极限学习机，学习速度快，具有在线学习能力。人的行为识别在人机交互、基于视频的智能监控、运动分析、基于内容的视频检索等领域应用非常广泛，随着处理器速度的大幅度提升和摄像机价格的下降，基于视觉的行为识别系统越来越受到研究者的关注。基于机器视觉的行为识别系统，不需要复杂的设备，尤其伴随着视觉算法的不断进步，识别行为的准确率不断提高，但是这种系统也有着不足。到目前为止，大部分识别系统是首先检测三维时空特征点，然后对特征点进行描述，用该特征向量建立模型，然后进行离线分类器的学习与训练。利用离线分类器训练的分类模型只适用于特定的环境或特定的人，由于离线分类器训练的特点，需要被检测对象和训练对象具有一致性，所以当视频图像中人的大小和姿态、环境等与训练样本严重不一致时，无法进行精确的行为识别，可移植性不好。此外，离线分类器一般都是对分类样本一个一个地学习，学习速度慢，实时性不好。
发明内容
本发明针对现有基于视频的人体行为识别方法存在的不足，提出一种基于在线序贯极限学习机的递增式人体行为识别方法，该方法基于在线序贯极限学习机分类器对人体行为进行识别，不但能够在训练样本很少的情况下，以较少的训练时间，获得较为精确的人体行为识别结果，而且具有在线学习能力，即当环境和识别对象发生变化时，无需重新训练新的分类器，只需在现有的分类器基础上继续在线学习就可以达到人体行为的准确识别。本发明的基于在线序贯极限学习机的递增式人体行为识别方法，基于以下条件在静态背景环境下，人的活动范围能够用摄像机捕捉到；具体包括以下步骤(I)采用3D Harris角点检测子提取视频中的时空兴趣点，定义时空角函数在时间和空间同时取得局部最大的极值点为时空兴趣点；3D Harris角点检测子能够有效地检测视频中的三维角点(即典型运动部位的特征点)，3D Harris检测子可以很好地利用角点信息来表示人的动作。该步骤具体实现方法是3D Harris检测子是将Harris角点检测子从空间(x, y)扩展到时空(x, y, t)得到的，定义的时空角函数为H=det ( μ ) -ktrace3 ( μ ), H>0,其中，时空二阶矩a)=辦.;64)*(财(.;64)(Vi(w,)f),上标T 表示矩阵转置，O1, ^分别为局部空间和时间尺度，Oi=SO1和Ti=S T1为集成尺度，i表示集成，系数S把局部空间和时间尺度O1, ^转变为集成尺度Oi, Ti, S的取值范围为(0，1)，g(x，y，t; σ2，τ2)为高斯平滑函数，σ, τ分别为空间和时间尺度M 為 γΑσ2,!1) = -1=====I；====== X exp(—(X2 + /) / 2σ2 —12 / 2r2)，
^{2π)'σ rm是时空梯度
权利要求
1.一种基于在线序贯极限学习机的递增式人体行为识别方法，其特征是，基于以下条件在静态背景环境下，人的活动范围能够用摄像机捕捉到；具体包括以下步骤 (1)采用3DHarri s角点检测子提取视频中的时空兴趣点，定义角函数在时间和空间同时取得局部最大的极值点为空兴趣点； (2)利用3DSIFT描述子计算检测到的时空兴趣点的描述子； (3)采用K-means聚类算法生成视频词典，建立视频图像的词包模型； (4)用得到视频词包模型训练在线序贯极限学习机分类器； (5)利用在线序贯极限学习机分类器进行人体行为识别，并进行在线学习。
2.根据权利要求I所述的基于在线序贯极限学习机的递增式人体行为识别方法，其特征是，所述步骤(I)的具体实现方法是 3D Harris检测子是将Harris角点检测子从空间(x, y)扩展到时空(x, y, t)得到的，定义的时空角函数为 H=det ( μ ) -ktrace3 ( μ ), H>0, 其中，时空二阶矩Γ)(ν (·;σ，Γ)/)，上标T表示矩阵转置，O1, ^分别为局部空间和时间尺度，Oi = SO1和Ti = S h为集成尺度，i表示集成，系数s把局部空间和时间尺度0l，^转变为集成尺度Qi, Ti, s的取值范围为(0，1)，g(x，y，t; σ2，τ2)为高斯平滑函数，σ, τ分别为空间和时间尺度g(^,yj;a2,r2) = —I..........................................................................................................；:=Xexp(—(I2 + r)/ 2σ2 — 2 /2r2) —^(2πγσ4τ~ ▽/.是时空梯度 r 4 kh 441 (ν￡(·;σ,Γ)(￥/,(·;σ Γ))Γ)= LxLj L2y LyLt , v44 LyLl 4 J 其中，Lx(.af,rf) = cv(g*f),rf) = c,(g*f)- 其中，f = R2XR — R为构造函数，Lx、Ly和Lt分别为视频图像上三维时空点(X，y, t)在X，y, t方向上的梯度； 通过寻找角函数在时间和空间同时取得局部最大的极值点来检测时空兴趣点。
3.根据权利要求I所述的基于在线序贯极限学习机的递增式人体行为识别方法，其特征是所述步骤(2)的具体实现方法是 通过在方向直方图中增加一个深层维度，将2D SIFT描述子(x，y)扩展到3D SIFT描述(X，y, t),梯度值的计算公式为(x, V,/) = ψ + ^ + Ι； r Θ (X，y, t) =tan_1 (Ly/Lx),
全文摘要
一种基于在线序贯极限学习机的递增式人体行为识别方法，该方法基于所有人的活动范围能够用摄像机捕捉到人体；包括以下步骤(1)采用3D Harris角点检测子提取视频中的时空兴趣点；(2)利用3D SIFT描述子计算检测到的时空兴趣点的描述子；(3)采用K-means聚类算法生成视频词典，建立视频图像的词包模型；(4)用得到视频词包模型训练在线序贯极限学习机分类器；(5)利用在线序贯极限学习机分类器进行人体行为识别，并进行在线学习。该方法不但能够在训练样本很少的情况下，以较少的训练时间，获得较为精确的人体行为识别结果，而且对于环境场景变化、环境光照变化、检测对象变化、人体形态变化具有一定的不敏感性。
文档编号G06K9/66GK102930302SQ201210398379
公开日2013年2月13日 申请日期2012年10月18日 优先权日2012年10月18日
发明者马昕, 周生凯, 李贻斌 申请人:山东大学