一种基于多特征时空关系融合的人类行为识别方法
【技术领域】
[0001] 本发明设及计算机视觉领域，尤其是设及一种基于多特征时空关系融合的人类行 为识别方法。
【背景技术】
[0002] 随着计算机科学的发展，视频开始成为人们生活的一部分，如何让计算机"理解" 视频中的人类行为，对基于内容的视频检索、智能监控、人机交互和虚拟现实等领域都具有 重要作用。
[0003] -般而言，一个经典的人类行为识别框架主要包括=个步骤：特征抽取、视频编码 W及分类器的训练和识别，此外，对于采用多种特征的情况，还包括一个可选的多特征前期 融合或后期融合步骤，其中的视频编码是决定识别准确率的关键步骤。
[0004] 目前，被广泛使用和改进的编码方法之一是词袋（BagofWords，简称BoW)方法，经 典的BoW方法首先对特征进行聚类，接着把视频表示成特征出现在每一个质屯、中的频次直 方图向量，虽然BoW编码已经在很多文献中显示了很好的泛化能力和健壮性，但该方法也 有很多缺点；比如费时的特征聚类过程，KMEANS算法的有监督参数kW及质屯、之间时空关 系f目息的丢失。
[0005] 为了消除KMEANS算法的参数k依赖经验确定的问题，"LiuJ，ShahM.Learning humanactionsviainformationmaximization[C].ComputerVisionandPatternRecogniti on，2008.CVPR2008.IE邸Conferenceon.I邸E，2008:l-8."使用互信息最大化聚类算法无 监督的确定最合适的质屯、数量，该算法首先用一个较大的k进行KMEANS聚类，W减少由于 KMEANS聚类造成的信息丢失，之后通过互信息最大化聚类算法在尽可能少的丢失信息的前 提下减少质屯、数量，W此提高后续步骤的计算速度。
[0006] 为了解决时空关系信息丢失的问题，许多研究者们提出了基于BoW的扩展方法， 按照所保留信息的不同，该些方法被分为两类；保留绝对时空信息的BoW表示和保留相对 时空信息的BoW表示。前者通常需要对视频的时空体进行全局分割，该使得计算得到的视 频编码与特征的绝对时空坐标相关，缺乏平移不变性。"LaptevI,MarszalekM,SchmidC,e tal.Learningrealistichumanactionsfrommovies[C].ComputerVisionandPatternRecog nition, 2008.CVPR2008.IE邸Conferenceon.I邸E, 2008:1-8."把视频的时空体积分割成 预定义的时空网格，之后分别在每个网格中计算BoW并把所有网格的BoW向量串联起来作 为最终的视频编码。然而，为了确定最佳的网格组合，该方法需要用交叉验证进行贪屯、捜 索，而该个步骤是非常费时的，此外，通过串联不同网格的BoW得到的超长向量进一步增 方口了 计算复杂度。"SunJ,WuX,YanS,etal.Hierarchicalspatio-temporalcontextmodeli ngforactionrecognition[C].ComputerVisionandPatternRecognition, 2009.CVPR2009. I邸EConferenceon.IE邸，2009:2004-2011. "W-种层级的方式获取S层时空上下文信息。 而后者，即保留相对时空信息的方法，通常是利用BoW质屯、或特征之间的相对时空距离进 行视步巧编石马。"KovashkaA,GraumanK.Learningahierarchyofdiscriminativespace-timen eighborhoodfeaturesforhumanactionrecognition[C].ComputerVisionandPatternRecog nition(CVPR)，20101 邸EConferenceon.IE邸，2010:2046-2053."首先用原特征点周围的点 构造新特征，之后结合新特征所属质屯、信息和新特征方向信息构造视频编码。由于需要构 造多层级的质屯、，该方法的计算复杂度相对较高。"WangJ,化enZ,WuY.Actionreco即itionw ithmultiscalespatio-temporalcontexts[C].ComputerVisionandPatternRecognition(C VPR), 20111邸EConferenceon.IE邸，2011:3185-3192."通过在原特征的多个时空尺度中获 取特征之间的时空上下文交互信息进行视频编码。。
【发明内容】
[0007] 本发明主要解决的技术问题是提供一种基于多特征时空关系融合的人类行为识 别方法，该方法对两种特征对应质屯、之间的时空关系信息进行显式编码，能够更好的挖掘 不同特征的有效信息进行人类行为识别。
[0008] 为解决上述技术问题，本发明采用的一个技术方案是；一种基于多特征时空关系 融合的人类行为识别方法，具体步骤包括： 步骤1 ;对视频进行密集轨迹特征抽取，并W光流直方图和运动边界直方图两种方法 对抽取的轨迹特征进行表示，得到两种特征表示； 步骤2 ;用KMEANS算法构建两种特征对应质屯、之间的时空二部图； 步骤3 ;采用K路二部图分割技术将步骤2中的时空二部图分割为具有强时空关系的 质屯、和具有弱时空关系的质屯、，将分割后具有强时空关系的质屯、融合起来，将具有弱时空 关系的质屯、分开； 步骤4;计算具有强时空关系的质屯、之间的时空距离矩阵，并采用基于条件概率的表 示方法对距离矩阵进行压缩，得到两种特征融合后的视频级编码； 步骤5 ;训练分类器并进行识别。
[0009] 在本发明一个较佳实施例中，所述步骤2中KMEANS算法将所述步骤1中得到的两 种特征进行聚类，从而得到若干个质屯、，通过计算每个视频中任意两个特征对应时空坐标 之间的L1距离来衡量两个特征之间的时空关系，利用两种特征之间的时空关系计算其质 屯、之间的时空关系，并得到两种特征对应质屯、之间的时空二部图。
[0010] 在本发明一个较佳实施例中，所述的步骤4中所述条件概率表示方法首先对质屯、 之间的距离向量进行离散化，然后W条件概率描述任意两个融合后质屯、之间的时空距离分 布信息。
[0011] 本发明的有益效果是；本发明一种基于多特征时空关系融合的人类行为识别方 法，该方法通过计算每个视频中特征之间的时空距离，从而构建两种特征对应质屯、之间的 时空二部图，并采用K路二部图分割技术对时空二部图进行分割，W此将具有强时空关系 的质屯、融合，更好的挖掘了不同特征的有效信息，提升了识别准确率。