专利名称：运动目标的运动模式分类和动作识别的方法
技术领域：
本发明涉及的是图像处理技术领域，具体是一种基于光流序列的运动目标的运动模式分类和动作识别的方法。
背景技术：
运动模式(motion pattern)和动作识别(action recognition)是计算机视觉与模式识别领域的研究热点。视频图像中对运动目标的运动模式准确分类和对人的动作进行识别在民用和军用上均具有广泛的应用前景。针对这两个问题，国内外学者提出了很多方法，主要方法归纳如下。传统的运动模式分类的方法主要有两种。第一种是基于轨迹的方法，对目标进行跟踪得到轨迹，然后对轨迹进行聚类。此类方法的缺点在于必须对目标进行准确的跟踪，而得到的所有轨迹的长度需要相同，才能进行聚类。第二种方法是基于光流信息的，可以通过主题模型(topic model),词袋模型(bagof word)等对光流信息进行聚类，从而得到各种运动模式。动作识别的主要方法有(I)基于形状的方法，即通过提取局部特征和全局特征来建立时空模型，然后聚类；(2)基于外表的方法，即通过对训练视频里面得到人的外表特征序列，来用隐马尔科夫模型(以下简称为HMM)进行训练，得到对应的HMM，然后对测试视频得到相应的人的外表特征序列，并用HMM模型来判别属于哪个类；(3)基于特征点的方法，即对于训练视频，通过特征点提取的算法提取特征，然后通过聚类算法得到一个个视频单词(video words),对于训练视频,通过支持向量机(SVM),将各个训练视频提取的特征映分离开，来得到各个类的模型，然后对测试视频提取的视频单词通过支持向量机来进行测试，以判别属于哪个类。以上两个识别问题里都用到光流信息和轨迹信息。但是光流和轨迹信息是分开使用的。轨迹可以提供目标的位置信息，但是必须精确跟踪，光流可以给出目标的运动的信息，但是一种局部的运动信息。而且人们是将以上两个识别问题割裂开来考虑的。经对现有技术文献的检索发现，J. Yamato等在《IEEE Conference on ComputerVision and Pattern Recognition》 (pp.379-385,1992)上发表“Recognizing HumanAction in Time Sequential Images Using Hidden Markov Model，，(基于隐马尔科夫模型的时间序列图像的动作识别，IEEE计算机视觉与模式识别会议)。该文提出了利用提取人的外表特征来组成一个时间序列，然后通过隐马尔科夫模型来学习，得到各个动作的模 型，然后用来识别。文中的实验结果说明该方法具有可行性。但是该方法只能提取人的特征，用来动作识别，而不能提取车或者其它刚体的特征。因此该方法不能推广到运动模式分类。
发明内容
本发明的目的在于克服上述现有技术中的不足，提供一种基于光流序列的对运动目标进行运动模式识别或动作识别的方法，该方法将运动模式分类和动作识别这两类以往被分别处理的问题统一起来，能够同时实现运动模式分类和动作识别。本发明是通过以下技术方案实现的一种基于光流方向序列运动目标的运动模式识别或动作识别的方法，其特点在于，该方法包括下列步骤①首先提取运动目标的运动轨迹对于刚体目标，首先通过混合高斯法对背景建模；对于非刚体目标，给出各个节点，然后采用均值漂移跟踪算法，利用目标的颜色信息对运动目标进行跟踪；采用加权的颜色直方图来考虑像素的空间位置信息。②计算轨迹点的光流时间序列值根据运动目标的横向光流速度和纵向光流速度计算出光流方向，并将光流方向量化成4个值并组成时间序列，当相邻的两个值相同时，则合并成一个值，获得光流时间序列值；③用隐马尔科夫模型对光流时间序列进行训练，建立运动目标的隐马尔科夫模型所述的光流时间序列，通过隐马尔科夫理论的学习算法，得到相应的隐马尔科夫模型；④重复步骤①②③分别建立各种运动目标的隐马尔科夫模型；⑤对待识别的运动目标用隐马尔科夫模型进行测试对待测试的运动目标按步骤①②提取运动目标的运动轨迹，计算轨迹点的光流时间序列值，⑥计算该光流时间序列值由某个隐马尔科夫模型生成的概率，并与设定的概率阈值进行比较，当计算概率大于设定的阈值，即认为测试的光流序列由这个给定的隐马尔科夫模型生成，则进入步骤⑧；否则进入步骤⑦⑦选择另一个隐马尔科夫模型，重复步骤⑥；⑧待测试的运动目标属于所述的隐马尔科夫模型对应的运动目标的运动模式，或所述的隐马尔科夫模型对应的运动目标的动作，实现了对所述的运动目标进行运动模式识别或动作识别。 所述的运动目标分为刚体和非刚体，对于刚体，由一个光流时间序列组成，对于非刚体，确定动作识别的考察部位即节点数K，非刚体的运动，看作K个光流时间序列组成。本发明的技术效果如下本发明采用了比较鲁棒的跟踪算法来得到目标的轨迹，同时通过计算光流值来得到目标的光流方向。通过对光流方向聚类来得到目标的运动模式。通过对运动模式进行训练，可以很方便的对各个运动模式和动作进行分类。本发明通过光流方向来同时处理运动模式分类和动作识别，相比与以往用只用轨迹或者光流信息来处理运动模式识别，和用词袋模型，形状信息或者外表信息来处理动作识别的方法，更加简单稳健。本发明可以广泛应用于视频监控系统、视频会议系统、工业产品检测系统、机器人视觉导航系统、军事目标检测分类系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。
图I为本发明处理方法总体框图。图2为背景减除法得到的前景图。图3为刚体轨迹图。图4为非刚体轨迹图。图5为计算的光流图。 图6为HMM训练测试流程图。
具体实施例方式为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。本发明基于光流方向序列运动目标的运动模式识别或动作识别的方法，包括下列步骤(I)提取运动目标的运动轨迹这里分为刚体和非刚体两种情况来考虑。刚体由于没有形变，所以可以看做一个整体来考虑，而非刚体由于形变的原因，各个部分的相对位置会发生改变，因而需要对某几个部分来分别考虑。对于刚体，可以先通过背景减除法检测新出现的目标，然后通过跟踪算法来得到目标的轨迹。对于非刚体，手动选取运动目标的K(K = 5，即左手，右手，左腿，右腿，头部)个重要部分，对该K个部分通过跟踪算法得到K个轨迹。(2)计算光流方向对步骤(I)中得到运动目标的每个轨迹点，用光流法计算每个轨迹点光流值(详细步骤见第三节？)。根据光流的横向速度和纵向速度来计算光流的方向(详细步骤见第三节？)。将光流方向量化为四个方向，分别用1，2，3，4来表示。将每个轨迹点的光流方向进行合并，即相邻的两个光流方向如果相同，则认为是一个模式。如光流轨迹方向{1，1，1，1,2,2,2,2,3,3}合并成为{1,2,3} o(3)训练样本对于每个刚体训练样本，一条轨迹得到的是一个样本模式。然后用隐马尔科夫模型(HMM)对每个刚体的每个模式进行训练，得到各个模式的隐马尔科夫模型；对于每个非刚体训练样本，k个部分有k个轨迹，因而是k个模式的组合；同理对其中的每个模式进行训练，得到每个模式的隐马尔科夫模型；这个非刚体训练样本是k个隐马尔科夫模型的组合。(4)测试样本对于测试刚体样本，将样本轨迹的模式送入到每个训练样本的隐马尔科夫模型里面进行测试，如果两个运动模式的测试值小于某个阈值(本发明的实验里面可以选取为-100)，则将这两个运动模式归为一类。依次将所有样本的模式归为相应的类别之后，即完成了运动模式分类的工作。对于测试非刚体样本，动作识别可以分解为K(K = 5，即左手，右手，左腿，右腿，头部)个模式的组合。将样本轨迹的K个模式分别送入到每个训练样本的k个隐马尔科夫模型里面进行测试，如果两个运动模式的测试值小于某个阈值(本实施例里面可以选取为-100)，则将这两个运动模式归为一类。依次将所有样本的K个模式的组合归为相应的类别之后，即完成了动作识别的工作。对运动模式识别，我们用NGSIM 数据(http://www. ngsim. fhwa. dot, gov/,文章Y. Yang, J. Liu, and M. Shah. Video scene understanding using multi-scale analysis.In ICCV, 2009.) 对动作识别，我们用 weizmann dataset (http: //www. wisdom, weizmann.ac.il/ vision/SpaceTimeActions. html 文章 L. Gorelick, M. Blank, E. Shechtman，M. Irani, and R. Basri, Actions as Space-Time Shapes. In IEEE Transactions onPattern Analysis and Machine Intelligence (PAMI)，29 (12) :2247-2253, December2007.)部分数据。图I为本发明提出的一种通过计算光流方向来对运动模式和动作进行识别的总体框图。各部分具体实施细节如下I、检测对于刚体，可以通过背景建模，建立出视频里面的背景，即视频里面静止的场景。每辆移动的车属于前景。当建立了背景之后，和新图片比较，就可以检测出移动的车，即前景。本方法中，我们只检测出新进入观测区域的目标，然后用跟踪算法进行跟踪。由于混合高斯法(GMM)背景建模(见文献C. Stauffer and E Grimson. Learningpatterns of activity using real-time tracking. PAMI, 22 (8) :747-757, 2000.)对光照变化不敏感，所以我们选择此方法。以灰度图像序列为例来解释GMM背景建模的原理如下令(X1, . . . , XJ = {I (x0, y0, i) :1彡i彡t}为图像序列I在(xQ，y0)位置的像素时间序列值。我们将{Xi，. . . , XJ看作是K个混合高斯分布，则当前观测到的像素值的概率可以表不为P(X1) = IfL1 * IlCXt, |l(t, Ii,)(I)其中K是高斯分布的个数，Coi,t是第i个高斯分量在t时刻的权重，U i,t和E i,t分别是第i个高斯分量在t时刻的期望和方差，n是高斯概率密度函数'11 (Xt, IiiSiit.) =-*'X| “!- -⑵
:I TI 二 S 二为了计算方便，我们一般取= of I。其中O是标准差，I是单位阵。K个高斯分布按照w / O降序排列，取前面B个高斯分布表示背景分布，即
/ b \B = argminb I> T |
\i=l /、
其中T为背景阈值，b是所有的背景分布的个数。K个分布的先验权重调整如下Oi t= (1-a ) o ^ ^1+a (Mijt) (3)其中a是更新速率，当模型匹配时，Mi, t取1，否则取O。然后权重归一化。当分布匹配时，μ和σ的更新如下μ = (1-ρ ) μ W+P Xt (4)
权利要求
1.一种基于光流方向序列运动目标的运动模式识别或动作识别的方法，其特征在于，该方法包括下列步骤 ①首先提取运动目标的运动轨迹对于刚体目标，首先通过混合高斯法对背景建模；对于非刚体目标，给出各个节点，然后采用均值漂移跟踪算法，利用目标的颜色信息对运动目标进行跟踪；采用加权的颜色直方图来考虑像素的空间位置信息。
②计算轨迹点的光流时间序列值根据运动目标的横向光流速度和纵向光流速度计算出光流方向，并将光流方向量化成4个值并组成时间序列，当相邻的两个值相同时,则合并成一个值，获得光流时间序列值； ③用隐马尔科夫模型对光流时间序列进行训练，建立运动目标的隐马尔科夫模型 所述的光流时间序列，通过隐马尔科夫理论的学习算法，得到相应的隐马尔科夫模 型； ④重复步骤①②③分别建立各种运动目标的隐马尔科夫模型； ⑤对待识别的运动目标用隐马尔科夫模型进行测试 对待测试的运动目标按步骤①②提取运动目标的运动轨迹，计算轨迹点的光流时间序列值， ⑥计算该光流时间序列值由某个隐马尔科夫模型生成的概率，并与设定的概率阈值进行比较，当计算概率大于设定的阈值，即认为测试的光流序列由这个给定的隐马尔科夫模型生成，则进入步骤⑧；否则进入步骤⑦ ⑦选择另一个隐马尔科夫模型，重复步骤⑥； ⑧待测试的运动目标属于所述的隐马尔科夫模型对应的运动目标的运动模式，或所述的隐马尔科夫模型对应的运动目标的动作，实现了对所述的运动目标进行运动模式识别或动作识别。
2.根据权利要求I所述的运动目标的运动模式识别或动作识别的方法，其特征在于，所述的运动目标分为刚体和非刚体，对于刚体，由一个光流时间序列组成，对于非刚体，确定动作识别的考察部位即节点数K，非刚体的运动，看作K个光流时间序列组成。
全文摘要
一种基于光流方向序列处理运动目标的运动模式识别和动作识别的方法，该方法首先用背景减除法检测出目标，然后用均值漂移跟踪算法对目标进行跟踪，再计算光流值，分别对刚体和非刚体目标得到光流方向，通过量化之后得到光流方向的时间序列，最后用时间序列建立隐马尔科夫模型，再用隐马尔科夫模型处理运动模式识别和动作识别。本发明通过光流方向，可以同时来处理运动目标的运动模式识别和动作识别，可广泛应用于视频监控系统、视频会议系统、工业产品检测系统、机器人视觉导航系统、军事目标检测分类系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。
文档编号G06K9/62GK102663429SQ20121010607
公开日2012年9月12日 申请日期2012年4月11日 优先权日2012年4月11日
发明者王勇, 胡士强 申请人:上海交通大学