专利名称：一种具有监督机制的步态识别方法
技术领域：
本发明涉及计算机科学及图像处理技术领域，特别提供了一种具有监督机制的步态识别方法。
背景技术：
作为远程生物特征认证技术，步态识别越来越受到人们的重视.步态识别就是根据人走路的姿势进行远距离身份认证.步态具有非侵犯性、难于伪装，不像指纹或虹膜识别在特征提取时需要与被识别目标保持近距离接触，因此步态是远距离视频监控领域最具有潜力的生物特征。近些年来对步态识别的研究日益增多，大都是通过提取人行走的步态轮廓后进行识别，技术可分为两类；一是利用步态轮廓的静态信息，如Kim提出了基于主动轮廓模型及运动预测的步态识别[Kim D, Paik J.Gait recognition using active shape modeland motion prediction [J], Computer Vision IET, 2010, 4(1): 25 - 36.],主要是利用人体行走的轮廓信息采用主动形状模型(ASM)进行识别，这类算法依赖人体静态轮廓，通常受穿着，背包影响识别效果，如
图1所示。二是采用提取轮廓的动态信息，这类进行研究的算法很多，如基于步态能量图像(GEI)和2维主成分分析的步态识别方法[王科俊，刘丽丽，贲暁烨. 基于步态能量图像和2维主成分分析的步态识别方法[J]，中国图象图形学报，2009，14(12):2503-2509]，此方法利用GEI图像作为步态特征图像，进行2维主成分分析，但同样由于GEI图像只是人体步态帧和的平均值构成的图像，必然受到外套、背包等影响，在正常、外套、背包的单一类训练样本中有较高识别率，在外套、背包、正常混合模式下识别率较低，如图2所示；图2为同一个人在正常行走、穿外套、背包下的GEI图像，可以看出GEI图像在三种状态下的外形轮廓静态信息差别很大，故识别率较低；为了改善GEI图像丢失太多的动态信息，Zhang提出的基于主动能量图(AEI)及二维局部投影的方法进行识别[Zhang E H, Zhao Y ff, Xiong ff.Active energy image plus 2DLPPfor gait recognition [J], Signal Processing, 2010, 90(7): 2295-2302]，其中 AEI图像是由帧差图像叠加构成，可很好的反应人体运动时的动态步态特征，识别方法新颖，但同时AEI图像忽略了人体的静态信息，如图3所示，可以看出AEI图像对动态的信息表达很好，特别是腿部运动信息，但同样存在着外套、背包对轮廓静态信息的影响；为保留步态行走时的静态信息Chen提出的对提取的不完全步态轮廓采取建立帧差能量图(FDEI)的方式构建步态特征，同时建立隐马尔可夫模型(HMM)进行表述[Chen C H, Liang J M,Zhao H.Frame difference energy image for gait recognition with incompletesilhouettes [J], Pattern Recognition Letters, 2009, 30 (11):977 - 984.],识别效果好，其中帧差能量图(FDEI)是用帧间差图像进行叠加，并且与人体的行走时不动的保持静态的部分求和来构成FDEI图像，FDEI图像能很好的表达人体的静态及动态信息；如图4所示，帧差图像能够很好的表达运动特征，但是由于用步态行走的不动部分作为静态信息，所以构成的FDEI图像依然受背包影响较大。Chen还提出了基于双层的动态贝叶斯网络的步态识别(DBN)[张二虎，赵永伟.利用动态部位变化的步态识别[J]，中国图象图形学报，2009，14 (9): 1756-1763.]，首先把整个步态序列分若干段，第一层用动态纹理来表达，第二层用隐马尔可夫模型表达，方法新颖，充分考虑了步态时序特性。Faezeh提出的基于手臂和腿部运动的步态识别，分析腿部和手臂的运动来识别步态[Tafazzoli F，SafabakhshR.Model-based human gait recognition using leg and arm movements [J],Engineering Applications of Artificial Intelligence, 2010, 23 (8):1237-1246.]；只使用腿部的动态信息的识别方法也有较多应用，识别效果及鲁棒性也较好，如图5所示；图5为从GEI图像中提取的运动动态部分，图像为8位灰度图像，运动阈值取为220，图像为同一个人的正常行走、外套、背包三种条件下的图像，可以看出同一个人的腿部步态信息特征很相似。步态识别从识别方法步骤上大都从建立步态的特征图像下手，利用步态的特征图像进行特征的提取识别。识别方法分为基于特征匹配的方法[赵永伟，张二虎，鲁继文.多特征和多视角信息融合的步态识别[J]，中国图象图形学报，2009，14(3):387-393 ；Bashir K, Xiang T, Gong S G.Gait recognition without subject cooperation [J],Pattern Recognition Letters, 2010, 31 (13):2052-2060.]，基于动态贝叶斯网络的方法[Chen C H, Liang J M, Zhu X C.Gait recognition based on improved dynamicBayesian networks [J], Pattern Recognition, 2011, 44(4):988 - 995;Suk H, SinB K, Lee S ff.Hand gesture recognition based on dynamic Bayesian networkframework [J], Pattern Recognition, 43(9): 3059-3072.];其中基于动态贝叶斯网络的方法是目前研究的热点，它充分考虑的步态的时序特性。而隐马尔可夫模型(HMM)及其改进模型作为动态贝叶斯网络的一种形式得到了广泛的应用[Bae J, Tomizuka M.Gait phase analysis based on a Hidden Markov Model [J], Mechatronics, 2011,21(6): 961-970 ；Cheng MH, Ho M F, Chung-Lin Huang.Gait analysis for humanidentification through manifold learning and HMM [J], Pattern Recognition,2008，41(8): 2541-2553.]，如耦合隐马尔可夫模型(CHMM) [ Waleed H, Kasabov N.Reduced feature-set based parallel CHMM spee·ch recognition systems [J],Information Sciences, 2003, 156(1-2): 21-38.]，嵌入式马尔可夫模型(EHMM)，如张前进提出的基于嵌入式隐马尔可夫模型(EHMM)的步态识别[张前进，徐素莉.基于嵌入式隐马尔可夫模型的步态识别[J]，信息与控制，2010，39 (I): 25-29.]，其中张二虎提出的利用动态部位变化的步态识别[张二虎，赵永伟.利用动态部位变化的步态识别[J]，中国图象图形学报，2009，14(9): 1756-1763]，方法融入了时序的特性，用基于最大熵马尔可夫模型(MEMM)作为步态分类器，识别率高，模型的鲁棒性也较好。从步态识别方法研究来看，越来越多的研究者都是从表达步态的特征下手，希望找到更加本质的步态特征，识别方法上考虑时序特征的模型应用也越来越多，希望用基于时间的概率推理来达到更好的识别效果。因此，人们期望获得一种具有监督机制的步态识别方法。
发明内容:
本发明的目的是通过步态来对人体身份进行认证，提供一种具有监督机制的步态识别方法。本发明提供了一种具有监督机制的步态识别方法，其特征在于:其采用三层的动态贝叶斯网络模型进行步态识别，其中:模型第一层采用人体步态轮廓为特征，并且当前时刻的状态只与下一个时刻状态相关；模型第二层采用步态帧差图像为特征，并且当前时刻的状态与下一时刻相关，并且与第一层当前时刻状态及下一时刻状态相关；模型第三层为监督层，与第二层当前时刻状态及第一层当前时刻状态相关。所述具有监督机制的步态识别方法中，模型第二层中的步态帧差图像特征采用建立特征向量的方法表达，特征向量的建立采用如下步骤:
首先用固定大小的矩形框来分割人体帧差图像，把人体帧差图像进行分段处理；
其次计算每段矩形框的转动惯量；
最后，用转动惯量的值来构建特征向量。
所述具有监督机制的步态识别方法还满足下述要求:监督层根据当前时刻的第一层状态，即判断人体轮廓图像是否为非人体步态的异常行为，来决定当前模型是否进行模型学习及识别；同时，还根据当前时刻第二层状态，即判断帧差图像是否为非人体步态的异常行为，来决定当前模型是否进行模型学习及识别。
所述具有监督机制的贝叶斯网络模型含有3个状态变量X1 , X2 , I3及5个观测变量(91: O5 ;其中I1用来表达步态序列的静态帧信息，即 -1时刻步态帧、t时刻步 态帧，上述的步态帧信息只包含当前时刻的步态静态的信息；_Γ2用来表达帧差图像，I3用来表示对I1和X2状态的监督；观测变量(91 >分别为步
态静态帧信息的关节角、高度、宽度信息；观测变量Oi4、￡夕分别为步态运动的帧差的速度及幅度信息；
在3层的动态贝叶斯网络模型中，模型第一层及第二层的状态用以描述人行走时步态的动态信息及静态信息；在每个模型层中动态概率过程假设是马氏的，即未来时刻的概率
只与当前时刻有关而与过去时刻无关:依赖于Ip1 ;由于步态行走是个时序的过程，反
映的是随时刻t步态帧的姿态、幅度、轮廓以及节奏的变化；随时刻t变化的动态信息能反应出人行走时的步态幅度、节奏的变化，而随时刻t变化的静态信息能很好的表达步态的姿态、轮廓外形的信息；在模型中动态信息受当前时刻及前一时刻静态信息的作用来表达。
所述具有监督机制的步态识别方法中，步态帧差图像特征采用建立特征向量的方法表达，特征向量的建立采用如下步骤:
首先从上到下用固定大小的矩形框来分割人体帧差图像，把人体帧差图像分为若干段；其次计算每段矩形框的转动惯量；最后，用转动惯量的值来构建特征向量；即:
J = YtMxr2 ,其中 取为像素点的像素值，帧差为二值图像，白色区域应该为255，
但为了便于计算试验中像素值设定常量值为I 为像素点到矩形中心的距离，设定矩形中心点为坐标(O，O)点，即
权利要求
1.一种具有监督机制的步态识别方法，其特征在于:其采用三层的动态贝叶斯网络模型进行步态识别，其中:模型第一层采用人体步态轮廓为特征，并且当前时刻的状态只与下一个时刻状态相关；模型第二层采用步态帧差图像为特征，并且当前时刻的状态与下一时刻相关，并且与第一层当前时刻状态及下一时刻状态相关；模型第三层为监督层，与第二层当前时刻状态及第一层当前时刻状态相关。
2.按照权利要求1所述的一种具有监督机制的步态识别方法，其特征在于:模型第二层中的步态帧差图像特征采用建立特征向量的方法表达，特征向量的建立采用如下步骤: 首先，用固定大小的矩形框来分割人体帧差图像，把人体帧差图像进行分段处理； 其次，计算每段矩形框的转动惯量； 最后，用转动惯量的值来构建特征向量。
3.按照权利要求2所述的一种具有监督机制的步态识别方法，其特征在于:所述具有监督机制的步态识别方法还满足下述要求:监督层根据当前时刻的第一层状态，即判断人体轮廓图像是否为非人体步态的异常行为，来决定当前模型是否进行模型学习及识别；同时，还根据当前时刻第二层状态，即判断帧差图像是否为非人体步态的异常行为，来决定当前模型是否进行模型学习及识别。
4.按照权利要求3所述的一种具有监督机制的步态识别方法，其特征在于: 所述具有监督机制的贝叶斯网络模型含有3个状态变量X1 , X2，I3及5个观测变量O1: O5 ;其中I1用来表达步态序列的静态帧信息，即 -1时刻步态帧、t时刻步态帧，上述的步态帧信息只包含当前时刻的步态静态的信息；用来表达帧差图像，X3用来表示对Z1和I2状态的监督；观测变量(91、,少、(T3为步态静态帧信息的关节角、高度、宽度信息；观测变量O4、O5为步态运动的帧差的速度及幅度信息； 在3层的动态贝叶斯网络模型中，模型第一层及第二层的状态用以描述人行走时步态的动态信息及静态信息；在每个模型层中动态概率过程假设是马氏的，即未来时刻的概率只与当前时刻有关而与过去时刻无关:依赖于;由于步态行走是个时序的过程，反映的是随时刻t步态帧的姿态、幅度、轮廓以及节奏的变化；随时刻t变化的动态信息能反应出人行走时的步态幅度、节奏的变化，而随时刻t变化的静态信息能很好的表达步态的姿态、轮廓外形的信息；在模型中动态信息受当前时刻及前一时刻静态信息的作用来表达。
5.按照权利要求2、3或4所述的一种具有监督机制的步态识别方法，其特征在于: 所述具有监督机制的步态识别方法中，步态帧差图像特征采用建立特征向量的方法表达，特征向量的建立采用如下步骤: 首先从上到下用固定大小的矩形框来分割人体帧差图像，把人体帧差图像分为若干段；其次计算每段矩形框的转动惯量；最后，用转动惯量的值来构建特征向量；即: J = J^mxr2 ,其中 取为像素点的像素值，帧差为二值图像，白色区域应该为255， 但为了便于计算试验中像素值设定常量值为I 为像素点到矩形中心的距离，设定矩形中心点为坐标(O，O)点，即Γ = ^X2 + J2，矩形区域中动态部位的像素点坐标为Cr，7)，即图像中白色区域的坐标点，以此特征值建立特征向量； 所述具有监督机制的步态识别方法，模型第三层为监督层，监督层根据当前时刻第一层状态，即判断人体轮廓图像是否为非人体步态的异常行为，来决定当前模型是否进行模型学习及识别；以及根据当前时刻第二层状态，即判断帧差图像是否为非人体步态的异常行为，来决定当前模型是否进行模型学习及识别； 步态行走是个时序的过程，在单位时间片t内，不仅包含有由步态序列帧表达的外形轮廓静态信息，还包含有由帧差图像表达的人体行走时的节奏性动态信息:运动幅度、速度；在动态信息的表达中，人在步态行走时，通常表现为左右肢体交替性的有节奏的摆动，这种摆动从人体侧面90度视角观察时，表现为人体的左右部分由前向后，再由后向前的运动过程，在此过程步态帧差中:帧差的前向部分和帧差的后向部分表达了人体运动左右部分的动态运动特性； 由如上动态信息和静态信息的融合构建具有监督机制的贝叶斯网络模型:具有监督机制的贝叶斯网络模型含有3个状态变量I1，X2，X3及5个观测变量O1: Cf ;其中X1用来表达步态序列的静态帧信息，即 -l时刻步态帧、 时刻步态帧，此步态帧信息只包含了当前时刻的步态静态的信息:外形轮廓、姿态；I2用来表达帧差图像，I3用来表示对I1和I2状态的监 督；观测变量d、O2、O3为步态静态帧信息的关节角、高度、宽度信息；观测变量#、O5为步态运动的帧差的速度及幅度信息； 具有监督机制的步态识别方法采用3层的动态贝叶斯网络模型，模型中第一层及第二层的状态用来来描述人行走时步态的动态信息及静态信息，第三层用来作为监督层，而在每层中动态概率过程假设是马氏的(Markovian)，即未来时刻的概率只与当前时刻有关而与过去时刻无关依赖于Ip1 ;由于步态行走是个时序的过程，反映的是随时刻t步态帧的姿态、幅度、轮廓以及节奏的变化；随时刻t变化的动态信息能很好的反应出人行走时的步态幅度、节奏的变化，而随时刻t变化的静态信息能很好的表达步态的姿态、轮廓外形的信息；在模型中动态信息受当前时刻及前一时刻静态信息的作用来表达，模型能融合步态行走的动静态信息； 推理动态贝叶斯网络模型就是计算在给定观察序列013.= O1O2K q计算隐状态变量Xf的边缘概率
全文摘要
一种具有监督机制的步态识别方法，其采用三层的动态贝叶斯网络模型，模型第一层采用人体步态轮廓为特征，并且当前时刻的状态只与下一个时刻状态相关；模型第二层采用步态帧差图像为特征，并且当前时刻的状态与下一时刻相关，并且与第一层当前时刻状态及下一时刻状态相关；模型第三层为监督层，与第二层当前时刻状态相关及第一层当前时刻状态相关。本发明改进了传统的模型结构，增加了监督机制；明显改善了参数的优化学习，极大的提高了步态识别率；其实际应用意义与社会效益巨大。
文档编号G06K9/00GK103235928SQ20131000471
公开日2013年8月7日 申请日期2013年1月8日 优先权日2013年1月8日
发明者杨旗 申请人:沈阳理工大学