一种基于Kinect的多视角步态识别方法
【专利摘要】本发明公开了一种基于Kinect的多视角步态识别方法,采集骨架关节点三维空间位置信息并视角归一化到侧面视角下；提取视角归一化后的步态特征，对训练集里不同视角下的步态系统动态进行神经网络建模、辨识；建立常值神经网络；构建动态估计器，利用不同视角下的步态模式之间在步态系统动力学上的差异，根据最小误差原则实现对测试模式的识别。本发明利用Kinect获取骨架关节点的三维空间位置信息,无需借助其它传感设备,不用进行图像处理,降低了系统复杂度，提高了特征数据的提取精度。
【专利说明】一种基于Kinect的多视角步态识别方法
【技术领域】
[0001] 本发明属于模式识别【技术领域】，具体涉及一种基于Kinect的多视角步态识别方 法。
【背景技术】
[0002] 目前，传统的步态识别方法主要是通过图像处理的方法来获取步态特征数据，该 类方法对周围的光照环境较为敏感，光照条件不佳可能会影响步态特征提取的准确性；人 体穿戴的衣服、饰物等遮挡物也会对步态特征的提取产生干扰和影响；整个图像处理系统 的设计较为复杂。而微软公司的Kinect采用主动红外线技术进行深度探测，避免了周围光 照条件和遮挡物的影响，能够实时准确地获取人体骨架关节点的三维空间位置信息，无须 借助其他传感设备，降低了系统的复杂度，这对人体步态识别系统的设计很有帮助。因此有 必要设-H种基于Kinect的步态识别方法，以充分利用Kinect的优势来进行步态识别。
[0003] 步态识别本质上可以看作是一个动态模式的辨识与识别问题，而动态模式识别本 身就是模式识别领域的难题之一。在对径向基函数（RBF)神经网络的持续激励特性研宄的 基础上，C. Wang等提出了确定学习理论，其中包括对非线性动力学系统产生的动态模式的 辨识、表达和快速识别方法，即通过确定学习获得动态模式内在系统动态的局部准确神经 网络建模，把随时间变化的动态模式以时不变且空间分布的方式有效地表达，进一步利用 动态模式内在的动力学拓扑相似给出动态模式之间的相似性定义，并提出了对动态模式进 行快速识别的一套新方法。
[0004] 在监控场景中进行步态识别时，最大的难点之一在于视角变化所带来的影响。由 于监控摄像头通常安装在固定的位置，而监控场景中被识别对象的行走方向是随机的，不 可能按照步态识别系统设计者规定的方向行走，视角变化问题是步态识别无法回避的问 题。现有的很多方法对视角变化的鲁棒性不足，处理多视角步态识别时性能会大大降低甚 至失效。
【发明内容】
[0005] 本发明的目的是克服现有技术存在的问题，提供一种更为简洁准确的基于Kinect 的多视角步态识别方法。
[0006] 本发明一种基于Kinect的多视角步态识别方法，包含如下步骤：
[0007] 步骤1、利用Kinect获取若干试验者不同视角下人体行走时骨架关节点三维空间 位置信息；
[0008] 步骤2、将不同视角下的骨架关节点三维空间位置视角归一化到侧面视角下；
[0009] 步骤3、提取视角归一化后的髋、膝和踝关节点的空间位置坐标计算得到双下肢膝 关节角度和髋关节角度作为步态特征，构成一组步态特征变量，将所有试验者的步态特征 变量存入形成训练集；
[0010] 步骤4、基于确定学习理论，根据步骤3视角归一化后提取出来的双下肢膝关节和 髋关节角度特征对训练集里每一个人在不同视角下的步态模式所对应的未知非线性步态 系统动态建模，设计RBF神经网络辨识器实现对步态系统未知动态的局部准确逼近：
[0011] 步骤5、根据确定学习理论，沿步态系统特征轨迹的RBF神经网络的神经元满足持 续激励条件，其权值收敛到最优值，取权值收敛后一段时间内各个权值的均值作为学习训 练结果，并利用所述学习训练结果建立常值神经网络，所学到的步态动力学知识以常值神 经网络权值的形式存储，将不同人在不同视角下的步态模式归一化到侧面视角下，组成训 练步态模式库；
[0012] 步骤6 :利用Kinect获取某一视角下人体行走时的骨架关节点三维空间位置信 息，将其视角归一化到侧面视角下，计算得到双下肢膝关节和髋关节特征数据，将其作为测 试模式的步态特征数据存入测试集；
[0013] 步骤7 :利用常值神经网络构建一组动态估计器，把步骤4和步骤5学习到的训练 步态模式库里每一个人在不同视角下的步态模式所对应的一般非线性步态系统动力学知 识嵌入到动态估计器中，将测试集里待识别的步态特征数据与这组动态估计器做差，形成 一组识别误差，根据最小误差原则把测试模式准确分类识别出来，实现多视角下的步态识 别。
[0014] 进一步，在步骤1和6中，利用Kinect获取的三维空间位置信息，其中三维空间的 坐标系是指Z轴与Kinect摄像机的摄像头中轴线平行，依右手螺旋定则定义与水平方向 平行的方向为X轴，竖直平面为Y轴。
[0015] 进一步，在步骤4中，所述非线性步态系统动态建模方法如下：
[0016] X = F(x] p) + v(x； p),
[0017] 其中，x = [X1，…，xn]Te 1^是视角归一化后获取到的双下肢膝关节和髋关节角 度特征，即步态特征变量，η为步态特征变量的维数，p是系统常参数值，F (x;p) = B1Oc; ρ)，···，?·η(Χ;ρ)]τ是光滑且未知的非线性动态变量，代表了不同人在不同视角下的步态系 统动态，
[0018] v(x ;p) = [V1U ;ρ)，…，vn(x ;ρ)]τ；^建模不确定项，将二者合并为一项：
[0019] ?/Κ.ν: Ρ):=Ρ) + Κ.ν: /))，并定义为一般非线性步态系统动态；
[0020] 设计神经网络辨识器辨识河.\_;/))=[奶卜;/7),"_,奶,(.\-;/川 /，具体为：
[0021] 采用动态RBF神经网络构造神经网络辨识器，动态RBF神经网络辨识器形式如 下：
[0022] ? = -- .V) + H〉' 'S(.v)，
[0023] 其中，1 =[私…，.U是神经网络辨识器的状态，即选取的步态特征变 量；A = (Iiaglia1,…，an]是对角矩阵，Si是设计的常数，满足0 < |a J < 1 ; P只X) = S1 (斗…&⑴?是动态RBF神经网氣 统动态机r;/;);S(X) = [SJI Ιχ-ξ」|，···4Ν(| |Χ-ξη|⑴是高斯型径向基函数；Ν> 1是 神经网络结点数目；ξ i是神经元中心点；RBF神经网络权值的调节律如下：
[0024] H>=-FiS(X)Xi-^f Wi , ? = 1,···,η ,
[0025] 其中：i表示η维足底压力特征变量中第i维变量，足.=足.-.\.是状态误差，ri = Γ /> 0, σ i> 0是调节律的调节参数，动态RBF神经网络的权值疙的初始值疙(0) = 0 ;
[0026] 对应的步骤5中所述常值神经网络权值是指在一段时间内权值收敛至最优的常 值，选取收敛的部分权值取数值平均，获取相应的神经网络常值的权值, = [f, ···,%]、所 述神经网络常值由如下式表示：
【权利要求】
1. 一种基于Kinect的多视角步态识别方法，其特征在于，包含如下步骤： 步骤1、利用Kinect获取若干试验者不同视角下人体行走时骨架关节点三维空间位置 信息； 步骤2、将不同视角下的骨架关节点三维空间位置视角归一化到侧面视角下； 步骤3、提取视角归一化后的髋、膝和踝关节点的空间位置坐标计算得到双下肢膝关节 角度和髋关节角度作为步态特征，构成一组步态特征变量，将所有试验者的步态特征变量 存入形成训练集； 步骤4、基于确定学习理论，根据步骤3视角归一化后提取出来的双下肢膝关节和髋关 节角度特征对训练集里每一个人在不同视角下的步态模式所对应的未知非线性步态系统 动态建模，设计RBF神经网络辨识器实现对步态系统未知动态的局部准确逼近： 步骤5、根据确定学习理论，沿步态系统特征轨迹的RBF神经网络的神经元满足持续激 励条件，其权值收敛到最优值，取权值收敛后一段时间内各个权值的均值作为学习训练结 果，并利用所述学习训练结果建立常值神经网络，所学到的步态动力学知识以常值神经网 络权值的形式存储，将不同人在不同视角下的步态模式归一化到侧面视角下，组成训练步 态模式库； 步骤6 :利用Kinect获取某一视角下人体行走时的骨架关节点三维空间位置信息，将 其视角归一化到侧面视角下，计算得到双下肢膝关节和髋关节特征数据，将其作为测试模 式的步态特征数据存入测试集； 步骤7 :利用常值神经网络构建一组动态估计器，把步骤4和步骤5学习到的训练步态 模式库里每一个人在不同视角下的步态模式所对应的一般非线性步态系统动力学知识嵌 入到动态估计器中，将测试集里待识别的步态特征数据与这组动态估计器做差，形成一组 识别误差，根据最小误差原则把测试模式准确分类识别出来，实现多视角下的步态识别。
2.根据权利要求1所述的基于Kinect的多视角步态识别方法，其特征在于：在步骤1 和6中，利用Kinect获取的三维空间位置信息，其中三维空间的坐标系是指Z轴与Kinect 摄像机的摄像头中轴线平行，依右手螺旋定则定义与水平方向平行的方向为X轴，竖直平 面为Y轴。
3.根据权利要求1所述的基于Kinect的多视角步态识别方法，其特征在于：在步骤4 中，所述非线性步态系统动态建模方法如下： X= /"(.V；p)+ V'(.V；p) J 其中，X= [X1，…，xn]TeRn是视角归一化后获取到的双下肢膝关节和髋关节角度 特征，即步态特征变量，η为步态特征变量的维数，p是系统常参数值，F(x;p) = [f\(x; ρ)，···，?·η(Χ;ρ)]τ是光滑且未知的非线性动态变量，代表了不同人在不同视角下的步态系 统动态，V(x;p) = [V1(Xf),…，Vn(XiP)]1^建模不确定项，将二者合并为一项： i/Kx:/7):=/;'(..V:/;) +K.V:p)，并定义为一般非线性步态系统动态； 设计神经网络辨识器辨识=[奶(.Υ;Ρ),·?(.^/))?，具体为： 采用动态RBF神经网络构造神经网络辨识器，动态RBF神经网络辨识器形式如下： 其中，i=[ip···，九]是神经网络辨识器的状态，即选取的步态特征变 量；A= (Iiaglia1,…，an]是对角矩阵，Si是设计的常数，满足O<|aJ< 1 ; ifzS(..v)=[化zS1 (X)，…Ji:,7 ⑴]7是动态RBF神经网络，用来逼近未知的一般非线性步态系 统动态糾>;/));S(X) = [Si(| |χ-ξ」|，···4Ν(| |χ-ξη|⑴是高斯型径向基函数；n> 1是 神经网络结点数目；ξi是神经元中心点；RBF神经网络权值的调节律如下： 疙=-Γ,.5(Λ-).?,. - 七，，.=1,…，η， 其中：i表示η维足底压力特征变量中第i维变量，i: 是状态误差，Γi=Γ， > 〇,σi> 〇是调节律的调节参数，动态RBF神经网络的权值疙的初始值疙(O) =O; 对应的步骤5中所述常值神经网络权值是指在一段时间内权值收敛至最优的常值，选 取收敛的部分权值取数值平均，获取相应的神经网络常值的权值P ，所述神 经网络常值由如下式表示：
其中，[ta，tb]代表神经网络权值在完成向其最优值收敛的过渡过程之后的一个时间 段，使^(x;/?)由常值神经网络/If1S(X)进行局部准确逼近：
其中，ei2是逼近误差； 所述的步骤7具体如下： 根据步骤5所获取的训练步态模式库中每个人在不同视角下的一般非线性步态系统 动态的RBF神经网络辨识结果，即常值神经网络权值iff，构造一组动态估计器，表述如下：
其中，X 动态估计器的状态，i表示η维足底压力特征变量中第i维变量，k表示M 个训练模式中的第k个训练模式，M为训练步态模式库中的模式总量，匕为动态估计器参 数，Xti为测试集中测试模式的步态特征数据； 将测试集里待识别的测试模式的步态特征数据^与这组动态估计器做差，得到如下 的识别误差系统：
其中，歹/ =忑"-?是状态估计误差，计算名"的平均1^范数如下：
其中，T。表示步态周期； 如果存在一个有限时间ts，se{1，…，k}和某一ie{1，…，n}，使IjAoIi < (?| 对所有t>ts成立，则出现的步态测试模式可被分类识别出来。
4. 根据权利要求3所述的基于Kinect的多视角步态识别方法，其特征在于：所述RBF 神经网络权值的调节律根据李雅普洛夫稳定性定理和确定学习理论进行设计，使状态误差 与权值估计都有界并指数收敛，其中，所述RBF神经网络的权值收敛有两种情况： 第一种情况：沿步态特征回归轨迹的RBF神经网络的神经元满足持续激励条件，其权 值收敛到最优值的小邻域内； 第二种情况：远离步态特征回归轨迹的RBF神经网络的神经元不受激励而不被调节， 其权值近似为零。
5. 根据权利要求3所述的基于Kinect的多视角步态识别方法，其特征在于：对一般非 线性步态系统动态的局部准确建模由如下公式表示：
其中，εη是逼近误差，这里的局部准确建模是通过RBF神经网络对沿步态特征数据的 内在系统动态轨迹的逼近，而远离轨迹的内部动态则不被逼近。
【文档编号】G06K9/00GK104463118SQ201410733760
【公开日】2015年3月25日 申请日期:2014年12月4日 优先权日:2014年12月4日
【发明者】曾玮, 邓木清, 王清辉 申请人:龙岩学院