专利名称：基于随机高斯隐变量的人体运动跟踪方法
技术领域：
本发明属于图像处理技术领域，更进ー步涉及到计算机视觉领域中实现人体运动跟踪的ー种 方法，可用于体育训练和动画制作，视频监控领域。
背景技术：
人体运动跟踪的主要任务是从视频图像中检测出人体轮廓，再对人体的关节点进行定位，在此基础上识别出人体运动姿态，最終重建三维人体运动姿态。由于目前视频图像是三维场景中的人体轮廓在ニ维图像上的投影，所以，丢失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发生，视频图像存在歧义性，这使得很难从无标记单目视频中恢复人体运动姿态。但是，由于基于单目视频的人体运动跟踪在医学治疗、体育训练、动画制作、智能监控系统等各个方面都有潜在的应用和经济价值，所以受到了很多学者的关注。至今，基于视频的人体运动跟踪的方法主要分为以下两大类第一种是基于学习的人体运动跟踪方法。该方法首先在训练的视频图像和目标视频图像数据库里提取精确的图像特征，然后学习训练视频图像数据库的图像特征与运动捕捉数据之间的映射，最后在目标视频图像上直接使用人体特征恢复三维姿态。如Urtasun et al. (R. Urtasun and T. Darrell. Local Prooabilistic Regression forActivity-Independent Human Pose Inference IEEE Conference on Computer Visionand Pattern Recognition (CVPR), 2008)文章,就是使用平衡高斯过程动态模型指导在单目视频序列中跟踪三维人体运动，该动态模型是从较少的包含多种模式的运动训练数据中学>J得至丨J0 Sigal et al. (L. Sigal and M. Black. Measure Locally, Reason Globally Occlusion-sensitive articulated pose estimation. IEEE Conference on ComputerVision and Pattern Recognition (CVPR), 2006.)在该文章中提出一个贝叶斯框架，该框架包含序列重要性采样和退火粒子滤波，并且在跟踪时使用了多种运动模型。为了使三维姿态恢复更加符合解剖学关节约束，同时使搜索空间降维，该框架从训练数据中学习运动模型，使用虚拟标记的欧式距离差作为量测误差。该方法的缺点是提取精确的图像特征需要花费大量的时间，而且视频跟踪受到是否存在学习数据库的限制，若不存在学习数据库，则无法完成视频跟踪。第二种是基于模型的人体运动跟踪方法。该方法不需要学习数据库，直接在目标视频图像上提取图像信息，建立目标图像与模型的相似度函数，然后对相似度函数进行优化从而在高维的状态空间中捜索最优的状态，从而获得准确的人体姿态。如法国国家信息与自动化研究所(INRIA)的 C. Sminchisescu 和 A. Jepson.在(C. Sminchisescuand A. Jepson. Generative Modeling for Continuous Non—Linearly Embedded Visua丄Inference. International Conference on Machine Learning (ICML), 2004)的3C章中米用此种方法实现了使用多种人体模型的运动跟踪。Deutscher et al.在(J. Deutscherand I. Reid. Articulated Dody motion capture Dy stocnastic search. Internationa丄Journal of Computer Vision (IJCV), 61 (2) : 185-205, 2004.)的文章中使用边界和侧影作为图像特征构建加权的相似度函数，应用退火粒子滤波实现了人体运动跟踪。由于该方法只建立ー个相似度函数，而用于优化相似度函数的方法在捜索最优结果时很容易陷入局部最优，导致跟踪到的人体姿态不准确，而且算法的时间复杂度高。
发明内容
本发明的目的在于针对现有技术中的不足，提出一种基于随机高斯隐变量模型的人体运动跟踪的方法，以提高人体运动跟踪姿态的准确性，减少运算时间，并实现在不同数据库上对运动人体的跟踪。本发明的技术思路是利用视频图像中人体关节点的位置作为观测数据Y，以Y为已知数据，用一组未观测到的隐变量X来表示Y，用高斯分布P(Ylx)表示两者之间的函数关系，对这个高斯分布用梯度下降的方法即导数法求解出X，通过X反向预测可以得到人体的关节点位置f，通过连接这些关节点的位置，表示出人体的运动姿态。其实现步骤包括如下 (I)从原始的视频图像中获得人体关节点的三维坐标矩阵Y ；(2)根据三维坐标矩阵Y构建高斯隐变量模型2a)将人体关节点的三维坐标矩阵Y代入高斯公式
_]州卜に1が))’其中，X为待求解的隐空间，K为径向基RBF核矩阵，β为K矩阵的超參数，D为三维坐标矩阵Y的维数，N为隐变量X的维数，I · I表示矩阵的摸，tr( ·)表示矩阵的迹，(·)τ表示矩阵的转置，(づ—1表示矩阵求逆，求解隐变量X和K矩阵的超參数β即可获得完整的高斯隐变量模型；2b)通过最大似然估计法求解隐空间X和径向基RBF核矩阵的超參数β，对步骤2a)中公式两边做对数运算，得到负对数似然度函数ζ ζ = -\ηρ(Υ\Χ,β) = ~\η2π- — \n\K\--triK-W)；(3)使用随机梯度下降算法求解负对数似然度函数ζ，获得隐空间X和超參数β 3a)随机初始化隐空间X，对X用K-means的方法进行聚类，选择离聚类中心最近的隐空间点作为初始參考点Xo，同时赋给β —个随机初始值，其中Xtl e X ;3b)对步骤3a)中获得的初始參考点Xtl求出其在隐空间X内的R个近邻点，选取初始參考点Xtl的R个近邻作为计算ζ的近邻空间X1(，其中，R = 50 ；3c)在Xk中计算ζ关于X和核矩阵超參数β的偏导数ト-(Kt·Yr ·K ·Kt-D.K-1).II*-(KrI ·Yr ·Ytr ·K-R1 -D.K-ハ
即即R其中，Kk是在近邻空间Xk中的径向基RBF核矩阵，β Ε为核矩阵Kk的超參数，Yk是与近邻空间Xk对应的三维姿态关节点坐标矩阵，(· )τ表示矩阵的转置，(· Γ1表示矩阵求逆，当两个偏导数等于零时获得初始化后的隐空间X和超參数β ；(4)迭代更新隐空间X和核超參数β 4a)获得隐空间X和核超參数β后，将隐空间X用局部保留映射LPP的方法投影到空间V中，并在空间V中随机选取參考点X1 ,计算參考点Xr的R个近邻，得到參考点\在空间t中的近邻空间Γ E；4b)将參考点、在空间X'中的近邻空间X' κ投影回隐空间X，得到參考点、在隐空间X中的近邻空间Xk ；4c)在步骤4b)获得近邻空间Xk后，按步骤3c)在Xk中计算ζ关于X的偏导数
<和(关于核矩阵超參数β的偏导数も，获得此次迭代后的隐空间X和核矩阵超參数SX
β ; 4d)重复步骤4a)至4c)，使用迭代法更新隐空间X和核矩阵超參数β ；(5)在迭代5000次以后，获得最終的隐空间X和核超參数β，得到高斯隐变量模型，使用学习得到的高斯隐变量模型，以获得的隐空间X为输入，估计出运动人体的三维姿态数据免，通过下式实现yt=M + YTK-lk(xt,X ),其中，Y为视频图像中人体关节点的三维坐标矩阵，M是Y的均值，X为学习得到的隐空间，Xt为λ在隐空间X中对应的点，K为径向基RBF核矩阵，k(xt，X)是核函数，(·)τ表示矩阵的转置，(· Γ1表示矩阵求逆。本发明与现有的技术相比具有以下优点I、本发明由于在模型初始化使用了 K-means聚类，以聚类中心作为初始參考点使得本方法获得的人体运动跟踪结果稳定性得到大幅提高；2、本发明由于在求解隐空间X的过程中采用局部线性映射LPP的方法将隐空间投影到低维空间，在其中寻找參考点的近邻，使得參考点的近邻更具有代表性，提高了跟踪结果的准确性。
图I为本发明的流程图；图2是未经处理的人体“跑步”运动序列视频截图；图3是用本发明对图2进行姿态恢复的结果图；图4是用未经处理的人体“拳击”运动序列视频截图；图5是用本发明对图4进行姿态恢复的结果图。
具体实施例方式下面结合附图对本发明做进ー步的描述。參照图1，本发明的具体实现过程如下步骤1，对原始的视频图像进行预处理，将原始视频图像分离为单独帧视频图像，提取每帧频图像中运动人体的三维关节点坐标，组成该视频序列的人体关节点三维坐标矩阵Y。步骤2，根据三维坐标矩阵Y构建高斯隐变量模型2a)将人体关节点的三维坐标矩阵Y代入高斯公式
权利要求
1.一种基于随机高斯隐变量的人体运动跟踪方法，包括如下步骤 (1)从原始的视频图像中获得人体关节点的三维坐标矩阵Y; (2)根据三维坐标矩阵Y构建高斯隐变量模型 2a)将人体关节点的三维坐标矩阵Y代入高斯公式
2.根据权利要求I中所述方法，其中步骤4d)中所述的使用迭代法更新隐空间X和核矩阵超參数β，按如下步骤进行 4dl)计算第η次迭代与第η-i次迭代隐空间的变化量AXn
全文摘要
本发明公开了一种基于随机高斯隐变量的人体运动跟踪方法，主要解决现有技术的人体运动跟踪结果不准确和不稳定的问题。其实现过程为，首先预处理视频图像，获得原始关节点三维坐标矩阵Y；根据获得的三维坐标矩阵Y构建高斯隐变量模型；使用随机梯度下降方法求解高斯隐变量中隐空间X和核超参数β；使用迭代法，结合K-mean聚类和局部保留映射LPP，更新隐空间X和核超参数β；经过5000次迭代获得最终隐空间X和核超参数β，进而获得高斯隐变量模型，使用学习得到的高斯隐变量模型，以获得的隐空间X为输入，估计出运动人体的三维姿态数据。本发明较之现有的人体跟踪方法可以避免陷入局部最优，可用于运动捕获，人机交互，视频监控，人体目标识别和三维姿势恢复。
文档编号G06T7/20GK102663779SQ20121013372
公开日2012年9月12日 申请日期2012年5月3日 优先权日2012年5月3日
发明者刘三军, 张红蕾, 李晓君, 甘露, 谢福强, 郭玉言, 韩启强, 韩红, 顾建银 申请人:西安电子科技大学