专利名称：多模型人体运动跟踪方法
技术领域：
本发明属于图像处理技术领域，涉及人体运动跟踪，特别是一种多模型的人体运 动跟踪和三维姿态估计，可用于体育训练和动画制作等领域。
背景技术：
人体运动跟踪的主要任务是从图像检测出人体，定位人体部分，然后识别出人体 运动姿态，最终重建三维人体运动。由于获得的视频或者图像序列都是三维场景在二维 图像上的投影，缺失了大量的深度信息，并且人体运动过程中，人体四肢自遮挡现象时常发 生，视频图像的质量也无法保证，这使得从无标记单目视频中恢复人体运动姿态的工作困 难重重。但是，由于基于单目视频的人体运动跟踪在医学治疗、运动捕捉、动画制作、智能监 控系统等各个方面都有潜在的应用和经济价值，所以受到了很多学者的关注。基于视频的人体运动分析的方法主要分为两大类基于模型的人体运动跟踪和基 于学习的人体运动跟踪。(1)基于模型的人体运动跟踪现有的基于模型的人体运动跟踪大部分都是使用确定性或者随机性的优化方法， 在高维的状态空间中搜索最优的状态。该方法的主要研究有法国国家信息与自动化研究所(INRIA)的C. Sminchisescu采用基于模型的方法 在单目相机人体运动估计方面做了大量工作，从人体模型到搜索策略的一系列研究，大部 分属于产生式方法。美国布朗大学M.J. Black教授领导的视觉组主要致力于人体运动估计和人体手 势、行为和面部表情的重构，目的是将人体运动的估计和理解应用于多媒体研究和新颖的 用户界面中。在人体运动估计方面，该研究组用贝叶斯框架获得人体统计信息，对3D人体 运动进行随机跟踪。目前该研究组为评价链接人体运动方法创建了一个同步视频和运动捕 捉数据集=HumanEva数据集。HumanEva是多摄像机获得的数据资料，不仅包含多种运动的 视频序列，而且还包含相应的地面实况Ground Truth，为人体运动跟踪方法的定量比较提 供了依据。Deutscher et al.使用边界和侧影作为图像特征构建加权函数，应用退火粒子滤 波框架实现人体运动跟踪。Mikic et al.从多个同步视频流中自动的获得人体模型，应用 扩展卡尔曼滤波框架，依据已标记的voxel数据上的量测信息估计人体运动参数。(2)基于学习的人体运动跟踪该方法首先提取精确的图像特征，然后学习图像特征与运动捕捉数据之间的映 射，最后直接使用人体特征恢复三维姿态。在该方面的深入研究有法国国家信息与自动化研究所(INRIA)的主要项目LEAR(Learning for Vision) 中很重要的部分就是对人的运动进行检测和运动分析，A. Agarwal在研究中做出了巨大的 贡献，他采用shape context等鲁棒性好的描述子描述人体侧影，然后学习运动捕捉数据与 人体侧影之间的关系，最后根据人体侧影特征重建三维人体运动。
加拿大多伦多大学计算机系C. Sminchisescu研究组2004年以来， C. Sminchisescu的人体运动分析研究方法逐渐从产生式向判别式转变，通过分层编码和半 监督学习适应多层级的变化，处理复杂背景下3D姿态类的可变性，采用稀疏的方法恢复3D 人体姿态。Urtasun et al.使用平衡高斯过程动态模型指导在单目视频序列中跟踪3D人体 运动，该动态模型是从较少的包含多种模式的训练运动数据中学习得到。Sigal et al.提 出一个贝叶斯框架，包含序贯重要性采样和退火粒子滤波，跟踪时使用了多种运动模型和 似然函数；为了使三维恢复更加符合解剖关节限制和降低搜索空间，从训练数据中学习运 动模型，使用虚拟标记的欧式距离差作为误差量测。基于模型的人体运动跟踪和基于学习的人体运动跟踪各有优劣基于模型的方法优点是该方法有具体的人体模型模拟人体，并且可以使用先验 知识指导运动姿态的预测；缺点是使用优化的方法在搜索最优结果时，很容易陷入局部最 优值，时间复杂度高，并且无法从根本上解决人体运动的二义性，遮挡发生的情况下，人体 运动精确恢复无法得到保证；基于学习的方法优点是使用训练得到的运动映射，增加了跟踪的准确性和稳定 性；缺点是单个的运动模型只能拟合一个运动模式，不能适应人体运动的多变性，提取精确 的图像特征也要花费大量的时间。
发明内容
本发明的目的在于克服现有方法不足，提出了 一种基于可能模型集-变结构多模 型LMS-VSMM的人体运动跟踪方法，以减小人体运动姿态恢复的歧义性，提高人体运动跟踪 的精确度，同时降低单帧跟踪的时间，提高费效比。实现本发明目的的技术思路是汲取上述两种方法的优点，采用基于模型方法的 大框架，建立人体骨架模型，采用基于学习的方法，使用运动捕捉数据直接训练人体运动模 型指导人体运动姿态的预测。为了解决基于学习方法的缺点，前人已经尝试使用交互式多 模型算法IMM完成人体运动跟踪，对特定的人体运动模式使用精心挑选的运动模型集获得 较好的跟踪效果，但在实际的应用中，由于较小的运动模型集合无法解决人体运动模式的 复杂性和多变性，简单的增加运动模型的数量是不可行的，不仅会增加运算了解决该困境， 本发明采用基于可能模型集的变结构多模型方法进行人体运动跟踪。概括地说本发明是在 检测人体关节点位置的基础上，通过使用运动捕捉数据训练的运动模型，结合LMS-VSMM算 法框架来解决人体运动跟踪问题。其具体实现步骤包括如下(1)人体视频图像，通过背景差获得人体侧影，提取人体侧影边缘，并对人体侧影 进行细化处理；(2)根据处理后的人体视频图像，进行如下关节点检测2a)使用同心圆模板沿着骨架线搜索，计算落入圆环的边缘点数量，选取数量最多 时的圆心作为头节点；2b)选取人体侧影重心为根节点；2c)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；2d)使用粒子滤波检测手、肘、肩关节点位置；
6
2e)使用下肢长度检测膝、脚关节点位置；(3)从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动模式的捕捉数据，采 用岭回归方法训练运动模型方程的状态转移矩阵Fi,并计算该运动模型的噪声Wk协方差， 获得的运动模型集合称为总运动模型集M = Im1, m2, m3, m4, m5, m6}，其中Hi1表示僵硬的行走 模型，m2表示行走模型，m3表示平衡行走模型，m4表示Jack跳模型，m5表示跳跃模型，m6表 示下蹲模型；(4)将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，运 行交互式多模型十个周期，计算各模型的模型群概率，选择模型概率最大的三个模型作为 初始当前模型集合M1;(5)以k时刻人体关节点作为输入，利用交互式多模型算法，获得人体运动姿态估 计，更新运动模型概率和人体运动姿态估计误差协方差；(6)根据人体关节点位置，计算四肢骨架线在图像上投影的角度变化比值，若比值 大小满足设定的运动模型激活规则，记此时刻为Iv记当前模型集合为M。，记激活运动模型 Mn，执行以下步骤(7)，否则，输出人体运动姿态估计，执行步骤(5)；(7)将新激活模型的概率初始化为当前模型集合中模型概率的最大值，并归一化 模型概率；将预测误差协方差初始化为运动模型自身的噪声协方差，选取运动捕捉数据中 与当前模式匹配程度最高的状态作为初始状态，将模型集合M。和激活运动模型^合并为新 的当前模型集合Mk;(8)根据新的当前模型，重新执行上述交互式多模型一个周期，若当前模型集合Mk 中运动模型的模型概率小于10_4，则终止该运动模型，输出人体运动姿态估计，并返回执行 上述步骤(5)；否则，输出人体运动姿态估计，执行步骤(8)。本发明与现有的技术相比具有以下优点1、本发明由于使用粒子滤波和下肢长度信息预测人体关节点，获得了更精确的人 体关节点图像位置，并作为图像特征输入LMS-VSMM跟踪框架，算法简单，时间复杂度低；2、本发明由于直接使用运动捕捉数据训练运动模型，而不是学习运动捕捉视频的 图像特征和运动捕捉数据之间的关系，消除了图像噪声的影响，提高了运动模型的精确性 和稳定性，使得估计结果更加符合人体运动规律；3、本发明由于在执行过程中，只有与当前运动模式匹配程度较好的运动模型起作 用，而不是总运动模型集的每个运动模型都在起作用，减少了不相关运动模型的个数，不仅 缩短了运行时间，而且降低了不相关运动模型的恶意竞争程度，提高了人体运动跟踪的精 确度。
图1是本发明多模型人体运动跟踪方法总流程图；图2是本发明的人体运动图像预处理子流程图；图3是本发明的人体关节点检测子流程图；图4是本发明实验关节点模板提取图；图5是本发明实验使用的3D人体骨架模型图；图6是本发明仿真实验的总运动模型集拓扑图7是本发明肢节投影角度变化示例图；图8是本发明仿真实验的关节点检测结果图；图9是本发明仿真实验的三维跟踪结果图；图10是本发明仿真实验的模型概率结果图；图11是本发明仿真实验3D结果投影与检测关节点的误差图。
具体实施例方式参照图1，本发明多模型人体运动跟踪方法，具体实现过程如下步骤1，对输入的视频图像作预处理，获得人体侧影及其外轮廓、骨架线。参照图2，本步骤的具体实现如下1. 1)采用最小平方中值LMedS方法获取背景图像Back，设I是N帧的输入图像序 列，则背景图像Back在(x，y)处的像素值Backx,y为
权利要求
1.一种多模型人体运动跟踪方法，包括(1)输入人体视频图像，通过背景差获得人体侧影，提取人体侧影边缘，并对人体侧影 进行细化处理；(2)根据处理后的人体视频图像，进行如下关节点检测2a)使用同心圆模板沿着骨架线搜索，计算落入圆环的边缘点数量，选取数量最多时的 圆心作为头节点；2b)选取人体侧影重心为根节点；2c)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；2d)使用粒子滤波检测手、肘、肩关节点位置；2e)使用下肢长度检测膝、脚关节点位置；(3)从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动模式的捕捉数据，采用岭 回归方法训练运动模型方程的状态转移矩阵Fi,并计算该运动模型的噪声Wk协方差，获得 的运动模型集合称为总运动模型集M = 0 ,! ,! ,! ,! ,!%}，其中Hl1表示僵硬的行走模型， Hi2表示行走模型，m3表示平衡行走模型，m4表示Jack跳模型，m5表示跳跃模型，m6表示下蹲 模型；(4)将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，运行交 互式多模型十个周期，计算各模型的模型群概率，选择模型概率最大的三个模型作为初始 当前模型集合M1 ；(5)以k时刻人体关节点作为输入，利用交互式多模型算法，获得人体运动姿态估计， 更新运动模型概率和人体运动姿态估计误差协方差；(6)根据人体关节点位置，计算四肢骨架线在图像上投影的角度变化比值，若比值大小 满足设定的运动模型激活规则，记此时刻为h，记当前模型集合为M。，记激活运动模型Mn， 执行以下步骤(7)，否则，输出人体运动姿态估计，执行步骤(5)；(7)将新激活模型的概率初始化为当前模型集合中模型概率的最大值，并归一化模型 概率；将预测误差协方差初始化为运动模型自身的噪声协方差，选取运动捕捉数据中与当 前模式匹配程度最高的状态作为初始状态，将模型集合M。和激活运动模型Mn合并为新的当 前模型集合Mk ；(8)根据新的当前模型，重新执行上述交互式多模型一个周期，若当前模型集合Mk中运 动模型的模型概率小于10_4，则终止该运动模型，输出人体运动姿态估计，并返回执行上述 步骤(5)；否则，输出人体运动姿态估计，执行步骤(8)。
2.根据权利要求1所述的多模型人体运动跟踪方法，其中步骤2d)所述的使用粒子滤 波检测手、肘、肩关节点位置，按如下步骤进行2. 1)根据关节点位置，生成以关节点为中心的矩形框，肩、肘、手关节点的矩形框大小 分别为17X17，11X11，23X21，记矩形框中像素的不变距特征phit为关节点先验特征；2. 2)采用二阶自回归模型更新前一时刻获得的关节点位置xt=Axt_l+Bvt_l+Cwt(1)其中，Xh是肩、肘、手关节点图像坐标位置，天是关节点位置的更新，A和B为单位矩阵， Vt^1是关节点的移动速度，Vt^1 = 0^-^3)/2，C与移动速度vt_i相等，Wt是[-1，1]之间的 一个随机数；·2. 3)检测关节点^ct时，更新Ns次关节点位置，更新一次获得一个采样粒子，Ns的计算 公式如下Ns = flooril χ & χ Vf1) +10,其中 = [<—1, 1 ](2)其中，Vf1分别是速度vt_i的χ轴和y轴分量，粒子数加10是为了防止速度分量为零 的情况；·2. 4)根据2. 1)步给出的矩形框大小，获得以采样粒子为中心的模板图像，计算采样粒 子i的不变距特征尸M^jri的权重^ieighti ( phi1 · phiT. ΛWeighti = -exp 1--p *- J < Ns(3)^ norm(phi'p ) χ norm(phit) J其中，尸&丨是第i个采样粒子不变距特征，Phit为采样粒子对应关节点的关节点先验特 征，norm为2范数，归一化权重向量，使得二脚讽=1 ；·2. 5)关节点&的位置计算公式如下NsXi = ^ Particlei χ Weighti(4)i=l其中，Particlei表示第i个采样粒子的图像位置；·2.6)根据关节点位置，重新计算当前关节点的先验特征。
3.根据权利要求1所述的多模型人体运动跟踪方法，其中步骤2e)所述的使用下肢长 度检测膝和脚关节点位置，按如下步骤进行3a)根据前一帧的结果计算左大腿和右大腿的长度；3b)根据前两帧的结果预测膝关节的位置Pk -Oy Pk~l _ Pk 2 ^、1 Knee ~ ^ Knee 1 KneeV^/其中，巧_表示k时刻膝关节的位置；3c)若左膝的预测位置在右膝的左边或者右边，则以左臀点为圆心，以左大腿长度为半 径，从侧影左侧或者右侧开始向腿部画圆，取第一个与人体侧影相交时的图像位置，作为左 膝节点，同时，以右臀点为圆心，以右大腿长度为半径，从侧影右侧或者左侧开始向腿部画 圆，取第一个与人体侧影相交时的图像位置，作为右膝节点；3d)用与膝关节点的相同检测方法检测脚关节点。
4.根据权利要求1所述的多模型人体运动跟踪方法，其中步骤(6)中所述的模型激活 规则，包括4. 1)当大部分下肢的投影角度变化是上一时刻投影角度变化的tl倍时0. 8 < tl < 1. 2，需要激活的模型由下面规则决定4. Ia)若大部分的上肢投影角度变化大于上一时刻相应位置投影角度变化的1.8倍， 激活平衡行走模型m3;4. lb)若大部分的上肢投影角度变化小于上一时刻相应位置投影角度变化的0. 8倍， 激活僵硬的行走模型Hl1 ；4. Ic)若4. Ia)和4. Ib)两条均不满足，则不采取任何操作；4. 2)当大部分下肢的投影角度变化是上一时刻投影角度变化的t2倍时t2 > 1. 8，需 要激活的模型由下面规则决定-4.2a)若大部分的上肢投影角度变化大于上一时刻相应位置投影角度变化的3. 5倍， 激活Jack跳模型m4;-4.2b)若大部分的上肢投影角度变化小于上一时刻相应位置投影角度变化的0. 5倍 时，激活下蹲模型m6;-4.2c)若4. 2a)和4. 2b)两条均不满足，则激活跳跃模型m5。
全文摘要
本发明公开了一种多模型人体运动跟踪方法，它涉及图像处理技术领域。主要解决现有方法无法很好解决人体运动歧义性、时间复杂度高和单纯增加运动模型无法获得良好三维人体姿态估计的问题。其步骤为(1)输入人体运动视频图像，获得人体侧影及其边缘、骨架线；(2)检测人体关节点位置；(3)使用岭回归方法训练运动模型；(4)初始化模型集合M1；(5)运行交互式多模型算法，获得人体运动姿态；(6)激活满足激活条件的运动模型，终止满足终止条件的运动模型。本发明具有时间复杂度低，跟踪效果好的优点，具有较高的费效比，可应用于体育训练和动画制作等领域。
文档编号G06T7/20GK102074034SQ20111000153
公开日2011年5月25日 申请日期2011年1月6日 优先权日2011年1月6日
发明者吴建设, 尚荣华, 李阳阳, 焦李成, 王爽, 范友健, 陈志超, 韩红, 马文萍 申请人:西安电子科技大学