专利名称：基于变结构多模型的人体运动跟踪方法
技术领域：
本发明属于计算机视觉技术领域，涉及一种人体运动跟踪方法，可用于人体运动 跟踪和姿态估计。
背景技术：
人体运动跟踪是计算机视觉领域的一个重要的分支，由于其在医学治疗、运动捕 捉、动画制作、智能监控系统等各个方面都有潜在的应用，所以受到了很多学者的关注。虽 然在现实中能够获得大量的无标记单目视频序列，但是此类数据只是三维场景在图像或者 图像序列上的2D投影，缺失了深度信息，再加上自遮挡、前景检测噪声等等，从这样的视频 序列中恢复人体运动姿态困难重重。从单目图像中估计和跟踪复杂链接物体的3D结构有两种重要的方法基于模型 的方法和基于学习的方法。Ankur Agarwal指出，基于模型的方法一般都要预先明确一个参 数化的人体模型，然后根据运动学原理恢复人体姿态，或者设计一个模型到图像的似然度 量，依据当前时刻预测状态在图像上的投影与图像特征的似然程度，使用最优化的方法得 到最优的人体姿态，但是使用优化方法恢复人体运动姿态的时间复杂度非常高，它需要良 好的初始化，并且需要解决最优搜索过程中的局部极小值问题，随着误差的不断积累，最优 化方法无法保证正确的人体姿态估计。考虑到一组典型的人体姿态要比一组运动学上可能 的姿态相似的多，通过训练一个模型，直接从观测图像测量中恢复姿态估计，基于学习的方 法避免3D建模问题，它使用回归或者降维的方法学习运动捕捉数据和图像特征之间的映 射关系或者流行，依据图像特征或者其他形式的输入恢复三维姿态，取得了不错的效果。在前人的工作中，Deutscher et al.使用边界和侧影作为图像特征构建加权函 数，应用退火粒子滤波框架实现人体运动跟踪。Mikic et al.从多个同步视频流中自动的 获得人体模型，应用扩展卡尔曼滤波框架，依据已标记的voxel数据上的量测信息估计人 体运动参数。Urtasim et al.使用平衡高斯过程动态模型指导在单目视频序列中跟踪3D 人体运动，该动态模型是从较少的包含多种模式的训练运动数据中学习得到。XinyuXu et al.使用HumanEva数据库中较少的训练数据，采用偏最小二乘回归方法训练特殊人体运动 的左侧和右侧身体运动的确定关系，最后使用Rao-Blackwel 1 ised粒子滤波RBPF跟踪框架 执行人体运动跟踪。Sigal et al.提出一个贝叶斯框架，包含序贯重要性采样和退火粒子 滤波，跟踪时使用了多种运动模型和似然函数；为了使三维恢复更加符合解剖关节限制和 降低搜索空间，从训练数据中学习运动模型，使用虚拟标记的欧式距离差作为误差量测。M et al.提出了一种结合了交互式多模型和卡尔曼粒子滤波的随机跟踪框架，使用视觉外壳 重构的3D人体作为输入，模拟的物理力/力矩降低了所需的粒子数量，结合包含多个运动 学模型的交互式多模型算法获得良好的三维跟踪效果。Farmer et al.把交互式多模型卡 尔曼滤波框架应用在了实时的低成本的监控系统中，不仅能够准确跟踪人体的运动，也能 很好的跟踪人体的形状。基于模型的跟踪方法使用优化的方法在搜索最优结果时，时间复杂度高，并且无
5法从根本上解决人体运动的二义性，遮挡发生的情况下，由于没有良好的指导，人体运动精 确恢复无法得到保证；基于学习的方法，虽然使用了训练得到的运动模型，增加了跟踪的准 确性和稳定性，但是单个的运动模型只能拟合一个运动模式，另外，为提高跟踪效果，良好 描述子的应用也要花费大量的时间。前人已经尝试使用交互式多模型算法IMM完成人体运 动跟踪，对特定的人体运动模式使用精心挑选的运动模型集获得较好的跟踪效果，但在实 际的应用中，较小的运动模型集合无法解决人体运动模式的复杂性和多变性，例如，当前运 动模式为已经跳转为行走时，而运动模型集合中只包含了跳跃的运动模型，无法保证跟踪 效果。简单的增加运动模型的数量是不可行的，不仅会增加运算的时间复杂度，而且还会因 为运动模型之间的不必要的竞争导致跟踪效果的降低。
发明内容
本发明的目的在于克服现有方法不足，提出了一种基于变结构多模型VSMM的人 体运动跟踪方法，以减小人体运动姿态恢复的歧义性，提高人体运动跟踪的精确性，同时降 低单帧跟踪的时间。实现本发明目的的技术方案是在检测人体关节点位置的基础上，通过使用运动 捕捉数据训练的运动模型，结合VSMM算法框架来解决人体运动跟踪问题。一 .本发明基于VSMM的人体跟踪方法，包括预处理步骤输入人体视频图像，通过背景差获得人体侧影，提取人体侧影外轮 廓，并对人体侧影进行细化处理；关节点检测步骤对预处理后的人体视频图像，进行如下关节点检测1)使用同心圆模板沿着骨架线搜索，将落入圆环的轮廓点最多时的圆心作为头节占.
^ \\\ 2)选取人体侧影重心部位为根节点；3)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；4)选取骨架线顶点位置作为手节点和脚节点；5)通过下半身侧影的质心作两脚连线的平行线，其与骨架线的两个交点作为膝关 节；6)将骨架线上与手和肩部距离相等的点作为肘关节；7)对因遮挡或因分割噪声无法检测到的部分关节点，则采用Kalman滤波方法，一 步预测得到；运动模型训练步骤从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动模式 的捕捉数据，采用岭回归方法对运动模型方程的状态转移矩阵Fi进行训练，并计算该运动 模型的噪声Wk协方差，获得的运动模型集合称为总运动模型集M ；运动模型集覆盖设计步骤在总运动模型集M中，若两个运动模型所匹配的人体 运动模式相似，则将这两种运动模型分在同一模型群中，否则，将其分入不同的模型群；每 个模型群包含3个运动模型；初始化模型群步骤将总运动模型集中的运动模型方程作为交互式多模型滤波器 的状态方程，将交互式多模型运行十个周期，计算各模型群的模型群概率，选择概率最大的 模型群作为初始当前模型群M1 ；
交互式多模型混合估计步骤以k时刻人体关节点作为输入，执行交互式多模型 算法，获得人体运动姿态估计，更新运动模型概率和人体运动姿态估计误差协方差；运动模型群激活步骤根据人体关节点位置，计算四肢关节点骨架线在图像上投 影的角度变化值，若变化值大小满足模型群激活规则，记此时刻为h，执行以下新激活模型 群模型初始化步骤，否则，输出人体运动姿态估计，执行上述交互式多模型混合估计步骤；新激活模型群模型初始化步骤将新激活模型的概率初始化为当前模型群中模型 概率最大值，并归一化模型概率；将预测误差协方差初始化为运动模型自身的噪声协方差； 选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态；将原模型群M。和新激 活的候选模型群Mn合并为新的当前模型群；模型群终止步骤根据新的当前模型群，重新执行上述交互式多模型一个周期，若
模型群Mn和模型群M。的模型群概率比Ml M或者模型群似然比^!(^"/《“)小于0.9，
^k" / f^k0 k=k0
则终止模型群Mn，输出人体运动姿态估计，并返回执行上述交互式多模型混合估计步骤；若 M / μ和均大于1，则终止模型群M。，输出人体运动姿态估计，并返回执行上
述交互式多模型混合估计步骤；否则，输出人体运动姿态估计，并继续执行该步骤。二 . 一种基于VSMM的人体跟踪系统，包括预处理装置用于输入人体视频图像，通过背景差获得人体侧影，提取人体侧影外 轮廓，并对人体侧影进行细化处理；关节点检测装置用于对预处理后的人体视频图像，进行如下关节点检测1)使用同心圆模板沿着骨架线搜索，将落入圆环的轮廓点最多时的圆心作为头节占.
^ \\\ 2)选取人体侧影重心部位为根节点；3)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；4)选取骨架线顶点位置作为手节点和脚节点；5)通过下半身侧影的质心作两脚连线的平行线，其与骨架线的两个交点作为膝关 节；6)将骨架线上与手和肩部距离相等的点作为肘关节；7)对因遮挡或因分割噪声无法检测到的部分关节点，则采用Kalman滤波方法，一 步预测得到；运动模型训练装置用于从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动 模式的捕捉数据，采用岭回归方法对运动模型方程的状态转移矩阵Fi进行训练，并计算该 运动模型的噪声Wk协方差，获得的运动模型集合称为总运动模型集M ；运动模型集覆盖设计装置用于在总运动模型集M中，若两个运动模型所匹配的 人体运动模式相似，则将这两种运动模型分在同一模型群中，否则，将其分入不同的模型 群；每个模型群包含3个运动模型；初始化模型群装置用于将总运动模型集中的运动模型方程作为交互式多模型滤 波器的状态方程，将交互式多模型运行十个周期，计算各模型群的模型群概率，选择概率最 大的模型群作为初始当前模型群M1 ；
交互式多模型混合估计装置用于以k时刻人体关节点作为输入，执行交互式多 模型算法，获得人体运动姿态估计，更新运动模型概率和人体运动姿态估计误差协方差；运动模型群激活装置用于根据人体关节点位置，计算四肢关节点骨架线在图像上 投影的角度变化值，若变化值大小满足模型群激活规则，记此时刻为&，执行以下新激活模型 群模型初始化装置，否则，输出人体运动姿态估计，执行上述交互式多模型混合估计装置；新激活模型群模型初始化装置用于将新激活模型的概率初始化为当前模型群中 模型概率最大值，并归一化模型概率；将预测误差协方差初始化为运动模型自身的噪声协 方差；选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态；将原模型群M。 和新激活的候选模型群Mn合并为新的当前模型群；模型群终止装置用于根据新的当前模型群，重新执行上述交互式多模型一个周
期，若模型群Mn和模型群M。的模型群概率比Μ ι M或者模型群似然比
0. 9，则终止模型群Mn，输出人体运动姿态估计，并返回执行上述交互式多模型混合估计装
置；若M / M和 (片"/C)均大于1，则终止模型群M。，输出人体运动姿态估计，并返回
执行上述交互式多模型混合估计装置；否则，输出人体运动姿态估计，并继续执行该装置。本发明与现有的技术相比具有以下优点1、直接使用运动捕捉数据训练运动模型，而不是学习运动捕捉视频的图像特征和 运动捕捉数据之间的关系，消除了图像噪声的影响，提高了运动模型的精确性和稳定性；2、在执行过程中，只有与当前运动模式相匹配的运动模型群起作用，而不是总运 动模型集的每个运动模型都在起作用，减少不相关的运动模型的个数，不仅缩短了运行时 间，而且减轻了不相关运动模型的恶意竞争，提高了人体运动跟踪的精确度；3、使用人体关节点作为输入，算法简单，时间复杂度低。
图1是本发明基于VSMM的人体运动跟踪系统框图2是本发明基于VSMM的人体运动跟踪方法总流程图3是本发明的人体运动图像预处理子流程图4是本发明的人体关节点检测子流程图5是本发明仿真实验的人体关节点检测结果图6是本发明实验使用的3D人体骨架模型图7是本发明仿真实验的总运动模型集拓扑图8是本发明肢节投影角度变化示例图9是本发明仿真实验检测结果、正面投影结果和三维结果图10是本发明仿真实验的模型概率结果图11是本发明仿真实验人体右肘和右手3D结果投影与检测关节点的误差图。
具体实施例方式
参照图1，本发明基于VSMM的人体运动跟踪系统包括预处理装置、关节点检测装置、运动模型训练装置、运动模型集覆盖设计装置、初始化模型群装置、交互式多模型混 合估计装置、运动模型群激活装置、新激活模型群模型初始化装置、模型群终止装置，其中 预处理装置，获取人体运动图像，然后与背景图像做差，获得背景差图像，用形态学方法处 理背景差图像，得到清晰的人体侧影，采用边缘跟踪算法获得人体侧影外轮廓，细化人体侧 影，得到人体侧影的骨架线；关节点检测装置，根据预处理后的图像，根据经验分别检测各 肢节的人体关节点；运动模型训练装置，从运动捕捉数据中提取训练数据对，采用岭回归方 法训练运动模型方程状态矩阵，获得总运动模型集；运动模型集覆盖设计装置，根据运动模 型之间的转移概率和拓扑结构，对总运动模型集进行分组，获得若干运动模型群；初始化模 型群装置，使用交互式多模型算法获得变结构多模型算法的初始模型群；交互式多模型混 合估计装置，以人体关节点为输入，当前模型群的运动模型方程组委状态方程，获得人体运 动姿态估计，更新运动模型概率和人体运动姿态估计误差协方差；运动模型群激活装置，若 四肢的投影角度变化满足模型群激活规则，则激活相应的候选模型群；新激活模型群模型 初始化装置，对运动模型群激活装置获得的候选模型群进行初始化；模型群终止装置，若新 激活模型群和原当前模型群的模型群概率比或模型群似然比小于0. 9，则终止新激活的模 型群，若模型群概率比和模型群似然比均大于1，则终止原当前模型群。参照图2，本发明基于VSMM的人体运动跟踪方法，具体实现过程如下步骤1，对输入图像作预处理，获得人体侧影及其外轮廓、骨架线。参照图3，本步骤具体实现如下1. 1)在人体未进入摄像机视角之前，空拍背景区域3-5秒，对空拍视频图像中的 每个像素点位置求算术平均值，记最终的平均值图像为背景图像；1. 2)获取人体运动图像，与背景图像做像素差，获得背景差图像；1. 3)采用形态学方法清除背景差图像中的分割噪声，得到清晰的人体侧影；1. 4)采用边缘跟踪算法获得人体侧影外轮廓；细化人体侧影，得到人体侧影的骨 架线。步骤2 对预处理后的人体视频图像，进行关节点检测。参照图4，本步骤具体实现如下2. 1)使用同心圆模板沿着骨架线搜索，将落入圆环的人体侧影轮廓点最多时的圆 心作为头节点；2. 2)选取人体侧影重心部位为根节点，所有人体侧影点χ坐标值的算术平均值作 为根节点的X坐标，y坐标值的算术平均值作为根节点的y坐标；2. 3)将3D人体骨架模型以根节点为基准在视频图像上投影，得到人体躯干中心 点、锁骨关节点、左右肩膀点和左右臀部关节点；2. 4)检测获得人体侧影骨架线的端点，根据最近邻原则确定手节点和脚节点；2. 5)通过下半身侧影的质心作两脚连线的平行线，其与骨架线的两个交点作为膝 关节；2. 6)将骨架线上与手和肩部距离相等的点作为肘关节；2. 7)对因遮挡或因分割噪声无法检测到的部分关节点，则采用Kalman滤波方法， 一步预测得到。按本步骤对人体关节点检测的结果如图5所示。
9
步骤3 对运动模型进行训练，获得总运动模型集合M。实验中可应用到多种运动模型，对运动模型进行训练，如僵硬的行走模型Hi1，行走 模型m2，手臂伸展保持平衡行走模型m3，Jack跳模型m4，跳跃模型m5和下蹲模型m6，本发明 采用行走模型m2，但不局限于该运动模型，其训练步骤如下3. 1)从卡耐基梅隆大学CMU运动捕捉数据库中选取行走模式的捕捉数据，提取需 要的关节角度，转化为四元数表示，组成训练数据对丨众=U,--,114}；3. 2)设= F2X2k + "^2表示行走模型m2的运动模型方程，g表示行走模型的人
体运动参数，F2表示运动模型方程的状态转移矩阵，<表示运动模型的噪声；3. 3) F2根据下式计算 其中，
为规则化因子，在本发明的实验中λ =0.15;所有运动模型都按上述步骤训练，最终获得总运动模型集M = Im1, m2，m3, m4, m5,
m6}。步骤4 对总运动模型集进行分组。在总运动模型集M中，根据运动模型之间的转移概率和拓扑结构，分析两个运动 模型之间的连通性和跳转可能性，若两个运动模型不仅是连通的，而且模型概率又能在两 者之间跳转，则称两个运动模型匹配的人体运动模式相似，并将这两种运动模型分在同一 模型群中，否则，将这两个运动模型分入不同的模型群，每个运动模型群包含3个运动模 型；如仿真实验中，僵硬的行走模型Hi1，行走模型m2，手臂伸展保持平衡行走模型m3都与行 走模式匹配，所以这三个运动模型分入同一运动模型群；总运动模型集运动模型之间的拓 扑结构如图7所示，总运动模型集运动模型之间的转移概率如表1所示，总运动模型集分组 结果如表2所示。步骤5 初始化当前模型群Miq将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，将交互 式多模型运行十个周期，计算各模型群的模型群概率，选择概率最大的模型群作为初始当 前模型群M1。步骤6 使用交互式多模型算法计算人体运动姿态估计。首先设计交互式多模型算法中模型的状态方程和量测方程，然后以k时刻人体关 节点作为输入，经过模型条件初始化、模型条件滤波、模型概率更新和状态估计融合四步， 最终获得人体运动姿态估计，具体实施步骤如下6. 1)选择包含3个模型的交互式多模型算法，设模型i的系统状态方程和量测方 程如下 式中，X丨二坑，込召总总总总总总总总广为模型i的状态向量，Fi为状态转移
矩阵，与步骤4中所训练的运动模型状态转移方程相同，<为状态噪声，Q1,…，09为用四元 数表示的人体关节点的旋转角度，T0, Q0,…，Q9所对应的关节点位置如图6所示，其中，T0表示人体在全局坐标系的整体位移，Qtl表示全局坐标系的旋转角度，Q1表示左臀关节点的 旋转角度，Q2表示左膝关节点的旋转角度，Q3表示右臀关节点的旋转角度，Q4表示右膝关节 点的旋转角度，Q5表示左肩关节点的旋转角度，Q6表示左肘关节点的旋转角度，Q7表示右肩 关节点的旋转角度，Q8表示右肘关节点的旋转角度，Q9表示颈部关节点的旋转角度；Zk是k 时刻人体关节点图像位置，共34维；H(Xk)为量测转移矩阵，vk为量测噪声；6. 2)模型条件初始化考虑每个模型的滤波器都有可能成为当前有效的系统模型滤波器，每个模型滤波 器的初始条件都是前一时刻各模型滤波结果的加权和，权值为相应的模型概率，分别计算 混合概率和混合估计，实施步骤如下6. 2a)计算混合概率记k-Ι时刻的匹配模型是/^1，而k时刻的匹配模型是，以k-Ι时刻的信息Ζ" 为条件的混合概率是 其中
为归一化常数，，_为k-Ι时刻匹配模型t的概率，Jiij为匹配
模型"C1到匹配模型"C1的转移概率，Zk-1 = Iz1, z2，-,ZkJ ；6. 2b)计算混合估计对k时刻的匹配模型，重初始化状态及其误差协方差矩阵户二“的混合估 计分别为 其中，表示匹配模型对人体运动姿态的估计，M^lL1表示混合概率；6. 3)计算人体姿态估计及其误差协方差^t，残差5/及其协方差匁，量测Zk与匹 配模型m/匹配的似然函数Λ丨，滤波增益和人体运动姿态估计更新衫+及其误差协方差阵6. 3a)将重初始化的状态与协方差阵按混合估计即名“㈣和^㈣代入匹配模型< 的滤波器，获得状态估计衫w及其误差协方差Pi Xjk^1 =Fj7)h=FHf+Q“8)其中，表示匹配模型W/的噪声协方差。6. 3b)将重初始化的状态:^lW代入量测转移矩阵H( ·)，计算量测残差苟及其协方 差阵匁
10)其中，Zk表示k时刻的量测，对表示匹配模型m/的量测噪声协方差，hk表示量测矩 阵H的Jacobian矩阵。6. 3c)在高斯假设下，将残差苟及其协方差阵匆代入下式，计算量测Zk与匹配模型 匹配的似然函数八{ 其中，表示匹配模型m/的量测预测残差。6. 3d)将状态估计^w及其误差协方差巧口，残差与及其协方差阵匁代入下式，计 算滤波增益火/，人体运动姿态估计更新衫及其误差协方差阵Pi
0122]6. 4)模型概率更新
0123]根据步骤6. 3c)得到的似然函数Λ〖，计算k时刻匹配模型m/的概率
0124]
15)其中
为归一化常数，而 6. 5)状态估计融合根据步骤6. 3d)计算得到的匹配模型m/状态估计衫和步骤6. 4)得到的匹配模型 概率<，计算k时刻的人体运动姿态估计和人体运动姿态估计误差协方差阵6. 5a)利用下式对k时刻的人体运动姿态毛|lt进行估计
16)其中，对4为k时刻匹配模型w/的人体运动姿态估计，<为k时刻匹配模型w/的概率。6. 5b)利用下式计算k时刻的人体运动姿态估计误差协方差阵Pklk
17)其中，Pi为k时刻匹配模型的人体运动姿态估计误差协方差，表示k时刻人 体运动姿态估计。步骤7 运动模型群激活。根据人体关节点位置，计算四肢关节点在图像上的投影角度变化值，以下肢为例 肢节投影角度变化如图8所示，若投影角度值满足如下激活模型群规则，则记Ictl = k，执行以下新激活模型群模型初始化步骤，否则，输出人体运动姿态估计，执行上述步骤6。a)若臀部的投影角度变化值是前一时间的2倍，则将运动模型群3激活；b)若大部分下肢的投影角度变化值是前一时间的2倍，则将运动模型群2激活；c)若大部分下肢的投影角度变化值是前一时间的1/2，则将运动模型群1激活。步骤8 新激活候选模型群初始化。记当前模型群为Mk，原当前模型群为M。和新激活的候选模型群为Mn，使Μ。= Mk,Mk =Mn U M0 ；8. 1)新激活运动模型Hii的概率初始化为
18)归一化当前模型群Mk中模型概率IMi5Zi)，从巧丨Mfl,Zi)表示原当前模型群 M。中模型Ii^的概率估计；8. 2)将预测误差协方差初始化为运动模型的噪声协方差；8. 3)选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态；8.4)将原模型群M。和新激活的候选模型群Mn合并为新的当前模型群。步骤9:模型群终止。根据新的当前模型群，对模型群M1 = Mn, M0,分别计算々=Σ ^ ;
唭中，,表示k时刻，第i个运动模型的模型概率，
/if'表示k时刻，模型群M1的模型群概率和，Zi表示k时刻，第i个运动模型的模型似然，Zf' 表示k时刻，模型群M1的模型群似然和；/表示k时刻，第i个运动模型的模型概率估计， K“表示k时刻，模型群M1的模型群概率估计和，模型群终止按如下步骤执行9. 1)若模型群Mn和模型群M。的模型群概率比/μ广或者模型群似然比
)小于0. 9，则终止模型群Mn，输出人体运动姿态估计，并返回执行上述步骤6 ；9. 2)若模型群概率比M /財和模型群似然比fKC/C)均大于1，则终止模型
群M。，输出人体运动姿态估计，并返回执行上述步骤6 ；9. 3)若步骤9. 1)和步骤9. 2)均未被执行，则输出人体运动姿态估计，并继续执行
该步骤。本发明的效果可以通过以下仿真实验进一步说明1)仿真实验所用数据仿真实验中，训练运动模型所使用的数据从CMU运动捕捉数据库中获得，数据的 格式是ASF+AMC，数据内容是欧拉角表示的关节旋转角度，从中提取实验中所需要的人体关 节点旋转角度，然后转换为四元数表示。实验中使用的人体运动视频是自拍视频，视频图像大小为320X240，前100帧 空拍图像用来重建背景，后450帧用来做人体运动跟踪，视频序列中包含的人体运动有 1-120帧的踏步，121-250帧的手挥舞和跨步，251-390帧的Jack跳，391-450帧下蹲。
2)仿真内容采用变结构多模型方法对人体运动序列进行跟踪。从CMU运动捕捉数据库中获得 运动捕捉数据，训练的人体运动模型分别为僵硬的行走模型Hi1，行走模型m2，手臂伸展保 持平衡行走模型m3，Jack跳模型m4，跳跃模型m5和下蹲模型m6，如表1所示；运动模型之间 的拓扑关系如图7所示，根据表1和图7，分析运动模型之间的连通性和跳转可能性，若两个 运动模型不仅是连通的，而且模型概率又能在两者之间跳转，则称两个运动模型匹配的人 体运动模式相似，并将这两种运动模型分在同一模型群中，否则，将这两个运动模型分入不 同的模型群，对总运动模型集M= {m1,m2,m3,m4,m5,m6}分组，分组结果如表2所示；人体运 动姿态融合估计采用变结构多模型算法获得。表1运动模型转移概率 表2总运动模型群分组结果 3)仿真结果及分析采用变结构多模型算法对自拍视频中的人体运动进行跟踪，最终的人体关节点 检测结果、3D人体运动跟踪结果及其2D投影如图9所示，其中，人体关节点检测结果如图 9(a)所示，人体运动跟踪二维投影结果如图9(b)所示，人体运动跟踪三维姿态估计结果如 图9(c)所示；从图9(b)中可以看出人体运动姿态估计结果的在图像上的2D投影基本上 与人体骨架线重合；从图9(c)中可以看出人体运动姿态估计结果的3D效果与真实的人 体运动姿态相同，本发明有效的解决了人体运动的歧义性问题，提高了人体运动跟踪的精 确性和稳定性。跟踪实验中，每个运动模型的模型概率变化如图10所示，其中，僵硬的行走模型Hi1 的模型概率变化如图10(a)所示，行走模型m2的模型概率变化如图10(b)所示，手臂伸展 保持平衡行走模型％的模型概率变化如图10(c)所示，Jack跳模型m4的模型概率变化如 图10(d)所示，跳跃模型m5的模型概率变化如图10(e)所示，下蹲模型m6的模型概率变化 如图10(f)所示；从图10中可以看出每个时刻都只有一个运动模型起到主要作用，当运动模型和人体运动模式相似时，运动模型的模型概率较大，当人体运动模式发生变化时，起 主要作用的运动模型随之发生变化，本发明的运动模型群激活规则很好的完成了运动模型 群激活任务。3D关节点投影与关节点实际位置的误差如图11所示，其中，3D右肘点投影与右肘 实际位置的误差如图11(a)所示，3D右手点投影与右手实际位置的误差如图11(b)所示，从 图11中可知，平均误差在2. 7cm-5. 2cm之间，可见使用变结构多模型方法跟结果的投影误
差较小。本发明的仿真实验在Matlab上编译完成，执行环境为windows框架下的HP工作 站，人体关节点检测速度为1秒/帧，人体运动跟踪为10帧/秒，时间复杂度低。本发明使用变结构多模型方法进行人体运动跟踪，采用运动捕捉数据训练得到的 运动模型作为滤波器的状态方程，使得运动跟踪更加符合人体运动规律，减少了人体运动 歧义性的影响；总运动模型集覆盖的使用不仅解决了小运动模型集合无法准确跟踪复杂人 体运动的问题，而且避免了同时使用大量运动模型带来的不必要的竞争，该竞争不仅会提 高时间复杂度，同时也会降低跟踪的准确性；提取的图像特征简单，降低了单帧运行时间； 跟踪每帧时，只使用与当前运动模式相容的运动模型，而不是总运动模型集，降低了时间复 杂度。仿真结果表明，该跟踪方法，准确的得到了二维投影和三维的姿态恢复，减少了人体 运动歧义性，时间复杂度低。
权利要求
一种基于VSMM的人体运动跟踪方法，包括预处理步骤输入人体视频图像，通过背景差获得人体侧影，提取人体侧影外轮廓，并对人体侧影进行细化处理；关节点检测步骤对预处理后的人体视频图像，进行如下关节点检测1)使用同心圆模板沿着骨架线搜索，将落入圆环的轮廓点最多时的圆心作为头节点；2)选取人体侧影重心部位为根节点；3)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；4)选取骨架线顶点位置作为手节点和脚节点；5)通过下半身侧影的质心作两脚连线的平行线，其与骨架线的两个交点作为膝关节；6)将骨架线上与手和肩部距离相等的点作为肘关节；7)对因遮挡或因分割噪声无法检测到的部分关节点，则采用Kalman滤波方法，一步预测得到；运动模型训练步骤从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动模式的捕捉数据，采用岭回归方法对运动模型方程的状态转移矩阵Fi进行训练，并计算该运动模型的噪声wk协方差，获得的运动模型集合称为总运动模型集M；运动模型集覆盖设计步骤在总运动模型集M中，若两个运动模型所匹配的人体运动模式相似，则将这两种运动模型分在同一模型群中，否则，将其分入不同的模型群；每个模型群包含3个运动模型；初始化模型群步骤将总运动模型集中的运动模型方程作为交互式多模型滤波器的状态方程，将交互式多模型运行十个周期，计算各模型群的模型群概率，选择概率最大的模型群作为初始当前模型群M1；交互式多模型混合估计步骤以k时刻人体关节点作为输入，执行交互式多模型算法，获得人体运动姿态估计，更新运动模型概率和人体运动姿态估计误差协方差；运动模型群激活步骤根据人体关节点位置，计算四肢关节点骨架线在图像上投影的角度变化值，若变化值大小满足模型群激活规则，记此时刻为k0，执行以下新激活模型群模型初始化步骤，否则，输出人体运动姿态估计，执行上述交互式多模型混合估计步骤；新激活模型群模型初始化步骤将新激活模型的概率初始化为当前模型群中模型概率最大值，并归一化模型概率；将预测误差协方差初始化为运动模型自身的噪声协方差；选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态；将原模型群Mo和新激活的候选模型群Mn合并为新的当前模型群；模型群终止步骤根据新的当前模型群，重新执行上述交互式多模型一个周期，若模型群Mn和模型群Mo的模型群概率比或者模型群似然比小于0.9，则终止模型群Mn，输出人体运动姿态估计，并返回执行上述交互式多模型混合估计步骤；若和均大于1，则终止模型群Mo，输出人体运动姿态估计，并返回执行上述交互式多模型混合估计步骤；否则，输出人体运动姿态估计，并继续执行该步骤。FSA00000196294600021.tif,FSA00000196294600022.tif,FSA00000196294600023.tif,FSA00000196294600024.tif
2.根据权利要求1所述的人体运动跟踪方法，其中运动模型训练步骤中所述的采用岭回归方法对运动模型方程的状态转移矩阵Fi进行训练，是通过如下步骤进行2a)设= FiXik + %表示第i个要训练的运动模型方程，其中Fi表示状态转移矩阵；2b)从运动捕捉数据中获取数据对{ ,x'k)\k = \,2,-,n-\}，其中4是用四元数表示的人体运动参数；2c) Fi根据下式求出 —1 2 F'=argmin{X||FX-4+1|| +及(厂)}其中，R(Fi) = λ I IFiI I2, λ为规则化因子，在本发明的实验中λ =0.15。 实验中可应用到多种运动模型，对运动模型进行训练，如僵硬的行走模型Hl1，行走模型 m2,手臂伸展保持平衡行走模型m3，Jack跳模型m4，跳跃模型m5和下蹲模型m6，所有运动模 型都按上述步骤训练，最终获得总运动模型集M = Im1, m2，m3, m4, m5, m6}。
3.根据权利要求1所述的人体运动跟踪方法，其中运动模型群激活步骤中所述的模型 群激活规则，包括3a)若臀部的投影角度变化值是前一时间的2倍，则将运动模型群3激活； 3b)若大部分下肢的投影角度变化值是前一时间的2倍，则将运动模型群2激活； 3c)若大部分下肢的投影角度变化值是前一时间的1/2，则将运动模型群1激活。
4.一种基于VSMM的人体运动跟踪系统，包括预处理装置用于输入人体视频图像，通过背景差获得人体侧影，提取人体侧影外轮 廓，并对人体侧影进行细化处理；关节点检测装置用于对预处理后的人体视频图像，进行如下关节点检测1)使用同心圆模板沿着骨架线搜索，将落入圆环的轮廓点最多时的圆心作为头节点；2)选取人体侧影重心部位为根节点；3)使用3D人体骨架模型在图像上投影，得到人体躯干上其他关节点位置；4)选取骨架线顶点位置作为手节点和脚节点；5)通过下半身侧影的质心作两脚连线的平行线，其与骨架线的两个交点作为膝关节；6)将骨架线上与手和肩部距离相等的点作为肘关节；7)对因遮挡或因分割噪声无法检测到的部分关节点，则采用Kalman滤波方法，一步预 测得到；运动模型训练装置用于从卡耐基梅隆大学CMU运动捕捉数据库中选取多种运动模式 的捕捉数据，采用岭回归方法对运动模型方程的状态转移矩阵Fi进行训练，并计算该运动 模型的噪声Wk协方差，获得的运动模型集合称为总运动模型集M ；运动模型集覆盖设计装置用于在总运动模型集M中，若两个运动模型所匹配的人体 运动模式相似，则将这两种运动模型分在同一模型群中，否则，将其分入不同的模型群；每 个模型群包含3个运动模型；初始化模型群装置用于将总运动模型集中的运动模型方程作为交互式多模型滤波器 的状态方程，将交互式多模型运行十个周期，计算各模型群的模型群概率，选择概率最大的 模型群作为初始当前模型群M1 ；交互式多模型混合估计装置用于以k时刻人体关节点作为输入，执行交互式多模型 算法，获得人体运动姿态估计，更新运动模型概率和人体运动姿态估计误差协方差；运动模型群激活装置用于根据人体关节点位置，计算四肢关节点骨架线在图像上投 影的角度变化值，若变化值大小满足模型群激活规则，记此时刻为&，执行以下新激活模型 群模型初始化装置，否则，输出人体运动姿态估计，执行上述交互式多模型混合估计装置；新激活模型群模型初始化装置用于将新激活模型的概率初始化为当前模型群中模型 概率最大值，并归一化模型概率；将预测误差协方差初始化为运动模型自身的噪声协方差； 选取运动捕捉数据中与当前模式匹配程度最高的状态作为初始状态；将原模型群M。和新激 活的候选模型群Mn合并为新的当前模型群；模型群终止装置用于根据新的当前模型群，重新执行上述交互式多模型一个周期，若模型群Mn和模型群M。的模型群概率比M或者模型群似然比;小于0.9，则终止模型群Mn，输出人体运动姿态估计，并返回执行上述交互式多模型混合估计装置；若M / M和 (《”/C)均大于1，则终止模型群M。，输出人体运动姿态估计，并返回执行上述交互式多模型混合估计装置；否则，输出人体运动姿态估计，并继续执行该装置。
全文摘要
本发明公开了一种基于VSMM的人体运动跟踪方法，它涉及计算机视觉领域。其主要解决现有方法无法很好解决人体运动歧义性、时间复杂度高和单纯增加运动模型无法获得良好三维人体姿态估计的问题。其步骤为(1)输入人体运动视频图像，获得人体侧影及其外轮廓、骨架线；(2)检测人体关节点位置；(3)使用岭回归方法训练运动模型，并对总运动模型集分组；(4)初始化模型群M1；(5)运行交互式多模型算法，获得人体运动姿态；(6)激活并初始化满足激活条件的运动模型群，若无运动模型群满足激活条件，则执行步骤(5)；(7)终止满足终止条件的模型群，执行步骤(5)，否则，继续执行该步骤。本发明具有时间复杂度低，跟踪效果好的优点，可应用于人体运动跟踪和姿态估计。
文档编号G06T7/20GK101894278SQ20101023097
公开日2010年11月24日 申请日期2010年7月16日 优先权日2010年7月16日
发明者吴建设, 尚荣华, 李阳阳, 焦李成, 王爽, 范友健, 陈志超, 韩红 申请人:西安电子科技大学