基于局部线性嵌入的运动捕捉数据的关键帧提取方法

基于局部线性嵌入的运动捕捉数据的关键帧提取方法
【专利摘要】本发明公开了一种基于局部线性嵌入的运动捕捉数据的关键帧提取方法，包括以下步骤：S1：采用局部线性嵌入方法对运动捕捉数据进行降维，采用平滑滤波去除噪声得到反映原始运动的一维特征曲线；S2：提取特征曲线上的局部极值点获得初始关键帧；S3：在初始关键帧之间，根据其特征曲线幅度差值和设定的阈值插入相应的帧数，得到最终的关键帧集合。本发明采用LLE算法对运动捕捉数据进行降维，根据降维后的一维特征曲线进行两次关键帧提取，着重解决针对一段运动序列，可以自动的提取出一定数目的关键运动姿态，对该段运动有一个较好的视觉概括性，同时重建后的运动序列，可以保持一个较低的误差率。
【专利说明】
【技术领域】
[0001] 本发明属于图像处理【技术领域】，尤其涉及一种基于局部线性嵌入的运动捕捉数据 的关键帧提取方法。 基于局部线性嵌入的运动捕捉数据的关键帧提取方法

【背景技术】
[0002] 在近几十年，随着运动捕获技术的兴起和发展，以及设备技术的进步，大量的三维 人体运动捕获数据生成，并被广泛的应用在计算机动画，电影特技，医学仿真和游戏等领 域。伴随着存在一个问题，由于捕捉数据的庞大导致运动捕捉数据库的规模也很庞大，怎样 才能充分地利用这些已有的运动捕捉数据，如何从运动库中获取用户所需要的运动。关键 帧技术是一种有效的解决方法，选择运动中最重要最关键的帧作为关键帧，代表整个运动 序列，对此段运动有一个较好的视觉概括性，同时又可以进行运动重建，还原原始运动，保 持一个较低的误差率。
[0003] 目前从采样方式主要分为两大类：等间隔采样和自适应采样。等间隔采样有可能 出现过采样和欠采样的问题，自适应采样可以在变化小的地方少采样而在变化大的地方多 采样，于是可以解决前者的不足。现有的运动捕获数据关键帧提取技术主要分为三大类： 基于曲线简化、聚类和基于矩阵分解的技术。在基于曲线简化技术这种方法中，如何避免维 数灾难带来的问题，华侨大学在2012年发表的基于中心距离特征的人体运动序列关键帧 提取中提取四肢到中心点的距离得到一组中心距离特征的方案，该方案提取的距离特征 并不能很好的代表运动数据。以及北京航空航天大学在2011年发表的基于混合遗传算法 的人体运动捕获数据关键帧提取等，此方案消耗时间比较长。对于降维后的特征曲线采 用曲线简化的方案提取关键帧这样的方案如浙江大学在2006年发表的基于分层曲线简化 的运动捕捉数据关键巾贞提取以及2009年发表的"3D Human Motion Retrieval Based on Key-Frames"等。但这些方法在保证压缩比的情况下误差率依然较大。


【发明内容】

[0004] 根据现有技术存在的问题，本发明公开了一种基于局部线性嵌入的运动捕捉数据 的关键帧提取方法，包括以下步骤：
[0005] S1 :采用局部线性嵌入方法对运动捕捉数据进行降维，采用平滑滤波去除噪声得 到反映原始运动的一维特征曲线；
[0006] S2 :提取特征曲线上的局部极值点获得初始关键帧；
[0007] S3 :在初始关键帧之间，根据其特征曲线幅度差值和设定的阈值插入相应的帧数， 得到最终的关键帧集合。
[0008] 进一步的，S1中采用局部线性嵌入方法对运动捕捉数据进行降维时具体包括以下 步骤：
[0009] S11 :在高维空间中选择K个近邻点，对于高维空间中的每个样本点Xi(i = 1，2,…，N)，N为样本的总数，计算每个样本点与其它样本点之间的欧式距离；
[0010] S12 :由每个样本点的近邻点计算该样本点的局部重建权值矩阵；
[0011] S13 :根据该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值；
[0012] 进一步的，S3具体包括以下步骤：
[0013] S31 :计算相邻的初始关键巾贞之间的特征曲线的幅度差值vary, vary表示初始关 键帧集合中两相邻帧的幅度差值；
[0014] S32 :设置一个阈值Φ i，如果vary〈阈值Φ i，则不插入关键中贞；如果vary〉阈值 Φ i，则在对应初始关键帧之间插入一帧或多帧；
[0015] S33 :当幅度差值vary〉阈值Φ i时，设对应的初始关键帧为和f2，先将作为 当前帧，设f_ = 为临时变量，按帧序号抽取下一帧用fnrat表示，根据特征曲线幅度 检测fnext和fnew间的幅度差值va%，设置另一个阈值Φ2，如果vary, Φ2,则不作处理；如 果vary) Φ 2，则将fnext加入到的关键中贞集合中，令fnext = fnew ;
[0016] S34 :重复S32和S33直到所有帧处理完毕，得到最终关键帧集合。
[0017] 由于采用了上述技术方案，本发明提供的基于局部线性嵌入的运动捕捉数据的关 键帧提取方法，采用LLE算法对运动捕捉数据进行降维，根据降维后的一维特征曲线进行 两次关键帧提取，着重解决针对一段运动序列，可以自动的提取出一定数目的关键运动姿 态，对该段运动有一个较好的视觉概括性，同时重建后的运动序列，可以保持一个较低的误 差率。本发明具有以下有益效果：
[0018] 1、采用了 LLE算法对原始运动捕捉数据进行降维，很好的揭示了运动背后的本质 特征，而且避免了维数灾难带来的问题。
[0019] 2、采用两次关键帧提取的方法，第一次依据特征曲线的局部极值点作为初始关键 帧，第二次依据特征曲线幅度差值插帧获得最终关键帧，可以根据不同的运动设定不同的 阈值自动的获取一定数目的采样帧数，在平缓的运动处提取较少的关键帧，在剧烈的运动 处提取较多的关键帧数。所提取的关键帧既能很好的概括原始运动，同时又有一个较低的 误差率和压缩比。

【专利附图】

【附图说明】
[0020] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。
[0021] 图1为本发明中方法的流程图；
[0022] 图2为在MTALAB中显示的人体骨骼模型图；
[0023] 图3为"踢球"运动的特征曲线及初始关键帧分布图；（图中圆圈表示最初的关键 帧）；
[0024] 图4为"踢球"运动的特征曲线及最终关键帧分布图；（图中圆圈表示最初的关键 中贞，星号表不为最终的关键巾贞）；
[0025] 图5 "踢球"运动的不同关键帧提取方法比较结果展示图，其中：图5(a)为本发明 方法的结果展示图；图5(b)为均匀采样方法的结果展示图，（方框代表过采样和欠采样）； 图5(c)为曲线简化方法的结果展示图，（方框代表过采样和欠采样）；图5(d)为四元数距 离方法的结果展示图；
[0026] 图6为采用本发明方法对六种不同运动类型（踢球，跳，跑-停止，走，跳舞， 走-跳-走）的压缩率比较图；
[0027] 图7为本发明公开的方法、四元数距离方法、曲线简化和均匀采样方法对六种采 样运动的重建误差比较图；（a)踢球误差（提取33个关键帧）；(b)跳的误差（提取24个 关键帧）；（c)跑-停止的误差（提取11个关键帧）；（d)走的误差（提取16个关键帧）； (e)跳舞的误差（提取37个关键帧）；(f)走-跳-走的误差（提取50个关键帧）。

【具体实施方式】
[0028] 为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本 发明实施例中的技术方案进行清楚完整的描述：
[0029] 如图1、图2所示基于局部线性嵌入的运动捕捉数据的关键帧提取方法：具体包括 以下步骤：
[0030] S1 :采用局部线性嵌入方法对运动捕捉数据进行降维，采用平滑滤波去除噪声得 到反映原始运动的一维特征曲线；
[0031] S2 :提取特征曲线上的局部极值点获得初始关键帧；
[0032] S3 :在初始关键帧之间，根据其特征曲线幅度差值和设定的阈值插入相应的帧数， 得到最终的关键帧集合。
[0033] 进一步的，S1中采用局部线性嵌入方法对运动捕捉数据进行降维时具体包括以下 步骤：
[0034] S11 :在高维空间中选择K个近邻点，对于高维空间中的每个样本点Xji = 1，2,…，N)，N为样本的总数，计算每个样本点与其它样本点之间的欧式距离；
[0035] S12 :由每个样本点的近邻点计算该样本点的局部重建权值矩阵；
[0036] S13 :根据该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值；
[0037] 进一步的，S3具体包括以下步骤：
[0038] S31 :计算相邻的初始关键巾贞之间的特征曲线的幅度差值vary, vary表示初始关 键帧集合中两相邻帧的幅度差值；
[0039] S32 :设置一个阈值Φ i，如果vary〈阈值Φ i，则不插入关键中贞；如果vary〉阈值 Φ i，则在对应初始关键帧之间插入一帧或多帧；
[0040] S33 :当幅度差值vary〉阈值Φ i时，设对应的初始关键帧为和f2，先将作为 当前帧，设f_ = 为临时变量，按帧序号抽取下一帧用fnrat表示，根据特征曲线幅度 检测fnext和fnew间的幅度差值va%，设置另一个阈值Φ2，如果vary, Φ2,则不作处理；如 果vary) Φ 2，则将fnext加入到的关键中贞集合中，令fnext = fnew ;
[0041] S34 :重复S32和S33直到所有帧处理完毕，得到最终关键帧集合。
[0042] 实施例：
[0043] 步骤一：从CMU数据库中选择一个具有代表性的运动，'踢球'运动（总帧数为801 帧）。采用LLE对'踢球'运动进行降维，采用Lowess平滑滤波，设置相应的参数对特征曲 线去噪，得到一维特征曲线进而进行关键帧提取。
[0044] 步骤二：在MATLAB中，根据特征曲线曲率变化情况找到曲线上的局部极值点，得 到初始关键帧集合。如图3所示。
[0045] 步骤三：基于特征曲线幅度的分裂算法提取的最终关键帧如图4所示。我们提取 的局部极值点作为初始关键帧有圆圈表示，同时星号表示最终的关键帧。通过研究发现，当 运动剧烈姿态变化较大时对应的特征曲线幅度变化较大，需要插入额外的关键帧，当运动 姿态变化较小时对应的特征曲线幅度变化较小，不需要插入额外关键帧。通过这个方法我 们可以有效的获得最终的关键帧集合。
[0046] 步骤四：不同关键帧提取算法的比较。我们采用了四种方法：本发明方法，均匀采 用，曲线简化，只有四元数距离的方法，从一个'踢球'运动中提取相同数目的关键帧（压缩 比相同）。不同方法提取关键帧的比较结果如图5所示。我们提取了 33个关键帧，本发明 方法很好的概括了该运动，避免了过采样和欠采样问题。
[0047] 步骤五：采用本发明方法测试六种不同类型的运动序列，其中包括踢球，跳，跑， 走，跳舞，走-跳-走。如图6所示，从表1发现本发明方法得到的压缩比在8%以内。
[0048] 表1.六种运动类型的压缩比比较
[0049]

【权利要求】
1. 一种基于局部线性嵌入的运动捕捉数据的关键帧提取方法，其特征在于包括以下步 骤： 51 :采用局部线性嵌入方法对运动捕捉数据进行降维，采用平滑滤波去除噪声得到反 映原始运动的一维特征曲线； 52 :提取特征曲线上的局部极值点获得初始关键帧； 53 :在初始关键帧之间，根据其特征曲线幅度差值和设定的阈值插入相应的帧数，得到 最终的关键巾贞集合。
2. 根据权利要求1所述的基于局部线性嵌入的运动捕捉数据的关键帧提取方法，其特 征还在于：S1中采用局部线性嵌入方法对运动捕捉数据进行降维时具体包括以下步骤： 511 :在高维空间中选择K个近邻点，对于高维空间中的每个样本点Xi(i = 1，2，···，Ν)， Ν为样本的总数，计算每个样本点与其它样本点之间的欧式距离； 512 :由每个样本点的近邻点计算该样本点的局部重建权值矩阵； 513 :根据该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值。
3. 根据权利要求1所述的基于局部线性嵌入的运动捕捉数据的关键帧提取方法，其特 征还在于：S3具体包括以下步骤： 531 :计算相邻的初始关键巾贞之间的特征曲线的幅度差值vary, vary表示初始关键中贞 集合中两相邻帧的幅度差值； 532 :设置一个阈值t，如果vary〈阈值t，则不插入关键巾贞；如果vary〉阈值t，则 在对应初始关键帧之间插入一帧或多帧； 533 :当幅度差值vary〉阈值Φ i时，设对应的初始关键帧为和f2，先将作为当前 帧，设= f\，为临时变量，按帧序号抽取下一帧用fMxt表示，根据特征曲线幅度检 测fnext和4?间的幅度差值 varyi，设置另一个阈值七，如果varyi〈七，则不作处理；如果 vary^ Φ 2，则将fnrart加入到的关键巾贞集合中，令fmxt = fn" ; 534 :重复S32和S33直到所有帧处理完毕，得到最终关键帧集合。
【文档编号】G06T7/20GK104156986SQ201410431450
【公开日】2014年11月19日 申请日期:2014年8月28日 优先权日:2014年8月28日
【发明者】张强, 董旭龙, 周东生, 魏小鹏 申请人:大连大学