专利名称：人体运动数据片段提取方法
技术领域：
本发明涉及一种人体动作片段的自动提取方法，具体涉及一种基于人体运 动学知识和运动数据编辑技术来处理通过运动捕获器材获得的原始运动数据的 语义切分方法，属于计算机运动捕获数据编辑和人体角色动画的综合领域。
背景技术：
随着运动数据重用技术的发展，运动分割技术逐渐成为人体角色动画领域 一个重要的研究热点。尽管目前关于这个技术的研究还是处于初级的阶段，但 是已经有很多比较有效的方法。
1998年在会议CAPTECH上发表的《Motion Abstraction and Mapping with Spatial Constraints》，公开了一种利用检测运动关节动量加速度的零值点来判断 人体角色同外界是否进行交互的方法。2002年在期刊Autonomous Robots上发 表的《Automated Derivation of Primitives for Movement Classification》利用这禾中 方法来对运动序列数据进行分段，并对分段的结果进行基于主成分分析算法
(PCA)的分类和基于K-Means算法的聚类。但是这种基于加速度零值点的算 法仅仅能针对有节奏的运动模式有效，不能被普遍运用于所有类型的运动中。
近年来，运动分割技术开始着眼于对于每个人体关节点的分析上。如2005 年在SCA上发表的《Motion Modeling for On-Line Locomotion Synthesis》，公开 了一种基于质心轨迹(COM)的人体运动分割方法。2003年在SIGGRAPH上 发表的《Motion Synthesis from Annotations))，公开了 一种利用支持向量机(SVM) 分类器来交互式的标注运动数据的方法。尽管这种半自动的分类器可以较好的 适用于运动的标注，但是这种基于帧的标注构架无法很精确的捕获不同种类动 作之间的一个转化过程。单一帧所表示的人体运动姿势由于粒度上的欠缺，无 法真正很好的对运动的整个流程进行很好的标注。2005年在期刊TOG上发表的
《Efficient Content-Based Retrieval of Motion Capture Data》，公开了一种运动搜 索的方法，这种方法通过判别用布尔函数来表示的运动特征来进行搜索。在对 时间轴进行变形的时候，该方法捕获函数值发生变化的运动片段。同样的方法 还被用在了 2005年发表在SCA上的《Motion Modeling for On-Line Locomotion Synthesis》上，其中通过设计一种基于符号的运动片段表示体系，该方法实现了 基于规则的分类方法。但是该方法不能展现运动分割中的部分经验性，分割的 效果很大程度上存在着生硬的问题。
发明内容
本发明的目的是为了克服目前运动数据编辑中对于人体运动片段手工提取 的复杂性和主观性，提供了一种基于质心速度极值的自动提取方法。 人体运动数据片段提取方法包括如下步骤
1) 利用人运动学模型和运动数据特征，基于各关节点物理知识和瞬时速度， 设计计算质心速度的方法；
2) 基于步骤l)的质心速度计算方法，对所输入运动数据帧序列对应质心速
度序列进行频谱分析，并对分析结果进行切割提取。
所述的利用人运动学模型和运动数据特征，基于各关节点物理知识和瞬时
速度，设计计算质心速度的方法步骤
(a)输入标准格式的运动捕获数据，选取人体模型中m个最具有代表性的关 节点作为候选关节点；在输入的长度为w+7的运动捕获数据序列5= &,力，.../ j
中，其中的乂为帧索引/所对应帧的人体运动数据；每帧中人体的候选关节点信 息用向量,={尸,.。，K,。,尸,.;，…，iV力，巧加—/;}来表示，其中&和！^.分别表示候
选关节点J'在帧,的时间戳/所对应的空间位置信息和速度信息；其中速度^ 的计算方式如下
其中ll.ll表示欧拉距离公式，#s为运动捕获数据的帧率；获得了帧序列S中 每一帧乂中人体的候选关节点信息A和K后，计算质心在每一帧乂所对应的质 心速度K-raM信息
其中W为^对应的加权值，根据不同的关节点对于质心速度的贡献程度而 不同，获得人体运动捕获数据序列"，力，...，/J所对应的连续质心速度集合
所述的基于步骤i)的质心速度计算方法，对所输入运动数据帧序列对应质
心速度序列进行频谱分析，并对分析结果进行切割提取步骤
(b)获得人体运动捕获数据序列所对应的连续质心速度集合(K-aw, …，K"-ow)后，将速度集合进行一遍遍历，获得集合中最大的速度
和最小速度F^，设置一个过滤的阈值^^，计算公式如下其中为可调的划分参数，将最大和最小之间的差值划分成若干个划分
区间，将质心速度集合中满足(F^^,"+^^IF;e {^^}}放入划分集合{^^}中；
(c)对于划分集合{^^中的每一个质心速度Fi-COM，对于所有索引值/落在
索引区间(-^^,+e歷ge)中的速度放入一个划分聚集子集合(K腦gJ中，其中&卿
是可调的半径参数；选取索引所对应的一个聚集范围阈值，获得对于划分集合
(^u的若干个划分聚集子集合的合集HK-層g丄腦"，…，m.『e}}，其中^
为所获得聚集个数；然后求取划分聚集子集合(K-^J对应的中心速度
其中Fi.w为划分聚集子集合(K，併)中所有速度p;,c缀的加权平均，w,.为
速度对应的加权值，索引Z-""ter为这个索引区间的中值，义为划分聚集子集合 {)^。，}中所有元素的数目；获得的一个完整划分集合{4^对应的F，^集合
…U按照获得的Fc她r集合，对帧的索引按照"-Ce"ter,
...， hcewte4作为分割点对运动数据进行分割，提取两分割点之间的运 动数据作为动作片段。
图1为本发明所述的人体骨架模型；
图2为本发明所述的质心速度频谱。
具体实施例方式
人体运动数据片段提取方法包括如下步骤
1) 利用人运动学模型和运动数据特征，基于各关节点物理知识和瞬时速度， 设计计算质心速度的方法；
2) 基于步骤l)的质心速度计算方法，对所输入运动数据帧序列对应质心速 度序列进行频谱分析，并对分析结果进行切割提取。
所述的利用人运动学模型和运动数据特征，基于各关节点物理知识和瞬时 速度，设计计算质心速度的方法步骤
0)标准格式的运动捕获数据，选取人体模型中m个最具有代表性的关节点 作为候选关节点；在输入的长度为n+7的运动捕获数据序列S = ^,力，... 其中的/为帧索引z'所对应帧的人体运动数据；每帧中人体的候选关节点信息用 向量力=F^,尸〃，…,iV-", ^ 力}来表示，其中A和^分别表示候选关节点/在帧,的时间戳z'所对应的空间位置信息和速度信息；其中速度J^的计算 方式如下
:加 1
2
其中y表示欧拉距离公式，糸s为运动捕获数据的帧率；获得了帧序列S中 每一帧,中人体的候选关节点信息A和K后，计算质心在每一帧乂所对应的质 心速度F",-c缀信息
其中W/为^对应的加权值，根据不同的关节点对于质心速度的贡献程度而 不同，获得人体运动捕获数据序列^力，.../J所对应的连续质心速度集合
(f^-C缀,K-COM,…，^w-COm)。
所述的基于步骤l)的质心速度计算方法，对所输入运动数据帧序列对应质 心速度序列进行频谱分析，并对分析结果进行切割提取步骤
(b) 获得人体运动捕获数据序列所对应的连续质心速度集合(&ow，
K-COAa后，将速度集合进行一遍遍历，获得集合中最大的速度 和最小速度F一，设置一个过滤的阈值《/^，计算公式如下
^ 卩-厂 ，
"细=—;~~;~ J
其中^fldt为可调的划分参数，将最大和最小之间的差值划分成若干个划分
区间，将质心速度集合中满足化.S^,"+UF^ {^^}}放入划分集合{)^2}中；
(c) 对于划分集合《4^中的每一个质心速度&caw，对于所有索引值Z落在
索引区间(-0腦ge,+《。，)中的速度放入一个划分聚集子集合^腦ge沖，其中
是可调的半径参数；选取索引所对应的一个聚集范围阈值，获得对于划分集合 (^J的若干个划分聚集子集合的合集U^,丄{^-謂伊},…，{& e}}，其中A: 为所获得聚集个数；然后求取划分聚集子集合{^-，^}对应的中心速度Kw一
其中Fi,，^为划分聚集子集合化-，"中所有速度K-ow的加权平均，W为 速度对应的加权值，索引Z-""ter为这个索引区间的中值，A为划分聚集子集合 {^.-,。，}中所有元素的数目；获得的一个完整划分集合(F^J对应的F，&集合(K-ce咖，Kw， 。。。， ^，妙}，按照获得的K她r集合，对帧的索引按照〃-cewte。 2-ceWw, ^ce"fe^作为分割点对运动数据进行分割，提取两分割点之间的运 动数据作为动作片段。 实施例
(1)输入标准格式的人体运动捕获数据，在本实施例中输入近红外光学捕获 系统所获得的人体运动标准.trc格式的文件，每秒24帧；选取人体模型中18个 最具有代表性的关节点作为候选关节点，分别属于四肢、颈椎、头部几个运动 集中的部分，人体骨架信息如图1所示；
在输入的长度为w+/的运动捕获数据序列S = &,力，...，"中，其中的乂为帧 索引/所对应帧的运动数据；每帧中人体的候选关节点信息用向量力={iV 4 A， ^， . "}来表示，其中A和^分别表示候选关节点y在帧乂的时 间戳所对应的空间位置信息和速度信息，m表示候选关节点的个数，在本实施 例中m为18，其中速度^的计算方式如下
75 — P
-^x加
2
其中ll.ll表示欧拉距离公式，为运动捕获数据的帧率，在本实施例中为24 帧每秒；获得了帧序列S中每一帧,中人体的候选关节点信息尸,和K后，计算 质心在每一帧力所对应的质心速度K-aw信息
其中巧为^对应的加权值，根据不同的关节点对于质心速度的贡献程度而 不同，在本实施例中，属于四肢的候选关节点对应的权值较大，属于颈椎和头 部的权值较小；获得人体运动捕获数据序列仏,力，.../J所对应的连续质心速度 集合(F。-ow, K-com, ...， K-ow}，如图2所示。
(2)获得人体运动捕获数据序列所对应的连续质心速度集合(^-com，
^ ^,...,^ ^}后，在本实例中利用冒泡算法将速度集合进行一遍遍历，获得 集合中最大的速度K^和最小速度F ，设置一个过滤的阈值A^，计算公式如 下
^ 一 war
其中s/a^为可调的划分参数，将最大和最小之间的差值划分成若干个划分 区间，将质心速度集合中满足(F^ K^+^一e {^^}}放入划分集合化細}中，获得质心速度集合中速度贴近于谷底值的速度集合；在本实施例中，W"A的默 认设置为6同时可以实时的调节s/"d来获得最佳的效果；
对于划分集合(^WJ中的每一个质心速度K-aw，对于所有索引值/落在索 引区间(-^。，+6U^)中的速度放入一个划分聚集子集合{^。，}中，其中&。 取是 可调的半径参数，其中e，ge是可调的半径参数，选取索引所对应的一个聚集范 围阈值，将索引值进行一个聚类，消除索引值的信息冗余，在本实施例中&， 的默认值为5同时也可以实时的调节《。，来获得最佳的效果；选取索引所对应
的一个聚集范围阈值，获得对于划分集合(]^J的若干个划分聚集子集合的合集
…，{1，}}，其中^为所获得聚集个数；然后求取划分聚 集子集合{^-，"对应的中心速度Kf<formula>formula see original document page 9</formula>其中F,w为划分聚集子集合化-薩"中所有速度K.ow的加权平均，w,为
速度对应的加权值，索引"Mter为这个索引区间的中值，义为划分聚集子集合 {^>。,砂}中所有元素的数目；获得的一个完整划分集合{^^}对应的K她r集合
…，U按照获得的K，^集合，对帧的索引按照"-ce"fer, 2-ce"fer,...，魟ce"fe^作为分割点对运动数据进行分割，提取两分割点之间的运 动数据作为动作片段，在本实施例中，对.trc文件进行头信息和具体点数据进行 修改，获得对应于人体动作片段的.trc文件。
权利要求
1.一种人体运动数据片段提取方法，其特征在于包括如下步骤1)利用人运动学模型和运动数据特征，基于各关节点物理知识和瞬时速度，设计计算质心速度的方法；2)基于步骤1)的质心速度计算方法，对所输入运动数据帧序列对应质心速度序列进行频谱分析，并对分析结果进行切割提取。
2. 根据权利要求1所述的一种人体运动数据片段提取方法，其特征在于 所述的利用人运动学模型和运动数据特征，基于各关节点物理知识和瞬时速度，设计计算质心速度的方法步骤(a)输入标准格式的运动捕获数据，选取人体模型中m个最具有代表性的关 节点作为候选关节点；在输入的长度为《+/的运动捕获数据序列^= ... ，/J中，其中的乂为帧索引/所对应帧的人体运动数据；每帧中人体的候选关节点信 息用向量力={尸,0， 尸〃，…，尸 /^力}来表示，其中和分别表示候 选关节点J'在帧乂的时间戳/所对应的空间位置信息和速度信息；其中速度^ 的计算方式如下<formula>formula see original document page 2</formula>其中ll.ll表示欧拉距离公式，#s为运动捕获数据的帧率；获得了帧序列S中 每一帧力屮人体的候选关节点信息户,和K后，计算质心在每一帧乂所对应的质心速度K-03M信息<formula>formula see original document page 2</formula> 2其中W;为^对应的加权值，根据不同的关节点对于质心速度的贡献程度而不同，获得人体运动捕获数据序列^，... ，/J所对应的连续质心速度集合<formula>formula see original document page 2</formula>
3.根据权利要求1所述的一种人体运动数据片段提取方法，其特征在于 所述的基于步骤l)的质心速度计算方法，对所输入运动数据帧序列对应质心速 度序列进行频谱分析，并对分析结果进行切割提取步骤(b)获得人体运动捕获数据序列所对应的连续质心速度集合{^- ^,…，^coW后，将速度集合进行一遍遍历，获得集合中最大的速度R和最小速度F^，设置一个过滤的阈值^^，计算公式如下<formula>formula see original document page 2</formula>其中Wad为可调的划分参数，将最大和最小之间的差值划分成若干个划分区间，将质心速度集合中满足化^f^+^^l^e {^^}}放入划分集合{^ }中； (c)对于划分集合WW中的每一个质心速度Fi-c參对于所有索引值/落在 索引区间(W，g" +^。，)中的速度放入一个划分聚集子集合{^。^}中，其中A。， 是可调的半径参数；选取索引所对应的一个聚集范围阈值，获得对于划分集合 {^￡}的若干个划分聚集子集合的合集{{^-,丄…，{&ra，}}，其中A为所获得聚集个数；然后求取划分聚集子集合(K-，gJ对应的中心速度义其中K.，^为划分聚集子集合化，gJ中所有速度K-aw的加权平均，W为速 度对应的加权值，索引/-""fer为这个索引区间的中值，A为划分聚集子集合 {^>。，}中所有元素的数目；获得的一个完整划分集合{^^}对应的Fw集合 K ， 。。。， hw}，按照获得的F固^集合，对帧的索引按照"-ce"ter， 2-ce"ter,…，lce"妙M乍为分割点对运动数据进行分割，提取两分割点之间的运 动数据作为动作片段。
全文摘要
本发明公开了一种人体运动数据片段提取方法。本方法利用了计算机运动数据编辑和人体建模的知识，实现了对于运动数据中具有基本语义单元的动作片段的自动智能识别和分割。首先输入需要进行提取动作片段的运动捕获数据，从中恢复出人体的运动学模型，基于各关节点物理知识和瞬时速度计算出质心的速度，在获得质心速度基础上，对数据序列中对应帧的质心速度进行频谱分析和切割，提取具有基本语义单元的动作片段。本方法通过求取质心速度和对速度进行聚类极值分割，提高了动作识别的准确性和效率，避免了手工提取的低效率和主观性，提高了人体角色动画生成过程中对于运动捕获数据重用的效率。
文档编号G06T7/20GK101515371SQ20091009697
公开日2009年8月26日 申请日期2009年3月26日 优先权日2009年3月26日
发明者庄越挺, 璋 梁, 俊 肖, 成 陈 申请人:浙江大学