一种基于gmm语义特征的运动检索方法
【技术领域】
[0001] 本发明设及=维人体运动数据检索技术，高斯混合模型和稀疏编码算法，尤其设 及采用GMM语义特征进行运动检索方法。
【背景技术】
[0002] 随着运动捕获技术的发展W及诸如多目摄像机和微软Kinect深度摄像机运样的 运动捕获设备的商业化普及，人体运动数据被越来越广泛的应用于多种领域。在最近几年 的相关研究中，学者们往往把目光集中在运动数据的应用，而不断增长的运动数据本身却 往往被忽略。因此，目前的现状是，动画师在制作动画时会采集或合成大量的人体运动数 据，却很少合理的把已有的运动重用到新的电影或游戏制作中去。而造成运种资源浪费的 主要原因，正是缺乏运样一种可W有效的从海量数据库中检索运动数据的捜索引擎。
[0003] 在动画领域中，最常见的数据检索方法是文本标签的检索，例如给定"跳"、"打架" 运样的标签，查找数据库中被标为相同标签的运动。尽管运种方式只需要进行简单的文本 匹配和检索因而十分高效，但单纯的文本标签无法完整的描述一整段运动，并且对运动数 据库的分割和标注需要投入大量的人工成本。近年来流行的一种检索方式是基于手绘草图 或轨迹线的检索，通过动画师手工绘制的运动草图来检索数据库得到想要的运动。但是运 类方法需要对动画师进行大量的专业技能训练，才能保证手绘图的准确性；此外，不同动画 师绘画风格的差异也会对检索结果产生很大影响，运在领域内是一个十分棘手的问题。因 此，目前主流的检索均W样本运动作为输入。
[0004] 我们知道，一段运动中往往存在若干个姿态，它们组合在一起可W表示整段运动， 我们称运样的一些姿态为"关键姿态"。不同组"关键姿态"可W描述不同种类的运动，即同 类运动可共享同一组"关键姿态"。基于运样的观察结果，我们采用了高斯混合模型（GMM) 来对"关键姿态"进行建模，并生成基于运些关键姿态的概率特征来描述一段运动。该特征 可在语义层面描述运动，可W在运动检索过程中更容易匹配到近似的运动。
【发明内容】
[0005] 本发明的目的是为了解决动画师在制作动画时无法快速准确的检索需要的运动 运一问题，提供一种基于GMM语义特征的运动检索方法包括如下步骤：
[0006] 一种基于GMM语义特征的运动检索方法包括如下步骤：
[0007] 1)对任意给定的=维人体运动数据集进行类别标注与训练样本集划分，对数据 集中全部运动序列中的每个姿态进行旋转、平移对齐处理，使其中屯、点固定为坐标原点，身 体平面前方朝向统一；
[000引。对数据集中的运动序列提取关键帖，其方法为：对给定运动序列S=化，f2, . . .，f。}，其中为运动序列中的某一帖，n为运动序列总帖数，先用k-means聚类算法 中全部帖进行聚类，根据类别编号对整段运动序列进行分割，同一连续聚类编号的为一段； 然后从分割后的每一个子片段中选取最靠近该片段平均位置的一帖作为关键帖，则运动序 列的关键帖集合S=诱，忘….、哀> 其中彩％提取的关键帖，n.为该序列中提取的关键帖总 数；
[0009] 扣假设每个运动类别C,，j= 1，2, ...，m包含L个"关键姿态"，m为运动类别总 数，每个关键姿态可用一个正态分布来描述：Qk=N(yk，〇k)，k= 1，2，...，以利用高斯混 合模型为类别C，包含的全部关键帖建模，设0为高斯混合模型中的参数集合，初始化每个 正态分布的权重P(Qkl0) = 1/L，则对每个关键帖％= …巧Sj，，其中巧^为C，包含的 关键帖总数，属于Qk的概率为：
[0011] 每个正态分布参数组可迭代优化更新如下：
[0010] (1;
[0016] 迭代重复公式似至（5)直到收敛；
[0017] 4)对给定姿态t可由步骤扣得到的模型计算出一系列概率值p,k，j= ， m，k= 1，2, ...L表示该姿态属于类别C,中第k个关键姿态的概率，可由对应的正态分布N(jik，0k)计算得出，Pa可拼接为f对应的姿态粒度语义特征： 阳0化]t= {p。，. . .，PiL，. . .，P.jk，. . .，Phil) (6) 阳019] 对于一段给定的运动序列s=化，fz，. . .，f。}，先按公式做计算其每一帖fi的 姿态特征tW，再求平均，得到运动序列特征：
[0020]
口》
[0021] 5)利用稀疏编码对给定运动序列特征进行重建，得到选择向量： W巧
（8)
[0023] 其中，A为正则化参数，D是一个dXN的字典矩阵，包含了数据库中所有运动序列
[0024] 特征；d表示特征至的维数，N为数据库中运动序列的个数，公式做可用11-ls算 法求解；
[00巧]6)取选择向量V中最大的K个系数，K为需要返回的相似运动段数，其所对应的运 动序列为重建过程中贡献度最大的运动，也即作为最终检索结果。
[00%] 本发明所提出的方法与传统运动检索方法相比，具有W下优势：
[0027] 1.提取的特征为基于GMM的语义特征，可W对运动序列在"关键姿态"层面进行统 计概率上的语义描述，在相似度匹配过程中可W获得更好的效果。
[0028] 2.检索方法用稀疏编码（SparseCoding)代替传统的K近邻方法，W稀疏重建的 思想进行检索，按重建系数大小进行相似度排序，使检索结果更加准确。
【附图说明】
[00巧]图1是提取关键帖步骤不意图。
【具体实施方式】
[0030] 如图1所示，一种基于GMM语义特征的运动检索方法包括如下步骤：
[0031] 1)对任意给定的=维人体运动数据集进行类别标注与训练样本集划分，对数据 集中全部运动序列中的每个姿态进行旋转、平移对齐处理，使其中屯、点固定为坐标原点，身 体平面前方朝向统一； 阳03引。对数据集中的运动序列提取关键帖，其方法为：对给定运动序列S=化，f2, . . .，f。}，其中为运动序列中的某一帖，n为运动序列总帖数，先用k-means聚类算法 中全部帖进行聚类，根据类别编号对整段运动序列进行分割，同一连续聚类编号的为一段； 然后从分割后的每一个子片段中选取最靠近该片段平均位置的一帖作为关键帖，则运动序 列的关键帖集合^ =淀、忘…，焉壬其中.g为提取的关键帖，n历该序列中提取的关键帖总 数；
[003引扣假设每个运动类别C,，j= 1，2, . . .，m包含L个"关键姿态"，m为运动类别总 数，每个关键姿态可用一个正态分布来描述：qk=N(yk，0k)，k= 1，2，...，L利用高斯混 合模型为类别C，包含的全部关键帖建模，设0为高斯混合模型中的参数集合，初始化每个 正态分布的权重P(Qkl0) = 1A，则对每个关键侦％或一馬y其中i%为Cj包含的关 键帖总数，属于Qk的概率为：
[0034] (1)：
[0035] 每个正态分布参数组可迭代优化更新如下：
W40] 迭代重复公式0)至巧）直到收敛；
[00川 4)对给定姿态f，可由步骤扣得到的模型计算出一系列概率值Pik，j=1，2，...， m，k= 1，2,...L表示该姿态属于类别Cj中第k个关键姿态的概率，可由对应的正态分布N(iik，0k)计算得出，P，k可拼接为f对应的姿态粒度语义特征： 阳042]t= {p。，. . .，PiL，. . .，P.jk，. . .，Phil) (6)
[0043] 对于一段给定的运动序列s=化，f2, . . .，f。}，先按公式（6)计算其每一帖的 姿态特征tW，再求平均，得到运动序列特征：
[0044]
(巧
[0045] 5)利用稀疏编码对给定运动序列特征进行重建，得到选择向量：
[0046]
C8)
[0047] 其中，A为正则化参数，D是一个dXN的字典矩阵，包含了数据库中所有运动序列
[0048] 特征；d表示特征f的维数，N为数据库中运动序列的个数，公式（8)可用11-ls算 法求解；
[0049] 6)取选择向量V中最大的K个系数，K为需要返回的相似运动段数，其所对应的运 动序列为重建过程中贡献度最大的运动，也即作为最终检索结果。
【主权项】
1. 一种基于GMM语义特征的运动检索方法，其特征在于包括如下步骤： 1) 对任意给定的三维人体运动数据集进行类别标注与训练样本集划分，对数据集中 全部运动序列中的每个姿态进行旋转、平移对齐处理，使其中心点固定为坐标原点，身体平 面前方朝向统一； 2) 对数据集中的运动序列提取关键帧，其方法为：对给定运动序列s= {f\，f2,...， fj，其中仁为运动序列中的某一帧，n为运动序列总帧数，先用k-means聚类算法中全部帧 进行聚类，根据类别编号对整段运动序列进行分割，同一连续聚类编号的为一段；然后从分 割后的每一个子片段中选取最靠近该片段平均位置的一帧作为关键帧，则运动序列的关键 帧集合爱=…其中篇为提取的关键帧，ns为该序列中提取的关键帧总数； 3) 假设每个运动类别C,，j= 1，2, ...，m包含L个"关键姿态"，m为运动类别总数，每 个关键姿态可用一个正态分布来描述：?=N(yk，〇k)，k= 1，2, ...，L，利用高斯混合模 型为类别(^包含的全部关键帧建模，设?为高斯混合模型中的参数集合，初始化每个正态 分布的权重？(％|?)=1/1，则对每个关键帧:;％| = ^、~％:，其中1'%：;为(：]包含的关键 帧总数，Xi属于概率为：迭代重复公式（2)至（5)直到收敛； 4) 对给定姿态f，可由步骤3)得到的模型计算出一系列概率值pjk，j= 1，2，. . .，m，k= I，2, ...L，表示该姿态属于类别Cj中第k个关键姿态的概率，可由对应的正态分布N(yk， 0k)计算得出，Pa可拼接为f对应的姿态粒度语义特征： t - {Pn，? ? ?，Pil，? ? ?，Pjk，? ? ?，PmJ (6) 对于一段给定的运动序列S={fpf2, . . .，fj，先按公式（6)计算其每一帧fi的姿态 特征t(1)，再求平均，得到运动序列特征：5) 利用稀疏编码对给定运动序列特征进行重建，得到选择向量：其中，A为正则化参数，D是一个dXN的字典矩阵，包含了数据库中所有运动序列特 征；d表示特征:f丨的维数，N为数据库中运动序列的个数，公式（8)可用Il-Is算法求解； 6)取选择向量V中最大的K个系数，K为需要返回的相似运动段数，其所对应的运动序 列为重建过程中贡献度最大的运动，也即作为最终检索结果。
【专利摘要】本发明公开了一种基于GMM语义特征的运动检索方法。首先，对训练数据进行关键帧提取，并基于关键帧利用高斯混合模型建立“关键姿态”模型，用来对所有运动数据的姿态计算语义特征。接着，姿态粒度的语义特征通过统计合并生成序列粒度的语义特征，用于运动序列的比较。最后，给定待检索运动序列及其特征，采用了稀疏编码方法代替传统的K近邻方法对数据库进行相似运动检索，按相似度列出检索结果。本方法检索效果准确，计算高效，满足了动画师制作动画时快速检索近似运动的需求。
【IPC分类】G06F17/30
【公开号】CN105224669
【申请号】CN201510653832
【发明人】肖俊, 齐天, 张翰之, 庄越挺
【申请人】浙江大学
【公开日】2016年1月6日
【申请日】2015年10月10日