专利名称：一种人体动作数据的空间轨迹检索方法
技术领域：
本发明涉及人体动作数据检索方法，属于计算机三维动画技术及多媒体数据处理领域，具体地说，是一种人体动作数据的空间轨迹检索方法。
背景技术：
动作捕获技术能够精确地测量、跟踪、记录物体在三维空间中的运动轨迹，该技术起源于20世纪70年代末，经历了近几十年的发展，捕获技术日趋成熟。当前，动作捕获已经成为计算机动画、虚拟现实、计算机视觉、生物医疗等重要的数据获取手段。由于各种应用的迫切需要以及商业捕获设备的广泛推广，目前已经出现了越来越多的大型三维人体动作库，如美国卡内基梅隆大学的人体动作库(http://mocap.cs.cmu.edu)等。随着种类繁多、风格各异的各种动作数据的大量采集，必须要采取有效的管理方法和技术手段，才能充分发挥人体动作库的作用。如何从人体动作库中获取用户所需要的人体动作数据已经成为动作数据有效利用的关键问题，传统的基于文本的检索方法存在着人工标注费时费力且易造成主观理解不统一等问题，难以被用来进行有效的人体动作数据检索。与此同时，基于示例的检索技术已成为多媒体和信息处理领域研究的热点，由于该检索技术能较好地弥补传统的基于文本的检索方法的不足，已经得到了相关领域研究者越来越多的重视。已有的基于示例的人体动作数据检索方法主要有如下几类第一类方法是如文献 IKovar L，Gleicher M，Pighin F. Automated Extraction and Parameterization of Motions in Large Data Sets. ACM Transactions on Graphics(S0730-0301)，2004， 23(3) :559-568所述的直接使用姿态的高维特征进行检索的方法，该方法首先使用姿态的原始高维特征计算两个姿态间点云的距离并以该距离作为姿态的相似性度量，然后通过动态时间弯曲方法(DTW)构建相似动作片段的匹配网络，在检索时通过多次迭代检索获取相似的动作。然而直接使用姿态的高维特征进行DTW计算的代价太高，且DTW算法仅是局部对齐的，相似匹配网络计算的复杂性以及对存储空间的要求限制了其在大规模人体动作库上的应用。第二类方法是如文献 2MUller M,RoderT, Clausen Μ. Efficient content based retrieval of motion capture data. ACM Transactions on Graphics,2005,24(3) 677-685所述的基于姿态的几何空间特征的检索方法，该方法引入了定性的几何特征来描述身体各关节的位置关系，如左脚、左胯、以及身体中心构成了一个平面，右脚在这个平面的前面或者后面就构成了一个布尔几何特征，Muller等人在原型系统中共设计了 31个特征，这些特征分为身体上部分特征、身体下部分特征以及两者相互作用的特征，由于姿态的几何空间特征值均通过阀值的限定进行了离散化并具有了相应的语义信息，这就使得动作中相邻的帧往往具有相同的特征值，即动作时序文件被分割为具有相同特征值的动作片段，动作检索就可以直接以动作片段为单位进行。然而，使用布尔几何特征来描述动作内容的问题在于对不同类型的动作，很难建立统一的特征体系，对于某一类动作来说，只有其中的部分特征是成立的，因此，该方法指出用户在检索时需要选择相关的特征，以逐步提高检索的精准率，显然，让用户直接去进行特征选择并不是一种友好的人机交互方式，是以增加用户操作的复杂性为代价的。第三类方法是如文献3 Forbes K,Fiume Ε. An efficient search algorithm for motion data using weighted PCA. Proc of Euro graphics/ACM SIGGRAPH Symposium on Computer Animation，2005，67-76 提出的基于姿态低维空间特征的检索方法，由于不同的关节在相似度匹配中的重要程度并不相同，且用户可能只关注部分关节，所以该方法使用加权主成分分析(weighted PCA)数据降维的方法来体现关节的不同重要程度。该方法首先对人体动作库中的所有动作进行降维，然后再对每个姿态进行投影，得到动作的低维特征表示。检索时，首先在低维空间提取检索示例的特征姿态，然后在低维空间中得到和特征姿态相近的姿态作为种子点，这些种子点是检索示例和人体动作库中的相似动作片段必然经过的点，以这些点为出发点，分别进行前向和后向的DTW操作，由于检索示例的起点和终点是已知的，且DTW对齐的路径是非退化的，实际上是对人体动作库中相似动作片段的长度进行了限制，从而实现了人体动作的检索。使用数据降维的方式获取低维空间特征进行动作检索的问题在于人体动作的每一帧姿态都是有着明确的物理意义的，在数据降维后得到的低维特征数据将可能失去这些物理意义，另一方面，每一种降维方法擅长处理的低维空间结构(流型)各不相同，如何为不同的动作类型选择合适的降维方法是该类方法的困难所在。第四类方法是如文献4 Liu F，Zhuang Y T, Wu F, et al. 3D motion retrieval with motion index tree. Computer Vision and Image Understanding, 2003,92 (223) :265-284所述的基于动作关键帧的检索方法，该方法的有效性依赖于有效、统一的关键帧提取算法以及恰当的参数设置，对于舞蹈等复杂动作来说， 既存在着整体的动作，也存在着局部细节的动作，选择有效的关键帧提取算法是很困难的。在实际应用中，人体动作数据检索的一个显著特点就是存在着用户关注关节问题，如对于拳击动作检索来说，用户更多关注的是上肢的动作，对于踢踏舞蹈动作检索来说，用户的注意力更多集中在下肢和脚步的动作上，也就是说，对于不同类型的动作，用户检索的关注关节是不同的，如果在检索时，仍然使用人体全部关节的动作特征进行检索，则非关注关节的动作特征会对检索的精准率产生极大地影响，例如对于行走的动作，上肢有可能是摇摆的、静止的、或者挥舞的，在用户检索行走的动作时，如果使用包括手臂在内的所有关节的动作特征进行相似度计算，显然各种不同的上肢动作会影响到用户期望的结果。在上述方法中，Kovar L和Liu F的方法都是使用人体全部关节的动作特征进行检索的，用户无法指定关注关节进行人体动作数据检索，MUllerM已经注意到不同的动作类型对应的有效特征是不同的，然而让用户选择对应的特征进行动作检索的人机交互方式并不友好，是以增加用户的操作复杂性为代价的，合理的方式是用户在输入检索示例的时候，同时提交本次检索的关注关节(检索关节)。Forbes K同样认为不同的关节对于检索结果的重要程度是不一样的，但是其检索方法需要在低维特征提取前，就确定不同的关节对于检索结果的影响系数，并且以后不能改变，显然这也不是一种灵活、有效的方式。概括来说，实现基于示例的人体动作数据检索的困难在于相似的人体动作既存在着时间上的变形也存在着空间上变形，从时间上来说，不同的执行者执行相同的动作在时间上不可能严格一致；从空间上来说，相似的动作由于执行者朝向、骨骼长度以及执行过程的差异也会造成动作的变形。此外，由于完整描述动作的每一帧都是数百维的高维向量，如何有效地对高维特征进行分析和处理以及如何灵活地实现可以支持用户指定检索关节进
6行检索同样也是人体动作数据检索亟需解决的问题，从根本上来说，上述问题的解决依赖于有效的特征表示、准确的特征相似性度量以及快速的索引。
发明内容
发明目的本发明所要解决的技术问题是针对现有技术的不足，提出了一种人体动作数据的空间轨迹检索方法。技术方案本发明公开的一种人体动作数据的空间轨迹检索方法，包括以下步骤步骤1，人体动作结构模型定义对人体关节模型进行动作相关性层次分解，形成了包含五个子结构的人体动作结构模型，包括以左髋为子结构根节点的一个子结构、以右髋为子结构根节点的一个子结构、以及以胸部关节为子结构根节点的三个子结构；步骤2，离线动作特征树生成对于人体动作库中的每一个动作，根据人体动作结构模型，计算关节相对于所属子结构根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征，所述人体动作库是包含各种人体动作的数据库，每个人体动作由一组连续帧的动作数据构成；根据人体动作结构模型中五个子结构的层次定义，对提取的动作特征进行聚类，生成了包含五个动作特征子树的动作特征树；步骤3，在线动作数据检索用户提交检索示例，并指定检索关节，所述的检索示例为表示人体动作的数据；根据指定的检索关节以及人体动作结构模型得到检索树，所述检索树由一组检索子树构成，所述检索子树指人体动作结构模型中从子结构的根节点关节到检索关节之间的途径关节构成的子树；计算检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征；由检索树和动作特征树，按照关节的层次关系自顶向下依次进行特征相似度计算，对最终相似度由高到低排序后将结果动作返回。本发明所述步骤2具体包括以下步骤步骤21，空间轨迹曲线计算对于人体动作库中每一个动作，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算每个关节相对于所属子结构根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合， 所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线， 三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；步骤22，动作特征提取对于人体动作库中每一个动作，由动作中每个关节相对于所属子结构根节点关节的空间轨迹曲线，分别对每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；步骤23，动作特征聚类以人体动作库中的所有动作为聚类对象，对人体动作结构模型中的五个子结构，分别按照子结构中关节的层次关系，使用本层关节的几何不变矩特征为聚类向量，使用自适应模糊C均值聚类方法，自顶向下构建动作特征子树，对应人体根关节的节点是动作特征树的根节点，将根节点指向生成的五个动作特征子树，则构成了动作特征树。本发明所述步骤3具体包括以下步骤步骤31，示例提交用户提交检索动作示例，并指定检索关节，否则默认指定人体的全部关节作为检索关节；步骤32，检索树生成检索关节决定人体动作结构模型中参与检索的子结构，以及参与检索的关节为从子结构的根节点到检索关节之间的关节，由此确定计算特征相似度的范围；参与检索的子结构中的关节形成了检索子树，对应人体根关节的节点是检索树的根节点，将根节点指向检索子树，则构成了检索树；步骤33，空间轨迹曲线计算对于检索示例，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算在检索子树中的关节相对于检索子树根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；步骤34，动作特征提取由检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线，分别对检索子树中的每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；步骤35，特征相似度计算采用以下公式计算特征相似度similarity (X，Y)Similarity(XJ) = ，其中，χ禾日γ分别为待计算的两个动作中同一个关节对应的
权利要求
1.一种人体动作数据的空间轨迹检索方法，其特征在于，包括以下步骤步骤1，人体动作结构模型定义对人体关节模型进行动作相关性层次分解，形成了包含五个子结构的人体动作结构模型，包括以左髋为子结构根节点的一个子结构、以右髋为子结构根节点的一个子结构、以及以胸部关节为子结构根节点的三个子结构；步骤2，离线动作特征树生成对于人体动作库中的每一个动作，根据人体动作结构模型，计算关节相对于所属子结构根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征，所述人体动作库是包含各种人体动作的数据库，每个人体动作由一组连续帧的动作数据构成；根据人体动作结构模型中五个子结构的层次定义，对提取的动作特征进行聚类，生成了包含五个动作特征子树的动作特征树；步骤3，在线动作数据检索用户提交检索示例，并指定检索关节，所述的检索示例为表示人体动作的数据；根据指定的检索关节以及人体动作结构模型得到检索树，所述检索树由一组检索子树构成，所述检索子树指人体动作结构模型中从子结构的根节点关节到检索关节之间的途径关节构成的子树；计算检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征；由检索树和动作特征树，按照关节的层次关系自顶向下依次进行特征相似度计算，对最终相似度由高到低排序后将结果动作返回。
2.根据权利要求1所述的一种人体动作数据的空间轨迹检索方法，其特征在于，所述步骤2具体包括以下步骤步骤21，空间轨迹曲线计算对于人体动作库中每一个动作，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算每个关节相对于所属子结构根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；步骤22，动作特征提取对于人体动作库中每一个动作，由动作中每个关节相对于所属子结构根节点关节的空间轨迹曲线，分别对每个关节计算具有平移、缩放以及旋转不变性的9个几何不变矩特征；步骤23，动作特征聚类以人体动作库中的所有动作为聚类对象，对人体动作结构模型中的五个子结构，分别按照子结构中关节的层次关系，使用本层关节的几何不变矩特征为聚类向量，使用自适应模糊C均值聚类方法，自顶向下构建动作特征子树，对应人体根关节的节点是动作特征树的根节点，将根节点指向生成的五个动作特征子树，则构成了动作特征树。
3.根据权利要求2所述的一种人体动作数据的空间轨迹检索方法，其特征在于，所述步骤3包括以下步骤步骤31，示例提交用户提交检索动作示例，并指定检索关节，否则默认指定人体的全部关节作为检索关节；步骤32，检索树生成检索关节决定人体动作结构模型中参与检索的子结构，以及参与检索的关节为从子结构的根节点到检索关节之间的关节，由此确定计算特征相似度的范围；参与检索的子结构中的关节形成了检索子树，对应人体根关节的节点是检索树的根节点，将根节点指向检索子树，则构成了检索树；步骤33，空间轨迹曲线计算对于检索示例，根据人体关节模型中关节的偏移量坐标和每一帧动作数据中各个关节的旋转欧拉角，计算在检索子树中的关节相对于检索子树根节点关节的三维坐标；对于每一个关节，按照帧号顺序排列构成三维坐标集合，所述三维坐标集合构成一个动作中该关节相对于所属子结构根节点关节的空间轨迹曲线，三维坐标集合中的每一个三维坐标对应的点都是该空间轨迹曲线的一个采样点；步骤34，动作特征提取由检索示例在检索子树中的关节相对于检索子树根节点关节的空间轨迹曲线，分别对检索子树中的每个关节计算具有平移、缩放以及旋转不变性的9 个几何不变矩特征；步骤35，特征相似度计算采用以下公式计算特征相似度similarity (X，Y)Similarity(XJ) = +，其中，χ和γ分别为待计算的两个动作中同一个关节对应的空间轨迹曲线，L2为几何不变矩特征的欧氏距离，L2采用如下公式计算L2 = () I2)1'2，其中Xi和Ii分别为χ和Y对应的几何不变矩特征分量，O i为该特征分量的标准差，i为9个几何不变矩特征对应的序号；步骤36，相似动作层次匹配由检索树和动作特征树，分别在检索子树对应的每个动作特征子树上从第1层开始直到检索关节对应的层为止，依次计算检索示例和人体动作库中动作的特征相似度，最后对检索相关的每个动作特征子树上得到的最相似的s个候选动作求交集并计算其最终相似度，对最终相似度由高到低排序后将结果动作返回。
4.根据权利要求3所述的一种人体动作数据的空间轨迹检索方法，其特征在于，所述步骤36中相似动作层次匹配包括如下步骤步骤361，由检索树获取本次检索相关的动作特征子树；步骤362，在每个检索相关的动作特征子树上进行特征相似度计算，获取和检索示例最相似的s个候选动作，包括如下步骤步骤3621，由检索子树获取当前动作特征子树上进行特征相似度计算的范围为子树上第1层到第h'层之间的节点，其中h'为检索关节对应的层数；步骤3622，对于当前动作特征子树上第1层的每一个节点，计算该节点包含动作的几何不变矩特征的算术平均值和检索示例在该层对应的关节的几何不变矩特征的欧氏距离； 对计算的结果进行排序后，选择距离最小的q个节点作为本层和检索示例最相关的节点； 步骤3623，对当前动作特征子树上第2层到第h'层中的每一层，依次进行如下步骤 步骤3623a，获取当前层的上一层和检索示例最相关的q个节点，并获取这q个节点的子节点，所述q个节点的子节点限定了在当前层上进行特征相似度计算的范围；步骤3623b，对于q个节点的子节点中的每一个节点，计算该节点包含动作的几何不变矩特征的算术平均值和检索示例在当前层对应的关节的几何不变矩特征的欧氏距离；对计算的结果进行排序后，选择距离最小的q个节点作为当前层和检索示例最相关的节点；步骤36M，通过上述步骤计算得到当前动作特征子树第h'层中和检索示例最相关的q个节点，对每一个节点，根据特征相似度计算公式，计算节点中包含的每个动作和检索示例从第1层到第h'层对应关节的几何不变矩特征的欧氏距离之和，欧氏距离之和的倒数作为该动作和检索示例在该动作特征子树中的相似度，排序后得到最相似的s个候选动作；步骤363，对从检索相关的每个动作特征子树中获取的最相似的s个候选动作求交集得到s'个最相似的动作；步骤364，对于s'中的每一个动作，对其和检索示例在检索相关的每个动作特征子树中的相似度进行求和，求和的结果作为该动作和检索示例的最终相似度； 步骤365，对最终相似度由高到低排序后将s'个结果动作返回。
全文摘要
本发明公开了人体动作数据的空间轨迹检索方法，包括以下步骤人体动作结构模型定义对人体关节模型进行动作相关性层次分解，形成了包含五个子结构的人体动作结构模型；离线动作特征树生成对于人体动作库中的每一个动作，计算关节相对于所属子结构根节点关节的空间轨迹曲线并提取空间轨迹曲线的特征作为该关节的动作特征；根据人体动作结构模型中五个子结构的层次定义生成了包含五个动作特征子树的动作特征树；在线动作数据检索用户提交检索示例，并指定检索关节；根据指定的检索关节以及人体动作结构模型得到检索树；由检索树和动作特征树，按照关节的层次关系自顶向下依次进行特征相似度计算，对最终相似度由高到低排序后将结果动作返回。
文档编号G06F17/30GK102298649SQ20111030213
公开日2011年12月28日 申请日期2011年10月9日 优先权日2011年10月9日
发明者周杰, 孙正兴, 陈松乐, 项建华 申请人:南京大学