一种基于姿态相对时空特征统计描述的运动数据检索方法与流程

本发明涉及人体运动数据检索方法，属于计算机三维动画技术及多媒体数据处理领域，具体地说，是一种基于姿态相对时空特征统计描述的人体运动数据检索方法。

背景技术：

由于各种应用的迫切需要以及商业捕获设备的广泛推广，目前已经出现了越来越多的大型三维人体动作库，如美国卡内基梅隆大学的人体动作库(http://mocap.cs.cmu.edu)等。如何从人体动作库中获取用户所需要的人体运动数据已经成为动作数据有效利用的关键问题，基于实例的检索技术采用特征表示运动的内容，通过特征之间的相似度度量实现内容相似运动的匹配，较好地克服了传统的基于文本标注检索方法的不足，已经成为运动捕获数据检索领域的研究热点。有效的特征表示及相应的相似度匹配机制是基于实例的检索的基本和关键问题。

特征要能够对运动的内容进行完整而有效的表示。在已有的姿态特征表示中，关节的三维坐标及其编码表示、四元数和欧拉角及其编码表示是常用的表示方法，然而研究表明它们只适用于数值相似的运动数据检索，并不能有效地表示由于风格、持续时间等差异形成的逻辑相似的运动。Müller等人在文献Müller M,et al.Efficient content based retrieval of motion capture data.ACM Transactions on Graphics,2005,24(3):677-685)中提出布尔几何特征以实现逻辑相似的运动检索，然而有限的特征数量及二值布尔状态使得其对于细分的动作区分能力较差。潘红等人在文献潘红,肖俊,吴飞等.基于关键帧的三维人体运动检索[J],计算机辅助设计与图形学学报,2009,21(2):214-222[77]中提出以四肢骨骼和中心骨骼之间的夹角作为姿态特征，然而存在着众多和中心骨骼无关的局部动作。Tang等人在文献Tang J T,et al.Retrieval of logically relevant 3D human motions by Adaptive Feature Selection with Graded Relevance Feedback[J].Pattern Recognition Letters,2012,33(4):420-430中指出相对位置关系是提取逻辑含义的有效表示，并使用关节对之间的距离作为姿态的特征表示，然而其忽略了直线和平面这两个重要的几何元素，此外，该特征不能直接表达关节旋转内容。Chen等人在文献Chen C,et al.Perceptual 3D pose distance estimation by boosting relational geometric features[J].Computer Animation and Virtual Worlds,2009,20(2-3):267-277中定义了姿态相对几何特征集以评价感知上姿态的相似性，然而不同关节形成的点、线、面的任意组合，使得特征数量达到了56万多维，需要针对具体应用加以合理约束以降低特征维数。

姿态是运动的构成单元，一些研究者以姿态的特征表示为基础，通过降维以及聚类方法来获取姿态的低维表示；通过矩阵奇异值分解、球谐变换、张量代数子空间分解以及关键帧技术获取在更高层次上对运动片段的重新描述。然而在降维、聚类以及动作的二次特征提取距离计算中，反映运动内容的姿态局部特征均分配了特定的权重，这些局部特征的权重并不能够在检索的过程中随着检索实例的不同进行动态调整，导致了上述特征表示并不能有效地支持运动的局部空间检索。

综上所述，已有的运动内容特征表示尚不能够有效地支持运动数据检索，本发明提出了一种基于姿态相对时空特征统计描述的运动数据实例检索方法，在姿态时空相对特征内容表示的基础上，该方法进一步采用统计描述提取动作的二次特征向量，在检索的过程中，该方法还采用基于SVM相关反馈以提高检索性能。与本发明方法比较接近的方法是文献(陈松乐等.民族舞蹈运动数据的实例检索方法.计算机辅助设计与图形学学报，2014，26(2):198-210)和文献(Songle Chen,et al.Relevance Feedback for Human Motion Retrieval Using a Boosting Approach.Multimedia tools and applications,2016,75(2):787-817)中提出的方法，然而这两种方法均直接以姿态相对时空特征作为特征表示，并采用动态时间弯曲算法作为动作的相似度计算方法，计算复杂度太高，难以满足大规模运动捕获数据库检索的性能需求。

技术实现要素：

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提出了一种基于姿态相对时空特征统计描述的运动数据检索方法。

技术方案：本发明公开的一种基于姿态相对时空特征统计描述的运动数据检索方法，包括以下步骤：

步骤1，三维姿态相对时空特征提取：三维姿态中关节形成的点、线、面几何元素集合是不同动作模式对应的局部区域的最小构成单元。本发明提取三维姿态中关节形成的点、线、面几何元素之间的相对空间位置及其变化的度量作为姿态的特征表示，通过不同局部区域包含的不同类型特征的权重组合，来表达广泛的姿态模式。对于库中所有动作包含的每个姿态，其相对时空特征提取具体步骤如下：

1)定义三维人体关节模型，选择其中最重要的若干个关节作为三维姿态表示；

2)构建几何元素集合，选择的关节构成了几何元素集合中的点集，点集中任意2点形成直线，任意3点则构成平面；

3)提取每个三维姿态相对空间特征，包括关节对距离特征、关节与骨骼距离特征、关节与平面距离特征、骨骼对夹角特征、骨骼与平面夹角特征、平面与平面夹角特征、关节旋转特征；

4)提取每个三维姿态相对时间特征，包括关节角速度与加速度特征。

步骤2，动作统计描述生成：动作由若干个姿态连续变化而成，本发明提取姿态相对时空特征的统计描述作为动作的特征向量表示，选择的统计量包括，均值、极差、方差以及偏态共4个统计变量。对于库中的每个动作，动作统计描述生成的具体步骤如下：

1)装载动作中包含的每个三维姿态的相对时空特征，并把每个特征作为一维随机变量，动作中的每个姿态对应了该随机变量的取值；

2)计算每个相对时空特征的均值；

3)计算每个相对时空特征的极差；

4)计算每个相对时空特征的方差；

5)计算每个相对时空特征的偏态；

6)将每个相对时空特征提取的均值、极差、方差、偏态归一化后按顺序进行排列并保存，形成每个动作的特征向量表示。

步骤3，相似度匹配：采用步骤1和步骤2提取用户提交的检索动作实例的特征描述，并进而采用欧式距离计算库中动作和检索动作的相似程度，对最终相似度由高到低排序后将结果动作返回。相似度匹配过程具体步骤如下：

1)用户提交检索动作实例；

2)采用步骤1和步骤2计算用户提交的检索动作的相对时空特征统计描述；

3)对于库中的每个动作，基于相对时空特征统计描述，采用欧式距离计算和用户提交的检索动作的距离，每个特征的权重相同；

4)对库中每个动作和用户提交的检索动作的距离进行排序；

5)将距离最小的Top-20个动作返回给用户。

步骤4，相关反馈：步骤3的相似度计算中每个特征都采用了相同的权重。实际上对于用户的每一次检索都存在着一个特定的特征子集及其权重组合，使得检索的性能达到最优。为了更好的捕捉用户的检索意图并逐步逼近最优的特征子集及其权重组合，本发明通过支持向量机(SVM-Support Vector Machine)相关反馈方法来优化检索结果，基于SVM的相关反馈具体步骤如下：

1)对于步骤3或者上一轮相关反馈的结果，用户标注返回实例和其提交的检索动作是否相关；

2)将用户标注的和其提交检索动作相关的样本作为正例样本，将用户标注的和其提交检索动作不相关的样本作为反例样本；

3)选择线性核，采用SVM对正反例样本进行学习，得到SVM分类模型；

4)依次将库中的每个动作输入到SVM分类模型，计算得分；

5)对得分进行排序，将得分最高的Top-20个动作返回给用户；

6)如果用户对结果满意，则检索过程结束，否则返回步骤1)，进行下一轮反馈。

有益效果

1)本发明采用姿态时空相对特征作为三维姿态描述，该特征描述提取姿态中关节形成的点、线、面几何元素之间的相对空间位置及其变化的度量作为动作内容表示。关节形成的点、线、面几何元素集合是不同动作模式对应的局部区域的最小构成单元，而点、线、面几何元素之间的角度与距离等度量从不同方面反映了最小构成单元之间的相对空间位置关系，通过不同局部区域包含的不同类型特征的权重组合能够表达广泛的动作模式。

2)本发明采用三维姿态时空相对特征的统计描述作为动作的特征表示，均值、极差、方差、偏态统计变量反映了每个特征在动作中的基准与变化情况，能够有效表达动作运动内容。同时，统计描述将时间上不同长度的动作统一转换为统一长度的特征向量，因此可以使用欧式距离以及线性SVM等方法来进行相似度计算和相关反馈，极大地提高了计算效率和检索的有效性。

3)本发明采用线性SVM进行相关反馈以进一步提高检索性能，SVM本身具有小样本学习泛化能力好的优点，因此可以克服由于用户标注的样本量的不足而导致的一般学习方法泛化能力差的问题。而采用线性核函数使得可以根据分类模型中每个特征的权重解释对于本次检索每个特征的不同重要程序，提高了检索结果的可解释性。

附图说明

图1为本发明的方法流程图。

图2为本发明中使用的人体关节模型示意图。

图3为本发明定义的相对时空特征示意图。

图4为实施例通过相似度匹配获得的对检索输入动作“跳”的检索结果。

图5为实施例通过SVM相关反馈对检索动作“跳”进行检索4次迭代后的结果。

具体实施方式

下面结合附图和具体实施方式对本发明做更进一步的具体说明。

一种基于姿态相对时空特征统计描述的运动数据检索方法，包括以下步骤：

步骤1，三维姿态相对时空特征提取：三维姿态中关节形成的点、线、面几何元素集合是不同动作模式对应的局部区域的最小构成单元。本发明提取三维姿态中关节形成的点、线、面几何元素之间的相对空间位置及其变化的度量作为姿态的特征表示，通过不同局部区域包含的不同类型特征的权重组合，姿态时空相对特征能够表达广泛的姿态模式。对于库中所有动作包含的每个姿态，其相对时空特征提取具体步骤如下：

1)定义三维人体关节模型，本发明采用的三维人体关节模型如图2所示，共包含了18个关节。根据每个关节在采样时刻的具体平移或者旋转数值，计算出采样时刻每个关节的三维坐标(x,y,z)；

2)构建几何元素集合，选择的关节构成了几何元素集合中的点集，点集中任意2点形成直线，任意3点则构成平面。本发明对直线和平面这两个几何元素进行合理的约束，只考虑相邻关节形成的直线与平面以约减姿态特征的维数，最终的姿态几何元素集合中共包含了17条骨骼形成的直线，以及相邻关节形成的10个平面；

3)提取每个三维姿态相对空间特征，包括关节对距离特征、关节与骨骼距离特征、关节与平面距离特征、骨骼对夹角特征、骨骼与平面夹角特征、平面与平面夹角特征、关节旋转特征。提取的三维姿态相对空间特征如图3所示，具体计算过程如下；

a)关节对距离特征F_j,j,d，本发明使用欧氏距离计算几何元素集合中关节对之间的距离，设姿态中关节j₁、j₂的三维坐标分别为(x₁,y₁,z₁)、(x₂,y₂,z₂)，则关节对之间的距离计算公式为：

b)关节与骨骼距离特征F_j,l,d，关节到骨骼的距离通过三角形面积公式来计算，设d₁₂、d₁₃、d₂₃分别为关节j₁、j₂、j₃之间的距离，p＝(d₁₂+d₂₃+d₁₃)/2，则关节j₁与关节j₂、j₃形成的直线之间的距离为：

F_j,l,d＝2p(p-d₁₂)(p-d₁₃)(p-d₂₃)/d₂₃；

c)关节与平面距离特征F_j,p,d，关节到平面的距离通过关节和平面上任意一点形成的向量和平面法向量之间的点积求得，设n为关节j₂、j₃、j₄形成的平面的法向量，v为关节j₁、j₃形成的向量，则关节j₁到j₂、j₃、j₄形成的平面的距离为：

F_j,p,d＝n·v/||n||；

d)骨骼对夹角特征F_l,l,a，骨骼与骨骼的夹角通过向量点积公式来计算，若关节j₁、j₂形成向量v_a，关节j₃、j₄形成向量v_b，则骨骼之间的夹角计算公式为：

F_l,l,a＝arccos(v_a·v_b/(||v_a||×||v_b||))；

e)骨骼与平面夹角特征F_l,p,a，骨骼与平面之间的夹角通过骨骼与平面法向量的点积公式进行计算，设n为关节j₃、j₄、j₅形成的平面P的法向量，v为关节j₁、j₂形成的向量，则关节j₁、j₂形成的骨骼与P的夹角为：

F_l,p,a＝arccos(n·v/(||n||×||v||))；

f)平面与平面夹角特征F_p,p,a，平面与平面之间的夹角通过平面的法向量的点积公式进行计算，设n₁为关节j₁、j₂、j₃形成的平面P₁的法向量，n₂为关节j₄、j₅、j₆形成的平面P₂的法向量，则P₁与P₂的夹角为：

F_p,p,_a＝arccos(n₁·n₂/(||n₁||×||n₂||))；

g)关节旋转特征F_euler，以上姿态空间特征只有一维信息，并不能反映三维的相邻关节旋转信息，本发明选用欧拉角表示相邻关节的旋转信息。

4)提取每个三维姿态相对时间特征，包括关节角速度与加速度特征。本发明采用Kim等人在文献Kim T H,Park S I,Shin S Y.Rhythmic-motion synthesis based on motion-beat analysis[J].Acm Transactions on Graphics,2003,22(3):392-401中提出的方法来计算关节的角速度与加速度。提取的角速度与加速度特征示意图如图3所示。假设关节j在时刻i-1和i的旋转用四元数分别表示为q_j(i-1)和q_j(i)，采样间隔时间为Δt。

a)关节j在时刻i的角速度为：

b)在计算出角速度后，加速度可以根据角速度的变化求得，即：

步骤2，动作统计描述生成：动作由若干个姿态连续变化而成，本发明提取姿态相对时空特征的统计描述作为动作的特征向量表示，选择的统计量包括，均值、极差、方差以及偏态共4个统计变量。对于库中的每个动作，动作统计描述生成的具体步骤如下：

1)装载动作中包含的每个三维姿态的相对时空特征，并把每个特征作为一维随机变量，动作中的每个姿态对应了该随机变量的取值，n为动作中包含的姿态数，动作中包含的n个姿态关于一个姿态相对时空特征的取值为x₁,x₂,...,x_n；

2)计算每个相对时空特征的均值：

3)计算每个相对时空特征的极差：

r＝max(x₁，x₂，…，x_n)-min(x₁，x₂，…，x_n)；

4)计算每个相对时空特征的方差：

5)计算每个相对时空特征的偏态，偏态是数据分布形状的度量，计算方法为：

6)将每个相对时空特征提取的均值、极差、方差、偏态，进行归一化处理，然后按顺序进行排列并保存，形成每个动作的特征向量表示。

步骤3，相似度匹配：采用步骤1和步骤2提取用户提交的检索动作实例的特征描述，并进而采用欧式距离计算库中动作和检索动作的相似程度，对最终相似度由高到低排序后将结果动作返回。相似度匹配过程具体步骤如下：

1)用户提交检索动作实例；

2)采用步骤1和步骤2计算用户提交的检索动作的相对时空特征统计描述；

3)对于库中的每个动作，基于相对时空特征统计描述，采用欧式距离计算和用户提交的检索动作的距离，每个特征的权重相同。设用户的检索动作为i，库中的候选动作为j，N_f为三维姿态相对时空特征总数，f_i,k,l和f_j,k,l分别为动作i和动作j关于姿态相对时空特征f的统计描述k的取值，则检索动作为i和库中的候选动作为j之间的距离具体计算方法为：

4)对库中每个动作和用户提交的检索动作的距离进行排序；

5)将距离最小的Top-20个动作返回给用户。

步骤4，相关反馈：步骤3的相似度计算中每个特征都采用了相同的权重。实际上对于用户的每一次检索都存在着一个特定的特征子集及其权重组合，使得检索的性能达到最优。为了更好的捕捉用户的检索意图并逐步逼近最优的特征子集及其权重组合，本发明通过支持向量机(SVM-Support Vector Machine)相关反馈方法来优化检索结果，基于SVM的相关反馈具体步骤如下：

1)对于步骤3或者上一轮相关反馈的结果，用户标注返回实例和其提交的检索动作是否相关；

2)将用户标注的和其提交检索动作相关的样本作为正例样本，将用户标注的和其提交检索动作不相关的样本作为反例样本；

3)选择线性核，采用SVM对正反例样本进行学习，得到SVM分类模型；

4)依次将库中的每个动作输入到SVM分类模型，计算得分；

5)对得分进行排序，将得分最高的Top-20个动作返回给用户；

6)如果用户对结果满意，则检索过程结束，否则返回步骤1)，进行下一轮反馈。

使用本方案实现的运动检索系统对“跳”动作进行检索的效果如图4和图5所示，图4为使用相似度匹配的结果，由于每个特征都使用相同的权重，特征的权重组合并没有经过优化，所以在首页显示的9个检索结果动作中，只有4个是相关的。图5为经过线性SVM相关反馈4次迭代后的结果，通过在线学习分类模型优化特征权重组合，检索性能得到了明显的提高，在首页显示9个检索结果动作全部为相关动作。

本发明提供了一种基于姿态相对时空特征统计描述的运动数据检索方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。