专利名称：基于相关性几何特征的运动相似性评估方法
技术领域：
本发明涉及一种运动相似性度量方法，尤其涉及以一个固定区间内的分值表示两段运动序列相似性的方法。
背景技术：
在计算机视觉领域，分析两段运动序列的相似性一直以来都是一个热门话题，它对于运动序列检索(motion retrieval)、运动融合(motion blending)以及舞蹈、运动员的姿态分析有着很重要的意义。通过运动相似性的分析，我们可以客观地判断两段运动数据的相似程度，从而进行更丰富的应用。然而在进行运动相似性评估的时候，运动特征的选择以及运动数据误差距离的计算方法对运动相似性评估的准确性有着很大的影响。另外一个问题是，目前大部分已有的运动相似性度量方法中，最后得到的结果都是一个累积误差距离，而这个客观的数值对于用户来说很难理解，用户无法从累积误差距离来判断两个运动序列的相似性程度，而这也使得很多运动相似评估方法无法在诸如舞蹈教学等涉及人机交互场景的应用。运动特征的选择是进行运动相似性的评估十分重要的一个过程，最为常用的运动特征就是关节点的三维空间坐标、以及关节点之间角度信息。然而使用这种基础的运动特征，缺乏语义特征，所以在进行相似度计算的时候，效果并不是很好。基于此原因，有一些学者探索出了 一些更符合人类感知的运动特征。陈成等人在他们的论文“Learning a3Dhuman pose distance metric from geometric pose descriptor，，(2011, Visualizationand Computer Graphics)中描述了一种基于人体姿态几何特征描述符(Geometric PoseDescriptor)。这种描述符使用到了人体各部位之间的几何关系，例如两个胳膊的夹角、胳膊与身体平面的夹角、两个胳膊形成的三角面之间的夹角等等一系列几何信息，同时也使用到了与时域有关的信息例如关节点的速度、加速度，所以这种特征在描述人体姿态的时候会更为准确。在获得了运动序列的特征之后以及对运动序列对齐后，下一个非常重要的问题就是如何进行人体三维姿态的度量。虽说欧式距离被广泛应用在两段运动序列的距离度量中，然而基于欧式距离的度量方法往往会得到与人体感知不一致的结果，所以对于人体三维姿态距离度量的研究也需要更多的工作。一些学者通过研究发现，经过学习得到的距离度量方法，在相似性的计算的效果上可以获得很大的提升。通过对数据进行标注，让系统对于两个姿态能够具有一些语义层面的理解，从而弥补欧氏距离的不足。然而这种方式的一个问题是需要大量的人工去对数据进行标注，从而为系统的实现带来了难度。随着近些年技术的发展，人体运动序列相似性评估技术已经有了很大的发展，然而，针对于特定场景(例如舞蹈教学)的相似性评估方法仍有待进一步的提升。
发明内容
本发明的内容是提出了一种适用于涉及人机交互场景的基于相关性几何特征的运动相似性评估方法，计算一个范围在O到100之间的运动相似性得分来直观地表示两段序列的相似性.
基于相关性几何特征的运动相似性评估方法，它的步骤如下:I)接受人体运动序列数据作为样本运动序列R，并以提前准备好的参考运动序列Q作为标准姿态，所述的样本运动序列运动序列R和参考运动序列Q中的每一帧由场景深度图以及场景彩色图组成；2)当参考运动序列Q以及样本运动序列R的长度不同时，对参考运动序列Q以及样本运动序列R通过动态时间变形进行填充与对齐，使得两段运动序列的关键帧之间建立对应关系；
3)在使用本方法进行运动相似性计算时，通过Adaboost方法对所选取的运动数据进行特征选择，从众多相关性几何特征中选择出最准确表达该运动数据信息的特征；4)针对步骤3)中选择出来的特征，分别从参考运动序列Q以及样本运动序列R中计算对应的相关性几何特征，并将这些特征值保存；5)通过基于曲线拟合的方法，计算参考运动序列Q以及样本运动序列R之间不同类型特征的运动相似性得分，并通过加权平均得到一个范围在O到100之间的综合运动相似性得分。所述步骤2)中的填充与对齐的方法:a)对于参考运动序列Q、样本运动序列R，构建累计距离矩阵D (Q，R)，该矩阵中每一个元素D(n，m)表示子序列Qn、Rm之间的累计误差距离；b)从D(0，0)开始计算，使用公式(I)计算D(i，j)的累计误差距离:D (i, j) = cost+min (D (1-1, j), D (i, j-1), D (1-1, j-1) 公式(I)其中cost是Qp Rj两个三维人体姿态间各关节点的欧式距离之和；c)在计算距离矩阵D(Q，R)之后，依据公式(2)选择出最终的对齐终点Dqe(Q，R)，并以D(0，O)到R)的路径作为两段运动序列的对齐路径；Doe (Q, R) = Hiinj = 1;...，mD削(Q, R(J)) 公式(2 )d)依照对齐路径分别对两段运动序列进行填充，得到两段长度相同的运动序列；在填充时使用K重复方法对对齐算法进行优化，如果运动序列中一个姿态已经被匹配了 K次，那么该姿态将不允许再被匹配，从而限制连续垂直的匹配路径以及连续水平的匹配路径的长度，所述的K为可调自然数参数。所述步骤3)中的特征选择的方法:a)该方法的训练数据以{(pt，qt，qt’)}为格式，其中Pt是运动序列的参考姿态，qt与qt’表示运动序列中两个需要对比的姿态，并将qt与qt’中同Pt最为接近的姿态进行标注；b)对于每一个相关性几何特征fi;通过公式(3)计算其在判断姿态qt与qt’时的
误差值值ei:e, = YjM1 (maxisign^ (p,) — /- (cjt )|| —1/: (pt) — /-(《;)||),0))公示(3 )c)在计算好所有特征的误差值后，选择具有最小误差值ek的特征fk，对于每个训练样本，通过公式(4)更新其权重:
权利要求
1.一种基于相关性几何特征的运动相似性评估的方法，其特征在于，它的步骤如下: 1)接受人体运动序列数据作为样本运动序列R，并以提前准备好的参考运动序列Q作为标准姿态，所述的样本运动序列运动序列R和参考运动序列Q中的每一帧由场景深度图以及场景彩色图组成； 2)当参考运动序列Q以及样本运动序列R的长度不同时，对参考运动序列Q以及样本运动序列R通过动态时间变形进行填充与对齐，使得两段运动序列的关键帧之间建立对应关系； 3)在使用本方法进行运动相似性计算时，通过Adaboost方法对所选取的运动数据进行特征选择，从众多相关性几何特征中选择出最准确表达该运动数据信息的特征； 4)针对步骤3)中选择出来的特征，分别从参考运动序列Q以及样本运动序列R中计算对应的相关性几何特征，并将这些特征值保存； 5)通过基于曲线拟合的方法，计算参考运动序列Q以及样本运动序列R之间不同类型特征的运动相似性得分，并通过加权平均得到一个范围在O到100之间的综合运动相似性得分。
2.根据权利要求1所述的基于相关性几何特征的运动相似性评估方法，其特征在于，所述步骤2)中的填充与对齐的方法: a)对于参考运动序列Q、样本运动序列R，构建累计距离矩阵D(Q，R)，该矩阵中每一个元素D(n，m)表示子序列Qn、Rm之间的累计误差距离； b)从D(0，0)开始计算，使用公式(I)计算D(i，j)的累计误差距离:D(i，j) = cost+min(D(1-l, j), D(i, j-1), D(1-1, j-1)公式(I) 其中cost是Qp Rj两个三维人体姿态间各关节点的欧式距离之和； c)在计算距离矩阵D(Q，R)之后，依据公式(2)选择出最终的对齐终点DJQ’R)，并以D(0,0) IlJ Doe (Q, R)的路径作为两段运动序列的对齐路径；
3.根据权利要求1所述的基于相关性几何特征的运动相似性评估方法，其特征在于，所述步骤3)中的特征选择的方法: a)该方法的训练数据以{(pt，qt，qt’)}为格式，其中Pt是运动序列的参考姿态，qt与qt’表示运动序列中两个需要对比的姿态，并将qt与qt’中同Pt最为接近的姿态进行标注； b)对于每一个相关性几何特征A，通过公式(3)计算其在判断姿态(^与屯’时的误差值ei:
4.根据权利要求1所述的基于相关性几何特征的运动相似性评估方法，其特征在于，所述步骤4)中的计算方法将人体三维姿态中的这些几何信息分成了不同类型的特征进行表达: a)坐标类型特征f。—joint(m)，表示了关节点m在当前姿态中的三维坐标(X，y, z); b)速度类型特征 fV—joint(m)，表示了关节点m在当前姿态中的速度(vx, vy, vz); c)夹角类型特征 fA_line21ine (mi，叫，Kl4)，表示了由关节点1 , Hl2组成的直线，与关节点Hl3, IIl4组成的直线之间的夹角；fA—line2plane(mi，m2，1% Hl5)，表示了由关节点IH1, Iil2组成的直线，与由关节点Hl3, Π14, IIl5所组成平面法向量的夹角； f A_plane2plane (m” m2, m3, m4, m5, m6)，表示了由关节点In1, m2, m3组成的平面的法向量，与由关节点m4，m5, m6所组成平面法向量的夹角； d)距离类型特征-^D_joint2 joint (m” m2),表示了关节点In1, m2之间的距离； fD_joint21ine (mi，叫，%)，表示了关节点Kl1到由关节点Hl2, IIl3组成的直线之间的距离； -^D_joint2plane (In1, m2, m3, m4),表示了关节点Hi1到由关节点m2, m3, m4组成的平面之间的距离。
5.根据权利要求1所述的基于相关性几何特征的运动相似性评估方法，其特征在于，所述步骤5)中的计算方法中分别计算以下相似性得分: a)基于关节点坐标的相似性得分Spt^j: 将运动序列每一帧中每一个关节点的三维坐标表达成四元组的形式，Qj(t)表示了关节点j第t帧的四元组，Spt5U表示了关节点j在两段序列中的相似性得分，则其相关性系数的计算方法由公示(5)给出:
全文摘要
本发明公开了一种基于相关性几何特征的运动相似性评估方法。本发明可以准确地计算两段同类型的运动数据的相似程度，并以一个固定范围内分值的形式表达其相似程度。本发明通过深度摄像头录制模板数据并进行实时运动数据采集；使用动态时间变形技术进行运动数据的对齐；使用相关性几何特征作为运动数据的特征表达并通过机器学习的方法对这些特征进行选择；最终通过曲线拟合的方法，计算两段运动序列的相似性并给出最终的相似性得分。这种方法可以更准确、客观地描述运动序列的相似性，同时也可以将度量出来的相似值转换为直观的分数，从而方便用户的理解。
文档编号G06K9/00GK103198297SQ20131008475
公开日2013年7月10日 申请日期2013年3月15日 优先权日2013年3月15日
发明者肖俊, 刘彬, 庄越挺 申请人:浙江大学