一种基于空间三角平面特征的动作描述与评价方法与流程

本发明属于计算机视觉领域，涉及一种基于空间三角平面特征的人体运动动作描述与评价方法。

背景技术

计算机视觉在安防、娱乐、健身、体育、康复等领域的应用中，人体动作描述是一个关键的技术环节，对人体动作的识别和完成质量评价起着至关重要的作用。

人体动作描述主要是通过传感器或某些途径获取运动的数据，进而提取出表示动作的特征。目前对于动作描述方法的研究，主要分为基于佩戴式传感器和基于视觉两大方法。基于佩戴式传感器的描述方法是通过获取测试者重要部位的运动轨迹和旋转角度，从而表征动作。但在实验过程中需要较多的传感器，这对用户来说是非常繁琐的，且传感器的价格较昂贵。基于视觉的描述方法主要分为三类：(1)基于底层跟踪或姿态估计的动作描述，提取的特征主要是静态特征和基于运动信息的动态特征，因此提取特征的有效性依赖于目标跟踪和人体姿态估计的准确性。在真实的场景中，由于背景经常比较杂乱，运动目标也比较多，进行准确的目标跟踪和人体姿态估计具有极大的挑战性。导致这类特征的鲁棒性不是很好；(2)基于图像处理技术的动作描述，提取的一般是基于光流的动态特征和时空特征，这类方法提取的一般是对图像或是时空立方体局部运动的描述，因而计算量比较大，易受噪声的干扰，且缺乏对动作行为模式整体性的考虑和全局性的分析；(3)基于学习方法的动作描述，提取的一般是物体、姿态和场景等中层语义特征，这类特征可能对特定场景下的动作识别极为有效，但是因为涉及到人为定义的“动作属性空间”，在真实自然场景下可能存在着属性空间不完备或是不准确而导致动作识别性能下降的风险。

人体动作是全身各部分协同参与的复杂运动，因此提出的特征需要描述人体所有关节的变化信息。人体的动作变化可以由各关节点间的肢体部分的空间关系来反映。因此，本发明基于kinect深度相机获取到的骨架模型提出一种人体连续动作特征的提取方法，该方法利用人体关节点构成的特征三角平面及其变化作为动作描述方法。

为了进行动作相似度的评价，需要提取能够充分表征动作的空间、时间、及形状信息特征，并采用合适的评价方法基于特征量得出评价结果。目前可用于运动评价的方法包括：基于模板的方法、基于概率统计的方法以及基于语法的方法。模板匹配的方法直观、简单，但是缺乏鲁棒性；概率统计的方法，存在的问题是需要大量的训练数据来学习模型参数，且对于产生式模型，为了模型求解的便利，一般假设样本是独立同分布的，并假设不同的观测值之间是相互独立的，这样的独立性假设，往往和数据的实际产生过程不符；基于语法的方法有利于对复杂结构的理解和对先验知识的有效利用，一般可与前两种方法结合。

技术实现要素：

为了应对上述的技术问题，本发明提出基于空间三角平面特征的运动描述方法与基于改进dtw的运动评价方法。

为了实现以上目的，本发明方法主要包括以下步骤：

(1)首先将人体分为三个部分，上肢，下肢与躯干,然后基于人体的关节点构造出表示人体运动的9个特征三角平面；其中9个特征三角平面包括左右上肢之间形成的上肢三角平面s1、s2，左右肘关节、肩关节与髋关节形成的上躯干三角平面s3、s4，左右膝关节与尾椎中心点形成的胯部三角平面s5，左右踝关节、膝关节与髋关节形成的下肢三角平面s6、s7以及左右膝关节、左右髋关节和左右肩关节形成的下躯干三角平面s8、s9。

(2)基于由两侧肩关节与两侧髋关节构成的人体躯干平面s10，分别计算出9个特征三角面与躯干平面的相对面积作为运动评价特征量。

(3)计算出9个特征平面的法线向量与竖直方向的夹角，并作为运动评价特征量；

(4)基于9个特征三角面与躯干平面的相对面积、9个法向量与竖直方向的夹角构建出测试者的18个f维向量的人体动作描述子，其中f是动作的帧数。

(5)对静止部位特征和运动部位特征加权

静止部分特征的加权；分为两种情况一种是静止0权值的特征，一种是静止有权值的特征。基于静止特征的状态是否接近自然站立状态来判定特征类别，若特征静止且接近自然站立状态，则赋予静止特征0权值。若特征静止但与自然站立状态差异较大，则赋予静止特征有权值。具体确定权值系数的方法如下：假设0权值特征分量的个数为n，则剩下的特征分量当前权值为1/(18-n)。静止部位特征是次要动作部位，因此对其权值附加弱化因子ξ。根据该特征与自然状态下特征值的差值，在ξ/(18-n)权值的基础上进行权增或者权减。首先确定静止有权值特征的个数m,则静止部分的权值总数为ξm/(18-n)，根据差异化数值进行递增排序，中间值所对应的特征权值为ξ/(18-n)不变，然后向两侧进行权增或权减，则各项权值ws为：

中，i为按照差异化数值递增排序后第m个特征与中间位置特征的相邻个数，中间值右侧特征取加号，左侧取减号。若m为偶数，则中间位置的两个特征权值均为ξ/(18-n)。

运动部分特征加权；运动部分特征的加权也按照梯度分配原则。但其排序的依据为当前特征的平均帧间变化率。设运动特征的个数为p，则p＝18-n-m,将各特征按照平均帧间变化率进行递增排序后，中间值所对应的特征权值为然后向两侧进行权增或权减，运动部分各项权值wk

其中，i为按照特征平均帧间变化率进行递增排序后第p个特征与中间位置特征的相邻个数，中间值右侧特征取加号，左侧取减号。若p为偶数，则中间位置两个特征权值均为弱化因子ξ根据静态带权值特征的个数以及动作的剧烈程度取值为0.6-0.9。得到最终的特征向量f为：

其中，fa表示第a个特征分量，wa表示第a个特征分量的权值。

(6)基于动作描述子的运动评价。

首先基于kinect获取到测试运动的骨骼点数据，基于空间三角平面的动作描述方法构建出动作描述子，然后基于自适应加权法对动作描述子进行加权得到最终的特征向量f；计算r(i)和t(j)两个序列的匹配距离，其中r(i)是对比动作的最终特征向量f序列，t(j)是标准动作特征向量序列。用r(i)和t(j)的一阶微分和二阶微分与其自身的值来创建三维向量[qi，q'i，q”i]和[cj，c'j，c”j]；这样，一阶微分反映出序列的斜率表示出运动的速度，二阶微分提供凹凸性、转折点；将一阶微分作为sigmoid函数的自变量，再乘以原始数据与二阶微分的总和，使序列之间的距离d(r(i),t(j))与一阶微分负相关，即当运动速度较慢时，d(r(i),t(j))较大，从而增加了运动过程中重要动作的权重。算法在结合微分的三维向量后定义

d(r(i),t(j))，即：

其中，一阶微分和二阶微分分别定义为：

qi″＝qi+1+qi-1-2qi

最后构建一个m×n矩阵a，矩阵中每个元素的值a(r(i),t(j))表示该位置对应的序列之间的d(r(i),t(j))。基于最优路径选择法在矩阵中选出最优路径，累和路径上每个元素值得出基于dtw匹配算法的累计距离差值。累计距离差值与评价得分负相关。

本发明具有如下有益效果：

1.选择空间三角平面描述人体运动特征，可以准确地表达不同时刻不同姿态的人体动作。同时基于骨骼点构建的空间三角平面将人体结构化，从而使运动特征更具备合理性。

2.采用自适应加权的权重系数确定方法，突出重要动作部位，弱化次要部位。

3.采用基于改进的dtw的评价算法，相较于传统dtw算法提高了动作匹配的准确性。

附图说明

图1空间三角特征平面及躯干平面；

图2空间三角特征平面法向量；

图3特征量自适应加权的流程图；

图4动作描述与运动评价的流程图。

具体实施方式

(1)基于人体关节点构建出9个人体评价的特征三角平面。分别是左右上肢之间形成的上肢三角平面s1、s2，左右肘关节、肩关节与髋关节形成的上躯干三角平面s3、s4，左右膝关节与尾椎中心点形成的胯部三角平面s5，左右踝关节、膝关节与髋关节形成的下肢三角平面s6、s7以及左右膝关节、左右髋关节和左右肩关节形成的下躯干三角平面s8、s9。如图1所示，基于人体关节点表示出了特征三角平面以及躯干特征平面。

(2)躯干部分为两侧肩关节与两侧髋关节形成的闭合梯形区域，记两侧肩关节的坐标为gsl(xsl,ysl,zsl)和gsr(xsr,ysr,zsr)，两侧髋关节坐标为ghl(xhl,yhl,zhl)和ghr(xhr,yhr,zhr)，由梯形面积公式得到躯干部分面积：

计算9个特征三角平面与人体躯干面积的9个相对面积：

其中n取1—9，将9个特征平面的相对面积作为运动评价特征量的一部分。

(3)设其中一个特征三角的三个顶点坐标为gt1(xt1,yt1,zt1)、gt2(xt2,yt2,zt2)及gt3(xt3,yt3,zt3)，则此特征三角平面的法向量与竖直方向的夹角为其中：

a＝(yt2-yt1)*(zt3-zt1)-(yt3-yt1)*(zt2-zt1)

b＝(zt2-zt1)*(xt3-xt1)-(zt3-zt1)*(xt2-xt1)

c＝(xt2-xt1)*(yt3-yt1)-(xt3-xt1)*(yt2-yt1)

然后分别计算出9个特征三角平面的9个法向量与竖直方向夹角也作为运动评价特征量。如图2所示，以s1特征三角平面为例，表示出其法向量与竖直方向的夹角α。

(4)基于9个特征三角面的相对面积，以及9个特征三角平面法线与竖直方向的夹角，这18个因子构成运动评价特征量，描述单帧内人体的动作姿态，为了使相对面积特征分量与角度特征分量处在同一数量级，将相对面积数值乘以100作为特征值。运动评价特征量的数学表示为18个f维向量，其中f为所描述动作的帧数。

(5)人体运动中的主要部位和次要部位，主要由两种方式体现，一种是运动速度较快的关节点相对运动速度较慢或者静止的关节点为主要动作部位；另一种是静止的关节点，但其静止过程中的位置与人体自然状态下相差较大的关节点为主要动作部位。基于此，本发明提出一种基于人体局部动作差异的自适应加权方法，主要分为两个方面

首先是静止部位特征的加权，然后是对运动部位特征的加权。图3是对运动评价特征量进行自适应加权的流程图。

静止部分特征的加权。分为两种情况一种是静止0权值的特征，一种是静止有权值的特征。基于静止特征的状态是否接近自然站立状态来判定特征类别，若特征静止且接近自然站立状态，则赋予静止特征0权值。若特征静止但与自然站立状态差异较大，则赋予静止特征有权值。具体确定权值系数的方法如下：假设0权值特征分量的个数为n，则剩下的特征分量当前权值为1/(18-n)。静止有权值的特征是次要动作部位，因此对其权值附加弱化因子ξ。根据该特征与自然状态特征的差异化程度(即与自然状态下特征值的差值)，在ξ/(18-n)权值的基础上进行权增或者权减。首先确定静止有权值特征的个数m,则静止部分的权值总数为ξm/(18-n)，根据差异化数值进行递增排序，中间值所对应的特征权值为ξ/(18-n)不变，然后向两侧进行权增或权减，则各项权值ws为：

i为按照差异化数值递增排序后第m个特征与中间位置特征的相邻个数，中间值右侧特征取加号，左侧取减号。若m为偶数，则中间位置的两个特征权值均为ξ/(18-n)。

运动部分特征加权。运动部分特征的加权也按照梯度分配原则。但其排序的依据为当前特征的平均帧间变化率。设运动特征的个数为p，则p＝18-n-m,将各特征按照平均帧间变化率进行递增排序后，中间值所对应的特征权值为然后向两侧进行权增或权减，运动部分各项权值wk

其中，i为按照特征平均帧间变化率进行递增排序后第p个特征与中间位置特征的相邻个数，中间值右侧特征取加号，左侧取减号。若p为偶数，则中间位置两个特征权值均为弱化因子ξ根据静态带权值特征的个数以及动作的剧烈程度一般取值为0.6-0.9。得到最终的特征向量f为：

其中，fa表示第a个特征分量，wa表示第a个特征分量的权值。

(6)人体运动评价的步骤是将待评价的测试动作数据与标准的动作数据进行对比，基于改进的dtw算法计算二者的差别来决定动作的质量。在该过程中主要分为两个方面：一是在传统dtw算法的基础上提出一种改进的dtw算法。二是基于改进的dtw评价算法将测试动作与标准动作进行比较得出评价结果。

本发明提出了一种改进的dtw算法。虽然传统的dtw算法已经在很多领域得到了应用，但是在实际的太极拳运动评价中，每一个招式最后相对静止的姿态相较于其他运动过程更加重要。但传统的dtw算法在计算特征距离差时只考虑两个序列的欧氏距离。欧式距离不能反映出序列变换的速度和形状信息。在实际评价中未能突出太极拳每个招式相对静止时特征序列的重要性。传统的dtw算法旨在寻找使得两个序列之间累积失真最小的匹配距离。为了直观找到两个序列的匹配路径，需要构建一个n×m矩阵a，矩阵中每个元素的值a(r(i),t(j))表示该位置分别对应的序列之间的距离d(r(i),t(j))，该距离一般采用欧氏距离，即d²(r(i),t(j))＝(r(i)-t(j))²，每一个矩阵元素(r(i),t(j))表示点r(i)和点t(j)的对齐。为了解决传统dtw算法在实际评价中对动作特征序列信息表征不全的问题，本发明在原始数据的基础上添加了一阶微分与二阶微分特征。首先，用r(i)和t(j)的一阶微分和二阶微分与其自身的值来创建三维向量[qi，q'i，q”i]和[cj，c'j，c”j]。这样，一阶微分所反映出序列的斜率可以表示出运动的速度，二阶微分可以提供诸如凹凸性、转折点等序列的关键信息。同时，为了突出太极拳运动中每个招式相对静止姿态的重要性，将一阶微分作为sigmoid函数的自变量，再乘以原始数据与二阶微分的总和，使d(r(i),t(j))与一阶微分负相关，即当运动速度较慢时，d(r(i),t(j))较大，从而增加了太极拳运动过程中重要动作的权重。算法在提出结合微分的三维向量后，重新定义d(r(i),t(j))，即：

其中，一阶微分和二阶微分分别定义为：

qi″＝qi+1+qi-1-2qi

基于改进dtw算法运动评价的具体步骤：首先基于kinect获取到测试运动的骨骼点数据，基于本发明提出的基于空间三角平面的动作描述方法构建出运动评价特征量，然后基于本发明提出的自适应加权法对运动评价特征量进行加权。最后基于加权后的运动评价特征量，使用改进dtw算法计算出测试动作与标准动作的匹配程度。得到的匹配程度反映出测试动作相对于标准动作的质量即最终评分。图4是动作描述与运动评价的流程图。