一种运动人体姿态相似性度量方法
【技术领域】
[0001] 本发明属于计算机视觉和模式识别的技术领域，具体地涉及一种运动人体姿态相 似性度量方法。
【背景技术】
[0002] 近年来人体姿态相似性度量已成为多个领域的研究热点，它在智能视频监控、人 机交互、虚拟现实等方面有着广泛的应用前景，特别是在动作捕获技术中的广泛使用。人体 姿态是运动数据中重要的组成部分，对于人体姿态度量学习也因此开始得到广泛的研究。 尽管现今对于人体行为相似性度量的方式不同，但都具有大致相同的研究步骤，并且在行 为相似性度量方法的设计上相互之间也具有可借鉴性。一般行为相似性度量研究的关键步 骤包括行为表示方法和行为分析算法。现从这两方面对与本发明最接近的现有算法进行描 述：
[0003] 人体姿态特征的表示是一个对原始数据进行加工处理以获得行为描述特征量的 过程。对于人体姿态的理解也可以分为两个方面：一方面在人体姿态研究中通常采用佩戴 式传感器，该方法可以获取头部、四肢或者躯干等身体部位的运动信息如旋转角、空间运 动轨迹等，可见基于佩戴式传感器的研究方式重在恢复人体的三维运动信息。例如CMU运 动捕获数据库（CMU Graphics Lab Motion Capture Database)，可以利用其采集的3D数据 作为人体姿态表示的原始数据。另一方面将基于视觉的人体姿态表示方法研究归纳起来主 要包括采用人体形状特征的姿态表示方法、采用三维信息的姿态表示方法和依据运动特征 的姿态表示方法等。利用人体形状特征的姿态表示方法构造简单且品于实现，常用的模型 主要包括棍棒模型、椭圆模型等。Park等人在进行驾驶员行为分析研究中采用椭圆结构模 型表示人体头部、躯干和四肢，Alexei用13个特征点来表示人体结构，通过分析特征点的 运动轨迹进行人体姿态的相似性度量。人体轮廓等外观特征也可以用于人体动作描述，Liu 等人使用人体头部、上肢和下肢等身体主要部位的比例关系来表示人体姿态，Chung等人 通过计算目标像素距离投影的高斯分布来描述坐、站和躺下等基本动作，Wang等人对人体 区域进行R变换以研究办公室环境下的人体异常行为。利用三维视觉技术表示人体行为虽 然具有视角不变性，但是其计算量较大且对系统性能要求较高，故并不常用。基于运动特 征的人体姿态表示是目前较为常用的方法，如Zhu等人采用光流法研究网球运动中的击球 动作，此外利用时空特征点表示行为也是一种常用的方法。
[0004] 人体姿态相似性度量算法研究属于模式识别和人工智能的范畴。根据算法特点 可以分为模板匹配法和状态空间法。模板匹配法是指将提取的行为表示特征序列与参考 模板进行逐一匹配，依据匹配的相似度判别行为。Bobick与David使用计算运动能量图 像（Motion Energylmages, MEX)和运动历史图（Motion Historylmages, MHI)分析人体姿 态，Veeraraghavan等人使用动态时间规整算法（Dynamic Time Warping, DTW)匹配动作序 列。模板匹配方法无需大量的样本，计算量小，但是对行为持续时间和噪声比较敏感。与 模板匹配法不同，状态空间法将每种静态姿势都视为状态空间中的一个节点，节点之间依 据概率关联起来，运动序列则可以看作是不同节点间的一次遍历过程，目前状态空间法己 经广泛应用于运动序列的检测和分析中，常用的方法有隐马尔科夫模型（Hidden Markov Model, HMM),动态贝叶斯网络（Dynamic Bayesian Network, DBN)、神经网络等。如 Zhang 等人使用两层HMM模型研究会议过程中个体间的交互行为，Luo采用动态贝叶斯网络进行 人体行为相似性度量研究并与HMM方法进行了比较，Buccolieri通过祌经网络分析人体轮 廓特征来相似性度量姿态。状态空间法虽然克服了模板匹配的不足，但是往往需要大量的 的迭代运算，因此应根据实际情况选择合适的研究方法。
[0005] 上述两个步骤的不足之处包括以下两个方面。首先人体的姿态表示，即构造的人 体姿态特征多是直接使用关节点的坐标或关节点之间方向向量作为姿态数据，但是这种简 单的数据集合不能够充分的体现人体的姿态，姿态相似度的度量人体姿态非常依赖人体不 同部位之间的关系；其次，一般欧氏距离是最简单的度量学习方法，但是其不能充分的体现 人体姿态的语义。
[0006] 为解决以上人体姿态度量学习方法的不足，一方面我们提出利用关节点之间的几 何属性和不同部位之间的关系构成构造人体姿态特征集合。另一方面，为了更加体现人体 相邻部位之间的约束关系以及不同部位组合的重要性（更能表达人体的姿态部位组合）， 我们提出了一种基于稀疏表示的行为相似性度量算法。
【发明内容】
[0007] 本发明的技术解决问题是：克服现有技术的不足，提供一种运动人体姿态相似性 度量方法，其计算效率更高、准确度更高。
[0008] 本发明的技术解决方案是：这种运动人体姿态相似性度量方法，包括以下步骤：
[0009] (1)根据公式（2)马氏距离的距离度量模型：
[0011] 其中，X = (X1, . . .，xN}为给定训练的姿态数据集，N是姿态数目，xjp X ^分别表示 一个人体姿态的特征向量，W为最优度量矩阵，d(Xl，Xj)M为姿态X i和姿态X j之间的距离；
[0012] (2)构建人体特征向量，对于每一个人体姿态取相邻关节点的方向向量作为组成 特征向量的数据；
[0013] (3)构建融合主姿态特征和细节特征的稀疏表示的姿态距离度量模型；
[0014] (4)得到最终表达式（9)，再采用序列二次规划算法进行优化求解
[0016] 其中，Wi为最优度量矩阵分量，k D k2, k3为不同部分对应的权值，E i为主姿态特征 约束项，E2为细节特征约束项，E 1^为正则约束项。
[0017] 本发明由于采用小维数的特征向量，所以计算效率更高；由于对不同尺度进行稀 疏表示，在保证人体整体姿态相似的情况下，再保证人体中主要姿态更加相似，所以提高了 人体姿态相似性度量的准确度。
【附图说明】
[0018] 图1为本发明原理；
[0019] 图2为本发明具体流程图；
[0020] 图3为定义的人体姿态，圆圈代表关节点，加粗的圆圈代表主姿态特征，未加粗的 圆圈细节特征。
【具体实施方式】
[0021] 这种运动人体姿态相似性度量方法，包括以下步骤：
[0022] (1)根据公式（2)马氏距离的距离度量模型：
[0024] 其中，X= Ix1,...，xN}为给定训练的姿态数据集，N是姿态数目，XdP X]*别表示 一个人体姿态的特征向量，W为最优度量矩阵，d(Xl，Xj)M为姿态X i和姿态X j之间的距离；
[0025] (2)构建人体特征向量，对于每一个人体姿态取相邻关节点的方向向量作为组成 特征向量的数据；
[0026] (3)构建融合主姿态特征和细节特征的稀疏表示的姿态距离度量模型；
[0027] (4)得到最终表达式（9)，再采用序列二次规划算法进行优化求解
[0029] 其中，Wi为最优度量矩阵分量，k D k2, k3为不同部分对应的权值，E i为主姿态特征 约束项，E2为细节特征约束项，E 1^为正则约束项。
[0030] 本发明由于采用小维数的特征向量，所以计算效率更高；由于对不同尺度进行稀 疏表示，在保证人体整体姿态相似的情况下，再保证人体中主要姿态更加相似，所以提高了 人体姿态相似性度量的准确度。
[0031] 优选地，所述步骤（2)中根据表达人体姿态重要性构造特征向量分为两个部分：
[0032] 第一部分是取最重要的关节点构造出方向向量，作为构成特征向量的数据；
[0033] 第二部分是将所有相邻的关节点相连接，构造出方向向量，作为构成特征向量的 细节特征数据；
[0034] 利用以上两部分数据构造人体姿态特征向量，根据不同数据体现人体姿态意义的 不同，第一项保持姿态数据所有特征向量的稀疏表示，第二项保持姿态数据的主姿态分量 的稀疏表示，所述步骤（3)中对不同的项采用稀疏表示：
[0035] 第一项中根据公式（3)将每个样本的特征向量由除自己以外的所有
[0036] 样本进行稀疏表示：
[0038] 其中，X1是第i个样本对应的姿态特征向量，{a dpi,...,N表示将X1由余下N-I个 样本进行稀疏表示的系数，r表示稀疏项权值；根据公式（4)计算第i个样本由N-I个样本 进行稀疏表不后的残差： CN 105184767 A ^ ^ lJ 4/8 贝
[0040] 其中j由公式（3)给出，ei为稀疏表示后的残差，x种x j分别表示一 个人体姿态的特征向量；
[0041] 第一项的目标函数E1由公式（5)得出：
[0043] 其中θι，…，eN*公式⑷给出。
[0044] 第二项中根据公式（5)将每个样本的主姿态特征分量由除自己以外的所有样本 的主姿态特征分量进行稀疏表示：
[0045] 第二项中根据公式（5)将上一步得到的每个样本稀疏表示的残差的主姿态特征 分量由上一步稀疏表示系数为零对应样本的主姿态特征分量进行第二次稀疏表示：
[0047] ejl :1?)是第i个样本的稀疏表示的残差向量e;对应的主姿态特征分量，X ;(1 : Hi1)是第i个样本特征向量Xi对应的主姿态特征分量，表示将Xi由上一步稀疏 表示系数为零对应样本的主姿态特征分量进行二次稀疏表示后的展开系数，r'表示二次 稀疏项权值。
[0048] 根据公式（7)计算第i个样本的主姿态特征向量由上一步稀疏表示系数为零对应 样本的主姿态特征分量进行稀疏表示后的残差：
[0050] 其中岫公式（6)给出；第二项的目标函数E2由公式⑶得出：
[0052] 其中e' i，···，e' N由公式（7)给出，W(1 :mi，：）表示由度量矩阵评前叫行构成 的子矩阵。
[0053] 以下对本发明进行更详细的说明。
[0054] 本发明针对传统姿态度量不能充分人体姿态相似性的问题，提出了一种基于的人 体姿态度量学习方法。本发明以CMU运动捕获数据库提供的人体3D骨架点坐标点（38点） 作为原始数据，选取其中的16个坐标点做本发明的输入数据，计算出能够估测3D人体姿态 相似性的度量。本发明进行实验共有如下六个步骤：
[0055] ⑴问题定义
[0056] 本发明给定训练的姿态数据集为X = (X1, ...，xN}，N是姿态数目，X1表示一个姿态 的特征向量。学习一个马氏距离的距离度量公式：
[0058] 其中，M就是要学习的矩阵，X= {Xl，...，xN}为给定训练的姿态数据集，N是姿态 数目，xJP X ^分别表示一个人体姿态的特征向量，d(x