专利名称：一种基于加速度传感器的运动控制与动画生成方法
技术领域：
本发明属于计算机虚拟现实技术领域，特别是涉及计算机动画技术中的运动控制 与动画生成方法。
背景技术：
随着虚拟现实技术的不断发展，实时的虚拟角色运动控制技术在动画、游戏、虚拟 现实系统等越来越多的领域得到了广泛应用。对于实时虚拟角色控制技术而言，一个良好 的用户控制接口有着举足轻重的地位。虽然运动捕获系统可以精确地捕捉人物的运动，进 而应用到虚拟角色控制、动面生成等方面，但是它也有很多缺点，诸如整套设备沉重，价格 高昂；由于整套系统需要布置在一个固定空间，限制了可以采集的运动种类；所采集到的 数据处于高维空间，难以实时地进行进一步的在线处理等等。基于以上原因，需要对可以替 代运动捕获系统的低维传感器，如加速度传感器等进行研究，以替代运动捕获系统作为实 时虚拟角色运动控制的用户接口，以方便运动控制过程，提高用户体验。对于使用加速度传感器进行虚拟角色的运动控制而言，主要问题有三。一为如何 决定人体运动中的关键关节点，以达到布置少量传感器最大化运动识别结果的目的；二为 如何有效地进行特征提取，以表征高维运动序列，进而将该特征应用到运动的分类、识别 上，以保证较高的识别率；三为如何对识别结果进行时序调整，以符合用户实时运动的时 序，提高用户体验，以更好地运用到动画生成等领域。本发明将以这三个问题为基本出发 点，对运动过程中的关键关节点进行分析，有效地构造加速度传感器的特征向量以进行在 线运动识别，并快速调整识别运动结果时序，以满足运动控制与动画生成技术的进一步应 用。对于传感器的布置问题，大部分研究或者系统布置较为随意，忽略了对关键关节 点分析的步骤。然而，由于运动数据序列处于高维空间中，数据中包含大量的冗余。对于关 键关节点的分析有助于除去数据冗余，同时保证所采集信号数据的关键性，最大化保留运 动整体特征；对于传感器信号的特征提取，现阶段大多数研究与相应系统均采用主成分分 析法作为传感器信号的特征提取方法。虽然这种方法能够较好地对高维信号数据进行降维 处理，但是将这种方法应用于加速度传感器则忽略了加速度传感器所获取信息的固有物理 含义，导致识别率较差。由于加速度传感器所采集的数据本身具有固有的物理含义，使用该 物理含义构造相应的特征向量成为表征整个运动过程的最好方式。本研究选择‘动能’作 为该特征向量的核心，不仅在于动能本身较好地描述了整个运动过程中能量的变化过程， 完整地反映了整个运动过程，从而有效地提高了运动识别率；使用动能构造的特征向量还 可以有效地运用到后续的时序调整步骤中，从而创建出与用户在线运动时序一致的运动结 果，提高整个运动控制过程的用户体验，满足运动控制系统与动画生成过程的需要。
发明内容
本发明要解决的技术问题克服现有技术的不足，提供一种对于运动过程中关键关节点的分析方法，保留对整体运动影响最大的核心关节点，去除信息量较少的关节点，以 合理布置传感器进行运动控制；同时克服了现有技术不使用传感器信号物理信息的缺点， 通过对传感器信号分析构建以动能为核心要素的特征向量，并应用到运动识分类、运动识 别与运动结果的时序调整过程中，形成了一种有效的在线运动控制与动画生成技术。本发明采用的技术方案一种基于加速度传感器的运动控制与动画生成方法，其 特点在于步骤如下(1)关键关节点分析首先对原始运动数据进行关键关节点分析，找到对运动影响最大的关键关节点， 以在关键关节点布置传感器；(2)基于物理含义的特征提取根据加速度传感器信号数据与骨骼运动数据所表征的不同物理意义，对运动过程 中的“动能”这一物理特征进行计算，进而由关键关节点的动能组成表征整个运动序列的运 动特征序列；(3)低维加速度传感器信号与高维骨骼运动数据之间的匹配根据加速度传感器信号数据的特征序列进行信号分割并建立运动识别分类器，以 基于动能的特征作为中心特征匹配骨骼运动数据；(4)运动数据结果的动态时序属性调整根据传感器信号的特征，对所识别运动信号结果的特征进行时序调整以拟合传感 器信号时序；将对所识别运动信号结果特征的调整直接应用到骨骼运动数据上，对骨骼运 动结果进行时序调整。所述步骤(1)中关键关节点分析的步骤如下(1)对原始运动数据的协方差矩阵进行主成分分析，对运动帧数进行降维。(2)对降维后矩阵的行向量进行聚类分析，并根据每个关节点在不同聚类内的分 布，得到关键关节点。所述步骤(2)中加速度传感器信号数据基于物理含义的特征提取的步骤如下(1)对每帧于关键关节点测到的加速度数据进行积分操作，得到在该帧时间范围 内的平均速度V。(2)根据公式E = mX v2/2计算每一帧时间内的动能值。其中其中ν为上步骤⑴ 中计算出的平均速度，m为一物理常量，表征运动物体质量。(3)根据各个关键关节点的动能值组成加速度传感器信号数据的特征向量。所述步骤(2)中骨骼运动数据基于物理含义的特征提取的步骤如下(1)对每帧于关键关节点处的骨骼运动旋转角度数据进行微分操作，得到在该帧 时间范围内的平均角速度。(2)根据公式E = I X w2/2计算每一帧时间内的动能值。其中w为上步骤⑴种 计算出的平均角速度，I为一物理常量，表征运动物体惯量。(3)根据各个关键关节点的动能值组成骨骼运动数据的特征向量。所述步骤(3)中信号分割的步骤如下(1)选定信号的均方根RMS值的分割阈值(2)顺序遍历信号数据并累计计算信号的均方根RMS值。根据选定的均方根RMS阈值将信号截为信号片断。所述步骤(3)中运动识别分类器的构建步骤如下(1)对原始训练样本的特征序列进行分析，计算该特征序列相邻帧之间的转移概(2)对于每一个待识别样本，计算其拟合每一个训练样本的概率(3)选取拟合度最高的训练样本作为待识别样本的最终识别结果。所述步骤(4)中对所识别运动信号结果的特征进行时序调整的步骤如下(1)检索以求出待调整信号与相匹配信号的局部最大值和最小值点(2)对每一个待调整信号的局部最大值和最小值点，寻找在相匹配信号中的匹配 位置，以最小化所有局部极值点之间的差距。(3)根据匹配结果，对相邻极值点之间信号进行插值，以符合相匹配信号的时序关系。本发明与现有技术相比的有益效果在于首先使用了关键关节点分析技术，理论 地说明了当时用少量传感器时如何布置传感器在人体的位置能够最大程度保留原有运动 信息，增进运动识别率；其次使用以动能为核心元素的特征向量进行运动的分类与识别，使 得充分利用了加速度传感器所获得数据的物理信息，从能量变化的角度更好地描述了整个 运动过程，提高了运动识准率；并且在使用以动能为核心元素的特征向量时，基于此使用了 时序调整技术，使得最终得到的运动序列在时序属性上与用户的运动时序相同，增强了实 时运动控制过程的用户体验。
图1为本发明的整体过程示意图；图2为本发明的提取基于动能的特征向量示意图；图3a和b为本发明的信号分割示意图；图4为本发明的对所识别信号结果的时序调整示意图。
具体实施例方式下面结合附图与实施例对本发明作进一步详细描述本发明实施过程包括四个主要步骤关键关节点分析，基于物理含义的特征提取， 低维加速度传感器信号与高维骨骼运动数据之间的匹配，运动数据结果的动态时序属性调 整。如图1所示。步骤一，即关键关节点分析，主要分成二个阶段第一个阶段对原始运动数据的协方差矩阵进行主成分分析PCA是降维分析的一种常用手段，但是使用PCA对关节数量维度进行降维分析的 缺点是打乱了原有的关节语义，从而难以选定关键关节点。为此，我们首先对运动数据的运 动帧维度采用PCA进行降维分析处理，从而得到3mXq的矩阵，其中m表示关节数量，q表 示将原有的T帧数据降为q维。由于每一个关节的数据拥有三个自由度，因此整个矩阵大 小为3mXq。第二个阶段对降维后矩阵的行向量进行聚类分析，并根据每个关节点在不同聚
6类内的分布，得到关键关节点。对于在第一阶段处理后得到的3mXq的矩阵，每一行都保留着非常清晰的语义， 即为某一关节在某一自由度上的运动数据特征向量。因此，我们可以将降维后得到的3mX q 矩阵表达为[VijV2,…，V3m]；其中Vi表征第(i/3)个关节在第(i% 3)的自由度上降维后 的的主成分向量。对这3m个特征向量进行聚类分析，将其划分在k类里，则可以根据各个关节点三 个自由度的运动特征向量所落在不同聚类中的个数作为判断各个关节点重要与否的标志。 这是因为，如果一个关键点的三个自由度的运动特征向量落在不同的聚类内，则表示这个 关节的三个自由度的运动特征拥有着显著的差别，进而说明这个关节对整个运动具有着较 大的影响，说明其非常关键。对于具有着相同聚类个数的关节点，可以根据其离各个聚类中 心的距离平方和来表征其重要程度。若该距离平方和越小，则表示这个关节点所表征的运 动越接近于运动特征向量的聚类中心，说明其越为关健。步骤二 基于物理含义的特征提取。该步骤需要对传感器信号和运动数据分别进 行基于物理含义的特征提取。具体分为如下两个阶段第一个阶段加速度传感器信号数据基于物理含义的特征提取根据关键关节点分析的结果，在用户身上布置加速度传感器，之后可以根据加速 度传感器接收到的每一个时刻的瞬时加速度信息，恢复在该关节点上的能量信息，具体过 程如下首先根据公式(1)恢复用户运动的瞬时速度。其中Vi, j表征在j时刻传感器i的 速度；表征j时刻传感器i的加速度Vlj = [ audt(1)
^frame然后可以根据该瞬时速度值计算此时刻的动能值，如公式(2)所描述。其中Es, t
表征在t时刻传感器S所具有的动能值；vs, t表征在i时刻传感器S的速度；m为一物理常
量，表征运动物体的质量 j _ 2Esl=-m\^\(2)对于每一个关节点，均可以求出在当前时刻的能量值，则各个关键关节点的能量 值则可以组成一个表征当前关键关节点能量值的特征向量。第二个阶段骨骼运动数据基于物理含义的特征提取根据关键关节点分析的结果，我们只关注在骨骼运动数据中关键关节点位置的运 动数据。骨骼运动数据记录的是每一个关节点在每一个时刻的旋转角信息，我们仍可以由 此恢复在该关节点上的能量信息，具体过程如下首先根据公式(3)恢复各个关节点的瞬 时角速度。其中Wm表征在j时刻传感器i的角速度值；表征在j时刻传感器i的加速 度值 ω, (3) 然后可以根据该瞬时角速度值计算此时刻的动能值，如公式(4)所描述。其中Es， t表征t时刻传感器s所具有的动能之；ws，t表征t时刻传感器s的角速度值；I为一物理 常量，表征运动物体的惯量
权利要求
一种基于加速度传感器的运动控制与动画生成方法，其特征在于步骤如下(1)计算运动关键关节点首先对需要识别、生成的骨骼运动数据进行基于关节点的分析，以分析出对所有运动数据而言影响最大的关节点位置，称为关键关节点；(2)基于物理含义的特征提取根据加速度传感器信号数据与骨骼运动数据所表征的不同物理意义，对运动过程中的“动能”这一物理特征进行计算，进而由关键关节点的动能组成表征整个运动序列的运动特征序列。所述“动能”这一物理特征的计算包括加速度传感器数据基于动能的特征提取和骨骼运动数据基于动能的特征提取两部分；(3)低维加速度传感器信号与高维骨骼运动数据之间的匹配根据加速度传感器信号数据的特征序列进行信号分割并建立运动识别分类器，以基于动能的特征作为中心特征匹配骨骼运动数据；(4)运动数据结果的动态时序属性调整根据传感器信号的特征，对所识别的运动信号结果的特征进行时序调整以拟合传感器信号时序；将对所识别运动信号结果特征的调整直接应用到骨骼运动数据上，以使得骨骼运动数据在不同时间段上的运动快慢符合用户运动的快慢，对骨骼运动数据进行时序调整。
2.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在 于所述步骤(1)中基于关节点的分析的步骤如下(1. 1)对原始运动数据的协方差矩阵进行主成分分析，对运动帧数进行降维；(1. 2)对降维后矩阵的行向量进行聚类分析，并根据每个关节点在不同聚类内的分布， 得到关键关节点。
3.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在 于所述步骤(2)中加速度传感器信号数据基于动能的特征提取的步骤如下(2. 1)对每帧于关键关节点测到的加速度数据进行积分操作，得到在该帧时间范围内 的平均速度ν ；(2. 2)根据公式E = mXv2/2计算每一帧时间内的动能值；m为一物理常量，表征运动 物体质量；(2. 3)根据各个关键关节点的动能值组成加速度传感器信号数据的特征向量。
4.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在 于所述步骤(2)中骨骼运动数据基于动能的特征提取的步骤如下(2. 1)对每帧于关键关节点处的骨骼运动旋转角度数据进行微分操作，得到在该帧时 间范围内的平均角速度W;(2. 2)根据公式E= IXw2/2计算每一帧时间内的动能值；I为一物理常量，表征运动 物体惯量；(2. 3)根据各个关键关节点的动能值组成骨骼运动数据的特征向量。
5.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在 于所述步骤(3)中信号分割的步骤如下(3. 1)选定信号的均方根RMS值的分割阈值；(3. 2)顺序遍历信号数据并累计计算信号的均方根RMS值；根据选定的均方根RMS值 的分割阈值将信号截为信号片断。
6.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在 于所述步骤(3)中运动识别分类器的构建步骤如下(3. 1)对原始训练样本的特征序列进行分析，计算该特征序列相邻帧之间的转移概率；(3,2)对于每一个待识别样本，计算其拟合每一个训练样本的概率； (3. 3)选取拟合度最高的训练样本作为待识别样本的最终识别结果。
7.根据权利要求1所述的基于加速度传感器的运动控制与动画生成方法，其特征在 于所述步骤(4)中对所识别运动信号结果的特征进行时序调整的步骤如下(4. 1)检索以求出待调整信号与相匹配信号的局部最大值和最小值点； (4. 2)对每一个待调整信号的局部最大值和最小值点，寻找在相匹配信号中的匹配位 置，以最小化所有局部极值点之间的差距；(4. 3)根据匹配结果，对相邻极值点之间信号进行插值，以符合相匹配信号的时序关系。
全文摘要
本发明是一种基于加速度传感器的运动控制与动画生成的方法。本发明属于计算机虚拟现实技术领域，特别是涉及计算机动画技术中的运动控制与动画生成方法。该方法首先对待识别运动进行分析，得到运动过程中关键关节点信息，然后对关键关节点位置的传感器数据以及运动数据进行基于物理含义的特征提取，以进行后续的运动分类与运动识别。本发明根据加速度传感器信号数据的特征序列进行信号分割并建立运动识别分类器，以基于动能的特征作为中心特征匹配骨骼运动数据；为了提高用户体验，对最终获得的识别运动结果进行时序调整，以符合用户在线表演的运动时序。本发明的特点是利用少量传感器，实现了对虚拟人全身运动的实时交互式控制。
文档编号G06T13/00GK101976451SQ201010535238
公开日2011年2月16日 申请日期2010年11月3日 优先权日2010年11月3日
发明者何志莹, 刘宇波, 刘杰, 岑丽霞, 梁晓辉 申请人:北京航空航天大学