专利名称：用于人体运动捕捉数据的动态时空耦合降噪处理方法
技术领域：
本发明涉及人体运动捕捉技术领域，特别涉及光学人体运动捕捉数据中噪 声数据和缺失数据的处理方法。
背景技术：
近年来，人体运动数据获取与重构技术逐渐发展成为虚拟现实、计算机视 觉、影视动画制作等领域一种重要的数据获取手段，是数学、计算机图形学、 图像处理、数据处理等多个学科相互渗透、相互交叉的新兴学科，拓展了计算 机应用领域，丰富了计算机动画、虚拟现实领域研究内容，具有重要的理论价 值。同时，人体运动数据获取与重构技术还具有广泛的实际应用价值，可应用 于工业、农业、交通、文教卫生和体育等许多行业，特别是在医学、体育科学 研究、运动训练指导、现代影视、动画和游戏制作等领域的应用，有重要的作 用和意义。因此，提高运动捕捉的精度、效率，降低设备成本，对推动影视制 作、游戏娱乐、动漫产业的快速发展，构建相互支撑的动漫产业链，促进国家 文化产业发展进而带动国民经济增长具有重要的作用和深刻意义。人体运动数据获取与重构技术作为人体运动数据最重要获取源的运动捕捉 系统正受到越来越多的重视，按工作原理进行分类，目前常用的方式主要有 机械式、声学式、电磁式以及光学式。与其它运动捕捉方式相比，光学运动捕 捉具有数据获取方便、采样精度、频率高、使用范围广等优点。光学运动捕捉 系统是目前运用相对广泛的一种人体运动捕捉系统，该类系统一般基于计算机 视觉原理，对运动物体上特定标志或发光点进行监视和跟踪并进行数据处理， 处理后的数据一般是以点位置为基础的数据流。通常，人体光学运动捕捉系统 设备包括高速红外摄像机、视频釆集卡、视频控制器、图形工作站和反射式特 征标记球，拍摄速率一般达到每秒60帧以上。光学运动捕捉系统的处理过程分 为三个主要部分原始数据获取，包括对多个摄相机进行定标，设置表演者标 记点，图像采集和三维空间数据重构；对采集的原始数据进行数据处理，包括 噪声数据处理和缺失数据处理；最后是人体运动重构，即使用运动数据驱动虚 拟人体模型。由于运动捕捉设备和图像多目匹配算法等方面固有的原因，导致获取的特 征标记点的三维空间位置出现误差和伪数据，统称为噪声数据。例如，特征标记点的滞留投影、特征标记点的重叠投影、摄像机采集图像的时序误差以及图 像多目匹配误差均会导致采集到的运动数据出现噪声。另一方面，在捕捉目标 运动过程中，经常会出现特征标记点被遮挡或特征标记点重叠的情况，导致获 取的人体运动数据缺失，而要实现符合人体拓扑结构的运动模型重构必须依赖 完整、正确的运动数据。因此，为了恢复数据的完整性、准确性和连续性，设 计噪声数据和缺失数据检测和处理方法，对数据进行处理十分必要。在传统的方法中，进行数据处理有两大类方法。 一类是从时间序列角度， 跟踪每一个特征标记点的轨迹，针对特征点轨迹建立曲线模型，并在轨迹曲线 基础上进行噪声数据的滤除和缺失数据的恢复。这种方法符合运动捕捉数据的 主要特征，处理效率较高，处理的过程中保证了数据的连续性。然而也存在固 有的缺陷，即该方法要求数据的起始帧必须正确，通常需要进行必要的手工初 始化工作。其次，对于运动过程中的特征标记点轨迹重合的情况即两个不同特 征标记点之间的距离过小，跟踪会出现错误，需要手动纠正。此外，这种方法 还忽略了三维空间中的人体约束关系。因而，这种方法无论在处理效率和精度 上均难以达到令人满意的效果。另一类方法是在空间角度，基于人体运动学和 动力学原理，建立人体运动学和动力学方程，并根据人体拓扑结构进行优化。 这种方法的好处是结合人体运动的物理特性，提高数据处理的准确性，局限性 在于处理过程中计算量往往较大，从而导致处理效率较低，同时忽略了时间序 列上的有效信息。发明内容本发明的目的在于通过对以上两类方法优点和局限性的分析，采用优化、 协调时间序列中提取的连续性信息和三维空间中提取的人体拓扑结构信息来提 高数据处理的质量和效率，设计一种综合协调时域约束条件和空域约束条件的， 具有高处理效率、良好鲁棒性的数据处理方法。本发明的技术解决方案是这样实现的一种用于人体运动捕捉数据的动态时空耦合降噪处理方法，包括将基于〔++和openGL图形库开发的光学人体运动捕捉数据处理系统装入计算机和通过 人体光学运动捕捉系统设备获取原始数据、对原始数据的处理和人体运动重构 的步骤，其特征在于还包括以下步骤(1) 针对原始采集的运动数据中存在的噪声数据和缺失数据，建立基于备 选语义块的动态脉冲噪声模型；(2) 、基于刚性结构匹配算法生成备选语义块，并定义为五种基本匹配类 型，即线段型结构、三角形结构、自由四边形结构、对角四边形结构和刚性四 边形结构；(3) 、定义语义块和备选语义块，并将所有特征标记点按照人体结构特征 划分为ll个语义块，包括头、胸、腰、左臂、右臂、左手、右手、左腿、右腿、 左脚和右脚，其中头、胸、腰、左手、右手、左脚和右脚为刚性四边形结构； 左臂、右臂、左腿和右腿为线段型结构；(4) 、定义语义节点及其各属性参数，并基于该定义建立22个语义节点的人体语义模型描述人体柘扑结构关系，语义节点的属性参数包括序号、名称、 度、级、父节点、长度、方向和位置，其中序号、名称、度、级和父节点定义 为从属关系属性；长度、方向和位置定义为空间位置属性；(5) 、根据人体语义模型构造三种类型的语义约束条件，即距离约束、角 度约束和方向约束，判定歩骤(2)中生成的备选语义块是否符合约束条件；根 据判定结果分别返回是或否两种状态；对于缺失数据，赋值为错误标识值e，利 用它将缺失数据转化为噪声数据，为将后续处理统一为降噪处理提供必要前提；(6) 、生成最合理的人体结构，即最合理的一组语义块；(7) 、建立基于语义块位置和姿态属性的动态时间序列的脉冲噪声模型，将每一个语义块都以三维空间中的位置和姿态来表述，其中刚性四边形结构的 位置可以由中心点p(c,s)来定义，姿态可以由一个法向量w(l^，o和一个指向向量o(A,z^A)来确定；线段型结构可以由中心点P(C^)和一个指向向量Z)(A,A,Z)J来定义，使每一帧中每一个语义块由6个或9个参数来表示；在时域范围内，所有帧中对应的参数的值构成一个时间序列，每个语义块可以由6个或9个子时间序列来表示；将所有语义块都使用子时间序列来表示，就构造 了基于语义块位置和姿态属性的动态时间序列的脉冲噪声模型；(8) 、将5点线性平滑算法应用到步骤(7)所建立的时间序列上，实现噪 声数据的滤除和缺失数据的重构处理。所述的重构处理，是将处理后的各语义块的子序列在各时间点上的值反向 重构为语义块在三维空间中的位置和姿态，从而得到处理后的运动数据。与现有技术相比较，本发明的优点是显而易见的，主要表现在通过优化协 调时间序列中提取的连续性信息和三维空间提取的人体拓扑结构信息来提高数 据处理的质量和效率，并使其获得了良好的鲁棒性。
图1本发明的流程框图。图2特征标记点语义块划分示意图。图3三帧不同数据中语义块"腰"的备选语义块截图。图4木发明中定义的5类基本匹配关系的结构示意图。图5刚性结构匹配方法示意图。图6本发明中定义的22节点语义模型的空间关系和拓扑结构关系图。 图7方向约束示例示意图，(a)为肩部点判别，(b)为左右脚判别。 图8刚性四边形语义块的位置和姿态示意图。图9 一组动作中头部语义块的中心点p(c,。所生成的序列的处理前状态 (含峰值的噪声序列)和处理后的状态示意图。图10 —组舞蹈动作运动数据处理的截图，左部为处理前的特征标记点数 据，右部为处理后的结果。图11运动数据中部分帧的处理结果，自左而右分别为跳越、跳绳、舞蹈1、 舞蹈2和走的动作。在图中，1、原始运动数据的获取及初期动态噪声模型的建立，2、刚性结 构匹配模型的建立，3、备选语义块的定义，4、人体语义模型的定义，5、语义 约束条件的建立，6、最合理人体结构语义模型的建立，7、动态时间序列的脉 冲噪声模型的建立，8、噪声数据的滤除及缺失数据的重构。
具体实施方式
如图l一图11所示。 一种用于光学人体运动捕捉数据中噪声和缺失数据处 理的动态时空耦合处理方法，包括原始数据获取、原始数据处理和人体运动重 构的步骤，旨在针对原始采集的运动数据中存在的噪声数据和缺失数据，建立 基于备选语义块的动态脉冲噪声模型，其特征在于还包括基于刚性结构匹配的 备选语义块生成、基于语义节点的人体拓扑结构模型的建立、基于空间语义约 束的最合理人体结构的生成、基于语义块位置和姿态属性的动态时间序列的脉 冲噪声模型建立、以及噪声数据的滤除和缺失数据的重构的步骤。在本发明中，为建立人体拓扑结构的模型，假设(1)人体结构是刚性铰接结构；(2)运动 捕捉过程中，特征标记点位置符合人体刚性铰接结构关系。所述各步骤的具体 内容包括1、基于刚性结构匹配的备选语义块生成的步骤，其中包括两个基本定义。 定义1语义块固定在同一个人体刚性结构上的特征标记点的组合成为语义块。 如附图2所示，将所有特征标记点分为ll个语义块头、胸、腰、左臂、右臂、 左手、右手、左腿、右腿、左脚和右脚。定义2备选语义块在采集的某一帧 原始运动数据中，有可能属于语义块的特征标记点的组合。如附图3所示为三 帧不同数据中语义块"腰"的备选语义块。基于以上两个基本定义，定义了 5 类基本匹配关系线段匹配、三角形匹配、自由四边形匹配、对角四边形匹配 和刚性四边形匹配以适应不同语义块的匹配，如附图4所示。首先，选取一组标准姿态的静态模版数据作为匹配的参照，通常选取直立、双臂伸展姿态作为 模版，如图2所示，并且模版数据与运动数据采集在同一次特征标记点穿戴中完成，以保证匹配的精确性。以图5所示的刚性四边形为例，由语义块生成备选语义块的步骤如下歩骤1:取模版中处于同一语义块P上的特征标记点P,，&，&,P,;步骤2:计算每两点之间距离d,，d2,d,A,d;A;步骤3:设定误差允许范围"以适应刚体形状偏差；步骤4:在给定某一帧运动数据中搜索并计算，如果存在一组点P,，,P/,V,P,'， 满足方程(1)，则认为P'是语义块P的备选语义块。在给定的一帧运动数据中， 某语义块的备选语义块个数N,可能为0 (特征标记点缺失)，也可能大于1 (其 他类似结构)，主要取决于运动数据质量和误差允许范围"|d,'-i = 1,2,3,4,5,6 (1)其中，d,'是与d,相对应的点之间的距离。步骤5:循环步骤4，搜索所有符合条件的备选语义块。同理适用于其他匹配类型，将匹配应用到所有语义块，生成所有语义块的备 选语义块。此外，对于刚性四边形匹配，有同一刚性结构上的三个点可见而缺失另外一 个点的情况，可根据模版和刚性结构关系在局部坐标系内重构缺失点。2.基于语义节点的人体拓扑结构模型的建立的步骤，包括定义3和定义4， 其中定义3语义节点描述人体拓扑结构的最小单元，由以下属性参数表征序号节点编号，如图6所示，指定根节点"序号"为l;名称节点物理标识；度该节点的子节点的个数，如根节点度为3;级该节点与根节点之间的节点个数(包括该节点本身)，特别指定根节点 "级"为0;父节点该节点所从属的节点的序号。特别指定根节点"父节点"为0;长度该节点至其父节点的距离。特别指定根节点"长度"为0.0cm;方向该节点父节点到该节点指向的单位向量。特别指定根节点"方向"为 "o =(0.0,0.0,0.0);位置节点空间位置，可根据根节点"位置"、"长度"和"方向"参数计算 得到。根节点"位置"须初始化；其中"序号"、"名称"、"度"、"级"、"父节点"定义谓之从属关系属性，"长 度"、"方向"和"位置"定义谓之空间位置属性。定义4语义模型由所有语义节点组成的树型结构模型。基于上述定义3的22节点语义模型，用以分别确定语义模型的从属关系属 性和空间位置属性。3.基于空间语义约束的最合理人体结构的生成的步骤，其中依据人体物理结构特征分析和语义模型基础来构造一系列语义约束条件，旨在判断备选语义块是否满足约束条件，满足返回"是"，否则返回"否"。其约束条件为(1) 距离约束判断两相邻备选语义块中心之间距离与相应标准语义块中 心间距离相比是否在误差允许范围之内，如果是返回"是"，反之返回"否"。(2) 角度约束判断两相邻备选语义块之间夹角与相应标准语义块间夹角 相比是否在误差允许范围之内，如果是返回"是"，反之返回"否"。(3) 方向约束判断两相邻备选语义块之间方向关系与相应标准语义块间 方向即规范化向量关系相比是否相同，如果是返回"是"，反之返回"否"。如 图7所示，(a)为左右肩点与胸部四点方向判定关系，向量玩与平面p,，s,p,法 向方向一致则返回"是"，表示&为左肩点，反之为右肩点；(b)为左右脚的结 构分辨，向量玩与平面p"p"p,法向方向一致为左脚，反之为右脚。为建立统一的噪声模型，对于备选语义块为空的情况，针对三种判定条件，分别制定错误标识值e，错误标识值e是一个能够被系统明显识别的值。距离约 束e謂Gcm;角度约束e-360。；方向约束^U，同时，语义约束可以实现运动数 据的自动初始化，无须将运动数据的起始帧进行手工标定。经过语义约束可以得到一组满足所有语义约束条件的备选语义块，称为最合 理人体结构。4.基于语义块动态时间序列的脉冲噪声模型建立的步骤，其中，在经过上述方 法步骤处理之后，对于大多数帧数据，能够正确识别出最合理结构中的语义块， 但是，仍然存在噪声和缺失。对于缺失数据，已进行了错误值标示处理，因此 将缺失数据转化为突变的噪声值。在此基础上，可构造一种基于语义块位置和姿态的噪声脉冲模型。如图8所示，以刚性四边形语义块为例，每一个语义块 都可以由三维空间中的位置和姿态来表征；其中位置可以由中心点p",/;，o来定义(可选取其中一条对角线中点替代)，姿态可以由一个法向量W^,K,乂)和一个指向向量D(AA,化)来确定。这样，每一帧中每一个语义块可以由9个参数来 表征；在时域范围内，所有帧中对应的参数的值构成一个时间序列，每一个语 义块可以由9个时间序列来表征。将所有语义块都用时间序列来表示，就构造 了基于语义块位置和姿态属性的动态时间序列的脉冲噪声模型，如图9所示，分别为某一语义块的中心点P(C,。所生成的噪声模型。经实际分析，该噪声模 型符合脉冲噪声模型特征，因此可以使用脉冲噪声处理方法进行处理。同理， 对于其他类型的匹配关系，亦可相应地设置不同的参数建立相应的脉冲噪声模 型。5. 噪声数据的滤除和缺失数据的重构步骤，其中使用了 5点线性平滑算法对每一个子序列进行降噪处理，平滑算法可以由公式(2)来表示其中x(")为待处理的源序列，w( 为;c(W的权重系数，并且Z 是平 滑范围，此处取"2， ；^)为处理后的序列。 "'"图9显示了某一语义块的中心点户",^/^所生成的序列的处理前状态(含峰值的噪声序列)和处理后的状态，实验表明，5点线性平滑算法能够有效地实现脉冲噪声模型的降噪处理。6. 将降噪处理后的序列反向重构为语义块在三维空间中的位置和姿态，实现 运动捕捉数据的噪声数据的滤除和缺失数据的重构处理。图IO所示为某一组动 作的运动数据处理的实验结果，左部为处理前的特征标记点数据，右部为处理 后的结果。图ll显示了运动数据中部分帧的处理结果，自左而右分别为跳越、跳绳、舞蹈l、舞蹈2和走的动作。当采集的原始数据满足如下条件时(1) 采集的运动数据同一特征标记点连续缺失帧数小于10;(2) 同一刚性结构体上连续缺失两个以上特征标记点的帧数小于10;本发 明中提出的数据处理方法能够实现所有帧数据的准确处理，处理率达到100%。下面结合附图中的实例，以一组32特征标记点的舞蹈动作运动数据为数据 源，对本发明的具体实施方式
作进一步阐述。首先，通光学捕捉系统设备采集数据为300帧，时间持续约5秒，采样频 率60fps。然后按本发明所提出的方法在一台CPU主频为3. 0GHz，内存1G的PC 机上实现。操作系统为WindowsXP。基于0++语言和0penGL图形库开发光学人 体运动捕捉数据处理系统，实例验证数据处理结果。具体实施步骤为步骤l:采集原始数据和模版数据。原始数据存储格式如下FRAME1MARKER0 -268. 434253 -140. 386279 1649. 468816 MARKER1 -265.47517 200.876734 1408.155767 MARKER2 -373.405425 -232.048548 1400.100957MARKER3 -216.285255 -32.192661 1366.558122FRAME2其中FRAMEn表示为第n帧数据MARKERm表示第m个特征标记点，随后的三个数分别表示其x， y， z坐标， 单位謹。手工标定模版数据中特征标记点序号。步骤2:载入模版数据，并计算生成标准语义块和标准语义模型。所有32个 特征标记点被划分为ll个标准语义块，如图2所示，其中，语义块头、胸、左 手、右手、腰、左脚和右脚为刚性四边形结构，左臂、右臂、左腿和右腿四个 语义块为线段型结构。步骤3:载入运动数据。步骤4:循环所有帧数据，循环所有语义块，应用刚性结构匹配算法，生成 每一个语义块的所有备选语义块，并存储为备选语义块序列。此过程可用伪码 描述为FOR i=l to nFrameFOR j=l to 11A=RIGIDMATCHING (j) ADD A TO SEQUENCE[i][j]歩骤5:根据人体物理结构特性和语义模型，构造发明内容中所述的三种类 型的语义约束条件。并应用约束条件检验备选语义块序列中的各个元素，得到 最合理的一组语义块。例如块"胸"和块"腰"中心点之间的距离在运动过程中不会发生较大变 化，定义误差允许范围，判断这两部分之间的距离，与标准语义模型相比较， 是否满足约束条件。同时块"胸"处于块"腰"的法向正向一侧，构造方向约束条件，判断备选语义块中的元素是否满足条件。同理，构造其他语义约束条件。综合各语义约束条件，最终得到一组具有最合理相互关系的备选语义块，将 其作为下一步将要建立的脉冲噪声模型的基础。步骤6:按照发明内容第4节所述方法，针对各语义块的位置和姿态，分别 建立参数的时间序列。其中刚性四边形结构，如"头"、"腰"等，以中心点 P(C。，法向量W(《, ,^)和指向向量ZXA,Z^Z^)定义，分别建立9个时间序列， 线段型结构，如"左臂"、"左腿"等，以中心点P(C。和指向向量/XA^,化)， 分别建立6个时间序列。步骤7:应用发明内容第5节所述5点线性平滑算法，将各语义块的子序列 进行降噪处理。图9显示了 "头"语义块的中心点p(c。所生成的序列的处理前状态(含峰值的噪声序列)和处理后的状态。步骤8:根据平滑处理后的各序列中对应于各时间点的值，反向重构为语义块的位置和姿态，得到噪声数据滤除和缺失数据重构处理后的运动数据，如图10所示为运动数据处理的实验结果，左部为处理前的特征标记点数据，右部为处理后的结果。步骤9:处理后的运动数据输出，以文件形式输出，数据格式为FRAME1MARKER0-195. 1916. 161656.13MARKER1-292. 0265. 141614.35MARKER2-357. 60-105.531601.88MARKER3—269. 40-140.621646.24FRAME2此时，各数据单元意义与原始采集数据相同，不同点为每一帧内特征标记点 个数固定为32个，且标记点顺序与模版中标记点顺序一致。实例中采集的运动数据同一特征标记点连续缺失帧数小于10，并且同一刚性 结构体上连续缺失两个以上特征标记点的帧数小于10，数据处理方法实现所有 帧数据的准确处理，处理率达到100%。
权利要求
1、一种用于人体运动捕捉数据的动态时空耦合降噪处理方法，包括将基于C++和openGL图形库开发的光学人体运动捕捉数据处理系统装入计算机和通过人体光学运动捕捉系统设备获取原始数据、对原始数据的处理和人体运动重构的步骤，其特征在于还包括以下步骤(1)针对原始采集的运动数据中存在的噪声数据和缺失数据，建立基于备选语义块的动态脉冲噪声模型；(2)基于刚性结构匹配算法生成备选语义块，并定义为五种基本匹配类型，即线段型结构、三角形结构、自由四边形结构、对角四边形结构和刚性四边形结构；(3)定义语义块和备选语义块，并将所有特征标记点按照人体结构特征划分为11个语义块，包括头、胸、腰、左臂、右臂、左手、右手、左腿、右腿、左脚和右脚，其中头、胸、腰、左手、右手、左脚和右脚为刚性四边形结构；左臂、右臂、左腿和右腿为线段型结构；(4)定义语义节点及其各属性参数，并基于该定义建立22个语义节点的人体语义模型描述人体拓扑结构关系，语义节点的属性参数包括序号、名称、度、级、父节点、长度、方向和位置，其中序号、名称、度、级和父节点定义为从属关系属性；长度、方向和位置定义为空间位置属性；(5)根据人体语义模型构造三种类型的语义约束条件，即距离约束、角度约束和方向约束，判定步骤(2)中生成的备选语义块是否符合约束条件；根据判定结果分别返回“是”或“否”两种状态；对于缺失数据，赋值为错误标识值e，所述错误标识值e是一个能够被系统明显识别的值，从而将缺失数据转化为噪声数据，为将后续处理统一为降噪处理提供必要前提；(6)生成最合理的人体结构，即最合理的一组语义块；(7)建立基于语义块位置和姿态属性的动态时间序列的脉冲噪声模型，将每一个语义块都以三维空间中的位置和姿态来表述，其中刚性四边形结构的位置可以由中心点P(Px，Py，Pz)来定义，姿态可以由一个法向量N(Nx，Ny，Nz)和一个指向向量D(Dx，Dy，Dz)来确定；线段型结构可以由中心点P(Px，Py，Pz)和一个指向向量D(Dx，Dy，Dz)来定义，使每一帧中每一个语义块由6个或9个参数来表示；在时域范围内，所有帧中对应的参数的值构成一个时间序列，每一个语义块可以由6个或9个子时间序列来表示；将所有语义块都使用子时间序列来表示，就构造了基于语义块位置和姿态属性的动态时间序列的脉冲噪声模型；(8)将5点线性平滑算法应用到步骤(7)所建立的时间序列上，实现噪声数据的滤除和缺失数据的重构处理。
2、根据权利要求1所述的用于人体运动捕捉数据的动态时空耦合降噪处理 方法，其特征在于步骤(8)中所述的重构处理，是将处理后的各语义块的子序 列在各时间点上的值反向重构为语义块在三维空间中的位置和姿态，从而得到 处理后的运动数据。
全文摘要
本发明公开了一种用于光学人体运动捕捉数据中噪声和缺失数据处理的动态时空耦合处理方法，包括对原始采集的运动数据中的噪声数据和缺失数据，建立基于备选语义块的动态脉冲噪声模型，其特征在于还包括基于刚性结构匹配的备选语义块生成、基于语义节点的人体拓扑结构模型的建立、基于空间语义约束的最合理人体结构的生成、基于语义块位置和姿态属性的动态时间序列的脉冲噪声模型建立以及噪声数据的滤除和缺失数据的重构步骤。本发明中的处理方法经实际测试，适用于满足局部刚性结构的任意特征点排布方式的运动数据的处理，具有良好的实用性和鲁棒性。
文档编号G06T17/00GK101216952SQ200810010170
公开日2008年7月9日 申请日期2008年1月17日 优先权日2008年1月17日
发明者强 张, 肖伯祥, 魏小鹏 申请人:大连大学