专利名称：一种运动捕捉的数据修复方法、系统及运动捕捉系统的制作方法
技术领域：
本发明属于运动捕捉技术领域，尤其涉及一种运动捕捉的数据修复方法、系统及。
背景技术：
近年来，随着计算机图形学(Computer Graphics, CG)产业的飞速发展，运动捕捉日趋成熟，成为目前广泛应用的能够真实再现运动物体运动细节的技术。运动捕捉是一种用于准确测量运动物体在三维空间运动状况的技术，其基于计算机图形学原理，通过排布在空间中的数个视频捕捉设备采集运动物体的运动图像，之后对该运动图像的图象数据进行处理，以还原运动物体的空间运动状况。而人脸表情运动捕捉作为应用于人体的运动捕捉的一个分支，是将运动捕捉应于人脸表情动画制作的技术，其广泛应用于虚拟现实、影视制作、游戏娱乐和计算机动画等领域。传统的人脸表情运动捕捉由于数个视频捕捉设备采集到的运动图像由于多个标记点出现位置重叠、遮挡以及少于两个摄像设备可见时，相应的标记点位置很难重构而形成图像数据的缺失，使得应用传统的人脸表情运动捕捉得到的图像数据并不能直接驱动3D 几何模型。为此，现有技术提供了一种应用于人脸表情运动捕捉领域的运动捕捉的数据修复方法，该方法采用与缺失点相邻的标记点的运动均值来表征缺失点的运动，以修复缺失数据，而没有考虑人脸肌肉运动机理，使得应用该方法修复的缺失点数据精确度低。
发明内容
本发明实施例的目的在于提供一种运动捕捉的数据修复方法，以解决现有技术提供的应用于人脸表情运动捕捉领域的运动捕捉的数据修复方法没有考虑人脸肌肉运动机理，修复的缺失点数据精确度低的问题。本发明实施例是这样实现的，运动捕捉的数据修复方法，所述方法包括以下步骤采集运动物体上多个标记点的两帧或两帧以上运动图像数据，并根据采集的所述运动图像数据分别追踪所述多个标记点的运动轨迹，以确定帧的缺失点和有效点；计算前一帧中，与所述缺失点相邻的两个或两个以上所述有效点的参数集，以及所述缺失点分别与所述两个或两个以上有效点之间的距离之和；根据所述参数集和计算得到的所述缺失点分别与所述两个或两个以上有效点之间的距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标记点之间的向量的权重，并将计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位置。其中，所述根据采集的所述运动图像数据分别追踪所述多个标记点的运动轨迹， 以确定帧的缺失点和有效点的步骤可以包括以下步骤比较前一帧中所述多个标记点的运动图像数据与当前帧中所述多个标记点的运动图像数据，将当前帧的所述多个标记点中，位置在前一帧标记点的位置预设范围内的标记点作为前一帧标记点在当前帧的对应标记点，以得到所述多个标记点的运动轨迹，并将前一帧中在当前帧存在对应标记点的标记点作为有效点，将前一帧中在当前帧中不存在对应标记点的标记点作为缺失点。其中，所述方法在所述根据采集的所述运动图像数据分别追踪所述多个标记点的运动轨迹的步骤之前，还可以包括以下步骤显示采集的所述运动物体上多个标记点的首帧运动图像数据；接收用户输入的运动图像数据修改信号，并根据所述运动图像数据修改信号修改采集的首帧运动图像数据。上述参数集包括由两个或两个以上所述有效点的位置构成的点集、由所述缺失点分别与所述两个或两个以上有效点之间的距离构成的距离集、以及由所述两个或两个以上有效点分别与所述两个或两个以上有效点在当前帧中对应的标记点之间的向量构成的
向量集。进一步地，当所述两个或两个以上有效点具体为三个有效点时，所述根据所述参数集和计算得到的所述缺失点分别与所述两个或两个以上有效点之间的距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标记点之间的向量的权重的步骤可以表示为
权利要求
1.一种运动捕捉的数据修复方法，其特征在于，所述方法包括以下步骤采集运动物体上多个标记点的两帧或两帧以上运动图像数据，并根据采集的所述运动图像数据分别追踪所述多个标记点的运动轨迹，以确定帧的缺失点和有效点；计算前一帧中，与所述缺失点相邻的两个或两个以上所述有效点的参数集，以及所述缺失点分别与所述两个或两个以上有效点之间的距离之和；根据所述参数集和计算得到的所述缺失点分别与所述两个或两个以上有效点之间的距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标记点之间的向量的权重，并将计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位置。
2.如权利要求1所述的运动捕捉的数据修复方法，其特征在于，所述根据采集的所述运动图像数据分别追踪所述多个标记点的运动轨迹，以确定帧的缺失点和有效点的步骤包括以下步骤比较前一帧中所述多个标记点的运动图像数据与当前帧中所述多个标记点的运动图像数据，将当前帧的所述多个标记点中，位置在前一帧标记点的位置预设范围内的标记点作为前一帧标记点在当前帧的对应标记点，以得到所述多个标记点的运动轨迹，并将前一帧中在当前帧存在对应标记点的标记点作为有效点，将前一帧中在当前帧中不存在对应标记点的标记点作为缺失点。
3.如权利要求1所述的运动捕捉的数据修复方法，其特征在于，所述方法在所述根据采集的所述运动图像数据分别追踪所述多个标记点的运动轨迹的步骤之前，还包括以下步骤显示采集的所述运动物体上多个标记点的首帧运动图像数据；接收用户输入的运动图像数据修改信号，并根据所述运动图像数据修改信号修改采集的首帧运动图像数据。
4.如权利要求1、2或3所述的运动捕捉的数据修复方法，其特征在于，所述参数集包括由两个或两个以上所述有效点的位置构成的点集、由所述缺失点分别与所述两个或两个以上有效点之间的距离构成的距离集、以及由所述两个或两个以上有效点分别与所述两个或两个以上有效点在当前帧中对应的标记点之间的向量构成的向量集。
5.如权利要求4所述的运动捕捉的数据修复方法，其特征在于，当所述两个或两个以上有效点具体为三个有效点时，所述根据所述参数集和计算得到的所述缺失点分别与所述两个或两个以上有效点之间的距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标记点之间的向量的权重的步骤表示为
6.如权利要求5所述的运动捕捉的数据修复方法，其特征在于，当所述两个或两个以上有效点具体为三个有效点时，所述将计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位置的步骤表示为
7.如权利要求4所述的运动捕捉的数据修复方法，其特征在于，所述方法在所述根据所述参数集和计算得到的所述缺失点分别与所述两个或两个以上有效点之间的距离之和， 分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标记点之间的向量的权重，并将计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位置的步骤之后，还包括以下步骤根据得到的所述缺失点的位置以及所述有效点的参数集，将各帧中相互对应的标记点关联后显示。
8.—种运动捕捉的数据修复系统，其特征在于，所述系统包括信号采集单元，用于采集运动物体上多个标记点的两帧或两帧以上运动图像数据；轨迹追踪模块，用于根据所述信号采集单元采集的所述运动图像数据分别追踪所述多个标记点的运动轨迹，以确定帧的缺失点和有效点；第一计算模块，用于计算前一帧中，与所述轨迹追踪模块确定的缺失点相邻的两个或两个以上所述轨迹追踪模块确定的有效点的参数集，以及所述缺失点分别与所述两个或两个以上有效点之间的距离之和；第二计算模块，用于根据所述第一计算模块计算得到的所述参数集和计算得到的所述缺失点分别与该两个或两个以上有效点之间的距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标记点之间的向量的权重，并将计算得到的所述权重结合所述参数集，得到所述缺失点在当前帧的位置。
9.如权利要求8所述的运动捕捉的数据修复系统，其特征在于，当所述两个或两个以上有效点具体为三个有效点时，所述第二计算模块根据所述第一计算模块计算得到的所述参数集和计算得到的所述缺失点分别与该两个或两个以上有效点之间的距离之和，分别计算所述两个或两个以上有效点分别与其在当前帧中对应的标记点之间的向量的权重的步骤表示为
10. 一种运动捕捉系统，包括置于运动物体上的多个传感器，以及一运动捕捉的数据修复系统，其特征在于，所述运动捕捉的数据修复系统是如权利要求8或9所述的运动捕捉的数据修复系统；所述信号采集模块是通过接收所述多个传感器的信号，来采集运动物体上多个标记点的两帧或两帧以上运动图像数据的。
全文摘要
本发明公开了一种运动捕捉的数据修复方法，包括以下步骤采集运动物体上多个标记点的两帧或两帧以上运动图像数据，分别追踪多个标记点的运动轨迹，以确定帧的缺失点和有效点；计算前一帧中，与缺失点相邻的两个或两个以上有效点的参数集，以及缺失点分别与两个或两个以上有效点之间的距离之和；根据参数集和计算得到的缺失点分别与两个或两个以上有效点之间的距离之和，分别计算两个或两个以上有效点与其在当前帧中对应点组成的运动向量的权重，并将计算得到的权重结合参数集，得到缺失点在当前帧的位置。应用该运动捕捉的数据修复方法对人脸表情进行运动捕捉时，充分考虑了人脸肌肉这种非刚性结构的运动机理，从而提高了缺失点的修复精度。
文档编号G06T5/50GK102289801SQ20111012603
公开日2011年12月21日 申请日期2011年5月16日 优先权日2011年5月16日
发明者张强, 梁小英, 魏小鹏 申请人:大连大学