三维标记点序列的跟踪方法及其系统的制作方法

专利名称：三维标记点序列的跟踪方法及其系统的制作方法
技术领域：
本发明涉及计算机视觉和模式识别领域，尤其涉及三维标记点序列的跟踪方法及 其系统。
背景技术：
二十世纪八十年代以来，光学运动捕获技术日渐成熟，在光学运动捕获中，需要在 捕获对象上粘贴反光标记点，并用多个同步的已标定摄像机来采集这些标记点图像，然后 从图像中提取出二维标记点并进行跟踪与重构，得到三维标记点坐标，然后从中计算出捕 获对象的运动参数。由于人体运动比较复杂，标记点经常被肢体遮挡，在跟踪过程中不可避免会导致 标记点跟踪失败，因此需要一种鲁棒的方法提高跟踪的效果。此外，跟踪方法不能完全保证所有标记点都被正确识别，因此在实际的捕获系统 中需要处理标记点丢失的问题。目前的运动捕获系统中，为了解决标记点丢失的问题，常常 需要非常繁琐的人工修补数据过程，如在主流商用系统Vicon iQ中的Fill tools，而且人 工修补数据往往需要在人体运动数据方面丰富经验的人员完成，一般的人员难以进行。另 外人工修补数据经常会出现修补错误的情况，这给后续帧的准确运动跟踪带来很大困难。 因此，需要解决在运动跟踪中自动修补丢失标记点的问题。

发明内容
为了解决上述的技术问题，本发明提供了三维标记点序列的跟踪方法及其系统， 利用给定的人体链状结构模型，从捕获到的标记点序列中，正确跟踪人体链状结构模型的 刚体中的各个特征点。本发明公开了一种三维标记点序列的跟踪方法，包括步骤1，读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体 以及每个刚体上的特征点；步骤2，通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一 个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一 帧具有已识别三维标记点；步骤3，将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标 记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二 维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记点组成所述刚体 的候选标记点集合；步骤4，对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算 标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别 所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。所述步骤3进一步为，
步骤21，将前一帧的已识别三维标记点在当前帧的图像中投影；步骤22，在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记 点对应于所述已识别三维标记点对应的特征点；步骤23，依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前 帧中对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标
记点集合。所述步骤4还包括步骤31，在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标 记点；所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围， 同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。所述方法还包括步骤5，如果在当前帧中存在丢失的三维标记点，则根据当前帧中已识别出的三维 标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前帧中未被识 别出的特征点对应；步骤6，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中 未被识别的特征点对应的三维标记点。 所述步骤6进一步包括步骤51，从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧 中已被识别出特征点的刚体；步骤52，对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记 点集合中选择所述刚体中未被识别的特征点对应的三维标记点；步骤53，重复所述步骤51，直至所有拥有候选补充三维标记点的刚体的特征点都 对应有已识别三维标记点。对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的 刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记 点，则所述步骤5进一步包括步骤61，在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标 记点；步骤62，对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图 像对应的摄像机光心出发的三维反投影光线；步骤63，以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所 述已识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半 径，将所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维 标记点集合。对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的 刚体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标 记点，则所述步骤5进一步包括步骤71，依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标记点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对 应的三维标记点从前一帧到当前帧的变换参数R，t ；步骤72，按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充 三维标记点集合，Mkx = RMj +tM)为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。本发明还公开了一种三维标记点序列的跟踪系统，包括模型读取模块，用于读取观测对象的人体链状结构模型，确定所述人体链状结构 模型中的刚体以及每个刚体上的特征点；投影模块，用于通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图 像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记 点，第一帧具有已识别三维标记点；候选标记点生成模块，用于将前一帧的已识别三维标记点在当前帧的图像中投 影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的 二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三 维标记点组成所述刚体的候选标记点集合；识别模块，用于对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组 合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组 合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记
点ο所述候选标记点生成模块进一步用于将前一帧的已识别三维标记点在当前帧的图像中投影；在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于 所述已识别三维标记点对应的特征点；依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应 的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集
I=I O所述识别模块还用于在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围， 同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。所述系统还包括候选补充点生成模块，用于在当前帧中存在丢失的三维标记点时，根据当前帧中 已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在 当前帧中未被识别出的特征点对应；补充识别模块，依据所述标注似然函数从所述候选补充三维标记点集合中选择同 刚体中未被识别的特征点对应的三维标记点。所述补充识别模块进一步用于从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识别出特征点的刚体；对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中 选择所述刚体中未被识别的特征点对应的三维标记点；重复上述过程，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识 别三维标记点。对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的 刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记 点，则所述候选补充点生成模块进一步用于在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点；对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的 摄像机光心出发的三维反投影光线；以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别 三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述 球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集
I=I O对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的 刚体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标 记点，则所述候选补充点生成模块进一步用于依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标记 点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的三 维标记点从前一帧到当前帧的变换参数R，t ；按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维标记 点集合，Mf= RM J +t为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。本发明的有益效果在于，给定捕获对象的人体链状结构模型，能够自动的从捕获 到的二维标记点中跟踪与重构三维标记点；在发生标记点丢失的情况下能够自动补点，避 免了人工补点的繁琐，提高了补点的效率与精度。


图1是本发明的三维标记点序列的跟踪方法流程图；图2是一实施例中观测对象的人体链状结构模型的下肢结构的示例图；图3(a)为基于单目标记点图像进行补点示意图；图3(b)为基于刚体中特征点平移向量进行补点示意图；图3(c)为基于刚体在前后帧之间的刚体变换进行补点示意图；图3(d)为基于四点构成刚体进行补点示意图；图4是本发明的三维标记点序列的跟踪系统的结构图。
9
具体实施例方式下面结合附图，对本发明做进一步的详细描述。步骤S100，读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的 刚体以及每个刚体上的特征点。人体链状结构模型中包括刚体，每个刚体上具有特征点；通过读取观测对象的人 体链状结构模型，确定观测对象的人体链状结构模型中刚体的数量和名称，各个刚体上特 征点的数目和名称，以及刚体上各个标记点间的距离。在一实施例中的观测对象的人体链状结构模型的下肢结构中，下肢结构的刚体包 括腰部，左大腿，右大腿，左小腿，右小腿，左足，右足，共7个刚体；每个刚体中包括的特征 点如表1所述。 表 1表1中的LFWT表示左腰前，RFffT表示右腰前，LBffT表示左腰后，RBffT表示右腰 后，LTHI表示左大腿，LKNE表示左膝盖，RTHI表示右大腿，RKNE表示右膝盖，LANK表示左 脚踝LSHN表示左小腿，RANK表示右脚踝，RSHN表示右小腿，LTOE表示左拇指，LMT5表示左 小指，LHEE表示左脚跟，RTOE表示右拇指，RMT5表示右小指，RHEE表示右脚跟。表1中特征点在下肢结构中的位置如图2所示。步骤S200，通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每 一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第 一帧具有已识别三维标记点。其中，每一帧对应于捕捉的运动的一个时刻。已识别三维标记点同刚体上的特征点对应，各个帧中与同一个特征点对应的已识 别三维标记点之间相互对应。本步骤所涉及的运动捕获技术是基于计算机视觉的标记点匹配和重构技术，在
10“计算机视觉中的数学方法”，吴福朝，科学出版社，2008，一书中具有详细说明。运动捕获中，人体穿上具有反光点的采集衣，利用多个摄像机对运动的人体进行 捕捉，并以视频的形式进行记录，在视频图像中只有反光点区域具有比较大的亮度，能够进 行二维标记点提取。第一帧中的已识别三维标记点可以是通过手工配置或者通过现有技术中的方法 标记出来，该已识别三维标记点同刚体的三维标记点相对应。步骤S300，将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三 维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所 述二维标记点重构出特征点在当前帧中的候选三维标记点，当前帧中的刚体的特征点的候 选三维标记点组成所述刚体的在当前帧中的候选标记点集合。所述步骤S300的一具体实施方式
如下所述。将前一帧的已识别的三维标记点在当前帧的图像中投影；在投影周围的预设范围 内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述已识别三维标记点对应的特 征点；依据极几何约束对所述二维标记点进行匹配，重构出当前帧中所述特征点对应的候 选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。所述步骤S300的一实施例如下所述。步骤S310，将前一帧的已识别的三维标记点投影到当前帧的各个图像上，得到各 个已识别的三维标记点在当前帧的各个图像的投影。对于一个帧，每一个用于采集的摄像机采集到一个图像。步骤S320，以每个已识别的三维标记点在每个图像上的二维投影为中心，在预设半径 内搜索当前帧中的二维标记点，该二维标记点对应于该已识别的三维标记点对应的特征点。步骤S330，对每个特征点，利用该特征点对应的二维标记点，通过极几何约束进行 匹配，并重构出三维标记点，该三维标记点作为所述刚体的候选标记点。重构出的三维标记点同其重构时使用的二维标记点对应同一特征点。如果某个前一帧已标识的三维标记点在少于2个图像上的投影点附近找到二维 标记点，则说明存在标记点丢失现象。极几何约束是空间中的某一点，分别投影到不同的成像平面上，得到的两个点之 间存在极几何约束，关于极几何约束在“计算机视觉中的数学方法”，吴福朝，科学出版社， 2008，中具有详细记载。步骤S400，对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计 算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识 别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。标记点标注似然函数定义为
{s,i\h(s,t)=\}其中，h(s，t)表示在同第1个刚体中两个特征点分别对应的标记点s，t之间有无 连接的函数，当标记点S，t之间保持刚体距离不变，则h(s，t) =1，否则1!(8，0 =0。保持刚体距离不变为属于同一个刚体上的特征点在运动的时候，每两个特征点之 间距离近似保持不变。表现为在各个帧间，同一个刚体上的特征点对应的三维标记点间距
11离近似保持不变。近似保持不变为变化在一个定义的可忽略的偏差范围内。P(Cs, Ct)表示标记点s，t的样本Cs，Ct满足刚体距离不变的概率，它由下面的公 式定义 集合U(s，t)的定义如下U(s，t) = {[Cs, CJ |dist(Cs, Ct) St1Hdist(C^Ct) < t2 Π|dist(Cs，Ct)-dist' (Cs，Ct) | < t3 Π | dist (Cs，Ct)-dist 〃 (Cs, Ct) | < t4, t2 > 0，t3 > 0}其中dist' (Cs，Ct)是在前一帧中同标记点s，t对应于相同两个特征点的两个标 记点之间的距离，dist" (Cs, Ct)是在人体链状结构模型中标记点s，t对应的特征点之间 的距离，o2(s，t)是标记点s，t之间距离的方差，通过预设获得，为简便起见，在具体实施 例中对于任何标记点对s, t o2(s, t)都取为相同的正常数。在集合U(s，t)中，在当前帧标记点s，t之间的距离应在一个合理的范围之内 dist(cs,ct) > ti η dist(cs,ct) < t2表示标记点s，t之间的距离既不能小于、，也不能大 Tt2 ； I dist (Cs, Ct)-dist' (Cs, Ct) I < t3表示标记点S, t之间在当前帧中的距离与前一 帧中相应的距离偏差不能过大；I dist (Cs，Ct)-dist" (Cs, Ct) I < t4表示标记点S, t之间 在当前帧中的距离与人体模版中相应的距离偏差不能过大.阈值t1; t2，t3需要事先选取。在较佳的技术方案中所述步骤S400还包括在枚举前，从所述候选标记点集合中 除去不符合约束条件的候选三维标记点；所述约束条件为同一刚体中的特征点对应三维标 记点间距离满足第一预设范围，同一特征点对应三维标记点在相邻帧中的位移满足第二预 设范围。所述步骤S400的具体实施方式
如下所述。步骤S410，预设同一刚体上各个特征点对应的三维标记点之间距离的方差， o2(s, t)，预设同一刚体中的特征点对应三维标记点间距离满足的范围最大值和最小值， 预设同一特征点对应三维标记点在相邻帧中的位移的最大位移值和最小位移值。步骤S420，对于每个刚体的候选标记点集合，计算候选标记点集合中两个候选三 维标记点间的距离，从候选标记点集合中除去距离小于最小值或距离大于最大值的候选三 维标记点对。步骤S430，对于每个刚体的候选标记点集合，计算候选标记点集合中每个候选三 维标记点同前一帧中的对应的已识别的三维标记点间位移，从候选标记点集合中除去位移 小于最小位移值或位移大于最大位移值的候选三维标记点。如果候选三维标记点和前一帧中已识别的三维标记点对应同一个特征点，则该候 选三维标记点和该已识别的三维标记点相对应。步骤S440，在剩下的候选标记点集合中枚举出标记点组合，计算标记点组合对应 的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，标记所述标记点组合 中的候选三维标记点对应于所述刚体中特征点。计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，删除其它组合。标记点标注似然函数定义为 其中，h(s，t)表示在分别对应第1个刚体中两个特征点的标记点s，t之间有无连 接的函数，当标记点s, t之间保持刚体距离不变，则h(s，t) = 1，否则h(s，t) = O.P(Cs, Ct)表示标记点s, t的样本Cs，Ct满足刚体距离不变的概率，它由下面的公式定义 集合U(s，t)的定义如下U (s，t) = P{[CS, CJ Idist (Cs，Ct) >、Π dist(Cs, Ct) < t2 Π|dist(Cs，Ct)-dist' (Cs，Ct) | < t3 Π | dist (Cs，Ct)-dist 〃(Cs，Ct) | < t4，t2 > ti > 0，t3 > 0}其中dist' (Cs，Ct)是在前一帧中同标记点s，t对应于相同两个特征点的两个标 记点之间的距离，dist" (Cs, Ct)是在人体链状结构模型中标记点s，t对应的特征点之间 的距离，o2(s，t)是标记点s，t之间距离的方差，步骤S410中预设的方差，为简便起见，在 具体实施例中对于任何标记点对s, to2(s, t)都取为相同的正常数。在集合U(s，t)中，在当前帧标记点s，t之间的距离应在一个合理的范围之内 dist (cs,ct) > ti η dist (cs,ct) < t2表示标记点s，t之间的距离既不能小于、，也不能大 Tt2 ； I dist (Cs, Ct)-dist' (Cs, Ct) I < t3表示标记点S, t之间在当前帧中的距离与前一 帧中相应的距离偏差不能过大；I dist (Cs，Ct)-dist" (Cs, Ct) I < t4表示标记点S, t之间 在当前帧中的距离与人体模版中相应的距离偏差不能过大.阈值t1; t2，t3需要事先选取。如果在当前帧中识别出的对应于刚体上特征点的三维标记点数量少于所述刚体 中特征点的数量，说明当前帧中存在丢失的三维标记点。丢失的三维标记点的数量为已识 别的三维标记点数量同所述刚体中特征点的数量差值，丢失的三维标记点对应于刚体上在 当前帧中未被识别出的特征点。在进一步的较佳的技术方法中，解决如何补充丢失标记点的问题。步骤S500，如果在当前帧中存在丢失的三维标记点，则根据当前帧中已识别出的 三维标记点建立候选补充三维标记点集合。所述丢失的三维标记点同刚体上在当前帧中未被识别出的特征点对应。产生标记点丢失的原因存在如下情况(1)在多个摄影机采集的图像中没有三维 标记点的像，主要由于人体遮挡或摄影机机摆放不合理导致；(2)仅有单个摄影机采集的 图像中有三维标记点的像，主要由于人体遮挡或摄影机机摆放不合理导致；(3)有多个摄 影机采集的图像中有三维标记点的像，但由于图像匹配或系统标定误差的原因导致不能重 构出三维标记点，从而未成功重构标记点，导致标记点跟踪失败；(4)有多个摄影机采集的 图像中有三维标记点的像且已经成功重构三维标记点，由于识别三维标记点过程中使用的 阈值偏小而导致标记点跟踪失败。为了方便表述，当前帧为第k巾贞，丢失的三维标记点表示为Ii^mj是与Hi1对应的特征点在同一个刚体上的其他特征点对应的已经识别的三维标记点，Mf为第k帧的丢失的三 维标记点Hi1三维坐标。所述S500的具体实施方式
一该具体实施方式
为基于单目标记点图像的方法。若丢失的三维标记点对应的特征点所在的刚体上至少有一个特征点具有对应的 已经重构和识别的三维标记点，则可使用本方法。丢失的三维标记点对应的特征点所在的刚体为对象刚体。步骤S511，在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维 标记点。步骤S512，对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在 图像对应的摄像机光心出发的三维反投影光线。计算方法为若摄影机矩阵为P3x4 = [H3x3，p4]，则通过图像点m与摄影机光心ο的 直线表示为 其中，Η、是通过图像点m直线的无穷远点，-F1P4是摄影机光心ο在世界坐标系 中的坐标。该方法出处为“计算机视觉中的数学方法”，吴福朝，科学出版社，2008。步骤S513，以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同 所述已识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为 半径，将所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三 维标记点集合。该实施方式的具体说明如下。设叫为丢失标记点Hi1的图像，Cl1,」是丢失标记点与 同一刚体上已识别标记点II^的距离。基于标记点！^的坐标M/，丢失标记点Hl1的补点候选 结果可由下面的公式计算。 其中，X1 = F1HI1, X2 = F1P4, I1,2可通过下面的公式计算(如果Δ彡0) 其中， I1和I2是待定参数，根据公式1得出，表示通过标记点Hi1和摄像机光心ο的空间 直线，Mf是丢失标记点的三维坐标。在图3(a)中经过摄像机光心和图像上的点Hi1可以得到空间中的三维反投影光 线，丢失的标记点Mf应该位于该三维光线上，M/是在同一刚体上已经识别的标记点的三 维坐标，以它为球心，以标记点间距离Hlj为半径可以得到一个三维球面，丢失点的坐标肯定 位于该三维光线与球面的交点上，可能存在两个交点，因此对应的参数有Ip I2两个。若二维标记点是丢失三维标记点的像，则丢失三维标记点位于该二维标记点的三 维反投影光线上。由于丢失标记点所在的刚体上至少有一个标记点已经重构和识别，所以该丢失标记点还位于以识别标记点为球心，已识别标记点和丢失标记点之间的距离为半径 的球面上。由于已知前一帧中该丢失的三维标记点和该已识别标记点对应的两个已识别的 三维标记点之间的距离，由于刚体间各个特征点对应的三维标记点在帧间隔的时间的运动 中，距离基本保持不变，仅有微小的变化，因而直用前一帧的两个对应点间距离作为当前帧 中丢失的三维标记点和该已识别标记点的距离。因此丢失的三维标记点ml的三维坐标可 通过三维反投影光线和球面相交得到，见公式2，并将两者的交点放入补点候选集合中。
具体实施方式
二该具体实施方式
为基于刚体中标记点平移向量的方法。若丢失的三维标记点对应的特征点所在的刚体上至少有一个特征点在当前帧中 具有对应的已经重构和识别的三维标记点，则可使用本方法。如图3(b)所示，在前一帧中对应于特征点的已识别的三维标记点为Hi1,对应于 特征点&的已识别的三维标记点为Hij,该两个三维标记点间向量为Ζ)。=Ml1-M)-1，特 征点在当前帧中对应的已识别三维标记点坐标为Μ，，则特征点。在当前帧中对应的候 补三维标记点为Mf = Mkj^DkJ，将候补三维标记点加入候选补充三维标记点集合中。该具体实施方式
出处为 “Least-squares fitting of two 3-D point sets"K. S. Arun, T. S. Huang and S. D. Blostein. PAMI-8, No. 1，Jan. 1986，具体实施方式
三该具体实施方式
为基于刚体变换的方法。如果丢失的三维标记点对应的特征点所在的刚体上至少有三个特征点在当前帧 中具有对应的已经重构和识别的三维标记点，则可使用本方法。由于刚体结构在运动过程中基本保持不变，如果丢失标记点Hi1所在的刚体上至少 有三个三维标记点已经重构和识别，那么可通过在该刚体中已经识别的三维标记点在当前 帧的坐标与前一帧的坐标计算刚体变换R，t，丢失的三维标记点Hl1的候选补点结果可通过 下面的公式计算Mkl = RMkJ+t，并该结果放入补点候选集合中。Μ,前一帧中对应于丢失特征点的已识别三维标 记点的三维坐标。这个方法可以得到一种补点的结果，同时由于考虑到至少有三点在同一个刚体上 的情况也肯定可以采用至少有一个同一刚体上特征点在当前帧中具有已识别标记点的条 件，因而采用具体实施方式
一和/或具体实施方式
二的方法，这样，将每一个丢失的三维标 记点可以采用多个方法得到的补点结果都放在该点的候选补点点集中。
具体实施方式
四该具体实施方式
为基于四点构成刚体的方法若丢失的三维标记点对应的特征点所在的刚体上至少有一个特征点在当前帧中 具有对应的已经重构和识别的三维标记点，则可使用本方法。若丢失标记点至少有四个非共面保持刚体关系的标记点已经重构和识别，则可使 用本方法。命题3设{M) ^iXj JpZjff^2为四个已重构和识别的非共面标记点，
15 上面方程是关于X1, Y1, Z1的线性方程，因而可通过命题3计算M^ =(Χι,Υι,Ζ )τ.若与丢失标记点Mf保持刚体关系的至少四个非共面标记点已经重构和识别，则 丢失标记点和与其保持刚体关系的标记点之间距离WiJ以及已经重构和识别的标记点之 间的距离{dy}可通过第k-Ι帧中相应标记点之间的距离计算，丢失标记点Hi1的候选补点 结果可通过命题3计算，并该结果放入补点候选集合中。步骤S600，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体 中未被识别的特征点对应的三维标记点。从候选补点集合中选择正确的标记点。步骤S610，从在当前帧中具有未被识别出特征点的刚体中，选择在当前帧中具有 最多已被识别出的特征点的刚体。如果在当前帧中没有识别出特征点对应的三维标记点，则认为在当前帧中该特征 点未被识别出，如果在当前帧中已经识别出特征点对应的三维标记点，则认为在当前帧中 该特征点已被识别出。步骤S620，对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标 记点集合中选择所述刚体中未被识别的特征点对应的三维标记点。步骤S630，重复所述步骤S610和步骤S620，直至所有可被识别的三维标记点都已 被识别。通过上面的方法能够找到未被识别特征点的候选补充三维标记点的集合，但是并 不是所有未被识别的特征点都能够找到候选补充三维标记点的集合。本方法处理拥有候选 补充三维标记点的集合的那些未别识别出的特征点，这些点称为可被识别的三维标记点。
Mf=(X15^5Z1)7为丢失标记点，φ,」为Mf与Mkj之间的距离.若已知Cli,」，则 M14 =CX1 A,Z1广可通过下面的公式计算。 具体出自文献"Yang, L. Solving spatial constraints with globaldistance coordinate systems. International Journal of ComputationalGeometry and Applications(2006)553-548)”。
本发明的三维标记点序列的跟踪系统结构如图4所示。模型读取模块100，用于读取观测对象的人体链状结构模型，确定所述人体链状结 构模型中的刚体以及每个刚体上的特征点。投影模块200，用于通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个 图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标 记点，第一帧具有已识别三维标记点。候选标记点生成模块300，用于将前一帧的已识别三维标记点在当前帧的图像中 投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应 的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选 三维标记点组成所述刚体的候选标记点集合。识别模块400，用于对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点 组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点 组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标
1··己；O一较佳的实施方式中，候选标记点生成模块300进一步用于将前一帧的已识别三维标记点在当前帧的图像中投影；在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于 所述已识别三维标记点对应的特征点；依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应 的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集
I=I O一较佳的实施方式中，所述识别模块400还用于在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点；所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围， 同一特征点对应三维标记点在相邻帧中的位移满足第二预设范围。一较佳的实施方式中，所述系统还包括候选补充点生成模块，用于在当前帧中存在丢失的三维标记点时，根据当前帧中 已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在 当前帧中未被识别出的特征点对应；补充识别模块，依据所述标注似然函数从所述候选补充三维标记点集合中选择同 刚体中未被识别的特征点对应的三维标记点。进一步的，所述补充识别模块进一步用于从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识 别出特征点的刚体；对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中 选择所述刚体中未被识别的特征点对应的三维标记点；重复上述过程，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识 别三维标记点。进一步的，对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特
17征点所在的刚体为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识 别三维标记点，则所述候选补充点生成模块进一步用于在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点；对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的 摄像机光心出发的三维反投影光线；以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别 三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述 球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集
I=I O进一步的，对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特 征点所在的刚体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识 别的三维标记点，则所述候选补充点生成模块进一步用于依据对象刚体在当前帧中已识别 三维标记点的三维坐标和所述已识别三维标记 点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的三 维标记点从前一帧到当前帧的变换参数R，t ；按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维标记 点集合，Mf= RM j+tM)为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还 可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由 权利要求书的范围来确定的。
权利要求
一种三维标记点序列的跟踪方法，其特征在于，包括步骤1，读取观测对象的人体链状结构模型，确定所述人体链状结构模型中的刚体以及每个刚体上的特征点；步骤2，通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第一帧具有已识别三维标记点；步骤3，将前一帧的已识别三维标记点在当前帧的图像中投影，所述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记点组成所述刚体的候选标记点集合；步骤4，对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。
2.如权利要求1所述的三维标记点序列的跟踪方法，其特征在于， 所述步骤3进一步为，步骤21，将前一帧的已识别三维标记点在当前帧的图像中投影； 步骤22，在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对 应于所述已识别三维标记点对应的特征点；步骤23，依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中 对应的候选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点皇A朱口 ο
3.如权利要求1所述的三维标记点序列的跟踪方法，其特征在于， 所述步骤4还包括步骤31，在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记占.^ w\ 所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一 特征点对应三维标记点在相邻帧中的位移满足第二预设范围。
4.如权利要求1所述的三维标记点序列的跟踪方法，其特征在于，所述方法还包括 步骤5，如果在当前帧中存在丢失的三维标记点，则根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前帧中未被识别出 的特征点对应；步骤6，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体中未被 识别的特征点对应的三维标记点。
5.如权利要求4所述的三维标记点序列的跟踪方法，其特征在于，所述步骤6进一步包括步骤51，从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已 被识别出特征点的刚体；步骤52，对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集 合中选择所述刚体中未被识别的特征点对应的三维标记点；步骤53，重复所述步骤51，直至所有拥有候选补充三维标记点的刚体的特征点都对应 有已识别三维标记点。
6.如权利要求4所述的三维标记点序列的跟踪方法，其特征在于，对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体 为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记点， 则所述步骤5进一步包括步骤61，在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记占.步骤62，对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对 应的摄像机光心出发的三维反投影光线；步骤63，以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已 识别三维标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将 所述球心和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记 点集合。
7.如权利要求4所述的三维标记点序列的跟踪方法，其特征在于，对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚 体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标记 点，则所述步骤5进一步包括步骤71，依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标 记点在前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的 三维标记点从前一帧到当前帧的变换参数R，t ；步骤72，按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维 标记点集合，Mf= RM j+t为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。
8.—种三维标记点序列的跟踪系统，其特征在于，包括模型读取模块，用于读取观测对象的人体链状结构模型，确定所述人体链状结构模型 中的刚体以及每个刚体上的特征点；投影模块，用于通过运动捕捉获得观测对象的运动图像的帧，每一帧具有多个图像，每 一个图像对应于一个运动捕捉中的采集摄影机，所述图像中具有所述帧的二维标记点，第 一帧具有已识别三维标记点；候选标记点生成模块，用于将前一帧的已识别三维标记点在当前帧的图像中投影，所 述已识别三维标记点同特征点对应，依据所述投影在当前帧中搜素出特征点对应的二维标 记点，由所述二维标记点重构出特征点在当前帧中的候选三维标记点，所述候选三维标记 点组成所述刚体的候选标记点集合；识别模块，用于对于每个刚体，从所述刚体的候选标记点集合中枚举出标记点组合，计 算标记点组合对应的标注似然函数值，保留最大的标注似然函数值对应的标记点组合，识 别所述标记点组合中的候选三维标记点为所述刚体中特征点在当前帧中的三维标记点。
9.如权利要求8所述的三维标记点序列的跟踪系统，其特征在于，所述候选标记点生成模块进一步用于将前一帧的已识别三维标记点在当前帧的图像中投影；在投影周围的预设范围内搜索当前帧的二维标记点，搜素出的二维标记点对应于所述 已识别三维标记点对应的特征点；依据极几何约束对所述二维标记点进行匹配，重构出所述特征点在当前帧中对应的候 选三维标记点，同一刚体的特征点的候选三维标记点组成所述刚体的候选标记点集合。
10.如权利要求8所述的三维标记点序列的跟踪系统，其特征在于， 所述识别模块还用于在枚举前，从所述候选标记点集合中除去不符合约束条件的候选三维标记点； 所述约束条件为同一刚体中的特征点对应三维标记点间距离满足第一预设范围，同一 特征点对应三维标记点在相邻帧中的位移满足第二预设范围。
11.如权利要求8所述的三维标记点序列的跟踪系统，其特征在于，所述系统还包括 候选补充点生成模块，用于在当前帧中存在丢失的三维标记点时，根据当前帧中已识别出的三维标记点建立候选补充三维标记点集合；所述丢失的三维标记点同刚体上在当前 帧中未被识别出的特征点对应；补充识别模块，依据所述标注似然函数从所述候选补充三维标记点集合中选择同刚体 中未被识别的特征点对应的三维标记点。
12.如权利要求11所述的三维标记点序列的跟踪系统，其特征在于，所述补充识别模 块进一步用于从在当前帧中具有未被识别出特征点的刚体中，选择具有最多在当前帧中已被识别出 特征点的刚体；对于选出的所述刚体，通过所述标注似然函数从所述候选补充三维标记点集合中选择 所述刚体中未被识别的特征点对应的三维标记点；重复上述过程，直至所有拥有候选补充三维标记点的刚体的特征点都对应有已识别三 维标记点。
13.如权利要求4所述的三维标记点序列的跟踪系统，其特征在于，对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚体 为对象刚体，如果所述对象刚体上至少有一个特征点在当前帧中具有已识别三维标记点， 则所述候选补充点生成模块进一步用于在当前帧的所有图像中搜索尚未用于重构已识别的三维标记点的二维标记点； 对于每个二维标记点，计算所述二维标记点的从所述二维标记点所在图像对应的摄像 机光心出发的三维反投影光线；以对象刚体具有的一个已识别三维标记点为球心，以前一帧中分别同所述已识别三维 标记点和所述丢失的三维标记点对应的已识别三维标记点之间的距离为半径，将所述球心 和所述半径确定的球面上同所述三维反投影光线的交点放入候选补充三维标记点集合。
14.如权利要求11所述的三维标记点序列的跟踪系统，其特征在于，对于一个当前帧丢失的三维标记点，所述丢失的三维标记点对应的特征点所在的刚 体为对象刚体，如果所述对象刚体上至少有三个特征点在当前帧中具有已识别的三维标记 点，则所述候选补充点生成模块进一步用于依据对象刚体在当前帧中已识别三维标记点的三维坐标和所述已识别三维标记点在 前一帧中对应的已识别三维标记点的三维坐标计算对象刚体中同一特征点对应的三维标 记点从前一帧到当前帧的变换参数R，t ；按如下公式计算丢失的三维标记点的候选补充三维点，并放入候选补充三维标记点集I=I，Mkl = RMkj^tMj为丢失的三维标记点在前一帧中对应于的已识别三维标记点的三维坐标。
全文摘要
本发明涉及三维标记点序列的跟踪方法及系统，方法包括步骤1，读取人体链状结构模型，确定刚体和特征点；步骤2，获得运动图像的帧，每一帧具有多个图像，图像中具有二维标记点，第一帧具有已识别三维标记点；步骤3，在当前帧的图像中投影前一帧已识别三维标记点，依据投影搜素出特征点对应的二维标记点，由二维标记点重构出特征点的候选三维标记点，组成候选标记点集合；步骤4，从刚体的候选标记点集合中枚举出标记点组合，计算对应的标注似然函数值，保留最大的值对应的标记点组合，识别标记点组合中的候选三维标记点为特征点在当前帧中的三维标记点。本发明能够从捕获到的标记点序列中，正确跟踪人体链状结构模型的刚体中的各个特征点。
文档编号G06T7/20GK101894377SQ20101019919
公开日2010年11月24日 申请日期2010年6月7日 优先权日2010年6月7日
发明者夏时洪, 毛天露, 王文中, 邓小明, 黄武 申请人:中国科学院计算技术研究所