专利名称：基于骨架配准的时变点云重建方法及系统的制作方法
基于骨架配准的时变点云重建方法及系统
技术领域：
本发明涉及计算机图形处理领域，特别涉及一种基于骨架配准的时变点云重建方法及系统。
背景技术：
近年来，随着三维扫描技术的快速发展，一些新的扫描技术，如结构光扫描仪、基于多个摄像机拍摄视频的时空多视点立体重构系统、深度摄像机纷纷出现，它们能交互的扫描真实物体的表面信息，使得捕获物体的运动和形变成为可能。从这些设备中得到的物体表面的运动数据序列为时变点云。时变点云高精度的记录了物体的运动信息包括运动数据以及高精度形体表面数据。但是，时变点云中存在如下问题数据中通常有大量的噪声和外围线，由于捕获对象本身的自遮挡现象，在每一个时刻，得到的数据不能完整的反应整个模型的表面几何信息，存在数据缺失；设备中只输出了每帧采样点的几何信息，而没有跟踪捕获对象的相对运动，导致相邻帧的采样点缺乏对应。这些问题的出现，导致获取的运动捕获数据还难以达到实用，为捕获对象的运动数据提取和形体表面重建带来了极大的困难。在没有任何先验知识的情况下，则无法估计被扫描物体的时空行为，即无法建立不同时刻下形体的相关性假设，此时动态重建问题是不可解的。因此，近年来，研究者利用了不同的先验知识来解决该问题。目前解决该问题的方法主要有(1)基于先验模板的方法。这类方法针对某类特殊模型，如人、衣服的动态重建问题。借助于扫描的物体相匹配的模板，利用模板来整合所有扫描的信息。在2008年，Ballan和Cortelazzo提出了一种无标志点运动捕获技术，其输入为四个相机拍摄的人的运动视频数据以及带骨架的人的网格模板。他们使用了线性蒙皮插值技术来计算每帧中网格的变形。他们使用光流来建立相邻时刻的图片上特征点的对应关系，得到与之对应的网格顶点在下一时刻的投影位置约束，同时轮廓信息来约束顶点的位置，来得到骨架的运动参数。该系统要求使用者身着紧身衣，缺失了细节信息。(2)基于密集采样约束的方法。有些研究者假设物体的全局/局部变形较小。为了得到准确的重构结果，这类方法要求数据在时间和空间上进行密集采样。在2004年，Shinya提出一种方法，最早直接从点云序列中提取时空一致的网格运动序列。该方法首先计算与第一帧扫描数据匹配网格模板，逐帧变换该模板，以匹配其他时刻的扫描数据。该模板匹配基于能量函数的优化求解，需要估计相邻时刻不同姿势的对应关系。随后，2007年，Mitra等人及Wand 等人也以时变点云为输入，假设相邻时刻扫描的数据中有着很大的重合区域，且变形很小。 Sssmuth和Greiner在2008年提出一种与aiinya04类似的方法，从隐式的四维时空函数中抽取第一帧多变形模型，然后沿时间轴方向体尽量保持刚性运动来配准点云与模板。(3) 基于物理流约束的方法。2008年，Siar降采用了一种全局优化策略，假设物体的运动是不可压缩的物理流，来补全时变点云的缺失信息。算法要求物理流的密度保持一致，流动方向保持连续，流体是不可压缩的。基于这些约束在体空间内迭代的判断任意时刻、任意体素位于模型的内部或外部，以此对每个时刻的点云单独重构网格模型。该算法位于体空间，因此在算法效率和重构精度上不可兼顾，重构的网格序列不具备一致性。综上所述，传统的重建方法基于模板、密集采样约束、物理流等假设来完成配准和点云补全。基于先验模板的方法对于输入有着很强的假设，要求能提供一个与初始姿势对应的三维完整模型，如网格模型或点云模型，在处理特殊物体，如人、衣服、手的运动捕获时，该模板较易获得，但是处理其他动物等时，获得这样的模板本身是一个很难的问题。基于密集采样约束，对于三维扫描设备技术有较高要求，或者要求物体的运动极为缓慢，不足以处理更加真实的输入数据。基于物理流约束的方法在算法效率和重构精度上不可兼顾， 并且重构的网格序列不具备一致性，为之后的纹理贴图、运动数据压缩、网格序列编辑等带来不便。上述三种不同的方法都约束在某一种特殊情况下实现运动模型的重建，通用性不强，且计算复杂。
发明内容基于此，有必要提供一种通用性较好且易计算的基于骨架配置的时变点云重建方法。此外，还有必要提供一种通用性较好且易计算的基于骨架配置的时变点云重建系统。一种基于骨架配准的时变点云重建方法，包括以下步骤获取运动物体时变点云序列，并将点云序列分成多个帧；提取每帧点云序列中的曲线骨架；建立相邻帧之间曲线骨架的骨架结点的对应关系；根据所述曲线骨架的骨架结点的对应关系配准骨架序列；根据配准的骨架序列计算一致骨架序列；根据所述一致骨架序列提取运动数据，且根据所述一致骨架序列和运动数据配准并补全点云数据。优选地，建立相邻帧之间曲线骨架的骨架结点的对应关系包括以下步骤生成曲线骨架的骨架结点的候选对应关系；从候选对应关系中选择相容的对应关系集合建立曲线骨架的骨架结点的对应关系。优选地，从候选对应关系中选择相容的对应关系具体包括基于交互验证策略计算任意两个对应关系的相容度；对任意两个对应关系的相容度进行打分；采用贪心算法从候选对应关系中选择相容度得分最高的对应关系，并从候选对应关系中删除所述得分最高的对应关系，以及删除与所述得分最高的对应关系不相容的对应关系；判断候选对应关系是否为空或最高得分是否小于等于0，若是，则停止，若否，则继续进行选择。优选地，根据所述曲线骨架的骨架结点的对应关系配准骨架序列具体为选择一个参考帧，获取除参考帧外的其他帧中曲线骨架的骨架结点与参考帧中曲线骨架的骨架结点的对应关系，并将所有曲线骨架变换到参考姿势，根据所述参考姿势配准骨架序列。优选地，所述将所有曲线骨架变换到参考姿势的具体步骤包括采用全局拉普拉斯变换将所有曲线骨架变换到参考姿势。优选地，根据配准骨架序列计算一致骨架序列具体包括对所有变形的曲线骨架的骨架结点进行均值平移聚类处理，将骨架结点分为不同的类，并移至每个类的中心，构建新的曲线骨架；从构建的新的曲线骨架中获取为锚点的骨架结点；根据获取的任意两个直接相连的锚点的最短路径组成一致骨架；根据一致骨架与配准的骨架序列之间的对应关系得出一致骨架序列。优选地，所述根据所述一致骨架序列和运动数据配准并补全点云数据具体包括将一致骨架序列变换到原来提取曲线骨架的姿势获取新的曲线骨架；根据所述一致骨架序列提取的运动数据，将时变点云变换到同一参考姿势；配准同一参考姿势的不同点云得到完整的点云。一种基于骨架配准的时变点云重建系统，包括获取模块，获取运动物体时变点云序列，并将点云序列分成多个帧；提取模块，提取每帧点云序列中的曲线骨架；构建模块，建立相邻帧之间曲线骨架的骨架结点的对应关系；处理模块，根据所述曲线骨架的骨架结点的对应关系配准骨架序列，并根据配准的骨架序列计算一致骨架序列；所述提取模块还根据所述一致骨架序列提取运动数据；点云重建模块，根据所述一致骨架序列和运动数据配准并补全点云数据。优选地，所述构建模块还用于生成曲线骨架的骨架结点的候选对应关系，并从候选对应关系中选择相容的对应关系集合建立曲线骨架的骨架结点的对应关系。优选地，所述构建模块进一步用于基于交互验证策略计算任意两个对应关系的相容度，对任意两个对应关系的相容度进行打分，采用贪心算法从候选对应关系中选择相容度得分最高的对应关系，并从候选对应关系中删除所述得分最高的对应关系，以及删除与所述得分最高的对应关系不相容的对应关系，且当判断候选对应关系为空或最高得分不大于0时，停止选择，否则继续进行选择。优选地，所述处理模块还用于选择一个参考帧，获取除参考帧外的其他帧中曲线骨架的骨架结点与参考帧中曲线骨架的骨架结点的对应关系，并将所有曲线骨架变换到参考姿势，根据所述参考姿势配准骨架序列。优选地，所述处理模块采用全局拉普拉斯变换将所有曲线骨架变化到参考姿势。优选地，所述处理模块还用于对所有变形的曲线骨架的骨架结点进行均值平移聚类处理，将骨架结点分为不同的类，并移至每个类的中心，构建新的曲线骨架，从构建的新的曲线骨架中获取为锚点的骨架结点，并根据获取的任意两个直接相连的锚点的最短路径组成一致骨架，再根据一致骨架与配准的骨架序列之间的对应关系得出一致骨架序列。优选地，所述点云重建模块还将一致骨架序列变化到原来提取曲线骨架的姿势获取新的曲线骨架，根据所述一致骨架序列提取的运动数据，将时变点云变换到同一参考姿势，并配准同一参考姿势的不同点云得到完整的点云。
上述基于骨架配准的时变点云重建方法及系统，采用提取的曲线骨架并建立骨架结点的对应关系，再计算得出一致骨架序列，根据一致骨架序列和运动数据配准并补全点云数据，重建了新的点云数据，该方法无需借助精确的网格模版，通用性较强，且易于计算。
图1为一个实施例中基于骨架配准的时变点云重建方法的流程图；图2为一个实施例中建立相邻帧之间曲线骨架的骨架结点对应关系的具体流程图；图3为两个曲线骨架结构示意图；图4为曲线骨架的骨架结点对应关系建立后状态图；图5为直接从时变点云数据提取曲线骨架序列的结构示意图；图6为骨架序列传递示意图；图7为一个实施例中计算一致骨架序列方法的流程图；图8为计算一致骨架的实验图；图9为一个实施例中配准并补全点云数据的流程图；图10为提取的曲线骨架与变形的一致骨架序列对比图；图11为点云配准结果示意图；图12为马的点云重建过程示意图；图13为木偶的点云重建过程示意图；图14为一个实施例中基于骨架配准的时变点云重建系统结构示意图。
具体实施方式如图1所示，一种基于骨架配准的时变点云重建方法，包括以下步骤步骤S10，获取运动物体时变点云序列，并将点云序列分成多个帧。通过三维扫描系统以10至30帧每秒的速度扫描运动物体，获取物体表面的运动数据序列，即时变点云序列。将获取的时变点云序列分成多个帧。步骤S20，提取每帧点云序列中的曲线骨架。对于每帧点云，利用ROSA技术提取点云的曲线骨架。曲线骨架包括骨架结点以及骨架结点的连接关系。另外，对曲线骨架重新采样，使得骨架结点平均分布，采样后的骨架结点数目为100左右。步骤S30，建立相邻帧之间曲线骨架的骨架结点的对应关系。如图2所示，该步骤具体包括步骤S300，生成曲线骨架的骨架结点的候选对应关系。随机选择一个骨架不同的起始搜索起点，基于图的深度优先搜索算法，得到骨架结点的有序排列，对另一个骨架，其搜索起始点为与搜索起点最相似的骨架结点。通过搜索算法得到骨架结点的有序排列后， 使用隐式马尔可夫模型来建立两个有序节点序列的对应关系。模型中，状态指不同骨架上两个骨架结点的对应关系。状态转移概率描述了 HMM模型中各个状态之间的转移概率，观测概率描述了每个状态出现的概率，使用Viterbi算法计算概率最大的状态序列。状态转移概率与观测概率的决定条件如下如图3所示，S1和&指两个曲线骨架。E(i，j)为观测代价，T(Pij, Pkh)为状态转移代价。其中，i，j，k，h为骨架结点的标识符，i，k属于同一骨架，j，h属于同一骨架。观测代价由两个结点(i，j)的相似度以及距离d决定。其中，两个结点的相似度与两个结点的度之差成反比，结点的度指与该结点相连的边的数量。状态转移代价指当由状态P(i，j) 变换到状态P(k，h)时的代价，其由三部分的加权之和决定(1)结点k，h的相似度；(2)测地距离的相似性，该相似性有两种可能性，当k，h结点分别为i，j结点的子结点，则测地距离的相似性为结点i，k之间的测地距离与结点j，h的测点距离之差，否则为无穷大；(3)非一一对应的惩罚代价，当结点j和结点h指同一结点时，惩罚代价为1，否则为0。然后，通过指数快速下降函数将代价转换为概率值。步骤S310，从候选对应关系中选择相容的对应关系集合建立曲线骨架的骨架结点的对应关系。在一个实施例中，步骤S310具体包括(a)基于交互验证策略计算任意两个对应关系的相容度。两个对应关系(P(i，j)， P(k，h))的相容度由三部分决定(al)i，k结点之间的路径长度与j，h结点之间的路径长度的相似度，该相似度由路径长度之比中较小值的最大值决定。i，k结点之间的路径长度和j，h结点之间的路径长度是变化的。路径i，k长度除以路径j，h长度之值和路径j，h长度除以路径i，k长度之值两者中的较小值。最大值是从该较小值中的所有可能路径比值中选择得出的最大值。(a2) i，k结点之间的拓扑结构变化与j，h结点之间的拓扑结构变化的相似度。该拓扑结构的变化等于选定路径上结点的度大于2的点的数目。相似度为拓扑结构变化之比，选择比值小于1的。(a3)i, j结点形成的向量与j，h向量的夹角。另外，当相容度小于0. 4时，则认为这两个对应关系不能同时存在。(b)对任意两个对应关系的相容度进行打分。建立关系矩阵描述任意两个结点对应关系的相容性，矩阵的每项值由对应的两个结点的对应关系的相容度决定。该矩阵的最大特征值对应的特征向量的每项为某个结点对应关系的得分。(c)采用贪心算法从候选对应关系中选择相容度得分最高的对应关系，并从候选对应关系中删除该得分最高的对应关系，以及删除与该得分最高的对应关系不相容的对应关系。在一个实施例中，候选对应关系构成集合，使用贪心算法，每次从候选集中选择得分最高的对应关系，并从候选集中排除与之不相容的对应关系。(d)判断候选对应关系是否为空或最高得分是否小于等于0，若是，则停止选择， 若否，则继续进行选择。采用迭代的方式进行选择，直到候选集为空或候选集中的最高得分不大于0时停止选择。如图4所示，曲线骨架的骨架结点对应关系的建立后状态，图4中， 点表示骨架结点，线段表示不同曲线骨架结点之间的对应关系。步骤S40，根据该曲线骨架的骨架结点的对应关系配准骨架序列。具体包括选择一个参考帧，获取除参考帧外的其他帧中曲线骨架的骨架结点与参考帧中曲线骨架的骨架结点的对应关系，并将所有曲线骨架变换到参考姿势，根据参考姿势配准骨架序列。选择一个参考帧后，对除参考帧外的其它任意帧，计算骨架结点的拉普拉斯坐标，然后传递结点的对应关系，得到该帧骨架结点与参考帧曲线骨架的骨架结点的对应关系，再使用全局拉普拉斯变换将所有骨架变换到参考姿势，同时在变换的过程中，保持骨架结点的拉普拉斯坐标尽量不变，对应的骨架结点尽量变换到同一目标位置上。如图5所示，直接从时变点云数
8据中提取的曲线骨架序列并不具有一致的拓扑结构，且还存在噪声和缺失。如图6所示为骨架序列的传递，途中箭头边上骨架结点的对应关系，这些对应关系并不具有传递性，但所有对应的结点尽量变换到同样的位置。步骤S50，根据配准的骨架序列计算一致骨架序列。在一个实施例中，如图7所示， 步骤S50具体包括以下步骤步骤S500，对所有变形的曲线骨架的骨架结点进行均值平移聚类处理，将骨架结点分为不同的类，并移至每个类的中心，构建新的曲线骨架。其中，均值平移聚类是指每个结点对于临近范围的其他结点有吸引力，吸引周围的结点朝自己靠近，当影响力达到平衡时，相邻的结点会移到同一位置，它们属于同一类。步骤S510，从构建的新的曲线骨架中获取为锚点的骨架结点。将新的骨架视为无向图，图中每个结点的代价为结点对应的类的数目的负值，如一个类中包含骨架结点数为 10个，则该结点的代价为-10。当类中的结点数量大于帧数的一半或指定的某值时，该结点为锚点。步骤S520，根据获取的任意两个直接相连的锚点的最短路径组成一致骨架。从无向图中计算包含锚点且代价最小的子树，该子树为一致骨架。计算最小生成树来决定锚点的连接关系。在最小生成树中，如果结点的度大于2，且与2个以上的锚点之间相连(路径中无其他锚点)，则该结点也为锚点。这样锚点之间的路径较多，两个任意直接相连的锚点选择最短的路径，将这些路径拼接组成了一致骨架。步骤S530，根据一致骨架与配准的骨架序列之间的对应关系得出一致骨架序列。 使用一致骨架与配准的骨架序列的对应关系，在旋转拉普拉斯坐标后，使用拉普拉斯变换， 依次将一致骨架变换到其它帧，得到一致骨架序列。如图8所示为一致骨架的计算，图中81 为利用骨架结点的对应关系把曲线骨架变换到同一姿势的曲线骨架系列，82为对曲线骨架结点聚类得到新的骨架，83为根据权重去掉噪声后得到一致骨架。步骤S60，根据一致骨架序列提取运动数据，且根据一致骨架序列和运动数据配准并补全点云数据。依次绑定每帧点云和骨架，在蒙皮变形模型中，表面网格/点云中每个点的运动由多段骨骼的运动来控制，计算骨架上每段骨骼对于点云中每个点的影响权重，采用温度法计算权重分布。再通过计算当前骨架变换到参考骨架的运动参数。该运动参数的计算首先选择根结点，再计算根结点的平移以及每段骨骼的相对旋转，从而得到该运动参数。然后，配准点云数据，将当前点云数据变换到参考帧后，基于最邻近关系和曲率建立结点的对应关系，以薄板样条(TPQ模型为形变模型，配准当前点云数据与参考点云数据。最后，将点云序列与参考点云配准后，得到新的点云数据，排除点部分密度过低的点以去掉噪声，再使用WDP技术对点云数据进行均勻采样，根据采样点云数据生成网格模型，将网格模型与一致骨架绑定，计算网格序列。这样重构的网格序列中包含结点的对应关系，方便用户对整个序列进行动作编辑、数据压缩等后续处理。在一个实施例中，如图9所示，步骤S60具体包括步骤S600，将一致骨架序列变换到原来提取曲线骨架的姿势获取新的曲线骨架。 将得到的一致骨架序列通过变换到原来提取曲线骨架的姿势，形成新的曲线骨架。如图 10所示为提取的曲线骨架与变形的一致骨架序列对比图，上部分为提取的马的曲线骨架序列，下部分为将一致骨架变形至原始姿势得到的骨架序列。
步骤S610，根据一致骨架序列提取的运动数据，将时变点云变换到同一参考姿势。 将获取的运动数据变换到同一参考姿势形成新的运动数据。步骤S620，配准同一参考姿势的不同点云得到完整的点云。将新的运动数据配准到同一参考姿势的不同点云得到各个完整的点云。如图11所示为点云配准结果，111为基于骨架变形后的点云，虽然全局姿势相同，但细节并不匹配，112为配准后的点云。如图12和图13所示为马和木偶的点云重建过程示意图。由图12和13可知，从左到右的各个部分分别为输入的马或木偶的时变点云序列；从每帧时变点云序列中提取得到的曲线骨架；从曲线骨架序列计算得到的一致骨架；将一致骨架变化到原来姿势得到的新的曲线骨架；基于一致骨架序列提取的运动数据，将时变点云变换到同一参考姿势； 配准同一姿势的不同点云得到的完整的点云。上述基于骨架配准的时变点云重建方法，采用提取的曲线骨架并建立骨架结点的对应关系，再计算得出一致骨架序列，根据一致骨架序列和运动数据配准并补全点云数据， 重建了新的点云，该方法无需借助精确的网格模版，通用性较强。一个实施例中，如图14所示，一种基于骨架配准的时变点云重建系统，包括获取模块10、提取模块20、构建模块30、处理模块40和点云重建模块50。其中，获取模块10获取运动物体时变点云序列，并将点云序列分成多个帧。通过三维扫描系统以10至30帧每秒的速度扫描运动物体，获取物体表面的运动数据序列，即时变点云序列。获取模块10还将获取的时变点云序列分成多个帧。提取模块20提取每帧点云序列中的曲线骨架。对于每帧点云，提取模块20利用 ROSA技术提取点云的曲线骨架。曲线骨架包括骨架结点以及骨架结点的连接关系。另外， 对曲线骨架重新采样，使得骨架结点平均分布，采样后的骨架结点数目为100左右。构建模块30建立相邻帧之间曲线骨架的骨架结点的对应关系。构建模块30建立对应关系的具体过程包括(1)生成曲线骨架的候选对应关系。随机选择一个骨架不同的起始搜索起点，基于图的深度优先搜索算法，得到骨架结点的有序排列，对另一个骨架，其搜索起始点为与搜索起点最相似的骨架结点。通过搜索算法得到骨架结点的有序排列后，使用隐式马尔可夫模型来建立两个有序节点序列的对应关系。( 从候选对应关系中选择相容的对应关系集合建立曲线骨架的骨架结点的对应关系。具体过程是(21)基于交互验证策略计算任意两个对应关系的相容度。两个对应关系(P(i， j)，P(k，h))的相容度由三部分决定Oil) i，k结点之间的路径长度与j，h结点之间的路径长度的相似度，该相似度由路径长度之比中较小值的最大值决定。i，k结点之间的路径长度和j，h结点之间的路径长度是变化的。路径i，k长度除以路径j，h长度之值和路径j，h长度除以路径i，k长度之值两者中的较小值。最大值是从较小值中所有可能路径比值中选择的最大值。(212) i，k结点之间的拓扑结构变化与j，h结点之间的拓扑结构变化的相似度。 该拓扑结构的变化等于选定路径上结点的度大于2的点的数目。相似度为拓扑结构变化之比，选择比值小于1的。(213) i，j结点形成的向量与j，h向量的夹角。另外，当相容度小于0. 4时，则认为这两个对应关系不能同时存在。(22)对任意两个对应关系的相容度进行打分。建立关系矩阵描述任意两个结点对应关系的相容性，矩阵的每项值由对应的两个结点的对应关系的相容度决定。该矩阵的最大特征值对应的特征向量的每项为某个结点对应关系的得分。(23)采用贪心算法从候选对应关系中选择相容度得分最高的对应关系，并从候选对应关系中删除该得分最高的对应关系，以及删除与该得分最高的对应关系不相容的对应关系。候选对应关系构成集合，使用贪心算法，每次从候选集中选择得分最高的对应关系， 并从候选集中排除与之不相容的对应关系。当判断候选对应关系为空或最高得分不大于0 时，停止选择，否则继续进行选择。处理模块40根据曲线骨架的骨架结点的对应关系配准骨架序列，并根据配准的骨架序列计算一致骨架序列。提取模块20还根据一致骨架序列提取运动数据。处理模块 40选择一个参考帧，获取除参考帧外的其他帧中曲线骨架的骨架结点与参考帧中曲线骨架的骨架结点的对应关系，并将所有曲线骨架变换到参考姿势，根据参考姿势配准骨架序列。 选择一个参考帧后，对除参考帧外的其它任意帧，计算骨架结点的拉普拉斯坐标，然后传递结点的对应关系，得到该帧骨架结点与参考帧曲线骨架的骨架结点的对应关系，再使用全局拉普拉斯变换将所有骨架变换到参考姿势，同时在变换的过程中，保持骨架结点的拉普拉斯坐标尽量不变，对应的骨架结点尽量变换到同一目标位置上。在一个实施例中，处理模块40还用于对所有变形的曲线骨架的骨架结点进行均值平移聚类处理，将骨架结点分为不同的类，并移至每个类的中心，构建新的曲线骨架，从构建的新的曲线骨架中获取为锚点的骨架结点，并根据获取的任意两个直接相连的锚点的最短路径组成一致骨架，再根据一致骨架与配准的骨架序列之间的对应关系得出一致骨架序列。其中，均值平移聚类是指每个结点对于临近范围的其他结点有吸引力，吸引周围的结点朝自己靠近，当影响力达到平衡时，相邻的结点会移到同一位置，它们属于同一类。当类中的结点数量大于帧数的一半或指定的某值时，该结点为锚点。点云重建模块50根据一致骨架序列和运动数据配准并补全点云数据。在一个实施例中，点云重建模块50还将一致骨架序列变化到原来提取曲线骨架的姿势获取新的曲线骨架，根据一致骨架序列提取的运动数据，将时变点云变换到同一参考姿势，并配准同一参考姿势的不同点云得到完整的点云。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
权利要求
1.一种基于骨架配准的时变点云重建方法，包括以下步骤 获取运动物体时变点云序列，并将点云序列分成多个帧； 提取每帧点云序列中的曲线骨架；建立相邻帧之间曲线骨架的骨架结点的对应关系； 根据所述曲线骨架的骨架结点的对应关系配准骨架序列； 根据配准的骨架序列计算一致骨架序列；根据所述一致骨架序列提取运动数据，且根据所述一致骨架序列和运动数据配准并补全点云数据。
2.根据权利要求1所述的基于骨架配准的时变点云重建方法，其特征在于，建立相邻帧之间曲线骨架的骨架结点的对应关系包括以下步骤生成曲线骨架的骨架结点的候选对应关系；从候选对应关系中选择相容的对应关系集合建立曲线骨架的骨架结点的对应关系。
3.根据权利要求2所述的基于骨架配准的时变点云重建方法，其特征在于，从候选对应关系中选择相容的对应关系具体包括基于交互验证策略计算任意两个对应关系的相容度； 对任意两个对应关系的相容度进行打分；采用贪心算法从候选对应关系中选择相容度得分最高的对应关系，并从候选对应关系中删除所述得分最高的对应关系，以及删除与所述得分最高的对应关系不相容的对应关系；判断候选对应关系是否为空或最高得分是否小于等于0，若是，则停止，若否，则继续进行选择。
4.根据权利要求1所述的基于骨架配准的时变点云重建方法，其特征在于，根据所述曲线骨架的骨架结点的对应关系配准骨架序列具体为选择一个参考帧，获取除参考帧外的其他帧中曲线骨架的骨架结点与参考帧中曲线骨架的骨架结点的对应关系，并将所有曲线骨架变换到参考姿势，根据所述参考姿势配准骨架序列。
5.根据权利要求4所述的基于骨架配准的时变点云重建方法，其特征在于，所述将所有曲线骨架变换到参考姿势的具体步骤包括采用全局拉普拉斯变换将所有曲线骨架变换到参考姿势。
6.根据权利要求4所述的基于骨架配准的时变点云重建方法，其特征在于，根据配准骨架序列计算一致骨架序列具体包括对所有变形的曲线骨架的骨架结点进行均值平移聚类处理，将骨架结点分为不同的类，并移至每个类的中心，构建新的曲线骨架；从构建的新的曲线骨架中获取为锚点的骨架结点；根据获取的任意两个直接相连的锚点的最短路径组成一致骨架；根据一致骨架与配准的骨架序列之间的对应关系得出一致骨架序列。
7.根据权利要求1所述的基于骨架配准的时变点云重建方法，其特征在于，根据所述一致骨架序列和运动数据配准并补全点云数据具体包括将一致骨架序列变换到原来提取曲线骨架的姿势获取新的曲线骨架； 根据所述一致骨架序列提取的运动数据，将时变点云变换到同一参考姿势；配准同一参考姿势的不同点云得到完整的点云。
8.一种基于骨架配准的时变点云重建系统，其特征在于，包括获取模块，获取运动物体时变点云序列，并将点云序列分成多个帧；提取模块，提取每帧点云序列中的曲线骨架；构建模块，建立相邻帧之间曲线骨架的骨架结点的对应关系；处理模块，根据所述曲线骨架的骨架结点的对应关系配准骨架序列，并根据配准的骨架序列计算一致骨架序列；所述提取模块还根据所述一致骨架序列提取运动数据；点云重建模块，根据所述一致骨架序列和运动数据配准并补全点云数据。
9.根据权利要求8所述的基于骨架配准的时变点云重建系统，其特征在于，所述构建模块还用于生成曲线骨架的骨架结点的候选对应关系，并从候选对应关系中选择相容的对应关系集合建立曲线骨架的骨架结点的对应关系。
10.根据权利要求9所述的基于骨架配准的时变点云重建系统，其特征在于，所述构建模块进一步用于基于交互验证策略计算任意两个对应关系的相容度，对任意两个对应关系的相容度进行打分，采用贪心算法从候选对应关系中选择相容度得分最高的对应关系，并从候选对应关系中删除所述得分最高的对应关系，以及删除与所述得分最高的对应关系不相容的对应关系，且当判断候选对应关系为空或最高得分不大于0时，停止选择，否则继续进行选择。
11.根据权利要求8所述的基于骨架配准的时变点云重建系统，其特征在于，所述处理模块还用于选择一个参考帧，获取除参考帧外的其他帧中曲线骨架的骨架结点与参考帧中曲线骨架的骨架结点的对应关系，并将所有曲线骨架变换到参考姿势，根据所述参考姿势配准骨架序列。
12.根据权利要求10所述的基于骨架配准的时变点云重建系统，其特征在于，所述处理模块采用全局拉普拉斯变换将所有曲线骨架变化到参考姿势。
13.根据权利要求10所述的基于骨架配准的时变点云重建系统，其特征在于，所述处理模块还用于对所有变形的曲线骨架的骨架结点进行均值平移聚类处理，将骨架结点分为不同的类，并移至每个类的中心，构建新的曲线骨架，从构建的新的曲线骨架中获取为锚点的骨架结点，并根据获取的任意两个直接相连的锚点的最短路径组成一致骨架，再根据一致骨架与配准的骨架序列之间的对应关系得出一致骨架序列。
14.根据权利要求8所述的基于骨架配准的时变点云重建系统，其特征在于，所述点云重建模块还将一致骨架序列变化到原来提取曲线骨架的姿势获取新的曲线骨架，根据所述一致骨架序列提取的运动数据，将时变点云变换到同一参考姿势，并配准同一参考姿势的不同点云得到完整的点云。
全文摘要
本发明涉及一种基于骨架配准的时变点云重建方法及系统，该方法包括以下步骤获取运动物体时变点云序列，并将点云序列分成多个帧；提取每帧点云序列中的曲线骨架；建立相邻帧之间曲线骨架的骨架结点的对应关系；根据所述曲线骨架的骨架结点的对应关系配准骨架序列；根据配准的骨架序列计算一致骨架序列；根据所述一致骨架序列提取运动数据，且根据所述一致骨架序列和运动数据配准并补全点云数据。上述基于骨架配准的时变点云重建方法及系统，采用提取的曲线骨架并建立骨架结点的对应关系，再计算得出一致骨架序列，根据一致骨架序列和运动数据配准并补全点云，重建了新的点云，该方法无需借助精确的网格模版，通用性较强。
文档编号G06T17/00GK102467753SQ201010532158
公开日2012年5月23日 申请日期2010年11月4日 优先权日2010年11月4日
发明者郑倩, 陈宝权 申请人:中国科学院深圳先进技术研究院