一种非刚体三维形状对应点确定方法
【专利摘要】本发明涉及三维(3D)计算机视觉领域，尤其涉及一种非刚体三维形状对应点确定方法。本方法包括：源点云模型和目标点云模型的输入模块，粗配准模块，块发现模块，稀疏对应点生成模块以及稠密对应点生成模块。本发明通过以源点云模型和目标点云模型为数据源的处理通道，结合块分割的应用，实现了非刚体三维形状对应点的确定，提高了通用性、灵活性和自动化程度。
【专利说明】
_种非刚体三维形状对应点确定方法
技术领域
[0001]本发明涉及三维(3D)计算机视觉领域，尤其涉及一种基于块发现的非刚体三维形 状对应点的确定方法。
【背景技术】
[0002] 三维（3D)计算机视觉及其模式识别在医疗诊断，机器人，计算机图形学，电子游 戏，虚拟现实等领域都有着重要应用，而三维形状对应点匹配问题是一直是计算机视觉和 模式识别领域中的一个非常基本而又重要的工作，潜在的配准，姿势归一化等应用都依赖 三维形状对应点匹配。
[0003] 目前的形状对应点匹配研究多集中于二维领域，国内对二维领域的对应点匹配研 究较多，如公开号分别是CN201310331189.8，CN201310329752.8的专利。随着科学技术的发 展，三维（3D)计算机视觉渐渐普及，如申请号为201310674771.4的专利中提到一种三维形 状测量装置，通过将多种类型的图案的图案光投影到测量对象上并且捕获测量对象的图 像、来对测量对象的三维形状进行测量的三维形状测量装置，控制投影仪单元和图像捕获 单元，将第一图案的曝光量设置为大于第一图案之外的图案的曝光量用以提高精度。
[0004] 当被处理的三维模型具有对称性时，如何处理对称点之间对应关系交换问题，以 及如何处理不一致的部分模型数据以及高噪声点云模型数据、尤其是具有大变形的关节式 运动变形对象还有待进一步研究。
【发明内容】
[0005] 为了解决上述技术问题，本发明提供了一种基于块发现的非刚体三维形状对应点 确定方法。该测量方法包括以下步骤：
[0006] 粗配准，根据源点云模型和目标点云模型的三维局部特征对所述源点云模型和目 标点云模型进行粗配准；
[0007] 块发现，对源点云模型和目标点云模型实施分割处理，找到源点云模型的刚体最 大块以及目标点云模型的刚体最大块、不一致块，确定所述源点云模型和所述目标点云模 型之间的对应最大块、对应不一致块；
[0008] 稀疏对应点对生成，在所述源点云模型和所述目标点云模型之间的对应最大块和 对应不一致块之间，然后利用互搜索的方式构造初始对应点对，利用基于谱方法的图匹配 相容性检测剔除错误点，获取所述稀疏对应点对；
[0009] 稠密对应点生成，利用保长变形测地距离不变性对所述稀疏对应点对进行稠密 化，获得所述稠密对应点。
[0010] 优选地，所述粗配准步骤中所述源点云模型和所述目标点云模型之间是关节式运 动且有50%以上比例并未发生大的变形。
[0011]优选地，所述粗配准步骤中，所述三维局部特征为点云模型的快速点特征直方图 FPra描述子和曲率特征。
[0012] 优选地，所述粗配准步骤包括以下步骤：
[0013]局部邻域特征提取，提取源点云模型和目标点云模型的快速点特征直方图FPra描 述子和曲率特征；
[0014] 匹配点对构造，利用一对孤立点的快速点特征直方图FPFH特征向量的相似度进行 匹配点对构造；
[0015] 错误点去除，利用随机采样一致性RANSAC算法对错误点进行去除；
[0016]配准参数估计，求解数据点集之间刚性变换，获得配准参数。
[0017] 优选地，所述配准参数估计步骤中，数据点集之间刚性变换方法可以是四元数法， 正交矩阵法，奇异值分解法，以及对偶四元数法等方法中的一种。
[0018] 优选地，所述块发现步骤中，所述源点云模型的刚体最大块为经粗配准矩阵变换 的源点云模型与目标点云模型几何距离小于设定阈值的点集合经聚类分割后的最大块点 集合。
[0019]优选地，所述块发现步骤中，所述目标点云模型的刚体最大块为目标点云模型与 经粗配准矩阵变换的源点云模型几何距离小于设定阈值点云集合中经聚类分割方法后的 最大块点集合。
[0020] 优选地，所述聚类分割方法为欧氏聚类分割方法。
[0021] 优选地，所述块发现步骤中，所述源点云模型的不一致块点云集合为所述源点云 集合与所述源点云集合最大块点集合的差集进行欧氏聚类分割得到的点集合。
[0022] 优选地，所述块发现步骤中，所述目标点云模型的不一致块为目标点云集合与所 述目标点云集合中最大块点集合的差集进行欧氏聚类分割得到的点集合。
[0023]优选地，所述目标点云模型的不一致块利用测地线距离在目标点云模型上进行扩 展获取。
[0024]优选地，源点云模型和目标点云模型之间的对应不一致块的确定方法是通过利用 连通域与第一连通域的对应性，第一连通域与第二连通域的对应性，以及第二连通域与第 三连通域的对应性，从而得到连通域与第三连通域的对应性，进而得到源点云模型和目标 点云模型之间的对应不一致块。
[0025] 优选地，所述第一连通域为在源模型最大刚体块上构造的与源模型不一致块的连 通域。
[0026] 优选地，所述连通域为在源模型不一致块上构造的与源模型最大刚体块的连通 域。
[0027] 优选地，所述第二连通域为在目标模型最大刚体块上构造的与目标模型不一致块 的连通域。
[0028]优选地，所述第三连通域为在目标模型不一致块上构造的与目标模型最大刚体块 的连通域。
[0029] 优选地，通过连通域与第三连通域的对应性，得到所述源模型不一致块和对应目 标模型不一致块的对应性。
[0030]本发明的上述技术方案具有如下优点:本发明提供一种简单高效的对应点求解算 法，用块之间的连通性准确获取更多分布均匀的对应点对，并通过扩散核心对应点求得更 准确的稠密对应点，能够避免因为模型的对称性使得对称点之间对应关系交换的问题。另 外，本发明提供的方法能够对拓扑不一致的部分模型数据以及高噪声点云模型数据进行处 理，特别是对于具有大变形的关节式运动变形对象进行处理。
【附图说明】
[0031] 图1是本发明实施例提供的基于块发现的非刚体三维对应形状点确定方法的示意 图；
[0032] 图2是本发明实施例提供的基于块发现的非刚体三维对应形状点确定方法的具体 工作流程图；
[0033]图3(a)、图3(b)、图3(c)、图3(d)分别是本发明实施例提供的粗配准步骤中的四个 图像处理过程模型，分别为非刚体三维对应形状点确定方法的源点云模型和目标点云模 型、下采样的源点云模型和目标点云模型、特征匹配对应点以及源点云模型和目标点云模 型的粗配准结果；
[0034] 图4(a)、图4(b)分别是本发明实施例提供的块发现子系统中非刚体三维对应形状 点确定方法的源模型最大块和目标模型的最大块；
[0035] 图5(a)、图5(b)、图5(c)、图5(d)分别是本发明实施例提供的粗配准非刚体三维对 应形状点确定方法的目标模型上不一致块、对应的第一个对应的不一致块、不一致块初始 对应和不一致块粗配准；
[0036] 图6为本发明实施例提供的粗配准非刚体三维对应形状点确定方法的目标模型上 所有稀疏对应点；
[0037] 图7为本发明实施例提供的粗配准非刚体三维对应形状点确定方法的稠密对应点 结果。
【具体实施方式】
[0038]下面结合附图和实施例对本发明的【具体实施方式】作进一步详细描述。以下实施例 用于说明本发明，但并不用来限制本发明的范围。
[0039] 随着科学技术的发展，三维(3D)计算机视觉及其模式识别在医疗诊断，机器人，计 算机图形学，电子游戏，虚拟现实等领域都有着重要应用，而三维形状对应点匹配问题是一 直是计算机视觉和模式识别领域中的一个非常基本而又重要的工作。本发明提供的一种基 于块发现的非刚体三维对应形状点确定方法，结合块发现的应用，实现对非刚体三维对应 形状点的确定。
[0040] 如图1所示，本发明实施例提供了一种基于块发现的非刚体三维对应形状点确定 方法，该测量方法包括五个组成模块:输入模块S01，用于输入源点云模型和目标点云模型； 粗配准模块S02，用于根据源点云模型和目标点云模型的三维局部特征对源点云模型和目 标点云模型进行粗配准；块发现模块S03,用于对源点云模型和目标点云模型实施分割处 理，找到源点云模型和目标点云模型的刚体最大块、不一致块，确定源点云模型和目标点云 模型之间的对应最大块、对应不一致块;稀疏对应点对生成模块S04，在源点云模型和目标 点云模型的对应最大块和对应不一致块之间，然后利用互搜索的方式构造初始对应点对， 利用基于谱方法的图匹配相容性检测剔除错误点，获取稀疏对应点对;稠密对应点生成模 块S05,利用保长变形测地距离不变性对稀疏对应点对进行稠密化，获得稠密对应点。
[0041]进一步地，粗配准模块S02中源点云模型和目标点云模型之间是关节式运动且有 50%以上比例并未发生大的变形。其中，粗配准步骤中，三维局部特征为点云模型的快速点 特征直方图FPra描述子和曲率特征。其中，粗配准步骤包括以下步骤:第一步进行局部邻域 特征提取，提取源点云模型和目标点云模型的快速点特征直方图FPFH描述子和曲率特征。 第二步进行匹配点对构造，利用一对孤立点的快速点特征直方图FPFH特征向量的相似度进 行匹配点对构造。第三步进行错误点去除，利用随机采样一致性RANSAC算法对错误点进行 去除。第四步进行配准参数估计，求解数据点集之间刚性变换，获得配准参数。
[0042]在第四步配准参数估计中，数据点集之间刚性变换方法可以是四元数法，正交矩 阵法，奇异值分解法，以及对偶四元数法等能实现此功能的方法中的任意一种。
[0043]进一步地，块发现模块S03中，源点云模型的刚体最大块为经粗配准模块S02矩阵 变换的源点云模型与目标点云模型几何距离小于一定阈值的点集合经聚类分割后的最大 块点集合。其中目标点云模型的刚体最大块为目标点云模型与经粗配准矩阵变换的源点云 模型几何距离小于一定阈值点云集合中经聚类分割后的最大块点集合。其中，聚类分割采 用欧氏聚类分割方法。其中，源点云模型的不一致块点云集合为源点云集合与源点云集合 最大块点集合的差集进行欧氏聚类分割得到的点集合；目标点云模型的不一致块点云集合 为目标点云集合与目标点云集合中最大块点集合的差集进行欧氏聚类分割得到的点集合。 其中，目标点云模型的不一致块点云集合需要利用测地线距离在目标点云集合上对已经获 取的不一致块点云进行扩展，获取更加精确的目标点云模型的不一致块点云集合。
[0044]进一步地，源点云模型和目标点云模型之间的对应不一致块确定方法通过利用连 通域与第一连通域的对应性，第一连通域与第二连通域的对应性，第二连通域和第三连通 域的对应性，从而得到连通域和第三连通域的对应性。其中，第一连通域为在源模型最大刚 体块上构造的与源模型不一致块的连通域。其中，连通域为在源模型不一致块上构造的与 源模型最大刚体块的连通域。其中，第二连通域为在目标模型最大刚体块上构造的与目标 模型不一致块的连通域。其中，第三连通域为在目标模型不一致块上构造的与目标模型最 大刚体块的连通域。其中，通过连通域和第三连通域的对应性，得到源模型不一致块和对应 目标模型不一致块的对应性。
[0045] 图2为本发明实施例提供的基于块发现的非刚体三维对应形状点确定方法具体工 作流程图。在进行实施操作时包括以下步骤，执行步骤S1:用户通过输入源模型的源点云模 型数据Sd和目标模型Td的目标点云模型数据，得到人体源点云模型数据Sd和人体目标点云 模型数据Td的目标模型如图3(a)，本发明实例使用Xtion Pro获取的低精度高噪声的点云 数据。进而，执行步骤S2-S7进行非刚体三维形状对应点的获取，具体步骤为：
[0046] 步骤S2:启动粗配准模块进行粗配准参数估计，该模块以人体源点云模型数据Sd 和人体目标点云模型数据Td为输入，首先进行下采样如图3(b)，提取源点云模型数据Sd和目 标点云模型数据Td的快速点特征直方图FPra描述子和曲率描述子，经过点FPra特征相似度 和点曲率相似度的匹配后，可得到一组一一对应的初始匹配点对集合C，如图3(c)，采用随 机采样一致性RANSAC算法，对初始匹配点对数组进行再次过滤，对错误点进行剔除，最后利 用奇异值分解法对匹配点对C进行矩阵估计，得到刚体变换矩阵Xu，此处1表示当前迭代的 层次，定义迭代层数1 = 0时表示粗配准是针对下采样后的Sd和Td，下标i表示该层次不一致 块的序号，当1 = 0时不一致块就是整个模型。迭代层数1多1时粗配准的所需对应点是通过 刚体最大块和不一致块之间的连接性得到的，经过粗配准刚体变换后的人体源点云模型数 据Sd和人体目标点云模型数据Td如图3(d)所示。
[0047]步骤S3:启动块发现子系统模块，获取源点云模型数据Sd和人体目标点云模型数 据Td的对应最大块和对应不一致块。将源点云模型数据Sd的不一致块Su通过刚体变换矩阵 Xu变换到与人体目标点云模型数据Td同一坐标系下，得到S' u，1表示迭代的层级，i表示该 层级中需要处理的不一致块的标号，定义迭代层数1 = 0时表示粗配准是针对下采样后的Sd 和Td，获取S'u里与Td中距离最小的元素之间的距离符合小于3r的元素通过欧氏聚类之后 得到的集合，记为Gsu。
[0048] 其中第q个聚类定义为CSllq
[0049] ? ? ε ^ 0 J
[0050] Gs是S'u里与Td中距离最小的元素之间的距离符合小于3r的元素通过欧氏聚类之 后得到的集合，每个聚类是紧致连通的，r为点云的分辨率，由用户给出，cUskA)是两点之 间的欧氏距离Ks^S'u)表示在S'u上K近邻搜索得到的最近点。根据G冲聚类的大小，将 最大的聚类作为S'η的刚体最大块记为C sii*。
[0051] ^ (Clt- € ^ Ε %：}(2)
[0052] 在目标模型Td上采用同样的操作得到Cm*，利用测地线距离在Td上对Cm*进行扩 展，进而获得最终的目标模型上的对应块刚体最大块记为EC Tll*，这样使得其尽可能的包含 所有Csh*的对应点。
[0053] = e
[0054] 其中Gr(tj，Td)表示tj在Td测地距离小于50r的集合，最终利用Csii*和ECm*获取准 确率较高的稀疏对应点对，4(a)中最大聚类，即标签为亮度较高的区域为源模型上刚体最 大块，而4(b)中最大聚类，即标签为亮度较高的区域为目标模型上的刚体最大块。
[0055] 在源模型上Su-Csll*即为与X:不一致的集合，设将Su-Csll*进行欧氏空间聚类后的 结果为：
[0056] ；ss C： ^
[0057] 其中Nk(Sm，CS(1+1)ij)表示SWk近邻，这里只保留聚类的大小大于一定阈值d c_min的 聚类作为最终源模型上的不一致块。
[0058] 当迭代层级大于1时，粗配准估计Χα+1)1所用的对应点对是通过刚体最大块CSll*与 C S(1+叫之间的相邻关系而得到的。设在目标模型上对Tu-Cm*进行同样的操作以及利用测 地线距离在Td上对C T(1+1)lj进行扩展得到目标模型上的不一致块记为： f f就Vu"'少汉>此，…
[0060]如图5(a)所示为目标模型上的所有不一致块，其包含左右胳膊和左腿三个不一致 块。
[0061] 步骤S4:获取最大块和不一致块的对应性及配准，接下来获取源点云模型和目标 点云模型不一致块的对应关系和配准矩阵。首先，为了获取C SU+1W与Ctu+iHw之间的变换矩 阵Χα+m，在Cs(i+I)ij上构造与最大刚体块Csii*连通的区域
[0062] ? ^ .s/f ^ .(石）
[0063] 其中Gr(sm，Sd)表示测地距离小于一定阈值的集合，类似的操作在目标模型 上得到Ατα+m」。为了缩小搜索区域，并且避免对称性问题，需要利用聚类之间的连通性，找 出源模型上与目标模型上的不一致块的对应关系。在最大刚体块C sll*上构造与不一致块 Cs(i+i) j连通的区域。
[0064] ? ^ ^d) ^ ^ (7)
[0065] 类似的操作在目标模型上得到。然后在最大刚体块上 彼此的对应关系很容易找出，因为其基本是重合的，所以用％_』和重心基本 重合来判断它们之间的对应关系，因为BSkJ和的--对应性，从而得到 之间的对应性，如图5(b)所示，源和目标模型上的右胳膊为得到的第一 个对应的不一致块。
[0066] 下面用在刚体最大块上得到的对应点Κη来扩散为Asu+iUj寻找对应点： KUiu ^ ((^ tm)ism € Λ$ μ tm ^ argmin eK^(smt t)}
[0067] ' 、 (8)
[0068]其中兼容性错误em定义为：
[0069] =价祕"沒(_又沒m) ~~ 技參(9)
[0070] 通过上述过程，找到的对应点集合，如图5(c)，通过基于RANSAC的粗配准后，即可 得到不一致块&^^]和其对应的变换矩阵Χα+m之后，配准结果如图5(d)所示，然后可循环 进入1+1层迭代循环直到没有符合条件的不一致块。
[0071] 步骤S5:启动稀疏对应点获取子系统，在所述源点云模型和所述目标点云模型的 块之间，利用互搜索的方式构造初始对应点对，利用基于谱方法的图匹配相容性检测剔除 错误点，获取所述稀疏对应点对，如图6所示。
[0072] 步骤S6:启动稠密对应点子系统，本步骤在稀疏对应点的基础上，利用保长变形测 地距离不变的性质对对应点进行稠密化。本实例得到的稠密对应点如图7所示。
[0073] 本实施例中的非刚体三维形状以人为例，但并不以此为限，其他动物例如牛、马、 羊，猪等动物均可用本发明提供的基于块发现的非刚体三维形状点对应方法获取非刚体对 应点。
[0074]综上所述，本发明提供的是一种非刚体三维形状对应点确定方法，通过一种简单 高效的对应点求解算法，用块之间的连通性来获取更多且分布均匀的准确对应点对，并通 过扩散核心对应点求得更准确的稠密对应点，能够同时避免因为模型的对称性使得对称点 之间对应关系交换出现问题。另外，本发明提供的方法能够对拓扑不一致的部分模型数据 以及高噪声点云模型数据进行处理，特别是对于具有大变形的关节式运动变形对象。
[0075]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可 以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换； 而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和 范围。
【主权项】
1. 一种非刚体三维形状对应点确定方法，其特征在于，包括以下步骤： 粗配准，根据源点云模型和目标点云模型的三维局部特征对所述源点云模型和目标点 云模型进行粗配准； 块发现，对源点云模型和目标点云模型实施分割处理，找到源点云模型的刚体最大块 以及目标点云模型的刚体最大块、不一致块，确定所述源点云模型和所述目标点云模型之 间的对应最大块、对应不一致块； 稀疏对应点对生成，在所述源点云模型和所述目标点云模型之间的对应最大块和对应 不一致块之间构造初始对应点对，检测剔除错误点，获取稀疏对应点对； 稠密对应点生成，利用保长变形测地距离不变性对所述稀疏对应点对进行稠密化，获 得稠密对应点。2. 根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，所述稀疏对应 点对生成中构造初始对应点对使用互搜索方式。3. 根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，所述稀疏对应 点对生成中检测剔除错误点使用谱方法的图匹配相容性。4. 根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，所述粗配准中 三维局部特征为点云模型的快速点特征直方图FPH1描述子和曲率特征。5. 根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，所述粗配准包 括以下步骤： 局部邻域特征提取，提取源点云模型和目标点云模型的快速点特征直方图FPFH描述子 和曲率特征； 匹配点对构造，利用一对孤立点的快速点特征直方图FPFH特征向量的相似度进行匹配 点对构造； 错误点去除，利用随机采样一致性RANSAC算法对错误点进行去除； 配准参数估计，求解数据点集之间刚性变换，获得配准参数。6. 根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，块发现中的源 点云模型的刚体最大块为经粗配准矩阵变换的源点云模型与目标点云模型几何距离小于 设定阈值的点集合经聚类分割后的最大块点集合;块发现中的目标点云模型的刚体最大块 为目标点云模型与经粗配准矩阵变换的源点云模型几何距离小于设定阈值点云集合中经 聚类分割后的最大块点集合;块发现中目标点云模型的不一致块为目标点云集合与目标点 云集合中最大块点集合的差集进行欧氏聚类分割得到的点集合。7. 根据权利要求6所述的非刚体三维形状对应点确定方法，其特征在于，所述目标点云 模型的不一致块利用测地线距离在目标点云模型上进行扩展获取。8. 根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，源点云模型和 目标点云模型之间的对应不一致块的确定方法是通过利用连通域与第一连通域的对应性、 第一连通域与第二连通域的对应性、以及第二连通域与第三连通域的对应性，从而得到连 通域与第三连通域的对应性，进而得到源点云模型和目标点云模型之间的对应不一致块。9. 根据权利要求8所述的非刚体三维形状对应点确定方法，其特征在于，所述第一连通 域为在源模型最大刚体块上构造的与源模型不一致块的连通域;所述连通域为在源模型不 一致块上构造的与源模型最大刚体块的连通域;所述第二连通域为在目标模型最大刚体块 上构造的与目标模型不一致块的连通域;所述第三连通域为在目标模型不一致块上构造的 与目标模型最大刚体块的连通域。
【文档编号】G06T7/20GK106097324SQ201610395907
【公开日】2016年11月9日
【申请日】2016年6月7日 公开号201610395907.1, CN 106097324 A, CN 106097324A, CN 201610395907, CN-A-106097324, CN106097324 A, CN106097324A, CN201610395907, CN201610395907.1
【发明人】郭浩, 王可, 朱德海, 梅树立, 王庆, 陈洪, 刘威林, 高欣然, 蒋坤萍
【申请人】中国农业大学