专利名称：3d点云序列中帧与帧之间对应关系的计算方法
技术领域：
本发明涉及计算机图形学中3D点云模型之间对应关系的计算方法。
技术背景
计算两个表面网格之间的对应关系是计算机图形学、几何模型处理、医学图像处 理等领域中的一个基础性问题。它的典型应用包括模型插值、属性迁移、表面补洞、对称性 分析、模型匹配以及表面变形追踪等。
已有的表面网格对应关系计算方法，大多是基于网格变形首先，通过某种策略得 到初始对应关系；然后，以该对应关系为依据，对网格进行变形，并度量变形误差。以上两步 反复迭代，直到变形误差收敛。大多数的工作都假设两个模型之间的形变很小，从而可以使 用低频变形模式；而对于大尺度形变的模型，就要采用更为复杂的变形模式。寻找对应关系 的策略主要是ICP算法。这是一种贪心算法，通过查找最近点(一般使用嵌入空间的度量) 来建立对应关系。
例如，Alien等人、Bronstein等人、Huang等人、Pauly等人的工作中均使用了非 刚性ICP算法。特别是Huang等人采用巧妙的变形和对应关系建立策略，解决了大尺度非 刚性变形模型的对应关系计算。
随着扫描技术的发展，数字几何模型获取技术可处理动态对象，它从实物出发，由 不同时刻的采样数据生成不断变化的三维点云序列。本方法处理的模型主要是3D点云序 列，目标是在相邻的两个模型之间建立鲁棒的对应关系。本方法基于深度域SIFT特征描述 符，它具有以下两个优点1)SIFT特征点对于旋转、缩放和视角的微小变动均具有不变性； 2)对于每个模型，特征点的数量都相当可观，从而有利于从中找到更多正确的对应关系。发明内容
本发明要解决的技术问题是提供一种3D点云模型之间对应关系的计算方法，使 得3D点云序列的注册成为可能，而且满足执行的时限要求。
本发明的计算方法具体步骤是
第一步，对点云模型序列进行重建得到网格模型序列。
当前点云重建技术已经非常成熟，本发明使用方法是泊松重建。
第二步，生成网格模型的深度域灰度图像。
因为SIFT算法处理的对象是2D灰度图像，所以需要通过投影变换，将3D表面网 格模型转换为深度域灰度图像。
步骤1，视线校准。由于3D点云模型并没有保存摄像机的位置信息，所以为了能够 最大限度的利用模型表面的细节信息，需要通过视线校准来得到摄像机的原始位置。
视线校准算法基于以下两个基本事实
摄像机的视线方向与网格模型上每个顶点的法向的夹角均不小于90度。
摄像机的视线方向与网格模型上每个三角面片的法向的夹角均不小于90度。
基于以上两个事实还不能够直接得到真正的唯一的视线方向。
步骤2，投影。选取与视线方向d垂直的平面作为参数域，即可得到网格M的参数 化表示D(u，ν)。由于SIFT特征描述符对于旋转具有不变性，因此u，ν坐标轴的选取可以任意。
在参数域上进行重采样，即可得到网格M的深度域图像。
图2是本发明第二步生成的深度域图像。分以下两步来确定视线方向。
1)令视线方向与所有顶点的法向内积之和的绝对值最大。
满足事实1的情况下，令视线方向为Cl1，贝U Cl1与每一个顶点的法向Iii的内积〈屯， > 均为负值。令一冬！^冬！!,，这时军〈+,11,〉= -〈dp^>,〉取得最大值。
2)将网格模型沿视线方向垂直投影，令网格模型的投影面积最大。
网格模型上每个三角面片的面积为Si,法向为战。满足事实2的情况下，令视线方 向为d2，则投影面积为
S =-YS,(n d2) = —Σ〈5>^2〉=—〈炉《〉.
当SS叫时，投影面积取得最大值。
本发明中，视线方向定义为d = αΑ+β^其中α = β = 0.5。
第三步，计算SIFT特征描述符。本发明使用SIFT特征提取算法来计算SIFT特征 点。这种特征点对缩放和旋转具有不变性，并且具有极好的独特性，使得可以在包含海量特 征点的数据库中，以很高的概率得到准确匹配。以下是该算法的四个主要步骤。
步骤1，缩放尺度空间极值计算。通过搜索所有缩放尺度下图像上的位置点，利用 高斯微分函数来确定对缩放和朝向具有不变性的候选特征点。相关研究指出，在一些合理 的假设前提下，高斯函数是唯一可能的缩放尺度空间的核函数，因此可以将缩放尺度空间 定义为L(x，y，。)，它由可变尺度高斯核G(x，y，σ)和输入图像I(x，y)进行卷积运算得 到
L(x,y, σ) =G(x, y, σ )*I (x，y)，其中σ(χ，},σ) =。 πσ
通过计算两个相邻缩放尺度的差值可以得到高斯微分函数
D(x, y, σ )
= (G (χ, y，k σ ) -G (x，y，σ )) *I (χ, y)
= L (χ, y, k σ ) -L (χ, y, σ )。
从而可以用来计算缩放尺度空间的极值。将每个像素点与其沈个邻居像素点进 行比较，就可以判断出该像素点是否是缩放尺度空间的极值点。
步骤2，特征点精确定位。通过将每个像素点与其所有的邻居像素点进行比较得到 候选特征点之后，进一步的筛选得到对噪声更为健壮的特征点集合。
高斯微分函数D(x，y，σ)在采样点处的Taylor展开式为/)(1) = /) + ^^ + ^7" ;^其中，χ = (X，y，σ)τ是相对于采样点的偏移量。该函数求导后令其等于零可以得到极值点的位置i = -，f。在极值点处的函数值
权利要求
1.3D点云序列中帧与帧之间对应关系的计算方法，其特征在于该方法具体步骤为 第一步，对点云模型序列进行重建得到网格模型序列；第二步，生成网格模型的深度域灰度图像； 第三步，计算SIFT特征描述符； 第四步，建立特征点之间初始的对应关系； 第五步，精化对应关系。
2.根据权利要求1所述的3D点云序列中帧与帧之间对应关系的计算方法，其特征在于 生成网格模型的深度域灰度图像的具体步骤为步骤1，视线校准；步骤2，投影，选取与视线方向d垂直的平面作为参数域，即可得到网格M的参数化表示 D(u, ν) ο
3.根据权利要求1所述的3D点云序列中帧与帧之间对应关系的计算方法，其特征在于 计算SIFT特征描述符的具体步骤为步骤1，缩放尺度空间极值计算，通过搜索所有缩放尺度下图像上的位置点，利用高斯 微分函数来确定对缩放和朝向具有不变性的候选特征点；步骤2、特征点精确定位，通过将每个像素点与其所有的邻居像素点进行比较得到候选 特征点之后，进一步的筛选，得到对噪声更为健壮的特征点集合；步骤3、方向指派，根据图像的局部特征，为每一个特征点指派一个固定的方向，之后的 特征描述符就以该方向为基础进行表示，从而使得特征描述符可以对旋转具有不变性。
4.根据权利要求1所述的3D点云序列中帧与帧之间对应关系的计算方法，其特征在于 建立特征点之间初始的对应关系的具体步骤为步骤1，反投影，通过反投影得到特征点的空间位置，然后利用kd-Tree找到网格模型 中距离该空间位置最近的顶点，并将参数域上特征点的SIFT描述符与该顶点关联，得到网 格顶点索引集合的子集，称为特征点索引集合；步骤2，SIFT特征描述符匹配，对于两个网格模型M1和M2,分别得到其特征点索引集合 F1和F2,通过在F1和F2中寻找具有相似特征描述符的顶点来建立初始的对应关系。
5.根据权利要求1所述的3D点云序列中帧与帧之间对应关系的计算方法，其特征在于 精化对应关系的具体步骤为步骤1，谱裁剪，通过SIFT特征描述符向量空间上的方法剔除部分不正确的匹配关系， 通过测地距来进一步剔除不相容的对应关系，得到更为鲁棒的对应关系集合；步骤2，采用RANSAC算法生成最终的对应关系集合，具体过程为①以谱裁剪算法给出 的对应关系集合K'为初始集合，并用该集合的任意子集K/作为RANSAC算法的初始模 式；②接下来检查由SIFT特征匹配得到的所有的对应关系，如果该对应关系与初始模式 Kp'相容，就将其加入对应关系集合Kp ；③最后我们选择元素个数最多的集合Kp作为最佳 的对应关系集合K"。
全文摘要
本发明公开了一种计算3D点云序列中帧与帧之间对应关系的方法。通过将点云序列生成的网格模型序列进行投影变换生成深度域灰度图像序列，而后在图像序列上计算SIFT特征点来找到点云序列之间的对应关系，并采用谱裁剪对其进行精化，从而可以为相邻帧建立鲁棒的、数量可观的对应关系。
文档编号G06T19/00GK102034274SQ20101058121
公开日2011年4月27日 申请日期2010年12月10日 优先权日2010年12月10日
发明者党岗, 周竞文, 姜巍, 方皓, 李俊, 李宏华, 李宝, 林帅, 田艳花, 程志全, 金士尧, 陈寅 申请人:中国人民解放军国防科学技术大学