一种基于目标物体空间点云特征的自动拼接方法与流程

本发明涉及一种基于目标物体空间点云特征的自动拼接方法，属于三维模型重构技术中的点云数据拼接技术。

背景技术：

点云拼接技术是计算机视觉领域研究的一个重要研究方向，在虚拟现实、文物保护、逆向工程、人机交互等领域都有广泛的应用。在数据采集的过程中，由于受到环境和设备本身的限制，需要从多个角度去采集某一模型表面的数据。为了得到完整的模型表面点云数据，我们要将不同角度获得点云数据通过坐标转换统一到同一摄像机坐标系下，这一过程叫做点云拼接。点云拼接技术是三维重建的关键问题，拼接的精度会影响模型重建的好坏。

现有的点云拼接技术可以概括为两类：

(1)基于标志点的自动拼接方法，该方法通过手动在被测物体表面设置标志点来辅助拼接。其拼接精度较高，但会破坏被测物体表面的真实三维数据，同时前期需要手动标点增加了测量时间，而且对于一些表面无法标记的物体不适用，限制了使用的范围。

(2)无标记点的自动拼接方法，最常见的无标记点拼接方法包括，迭代最近点算法(ICP)，基于几何特征的点云配准算法和基于纹理特征的配准算法。其中ICP(最近迭代点算法)算法对点云的初始位置要求较高，当点云的初始位置较大时拼接时会产生局部最优解，造成拼接失败。基于几何特征的点云配准算只适用于表面几何特征比较复杂的物体，无法实现形状简单或对称物体的点云配准。基于纹理的配准算法只适用于表面纹理丰富的物体，对于纹理单一的物体进行匹配时稳定性较差。

综上所述：现有的三维点云自动拼接方法都存在一定的局限性，尚不能满足实际应用的需要。因此需要一种基于目标物体空间点云特征的自动拼接方法，其能够实现源点云和目标点云最优配准。

技术实现要素：

本方法是一种基于目标物体空间点云特征的自动拼接方法，该方法具有相对较好的配准精度和收敛速度，且配准效率高。

本发明提供一种基于目标物体空间点云特征的自动拼接方法，包括如下步骤：

S10、获取待配准点云，利用扫描设备获取物体表面空间点云信息以获得待配准点云和目标点云。

S20、求解点云表面的法向量，并利用估计出的法线特征计算出该点与其k个领域点的空间差异，获得点云表面的FPFH特征描述子，利用FPFH可以创造出一个多维特征空间，可将来自同一个曲面的所有采样点分为一组，不同曲面的采样点被分配到不同组中；

S30、点云的初始配准，利用采样一致性初始配准算法对S20获取的点云特征信息进行匹配，去除错误的对应关系，完成初始配准；

S40、点云的精确配准，将S30的初始配准的结果作为输入，利用ICP算法进行精配准，ICP算法首先确定点云之间匹配关系并计算最优匹配，这样点云之间的匹配就是满足一定收敛条件的最优匹配。

优选地，S20、求解点云表面的法向量，包括如下步骤：

S201、求解点云表面的法向量近似可以用曲面在该点切平面的法线代替，对于点云表面一点p，坐标为(x,y,z)^T，其临近的k个邻域点为p_i，则其对应的协方差矩阵如下式所示：

q是p所有邻域点的质心，假设λ_n为矩阵C的特征值，v_n为其对应的特征向量，则有下式成立：

Cv_n＝λ_n式II

λ_n和v_n为协方差矩阵C的第n个特征值和特征向量，曲面某点的协方差矩阵反映了该点所在的表面的局部变化，而该点处的法向量可以通过求解协方差矩阵的最小特征值对应的特征向量来近似估计；

S202、求表面点云的法线特征，具体步骤如下：

S202.1、查找点云数据上某点的k个邻近点；

S202.2、构造协方差矩阵并计算其最小的特征值所对应的特征向量，特征向量的方向与法线的方向是在一条直线上的，因此曲面某点的法线朝向有两种情况，一种是与该特征向量的方向相同，另一种与特征向量的方向相反；

S202.3、对S202.1和S202.2求得的点云的法向量进行走向估计，由于同一帧点云数据的摄像机视点是相同的，且该视点信息被包含在采集的点云数据中。已知某一采集视点坐标，对于点云上任一点其局部的法向量为为数据点的个数)方向全都是视点方向，则有：

S202.4、对点云中所有点的法线进行一一校正，获得表面点云的法线特征；

S203、对S201和S202中求得的点云的法向量进行走向估计，由于同一帧点云数据的摄像机视点是相同的，且该视点信息被包含在采集的点云数据中；具体步骤如下：

S203.1、已知某一采集视点坐标，对于点云上任一点其局部的法向量为为数据点的个数)方向全都是视点方向，则有：

S203.2、对点云中所有点的法线进行一一校正，获得表面点云的法线特征；

S203.3、利用已估计出的点云法线特征，计算出该点与其k个领域点的空间差异，即点云的快速点特征直方图，利用FPFH其可创造出一个多维特征空间，可将来自同一个曲面的所有采样点分为一组，不同曲面的采样点被分配到不同组中；

S203.4、对于样本点p，查询其k邻域内所有临近点；

S203.5、对于点p邻域k中每对点p_s和p_t(s！＝t)和他们对应的估计法线n_s和n_t，定义一个UVW坐标来计算p_s和p_t以及他们对应的估计法线n_s和n_t之间的偏差：

用下面一组角度来表示估计法线n_s和n_t之间的偏差：

S203.6、对于每个查询点p_q，计算出该待求点与其所有邻域点之间的相对关系，记作SPFH(p_q)；

S203.7、重新确定每个点k邻域，然后由已计算出的SPFH特征，估计FPFH特征，如下式所示：

其中，w_i为第i个邻域点SPFH特征的加权值。1/w_i代表待求点与其第i个邻域点的距离值，用于评定点对(p_q,p_i)的关系。

优选地，S30中利用采样一致性初始配准算法(SAC-IA)将输入的两组点云进行初始拼接，得到两组初始特征点集。SAC-IA算法的具体步骤如下：

S301、从待配准点云P中选取n个采样点，采样点两两之间的距离大于预先设定的最小距离阈值d_min，这样是为了尽量保证所选择的点来自物体上不同的曲面，具有不同的FPFH特征。

S302、对于P中每一个采样点，在目标点云Q中寻找与P中该点具有相似FPFH特征的一系列点，P中的一个采样点在Q中有可能找到多个与之相似的点，采用随机选择的方式，从这些相似点中选取一个点作为待配准点云在目标点云中的一一对应点。

S303、计算从P中选取的n个采样点与各自在Q中寻找到的对应点之间的刚体变换矩阵，然后分别求解所有对应点变换后的“距离误差和”函数，来判断当前配准变换的性能。

优选地，S40将S30粗配准的结果作为输入，使用ICP(Iterative Closest Point)算法进行精配准，ICP算法首先确定点云之间匹配关系并计算最优匹配，这样点云之间的匹配就是满足一定收敛条件的最优匹配。

S401、假若粗配准后的源点云和目标点云分别为P’和Q’，对于源点云集P’中的每一点p_i，在目标点云集Q’中寻找与该点几何距离最近的点q_i，当作该点在目标点集之中的对应点，组成初始对应点对。

S402、在组成的初始点对中会含有一些错误的对应关系，剔除错误的对应点对。并用去除错误点对后的对应点集，作为ICP算法初始迭代的点集；

S403、利用点集对应关系计算刚体变换矩阵使目标函数的值最小，设定某一阈值ε和最大迭代次数N_max，计算两次迭代误差的差值。

S404、设定某一阈值ε和最大迭代次数N_max，计算两次迭代误差的差值e_i，其表达式如下：

e_i＝f_i-f_i-1 式X

S405、将S404求得的刚体变换作用于点云P’，得到新点云P”，

计算P”与目标点云Q’的距离误差值和两次迭代误差的差值。

S406、若两次迭代误差的差值小于设定的阈值ε或者当前的迭代次数大于设定的最大迭代次数N_max，则迭代终止，P”和Q’即为配准的结果。否则将源点云更新为P”，重复步骤S401-S405，直至满足收敛条件，完成点云拼接。

本发明的有益效果是：

相较于现有技术，本发明利用匹配特征点完成点云的初始拼接，并在去除了错误的对应点对且点云的目标函数精度达到要求时，对点云进行精拼接，可以快速、精确的对点云进行拼接，提高了拼接的效率，并且消除了拼接痕迹。

附图说明

图1为本发明的整体流程图。

图2为本发明两点之间的局部坐标系定义示意图。

图3为本发明点特征直方图的计算区域示意图。

图4为本发明快速点特征直方图的计算区域示意图。

具体实施方式

如图1-图4所示，一种基于目标物体空间点云特征的自动拼接方法，包括如下步骤：

S10、利用扫描设备获取目标物体表面的空间点云信息；

S20、求解点云表面的法向量，可以近似用曲面在该点切平面的法线代替，这就变成最小二乘法平面拟合估计的问题。

S201、对于点云表面一点p，坐标为(x,y,z)^T，其临近的k个邻域点为p_i，则其对应的协方差矩阵为：

q是p所有邻域点的质心。假设λ_n为矩阵C的特征值，v_n为其对应的特征向量。

Cv_n＝λ_n (2)

λ_n和v_n为协方差矩阵C的第n个特征值和特征向量。曲面某点的协方差矩阵反映了该点所在的表面的局部变化，而该点处的法向量可以通过求解协方差矩阵的最小特征值对应的特征向量来近似估计。

S202、构造协方差矩阵并计算其最小的特征值所对应的特征向量，特征向量的方向与法线的方向是在一条直线上的，因此曲面某点的法线朝向有两种情况，一种是与该特征向量的方向相同，另一种与特征向量的方向相反。

求解法向量的具体步骤如下：

S202.1、查找点云数据上某点的k个邻近点，有两种方法：一种是使用k-d tree搜索法查询最近的k个点，这种查询方法比较耗时而且计算繁琐；另一种相对来说效率要高，它是基于半径搜索的查找距目标点在半径r以内的点。本实施例采用后边一种方式，并利用查找的k个邻近点计算该点的法线特征；

S202.2、构造协方差矩阵并计算其最小的特征值所对应的特征向量，特征向量的方向与法线的方向是在一条直线上的，因此曲面某点的法线朝向有两种情况，一种是与该特征向量的方向相同，另一种与特征向量的方向相反。

S202.3、对S202.1求得的点云的法向量进行走向估计，由于同一帧点云数据的摄像机视点是相同的，且该视点信息被包含在采集的点云数据中。已知某一采集视点坐标，对于点云上任一点其局部的法向量为为数据点的个数)方向全都是视点方向，则有：

S202.4、对点云中所有点的法线进行一一校正，获得表面点云的法线特征。

S203、利用步骤S201和S202中估计出的点云法线特征，计算出该点与其k个领域点的空间差异，即点云的快速点特征直方图(FPFH)。利用FPFH可以创造出一个多维特征空间，可以将来自同一个曲面的所有采样点分为一组，不同曲面的采样点被分配到不同组中。

如图3所示，表示的是一个查询点P_q的PFH计算的影响区域，P_q在圆球的中间位置，圆球的半径为r，P_q的所有k邻元素(即与点P_q的距离小于半径r的所有点)全部互相连接在一个网络中。最终的PFH描述子通过计算邻域内所有两点之间关系而得到的直方图，因此存在一个O(k)的计算复杂性。

对于样本点p，查询其k邻域内所有临近点。

对于点p邻域k中每对点p_s和p_t(s！＝t)和他们对应的估计法线n_s和n_t，定义一个UVW坐标来计算p_s和p_t(如图2所示为两点之间的局部坐标系定义)以及他们对应的估计法线n_s和n_t之间的偏差：

用下面一组角度来表示估计法线n_s和n_t之间的偏差：

对于每个查询点p_q，计算出该待求点与其所有邻域点之间的相对关系，记作SPFH(p_q)；

重新确定每个点k邻域，然后由已计算出的SPFH特征，估计FPFH特征(如图4所示为快速点特征直方图的计算区域)。

其中，w_i为第i个邻域点SPFH特征的加权值。1/w_i代表待求点与其第i个邻域点的距离值，用于评定点对(p_q,p_i)的关系。

S30、云的初始配准，包括如下步骤：

利用采样一致性初始配准算法(SAC-IA)对步骤S20获取的点云特征信息进行匹配，完成初始配准，其步骤如下：

S301、从待配准点云P中选取n个采样点，为了尽量保证所采样的点具有不同的FPFH特征，采样点两两之间的距离应满足大于预先给定最小距离阈值d。

S302、在目标点云Q中查找与点云P中采样点具有相似FPFH特征的一个或多个点，从相似点中随机选取一个点作为采样点的对应点。S303、计算对应点之间刚体变换矩阵，然后通过求解对应点变换后的“距离误差和”函数，来判断当前配准变换的性能。此处的距离误差和函数多使用Huber罚函数表示，记为F(l_i)，其中：

上式中，m_l为一预先给定值。l_i为第_i组对应点变换之后的距离差。配准的目的找到一组变换，使得误差函数的值最小，此时的变换矩阵即为最终的配准变换矩阵。

S304、将步骤S301-S303获取到的变换矩阵对点云进行坐标变换，完成初始配准。

S40、点云的精确配准，包括如下步骤：

S401、将S304初始配准的结果作为输入，使用ICP(Iterative ClosestPoint)算法进行精配准，ICP算法首先确定点云之间匹配关系并计算最优匹配，这样点云之间的匹配就是满足一定收敛条件的最优匹配。对于源点云集P’中的每一点p_i，在目标点云集Q’中寻找与该点几何距离最近的点q_i，当作该点在目标点集之中的对应点，组成初始对应点对。

S402、在组成的初始点对中会含有一些错误的对应关系，剔除错误的对应点对。并用去除错误点对后的对应点集，作为ICP算法初始迭代的点集

S403、利用点集对应关系计算刚体变换矩阵使目标函数的f_i值最小。

设定某一阈值ε和最大迭代次数N_max，计算两次迭代误差的差值e_i。

e_i＝f_i-f_i-1 (10)

S404、将上一步求得的刚体变换作用于点云P’，得到新点云P”，计算P”与目标点云Q’的距离误差值和两次迭代误差的差值e_i。

S405、若e_i小于设定的阈值ε或者当前的迭代次数大于设定的最大迭代次数N_max，则迭代终止，P”和Q’即为配准的结果。

否则将获取到的坐标变换矩阵作用于源点云，源点云更新为P”，重复步骤，直至满足收敛条件。

以上所述为本发明的较佳实施例而已，参照以上实施方式对本发明进行了详细说明。本领域的技术人应当了解凡是不脱离本发明所公开的精神下完成的等效修改，都落入本发明保护的范围。