一种果树树冠三维点云自动化配准方法及重构方法与流程

本发明实施例涉及图像处理技术领域，具体涉及一种果树树冠三维点云自动化配准方法及重构方法。

背景技术：

三维重构技术是计算机视觉技术中的关键技术，它利用计算机对真实目标场景进行数字化再现、分析和处理。场景的三维信息比二维图像信息更符合人类的视觉特性，真实目标场景的三维重构技术得到了越来越多的关注和应用。

基于三维激光扫描系统对目标物体进行三维建模需要大量的人工交互，且存在获取信息速率较慢、数据冗余和设备价格高昂等问题。基于体感相机的三维建模需要对目标物体进行人工拍摄，因设备和拍摄环境的不可控性，很难保证各幅点云图像保持同样或近似的视仰角、光照条件以及景深，对拍摄得到的点云数据进行配准以进行三维建模时，在同一配准方法和参数下，对不同点云对进行配准时精度差异较大，因此造成不同点云对配准参数各异、需人工反复调整尝试，图像配准效率较低、精度不能保证为最佳。

技术实现要素：

为解决现有技术点云配准中自动化程度低、精度不高的问题，本发明实施例提供一种果树树冠三维点云自动化配准方法及重构方法。

第一方面，本发明实施例提供一种果树树冠三维点云自动化配准方法，该方法包括：预设配准参数，按照预设规则进行迭代，优化所述配准参数，利用优化的所述配准参数进行点云配准；所述配准参数包括初配准参数、提纯匹配参数和精配准参数；其中，所述初配准参数为用于确定narf关键点的最小兴趣值、空间支持域以及用于计算narf关键点的fpfh特征值的搜索领域半径，所述提纯匹配参数为用于提纯和匹配narf关键点特征对应关系的距离偏差阈值，所述精配准参数为用于精配准点云的最大对应点距离和距离误差变化阈值；所述预设规则为配准效果评价指标，按照优先级顺序，所述配准效果评价指标包括narf关键点重叠率、narf关键点离散率及narf关键点距离误差；所述narf关键点重叠率为保障匹配关系提纯后具有足够内点数量的narf关键点个数；所述narf关键点离散率为narf关键点匹配关系提纯后内点之间的离散度；所述narf关键点距离误差为初步配准结果中对应narf关键点之间的欧式距离的均方根；其中，所述内点是指初配准过程中按照初配准模型匹配后计算出的距离误差满足预设条件的narf关键点；对初配准后得到的源点云与目标点云进行迭代精配准，在满足预设择优参数时，停止迭代，获得两片点云精配准结果。

第二方面，本发明实施例提供一种果树树冠三维点云自动化重构方法，该方法包括：利用本发明实施例所述的果树树冠三维点云自动化配准方法对相邻视角果树树冠三维点云两两精配准，保存中间转换矩阵，通过所述中间转换矩阵按一定顺序将所有点云转换到最后一个视角点云所在的空间坐标系，得到果树树冠三维点云；所述相邻视角点云，是指使用kinect采集果树三维点云数据过程中获得的两片点云重叠率不低于30％的相邻点云；所述中间转换矩阵是指从源点云空间变换到目标点云空间的配准转换矩阵。

本发明实施例通过预设的配准效果评价指标优化配准参数，可实现自动化的点云图像配准，克服了现有技术中同一配准参数无法适用于不同点云对配准的缺陷，大大提高了配准的精度，并且实现了全自动化，提高了两片点云的配准效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的果树树冠三维点云自动化配准方法流程图；

图2为本发明实施例提供的果树树冠三维点云自动化重构方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的果树树冠三维点云自动化配准方法流程图。如图1所示，所述方法包括：

步骤101、预设配准参数，按照预设规则进行迭代，优化所述配准参数，利用优化的所述配准参数进行点云配准；所述配准参数包括初配准参数、提纯匹配参数和精配准参数；其中，所述初配准参数为用于确定narf关键点的最小兴趣值、空间支持域以及用于计算narf关键点的fpfh特征值的搜索领域半径，所述提纯匹配参数为用于提纯和匹配narf关键点特征对应关系的距离偏差阈值，所述精配准参数为用于精配准点云的最大对应点距离和距离误差变化阈值；

所述预设规则为配准效果评价指标，按照优先级顺序，所述配准效果评价指标包括narf关键点重叠率、narf关键点离散率及narf关键点距离误差；所述narf关键点重叠率为保障匹配关系提纯后具有足够内点数量的narf关键点个数；所述narf关键点离散率为narf关键点匹配关系提纯后内点之间的离散度；所述narf关键点距离误差为初步配准结果中对应narf关键点之间的欧式距离的均方根；其中，所述内点是指初配准过程中按照初配准模型匹配后计算出的距离误差满足预设条件的narf关键点；

步骤102、对初配准后得到的源点云与目标点云进行迭代精配准，在满足预设择优参数时，停止迭代，获得两片点云精配准结果。

基于初配准后获得的源点云和目标点云，针对源点云中的每个点，在目标点云中找到离其最近、且距离小于精配准点云的最大对应距离的对应点组成点云变换点集；利用奇异值分解法计算点云变换点集中从源到目标之间的旋转变换矩阵和平移变换矩阵，并进行从源点云到目标点云的变换；按上述方法进行两次迭代后计算精配准点云的距离误差之差值，若大于精配准点云的距离误差变化阈值则继续迭代，直至满足精配准点云的距离误差变化阈值条件为止。

本发明实施例通过预设的配准效果评价指标优化配准参数，可实现自动化的点云图像初始配准，克服了现有技术中同一配准参数无法适用于不同点云对配准的缺陷，大大提高了配准的精度，并且实现了全自动化，提高了两片点云的配准效率。

进一步地，基于上述实施例，所述narf关键点离散率选取narf关键点y坐标的极差和z坐标的极差之和表示：

s＝|ymax-ymin|+|zmax-zmin|

其中，s表示所述narf关键点离散率，ymax和ymin分别为y坐标轴方向的最大值和最小值，zmax和zmin分别为z坐标轴方向的最大值和最小值。

所属narf关键点离散率为narf关键点匹配关系提纯后内点之间的离散度；由于果树三维点云采集时均使用kinect传感器以竖直方向为轴逆时针旋转拍摄，因此所述对应narf关键点离散率选取关键点y坐标的极差和z坐标的极差之和表示。

在上述实施例的基础上，本发明实施例通过引入narf关键点离散率来评价narf关键点之间的离散程度，避免了由于narf关键点过于集中造成对配准结果的误判；提纯后内点之间离散率越大，越能表现出点云整体的结构，点云配准效果越好。

进一步地，基于上述实施例，所述narf关键点距离误差用下式表示：

其中，d表示所述narf关键点距离误差，(xi,yi,zi)和(xi′,yi′,zi′)分别为初步配准后的两片点云中对应narf关键点的空间坐标，di表示两个对应narf关键点之间的距离，n表示采样narf关键点的数量，求和符号∑表示对两片点云中所有采样narf关键点对的距离平方求和。

所述narf关键点距离误差为初配准结果中对应narf关键点之间的欧式距离的均方根，而不是对应narf关键点之间的欧式距离均值；由于每次配准迭代均需计算该值，而且点云数量庞大，这样的设计能够最大程度上减少平方根计算的次数，同时又能够保障对应narf关键点之间的欧式距离均值也能够被很好地控制。

在上述实施例的基础上，本发明实施例通过引入narf关键点距离误差，实现了对配准效果的有效评价；narf关键点距离误差越小，对应内点之间的匹配精度越高，点云的配准效果越好。

进一步地，基于上述实施例，所述初配准参数的取值包括：所述空间支持域为0.05；所述最小兴趣值为0.4，所述最小兴趣值递减的预设步长为0.025；所述搜索邻域半径为0.07，所述搜索领域半径递增的预设步长为0.01，所述搜索领域半径预设阈值为0.15。

所述预设初配准参数的初始值根据大量的果树三维点云配准实验获得。经实验发现，在不同拍摄距离和角度下的点云需要设定不同的配准参数才能获得最优的配准效果。为了实现自动化配准，通过大量的实验研究了如何初始化参数和参数变化范围。

点云中某点的空间支持域的大小决定了narf关键点提取是否具有稳定性和区别性，空间支持域在0.05～0.3区间内时其值与计算narf关键点所花费时间成正相关，实验发现在空间支持域为0.04和0.05处花费时间最少，但由于支持域的值越小，narf关键点越偏向拐点，因此为了减少噪音的影响，同时提高提取narf关键点的稳定性，空间支持域预设为0.05。

最小兴趣值是从近边界点中选取narf关键点的决定性指标，近边界点兴趣值大于最小兴趣值的被选为narf关键点。当支持域一定时，最小兴趣值越大，narf关键点数越少。实验发现，最小兴趣值为0.4时，可稳定获得较大值的narf关键点数且该narf关键点集中包含最具有稳定性和区别性的narf关键点，同时，在这个范围内最小兴趣值每增加或减小0.025，narf关键点数就会相应减小或增加约1/3，因此预设最小兴趣值递减步长为0.025；在narf关键点数未达到预期指标时，可将最小兴趣值按0.025递减直至满足需求。

领域搜索半径即fpfh特征值所描述的邻域大小，其选取是否合理，决定了fpfh描述子是否能够准确地对narf关键点所在局部空间的几何特征进行描述和区分。拍摄不同视角果树树冠时并未规定kinect传感器和树冠之间的距离，导致获取到的果树树冠点云体积存在一定的放大或缩小，由于kinect传感器的感应范围在0.4～3米之间，所以理论上特征值的最佳搜索半径也会在一定区间内浮动。实验发现，在空间支持域为0.05时，最佳领域搜索半径在0.07～0.15范围之内，当按照步长0.01递增搜索时，可较快发现理想narf关键点数的最优值，因此领域搜索半径的初值预设为0.07，阈值预设为0.15，递增步长预设为0.01。

在上述实施例的基础上，本发明实施例通过大量实验明晰了不同预设参数之间的相互作用规律并确定了最佳初配准参数预设值，解决了手动调整参数存在的费时费力、目测效果误差比较大等问题，为点云自动化配准算法的实现奠定了基础。适宜的空间支持域和最小兴趣值能够保障提取narf关键点的数量，并保障提取出的narf关键点集合中包含点云数据中最具有稳定性和区别性的点集，达到比较好的配准效果，提高初配准过程的效率；邻域搜索半径预设值给出了空间几何局部特征搜索的起始值以及搜索范围，为快速获得较为理想的narf关键点集合提供了支撑。

进一步地，基于上述实施例，所述按照预设规则进行迭代，优化所述配准参数，具体包括：构造配准效果评价指标结构体数组，预设所述narf关键点重叠率为150，按照预设步长迭代减小所述最小兴趣值，直至满足预设narf关键点重叠率；按照预设步长逐步增大所述搜索领域半径至预设阈值，期间不断获取并利用所述提纯匹配参数提纯匹配关系，获得多个空间转换模型及其narf关键点离散率和narf关键点距离误差，比较筛选得到最优所述初配准模型，并获得所述初配准模型下优化的所述配准参数。

构造配准效果评价指标结构体，具体包括：空间支持域、最小兴趣值、领域搜索半径、narf关键点特征对应关系的距离偏差阈值、narf关键点离散度、narf关键点距离误差、空间转换矩阵、最大内点数。

通过实验发现，当两片点云中的最小narf关键点达到150以上时，源点云进行空间变换后与目标点云相同部分的重叠程度较高，能达到比较好的初配准效果。

按预设参数初始化空间支持域、最小兴趣值、领域搜索半径、narf关键点特征对应关系的距离偏差阈值，搜索narf关键点并记录关键点数量，若narf关键点数量未达到150以上则最小兴趣值按0.025递减直至两片点云均满足关键点数量需求。按步长0.01递增领域搜索半径直至达到0.15，计算每个领域搜索半径下两片点云narf关键点特征值，并使用最邻近算法匹配源点云和目标点云的narf关键点，利用ransac算法提纯narf关键点匹配关系，去除重复匹配，获得narf关键点空间转换模型，统计该模型下满足所述narf关键点特征对应关系的距离偏差阈值条件的内点的数量，通过数次迭代获得每个邻域搜索半径下的最大内点数以及它所对应的空间转换模型，并计算它的内点y坐标的极差和z坐标的极差之和，计算内点距离误差，新建所述配准效果评价指标结构体，并将最大内点数及其所对应的相关数据保存到所述配准效果评价指标结构体数组。

遍历配准效果评价指标结构体数组，选择最优初配准效果。在数组中选取narf关键点离散度最大的子集，并在该子集中选取narf关键点距离误差最小的数组元素，该元素所对应的空间转换矩阵即为最优初配准模型。

在上述实施例的基础上，本发明实施例通过构造所述配准效果评价指标结构体构建了点云配准效果的评价体系，科学合理地量化了点云配准效果，实现了自动选取最优配准效果的点云匹配。通过预设所述narf关键点重叠率指标实现了预设参数优化，所述narf关键点重叠率又同时保障了足够的内点个数，个数越多，代表源点云进行空间变换后与目标点云相同部分的重叠程度越大；所述关键点离散率为narf关键点匹配关系提纯后内点之间的离散度，离散度越大，越能表现出点云整体的结构，点云配准效果越好；所述关键点距离误差为初配准结果中对应关键点之间的欧式距离，距离误差越小，对应内点之间匹配精度越高，配准效果越好。通过按照科学合理的预定规则进行比较并快速自动筛选获得了最优配准效果的点云初配准模型，实现了两片点云自动化配准。

进一步地，基于上述实施例，所述提纯匹配关系采用ransac方法实现；所述提纯匹配参数中所述用于提纯和匹配narf关键点特征对应关系的距离偏差阈值为0.02。

ransac算法通过迭代方式在大量包含噪声数据的样本中寻找包含最多内点的最优参数模型。随机抽取narf关键点对中的三个对应关系，计算出空间映射矩阵并对源narf关键点点云进行空间映射获得其在目标点云空间的坐标，对比映射后的源narf关键点与其对应关系中对应的目标narf关键点的距离偏差，统计满足narf关键点特征对应关系的距离偏差阈值条件的点对对数，即为内点数，不断迭代至满足理论迭代次数或最大迭代次数，即可获得最大内点数量及其对应的空间映射模型。实验表明，在narf关键点特征对应关系的距离偏差阈值设置为0.02时，可快速获得内点数较为理想的初配准模型，且此时最大迭代次数设置为1000即可，理论迭代次数表示为：

其中，k为理论迭代次数，该次数保证了在置信度p(设为0.99)的情况下能够得到正确的模型参数，t为内点个数，m为点云样本数据，m为随机抽取的最小样本数量，表示随机抽样全为内点时的概率。

在上述实施例的基础上，本发明实施例通过使用ransac提纯匹配关系算法能够有效地抑制了由噪声等原因造成的narf关键点特征的错误匹配，剔除错误匹配，提纯匹配关系，提高了求解两片点云之间的空间变换正确性，获得较为理想的初配准结果。narf关键点特征对应关系的距离偏差阈值的合理设置既保障了narf关键点匹配具有较高精度，也同时保证了算法具有较好的效率。

进一步地，基于上述实施例，所述对初配准后得到的源点云与目标点云进行迭代精配准，具体包括：

根据利用优化的所述初配准参数进行点云初配准后的初配准结果，再基于所述精配准参数利用icp算法进行迭代精确配准；所述预设择优参数是指预设的用于精配准点云的最大对应点距离和距离误差变化阈值；所述精配准点云的距离误差变化是指两次相邻迭代配准之后精配准点云的距离误差之差值；

所述精配准点云的最大对应点距离预设为0.07；所述精配准点云的距离误差变化阈值预设为10^-8；

所述精配准点云的对应点距离使用下式表示：

其中，(x,y,z)和(x′,y′,z′)分别为精配准后的两片点云中对应点的空间坐标，d表示两个对应点之间的距离；

所述精配准点云的距离误差变化的计算方法如下：

v＝|lm-lm-1|

其中，l表示两片精配准点云的距离误差，(xl,yl,zl)和(xl′,yl′,zl′)分别为精确配准后的两片点云中对应点的空间坐标，dl表示两个对应点之间的距离，n表示点云中点对的数量，求和符号∑表示对两片点云中所有对应点对的距离平方求和；m表示当前迭代次数，v表示两片精配准点云的距离误差变化，由第m次迭代与第m-1次迭代的精配准点云的距离误差之差决定。

初配准后点云之间能够获得较好的空间关系，此时ransac获取的模型内点误差可以保持在0.02以下。最大对应点距离的设置是为了快速找到两片点云中的对应点，经实验发现，经过本实施例中初配准可为精配准提供理想位置的两片初始点云，当最大对应点距离预设为0.07，精配准点云的距离误差变化阈值预设为10^-8时，通过2次icp算法迭代即可获得较高精度的点云配准结果。

icp算法基于初配准后获得的源点云和目标点云，针对源点云中的每个点，在目标点云中找到离其最近、且距离小于精配准点云的最大对应距离的对应点组成点云变换点集；利用奇异值分解法计算点云变换点集中从源到目标之间的旋转变换矩阵和平移变换矩阵，并进行从源点云到目标点云的变换；按上述方法进行两次迭代后计算精配准点云的距离误差之差值，若大于精配准点云的距离误差变化阈值则继续迭代，直至满足精配准点云的距离误差变化阈值条件为止。

在上述实施例的基础上，本发明实施例通过最大对应点距离的合理设置有效减少了精配准过程中的错误对应点，提高了配准精度和配准速度。精配准点云的距离误差变化阈值越小则表示满足该要求的精配准模型的配准精度越高。在满足以上两个预设择优参数时，icp算法停止迭代，获得两片点云精配准结果，实现了较高精度的两片点云自动化配准。

图2为本发明实施例提供的果树树冠三维点云自动化重构方法流程图。如图2所示，所述方法包括：

步骤201、利用果树树冠三维点云自动化配准方法对相邻视角果树树冠三维点云两两精配准，保存中间转换矩阵，通过所述中间转换矩阵按一定顺序将所有点云转换到最后一个视角点云所在的空间坐标系，得到果树树冠三维点云；所述相邻视角点云，是指使用kinect采集果树三维点云数据过程中获得的两片点云重叠率不低于30％的相邻点云；所述中间转换矩阵是指从源点云空间变换到目标点云空间的配准转换矩阵。

其中，所述果树树冠三维点云自动化配准方法可以是任一本发明实施例所提出的果树树冠三维点云自动化配准方法。

实验发现，当果树树冠相邻两片点云重叠率不低于30％时，能够保障相邻两片点云中任一点云具有足够的narf关键点重叠率，为两片点云的精确配准以及整个树冠的精确配准提供数据基础。

果树树冠精确配准时，按点云顺序编号，设第1片点云为最后一个视角点云。将第2片点云通过初配准和精配准过程匹配到第1片点云空间，保留从第2片点云到第1片点云的变换矩阵；将第3片点云首先通过初配准和精配准变换到第2片点云空间，保留从第3片点云到第2片点云的变换矩阵，再从第2片点云空间中将第3片点云通过从第2片点云到第1片点云的变换矩阵变换到第1片点云空间。以此类推，直至第一个视角点云变换至第1片点云空间为止。

在上述实施例的基础上，本发明实施例通过提出相邻视角点云重叠率的前提条件保障了两片点云以及整个树冠的良好精确配准。将相邻视角点云经过两两精确配准后，保存中间转换矩阵，最后将所有点云通过多个中间转换矩阵按一定的顺序转换到最后一个视角点云所在的空间坐标系，保障了匹配误差被均匀分散到各个视角的点云中，削减了多次迭代引起的误差累积，实现了精确的果树树冠点云配准。

进一步地，基于上述实施例，所述通过所述中间转换矩阵按一定顺序将某片点云转换到最后一个视角点云所在的空间坐标系所用的点云精确配准变换矩阵用下式表示：

其中，f表示所述点云精确配准变换矩阵，mi,i-1表示从第i点云空间到第i-1点云空间的中间转换矩阵，n表示从某视角点云到最后一个视角点云的点云片数，求积符号∏表示对配准过程中所有中间转换矩阵求乘积。

当从第i点云空间转换到第i-1点云空间时，首先将第i空间点云变换到第i-1点云空间，即通过初配准和精配准的过程将第i片点云变换至第i-1片点云空间，此时mi,i-1即为其变换矩阵。同理，第i-1片点云需要通过同样的步骤变换至第i-2片点云空间，此时其变换矩阵为mi-1,i-2。则第i片点云即可借助变换矩阵mi-1,i-2变换至第i-2片点云空间，mi,i-1×mi-1,i-2为其变换矩阵。以此类推，直至将第i片点云变换至第1片点云空间为止，其变换矩阵即为f。

在上述实施例的基础上，本发明实施例通过设计f迭代表达式实现了任一空间点云到最终目标空间的匹配变换自动化算法，为果树树冠的点云匹配顺利进行提供了高效的算法保障。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的计算机设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。