基于图神经网络的户外场景点云配准方法与流程

本发明涉及一种基于图神经网络的户外场景点云配准方法。

背景技术：

点云配准方法在测绘行业的三维场景重建、机器人领域的实时建图与定位等有广泛应用。点云，也称为点集，是指在某个特定坐标系下的一组坐标点的集合。点云通常由点云扫描仪生成，常见的点云扫描仪有激光雷达、rgbd相机，此外双目相机通过立体视觉的方法也可以生成点云。给定一个目标点云和待配准点云，如何通过刚性变换使得待配准点云对齐至目标点云的过程，称为点云的配准。经过成功配准的两个点云将转换至同一坐标系下，且相同部分的点云将会相互重合。

在户外场景中，点云扫描仪通常只能扫描到在其周围可探测范围内的环境并生成相应的点云，而在同一环境的不同位置下扫描到的点云常常会有一定差别，这是由点云所在的坐标系的不一致、不同位置下探测到的环境的不一致以及点云的噪声造成的。当两个点云仅有部分重叠、且所在坐标系相差较远时，配准两个点云的难度较大。

总体上看，适用于户外场景的点云配准方法主要分为迭代最近点(icp)方法、基于概率拟合的方法和基于点云特征匹配的方法。迭代最近点法匹配待配准点云的各个点与其对应的目标点云中的最近点，求解刚性变换，并迭代多次直至两个点云相互重合。该方法对重叠度高、初始坐标系相近的点云配准效果较好，对于重叠度低、或初始坐标系相差较大的点云配准往往会陷入局部错误解。基于概率拟合的方法通常将目标点云转化为栅格化的概率分布，将点云的配准问题转化为概率的最大似然问题，由于概率栅格是由多个目标点拟合而成的，因此待匹配的点与目标点是一对多的匹配关系。该方法对点云的噪声、离群值鲁棒性较好，但无法解决初始坐标系相差较大的点云配准问题。基于特征匹配的点云配准方法试图寻找两个点云的局部特征，如点云的块状特征或者特征点，计算所选特征的描述符，将相似的特征进行匹配从而实现两个点云的配准，该方法可以适用于重叠度低、初始坐标系相差较远的点云配准问题，但如何合理地选取点云的局部特征以及用于匹配的特征描述符是基于特征匹配方法的难点。

技术实现要素：

本发明的目的在于提供一种基于图神经网络的户外场景点云配准方法。

为解决上述问题，本发明提供一种基于图神经网络的户外场景点云配准方法，包括：

s1.对目标点云进行地面点滤除，得到不含地面的点云cloud1，对待配准点云进行地面点滤除，得到不含地面的点云cloud2；

s2.对点云cloud1进行基于欧几里得距离的点云聚类，得到一组块状点云对点云cloud2进行基于欧几里得距离的点云聚类，得到另一组块状点云

s3.构建用于训练局部几何描述符网络、块状点云信息交互网络和描述符匹配网络的块状点云数据集；

s4.对块状点云进行正则化处理，得到对应的正则化后的块状点云块状点云的重心以及标准差对块状点云进行正则化处理，得到对应的正则化后的块状点云块状点云的重心以及标准差

s5.构建学习单个块状点云的局部几何描述符的图神经网络，基于单个块状点云的局部几何描述符的图神经网络，将每个正则化后的块状点和分别云映射为对应的d维的局部描述符向量；

s6.构建块状点云的信息交互网络，基于块状点云的信息交互网络，将每个块状点云对应的d维的局部描述符向量、重心和标准差与其他块状点云交互得到g维的匹配描述符；

s7.构建用于g维的匹配描述符的神经网络，使用最优传输模型求解匹配概率矩阵γ，根据所述匹配概率矩阵γ筛选置信度高的块状点云匹配对；

s8.在模型实际使用阶段使用随机采样一致性方法，以筛选出正确的块状点云匹配对关系，并根据匹配对关系求解两个点云的相对变换矩阵t，将相对变换矩阵t应用于待配准点云完成目标点云和待配准点云间的配准。

进一步的，上述方法中，所述步骤s1，包括：

输入原始目标点云和原始待配准点云使用随机采样一致性算法拟合每个点云的最大平面p1和p2作为地平面，并滤除地平面点云得到不含地面的点云α＞0。

进一步的，上述方法中，所述步骤s2，包括：

输入两个不含地面的点云cloud1和cloud2，使用基于欧几里得距离进行点云聚类算法分别对cloud1和cloud2进行聚类，得到两组块状点云和使两组块状点云和分别满足对于c＝1或c＝2，i≠j,有并且有β＞0为预设欧几里得距离阈值。

进一步的，上述方法中，所述步骤s7，包括：

使用自监督的方法生成用于块状点云匹配网络训练的数据集，其中原始的全局点云由激光建图生成，然后将全局点云地图按建图的时间顺序切分成若干个点云用于配准，且相邻的点云的重叠率为60％，以得到用于块状点云匹配网络训练的数据集；

对每个切分好的点云使用步骤s2中的欧几里得距离的点云聚类的方法进行点云聚类得到若干个块状点云，其中，两个点云的块状点云的对应关系由激光建图轨迹给出；

若两个聚类得到的块状点云在全局点云中的重叠率大于80％则认为两个块状点云是匹配的，得到两组块状点云之间的匹配关系mi,j表示块状点云对的匹配真值，1表示匹配，0表示不匹配。

进一步的，上述方法中，所述步骤s4，包括：

输入两组块状点云和其中seg＝[x1^t,…,xn^t]^t∈r^n×3，输出分别正则化后的两组块状点云和其中，正则化表示如下：

其中，

得到每个块状点云seg的重心标准差和正则化后的块状点云seg'＝[x′i^t，…,x′m^t]^t∈r^n×3。

进一步的，上述方法中，所述步骤s5，包括：

单个块状点云的局部几何描述符的图神经网络的输入为一个正则化的块状点云seg′∈r^m×3，输出为一个d维的局部描述符向量，其中，所述图神经网络由三层edgeconv卷积层、一层pooling池化层和三层多层感知机mlp组成，在相邻的神经网络层之间有leakyrelu激活函数层，分别定义为：

s401：edgeconv边缘卷积层是作用在由n个节点组成的图上的操作，每一层的图结构是根据当前层的特征向量之间的欧几里得距离构建的k最近邻图，图的节点对应着块状点云中的每一个点，每个点在每一层均有对应的特征向量edgeconv的卷积操作表达式如下：

其中，表示节点i的邻域，表示节点i在第l层的特征向量，θ和φ为待学习的权重参数，relu为激活函数；

s402：pooling池化层将n个点的特征向量的最大值和平均值串联成1个输出向量，表达式为：

进一步的，上述方法中，所述步骤s6，包括：

所述块状点云的信息交互网络的输入为两组块状点云分别对应的d维的局部描述符向量和两组块状点云分别对应的重心和和两组块状点云分别对应的标准差和输出为两组块状点云分别对应的匹配描述符和所述块状点云的信息交互网络包括特征编码层、3层点云内部的块状点云信息交互层和3层两点云间的块状点云信息交互层，其中，3层点云内部的块状点云信息交互层与3层两点云间的块状点云信息交互层交替地组成信息交互网络，分别定义为：

s501：块状点云的特征编码层的输入为单个块状点云的局部描述符di、重心mi和标准差σi，输出为d维的特征向量，特征编码层将重心mi和标准差σi串联为[mi^tσi^t]^t，经过4层mlp多层感知机层得到d维的中间向量yi，yi与di相加得到d维的特征向量zi；

s502：块状点云信息交互层为图神经网络，图的节点对应每个块状点云，每个节点在每一层均有一个特征向量，对于点云内部的块状点云信息交互层，每个节点的邻居为同一个点云内部其余块状点云对应的节点，对于两个点云间的块状点云信息交互层，每个节点的邻居为另一个点云内部所有块状点云对应的节点，每一层的信息交互层的表达式为：

进一步的，上述方法中，所述步骤s7，包括：

用于块状点云匹配描述符的匹配网络使用最优传输问题模型对匹配问题建模，其输入为匹配描述符和步骤为：

s601：构造匹配收益矩阵满足将匹配收益矩阵拓展为其中为待学习参数；

s602：构造最优传输问题，给定设求

subjectto

并使用sinkhorn算法求解

s603：在训练阶段已知两组块状点云之间的匹配关系mi,j表示块状点云对的匹配真值，1表示匹配，0表示不匹配，构造损失函数并进行反向梯度传播训练网络的各个权重参数；

s604：在推导阶段根据输出的匹配概率矩阵选取匹配概率大于一定阈值的匹配对(i,j)，得到候选匹配对candidates＝{(i1,j1),…,(ik,jk)}。

进一步的，上述方法中，所述步骤s8，包括：

在模型实际使用阶段使用随机采样一致性算法对候选块状点云匹配对进行筛选，随机对k个匹配结果进行n次采样，每次采样其中4个匹配对，根据4个匹配对的块状点云的重心求解两个点云间的变换矩阵t∈se(3)，并计算相对变换矩阵t(r,t)的匹配成绩预设阈值τ＞0，取n次采样中匹配成绩最好的相对变换矩阵t作为最终的相对变换矩阵，将最终的相对变换矩阵t应用于待配准点云完成目标点云和待配准点云间的配准。

本发明的有益效果在于：本发明使用图神经网络学习单个块状点云的局部几何特征，使用图神经网络实现两个点云间的块状点云特征的交互，赋予块状点云的特征描述符自身的局部几何信息以及与其他块状点云间的空间拓扑信息，弥补了人工设计的点云局部描述符无法描述点云特征的拓扑结构信息的缺陷，并提出基于图神经网络进行块状点云匹配实现点云配准的一整套方法流程，完成仅有部分重叠、初始坐标系相差较大的两个点云的精确、鲁棒配准。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

图1为本发明方法的步骤流程图；

图2为用于生成块状点云局部几何描述符的图神经网络结构图；

图3为用于生成块状点云匹配描述符的图神经网络结构图；

图4为根据最优传输问题对描述符匹配问题建模的神经网络结构图；

图5为户外街道场景的两个激光雷达点云间的块状点云匹配效果图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明是一种基于图神经网络的户外场景的点云配准方法，用以配准两个重叠度低、初始坐标系相差较大的户外场景点云，属于测绘、机器人等领域。该方法包括以下步骤：

s1.对目标点云和待配准点云进行地面点滤除，得到不含地面的点云cloud1和cloud2；

s2.对点云cloud1和cloud2进行基于欧几里得距离的点云聚类，得到两组块状点云和

s3.对块状点云进行正则化处理，得到两组正则化后的块状点云和两组块状点云的重心和以及标准差和

s4.构建学习单个块状点云的局部几何描述符的图神经网络，将每个块状点云映射为d维的局部描述符向量；

s5.构建两组块状点云之间的信息交互网络，将每个块状点云的d维局部描述符、重心与标准差与其他块状点云交互得到g维的匹配描述符；

s6.构建用于描述符匹配的神经网络，使用最优传输模型求解匹配概率矩阵γ，根据匹配概率矩阵γ筛选置信度高的块状点云匹配对；

s7.构建用于训练局部几何描述符网络、块状点云信息交互网络和描述符匹配网络的块状点云数据集；

s8.使用随机采样一致性方法筛选出正确的块状点云匹配对关系，并根据匹配对关系求解两个点云的相对变换矩阵t。

为使该方法得以清楚理解，用于神经网络训练的流程和神经网络实际使用时的步骤流程分别见图1和图2。

所述步骤s1中：输入原始目标点云和原始待配准点云使用随机采样一致性算法拟合每个点云的最大平面p1和p2作为地平面，并滤除地平面点云得到不含地面的点云α＞0为预设的点到平面的距离，具体数值可以为5cm，或视具体实施效果设置。

此外，输入点云为为轮式机器人做激光雷达的实时建图与定位所得，则可以根据激光雷达相对于地面的高度求得地面在激光雷达坐标系中的平面方程，并滤除每一帧点云中距离地面α的点，以达到地面点云滤除的目的。

所述步骤s2中，输入两个不含地面的点云cloud1和cloud2，使用基于欧几里得距离进行点云聚类算法对cloud1和cloud2进行聚类，得到两组块状点云和使其满足对于c＝1或c＝2，i≠j,有并且有β＞0为预设欧几里得距离阈值。

所述步骤s3中：使用自监督的方法生成用于块状点云匹配网络训练的数据集，原始的全局点云由激光建图生成，然后将全局点云地图按建图的时间顺序切分成若干个点云用于配准，且相邻的点云的重叠率为60％，对每个点云使用步骤s2中的欧几里得距离聚类方法进行点云聚类得到若干个块状点云，两个点云的块状点云的对应关系由激光建图轨迹给出，若两个块状点云在全局点云中的重叠率大于80％则认为两个块状点云是匹配的。在实际实施过程中，用于训练的两个待配准点云间可随机加入旋转和平移变换，以达到数据增强的目的。

所述步骤s4中，输入两组块状点云和其中seg＝[x1^t,…,xn^t]^t∈r^n×3，输出正则化后的两组块状点云和正则化表示如下：

其中，该步骤得到每个块状点云seg的重心标准差和正则化后的块状点云seg’＝[x′i^t,…,x′m^t]^t∈r^n×3。

所述步骤s5中，局部描述符神经网络的输入为一个正则化的块状点云seg′∈r^m×3，输出为一个d维的向量，图神经网络由三层edgeconv卷积层、一层pooling池化层和三层多层感知机mlp组成，在相邻的神经网络层之间有leakyrelu激活函数层，神经网络结构图见图2。各个神经网络层的分别定义为：

edgeconv边缘卷积层是作用在由n个节点组成的图上的操作，每一层的图结构是根据当前层的特征向量之间的欧几里得距离构建的k最近邻图，图的节点对应着块状点云中的每一个点，每个点在每一层均有对应的特征向量edgeconv的卷积操作表达式如下：

(i)表示节点i的邻域，表示节点i在第l层的特征向量，θ和φ为待学习的权重参数，relu为激活函数

pooling池化层将n个点的特征向量的最大值和平均值串联成1个输出向量，表达式为：

mlp多层感知机层由多层全连接网络构成，每层全连接层表达式为：

w和b为待学习的权重参数。

leakyrelu激活函数层的表达式为：

k∈(0,1)，一般取较接近0的正实数，在实际操作中可以取0.1。

所述步骤s6中，用于块状点云的信息交互网络的输入为两组块状点云的局部描述符和两组块状点云的重心和和两组块状点云的标准差和输出为两组块状点云的匹配描述符和块状点云的信息交互网络包括特征编码层、点云内部的块状点云信息交互层和两点云间的块状点云信息交互层，其中3层点云内部的块状点云信息交互层与3层两点云间的块状点云信息交互层交替地组成信息交互网络，神经网络结构图见图3。各个神经网络层的分别定义为：

块状点云的特征编码层的输入为单个块状点云的局部描述符di、重心mi和标准差σi，输出为d维的特征向量，特征编码层将重心mi和标准差σi串联为[mi^tσi^t]^t，经过4层mlp多层感知机层得到d维的中间向量yi，yi与di相加得到d维的特征向量zi。

块状点云信息交互层为图神经网络，图的节点对应每个块状点云，每个节点在每一层均有一个特征向量，对于点云内部的块状点云信息交互层，每个节点的邻居为同一个点云内部其余块状点云对应的节点，对于两个点云间的块状点云信息交互层，每个节点的邻居为另一个点云内部所有块状点云对应的节点，每一层的信息交互层的表达式为：

所述步骤s7中，用于块状点云匹配描述符的匹配网络使用最优传输问题模型对匹配问题建模，其输入为匹配描述符和步骤为：

s601：构造匹配收益矩阵满足将匹配收益矩阵拓展为其中为待学习参数。

s602：构造最优传输问题。特征向量的匹配问题可以类比于求解如何以最大的收益将集合x中的元素传递至集合y中。考虑有限集合和p和q分别为两个集合所在的空间。设集合x＝{x1,…,xm}，集合y＝{y1,…,yn}，给定传输收益函数：

设x与y之间的传输函数满足以下条件

目标是求x与y之间的最优传输函数使得：

如果将传输收益函数c和传输函数γ表示为矩阵形式，则上述问题可以转化为求：

subjectto

γ·1n＝mx(i)，

γ^t·1m＝my(ii)，

其中1n为由n个1组成的n维向量，(i)和(ii)一般被称为“质量守恒条件“。而在我们的块状点云匹配问题中，两组块状点云间的匹配问题可以转化为最优传输问题：γij表示和相互匹配的概率，cij表示和相互匹配所获得的收益。理想情况下，若x中的块状点云总能在y中找到对应的块状点云，则对应的匹配概率之和为1，可相应地构造质量守恒方程：

γ·1n＝1m，

同理质量守恒方程可构造为：

γ^t·1m＝1n，

然而在块状点云匹配问题中，由于两个点云cloud1和cloud2之间往往不是完全重合的，x中的块状点云有可能无法在y中找到对应的块状点云，因此我们为每个块状点云赋予一个额外的“无效匹配”选项，对应的概率称为“无效概率”，并相应地在最优传输问题中加入“无效匹配“的松弛项：

由于x中的“垃圾箱”可能对应着多个y中的无效块状点云，因此y中所有的块状点云都无效的概率之和最多为n：

同理

同时由于项不具有任何意义，可作为松弛项，因此上述不等式可松弛为等式：

关于的约束条件可最终整理为：

相应地匹配收益矩阵也引入了每个块状点云被判为无效的收益值。最后引入了“无效匹配”概念后的块状点云匹配问题转换为最优传输问题的形式如下：

给定设求：

subjectto

给定设求：

subjectto

针对该最优传输问题使用可微的sinkhorn算法求解

s603：在训练阶段已知两组块状点云之间的匹配关系mi,j表示块状点云对的匹配真值，1表示匹配，0表示不匹配，构造损失函数并进行反向梯度传播训练网络的各个权重参数；

s604：在推导阶段根据输出的匹配概率矩阵选取匹配概率大于一定阈值的匹配对(i,j)，得到候选匹配对candidates＝{(i1,j1),…,(ik,jk)}。

所述步骤s7的具体网络结构与最终的损失函数示意图见图4。

所述步骤s8中，使用随机采样一致性算法对候选块状点云匹配对进行筛选，随机对k个匹配结果进行n次采样，每次采样其中4个匹配对，根据4对块状点云的重心求解两个点云间的变换矩阵t∈se(3)，并计算变换矩阵t(r,t)的匹配成绩预设阈值τ＞0，实际操作中τ可以取2米。取n次采样中匹配成绩最好的变换矩阵t作为最终的变换矩阵，将最终的变换矩阵t应用于原始点云完成两个点云间的配准。

为了验证该方法对于重叠度不高、初始坐标系相差较大的点云配准问题的有效性，采用实际的街道场景的两个激光点云进行配准，配准结果见图5，其中左右分别为两个不同的点云，连线表示两个点云中成功匹配的块状点云。

本发明针对重叠度低、初始坐标系相差较大的户外场景点云配准问题，提供一种基于图神经网络的户外场景的点云配准方法，用以配准两个重叠度低、初始坐标系相差较大的户外场景点云。

本发明的有益效果在于：本发明使用图神经网络学习单个块状点云的局部几何特征，使用图神经网络实现两个点云间的块状点云特征的交互，赋予块状点云的特征描述符自身的局部几何信息以及与其他块状点云间的空间拓扑信息，弥补了人工设计的点云局部描述符无法描述点云特征的拓扑结构信息的缺陷，并提出基于图神经网络进行块状点云匹配实现点云配准的一整套方法流程，完成仅有部分重叠、初始坐标系相差较大的两个点云的精确、鲁棒配准。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。