一种鲁棒的基于图卷积的点云表征学习方法与流程

本发明属于机器视觉和模式识别领域，在无人驾驶、机器人等领域有着重要的应用，尤其是涉及一种鲁棒的基于图卷积的点云表征学习方法。

背景技术：

点云表征学习在无人驾驶，机器人等三维视觉方向应用广泛。跟规则的图像信息不同，点云是稀疏无序的。目前的方法虽然有不错的性能，但当点云位移和尺度变化时，性能会显著下降，并且耗费时间较长。

机器学习算法的成功与否不仅仅取决于算法本身，也取决于数据的表示。数据的不同表示可能会导致有效信息的隐藏或是曝露，这也决定了算法是不是能直截了当地解决问题。表征学习的目的是对复杂的原始数据化繁为简，把原始数据的无效信息剔除，把有效信息更有效地进行提炼，形成特征，这也应和了机器学习的一大任务——可解释性。也正是因为特征的有效提取，使得今后的机器学习任务简单并且精确许多。

目前，对于点云表征学习主要还是集中在pointnet系列的方法，对点云数据的处理网络中，在点云没有噪声的情况下效果能够达到不错的效果，但是点云一旦有了噪声，性能就会显著下降很多，这在无人驾驶，机器人等实际应用中会存在诸多的隐藏隐患。

目前图卷积提取点云特征存在构建图花费时间太久的问题，大约80％的时间花费在构建图的过程中，这使得图卷积在点云上的应用变得十分局限，尤其是在大规模场景下，目前在三维目标检测中，图卷积在精度与其他方法接近的情况下，处理速度是其他方法的四倍以上，这样极大限制了图卷积在自动驾驶等方面的实际应用。

本发明提出的一种鲁棒的基于图卷积的点云表征学习方法不仅解决了图卷积构建图时的时间问题而且对于噪声具有很强的鲁棒性，有力地推动图卷积在点云表征学习的进一步发展。

技术实现要素：

本发明的目的在于提出一种鲁棒的基于图卷积的点云表征学习方法，该方法以图神经网络为基础，结合了无监督中的聚类算法、贪心算法等技术，较为准确的处理和学习三维点云的结构信息，该方法可以在不同场景下有效的进行工作。其采用如下方案：

s1、获取点云数据；

s2、对于点云数据进行体素化然后采用贪心算法进行下采样；

s3、基于采样完的点云进行图的构建；

s4、定义图卷积，然后提取构建出来图的特征；

s5、采用双流网络、注意力机制以及多尺度特征融合增强模型健壮性，最后得到训练完成的模型。

所述步骤s1中，对于点云数据的采集，对于模型采用随机采样，更好的维持模型原本的几何流形，目前主流的网络都需要对于点云数据进行统一坐标化处理，因此多一个噪声点就会对结果产生很大的影响，本发明在采集点云数据后可以直接使用数据，不用对其进行预处理。

所述步骤s2中，得到的点云进行体素化处理，每个体素内随机选取三个点云作为体素内所有点云的代表，通过贪心算法选取所有非空体素中，覆盖率最高的前m个，作为采样结束后的点云数据。

所述步骤s3中，对于采样结束后的点，步骤s2中选取的前m个体素，对于每个体素及其周围的邻居体素中的点云求一个重心，这个作为图的中心点，然后构建图。

所述步骤s4中，定义图卷积运算，图最大池化，三维图卷积核的形状和权重是可学习的，显示了从无序的点云描述局部拓扑结构的能力，能够观察和提取任意形状和大小的无序3d点云的结构信息。

所述步骤s5中，采用双流网络、注意力机制以及多尺度特征融合，使得网络能够观察和提取任意形状和大小的无序3d点云的结构信息。

本发明具有如下优点：

提出一种新的三维图形卷积网络深度学习模型，用于处理和学习三维点云的结构信息。我们的目标是得到可变形的三维核，其形状和权重在训练阶段是可学习的。此外，与标准cnn中的最大池操作类似，我们在网络中执行金字塔池化的图操作，以总结不同尺度下处理的特征。因此，我们的网络能够观察和提取任意形状和大小的无序3d点云的结构信息。在精度速度跟目前主流网络接近的程度下，具有更强的鲁棒性，能充分解决实际应用中存在的诸多隐患。对于提高自动控制效率，提高工业自动化程度，具有十分重要的意义。

附图说明

图1是本发明所构建的基于图卷积的点云表征学习网络模型示意图。图2是本发明所提出的方法整体流程。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

结合图1所示，一种鲁棒的基于图卷积的点云表征学习方法，包括如下步骤：

s1、获取点云数据

点云数据的采集，对于模型采用随机采样，更好的维持模型原本的几何流形，目前主流的网络都需要对于点云数据进行统一坐标化处理，因此多一个噪声点就会对结果产生很大的影响，本发明在采集点云数据后可以直接使用数据，不用对其进行预处理。

s2、对于点云数据进行体素化然后采用贪心算法进行下采样

通常情况下，点云数据数目是十分巨大的，因此对点云进行体素化，采用贪心算法，尽可能的选择点云覆盖率最高的体素，具体步骤如下：

s21、定义每个体素的大小(vx,vy,vz)，对于整个的点云数据进行体素化，左上角为坐标原点，以每个体素各方向大小为坐标点，对于每个点云进行体素坐标索引。

s22、在非空体素内，随机选取三个点云作为代表点，不足三个的有几个选几个，随机选取m个体素作为初始的采样后的中心点，采用贪心算法计算体素及周围邻居体素内点云数目覆盖率(当前选取体素及邻居中的点云数量/所有的点云数量)最高的体素，并记录体素索引。选择出所有的体素中本身及周围邻居覆盖率最高的前m个体素。

s3、基于采样完的点云进行图的构建

根据选择出的m个体素，对于每个体素及其邻居中的点云计算出重心，并把这个重心当成图的中心点，来进行图的构建。这样就避免了以往在构建图时，所有的点固定在原始数据的子集中，这样就构建了m个图,图的边权重全部采用两点之间的欧氏距离。

s4、定义图卷积，然后提取构建出来图的特征

本发明定义了一种全新的三维图卷积，卷积核k^s是一个可以变形的图，它的权重以及大小是可以学习的。我们定义每个三维图卷积核都有一个中心点，这个点定义为kc＝(0,0,0)，卷积核其他的点为k1,k2,k3,…,ks，卷积核的边数一开始是可以由我们定义的。我们对于卷积核每个向量权重定义为：w(k)∈r^d，因此在特征图运用权重运算相加就可实现卷积运算。因为卷积核与特征图点的数目与方向可能会不同，因此定义卷积核边的方向ks-kc＝ks,s＝1,2,…,s，现在卷积核被定义为{w(kc),(ks,w(kc))|s＝1,2,…,s}其中每个元素都是可以训练学习的。

使用定义的卷积核来对之前构建好的图进行卷积操作：

其中，表示第n个图的m个点，<>表示内积运算，

定义sim(pm，ks)：

这是计算图与卷积核之间余弦相似度，g()函数对每个卷积核支持点ks总结最大的sim(pm，ks)。

经过前面的定义，本发明的三维卷积运算可以表示为：

s5、采用双流网络、注意力机制以及多尺度特征融合增强模型健壮性，最后得到训练完成的模型。

上述方式中未述及的技术内容，采取或借鉴已有技术即可实现。需要说明的是，在本说明书的教导下，本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或明显变形方式。上述的变化方式均应在本发明的保护范围之内，理应受到本发明的保护。