一种基于多通道特征提取的点云数据处理方法、系统和计算机设备

本发明属于点云数据智能分析，尤其涉及一种基于多通道特征提取的点云数据处理方法、系统和计算机设备。

背景技术：

1、随着人工智能和机器学习技术的飞速成发展，深度学习算法的应用，作为计算机视觉领域中重要的研究方向之一的目标点检测已广泛应用于自动驾驶、智能感知、机器人定位等产业领域。

2、3d点云数据作为自动驾驶、智能感知等应用场景的重要数据来源，提供了了原始的几何信息和丰富的形状比例信息，但是原始的3d点云数据中包括各种数据信息，需要从点云数据中分割出需要检测分析的部件，以更精准地提取所需部件的形状和结构信息。

3、现有的数据算法模型在进行3d点云数据的部件分割时，由于点云的坐标向量只有x、y、z三个维度，为了充分利用这三个维度，数据算法模型一般都是通过卷积对一个1×3的点云坐标进行升维，比如升维到1×1024，升维后可以提取更有用的特征从而判别当前点云的部件类别。而点云向量升维的同时也会带来另外一个问题：信息冗余。信息冗余会使得这个1×1024的点云向量的每个维度区分度不大(即每个维度的数值相差不大)，从而导致模型无法准确判别当前点云属于哪个部件。

4、更进一步地，在利用现有的pointnet++算法模型进行采样时，为单通道采样方式，特征采样所提取到的信息相对较少，在经过降采样操作时容易丢失细节信息，在卷积编码过程中不能很好提取多尺度特征，使得处理精度低、效率慢。

技术实现思路

1、为了克服现有技术的不足，本发明的目的在于提供一种基于多通道特征提取的点云数据处理方法、系统和计算机设备，主要用于解决现有技术中在对3d点云数据进行智能分析时，由于单通道采样和数据冗余导致的处理精度低、效率慢等缺陷。

2、为解决上述问题，本发明所采用的技术方案如下：

3、第一方面，本发明提供一种基于多通道特征提取的点云数据处理方法，包括：

4、采集3d点云数据，所述3d点云数据包括n组具有不同采样属性的点云子数据；

5、根据采样属性的数量，设定m个knn采样通道，每一所述knn采样通道对一组所述点云子数据进行特征提取，得到m个采样结果，将m个采样结果进行特征融合，拼接得到点云融合特征j，其中，m小于等于n；

6、结合m个降采样后的降采样结果，对点云融合特征j进行升采样处理得到长度为e的第一点云特征向量h；

7、对第一点云特征向量h进行特征增强，建立维度为e×e的可学习参数矩阵，将第一点云特征向量h与可学习参数矩阵相乘，通过可学习参数矩阵中的权重参数进行冗余数据削弱，得到第二点云特征向量w；

8、第二点云特征向量w经过卷积层l进行降维，经log softmax函数处理得到当前点云在不同采样属性下的概率分数，利用negative log-likelihood loss损失函数求得损失值，再反向传播更新权重参数；

9、输出对3d点云数据的基于多通道下不同采样属性的分割结果。

10、在一些实施例中，设定m个采样点，每个采样点具有不同采样属性，每个采样点对应一组相互独立或存在交集的点云子数据，m＝3；

11、针对第一采样点，在第一采样通道中，以第一采样点为中心，选取周围的16个单位点云作为第一点云子数据，用一维卷积把三维点云升维至64维，得到第一采样结果；

12、针对第二采样点，在第二采样通道中，以第二采样点为中心，选取周围的32个单位点云作为第二点云子数据，用一维卷积把三维点云升维至128维，得到第二采样结果；

13、针对第三采样点，在第三采样通道中，以第三采样点为中心，选取周围的128个单位点云作为第三点云子数据，用一维卷积把三维点云升维至128维，得到第三采样结果。

14、在一些实施例中，将第一采样结果、第二采样结果和第三采样结果依次拼接，经三层卷积层编码，升维到1024维，得到点云融合特征j。

15、在一些实施例中，设定一组具有e×e维度的可学习参数矩阵s、t、v，所述第一点云特征向量h包括第一子向量a、第二子向量b、第三子向量c；

16、将第一子向量a、第二子向量b、第三子向量c与s、t、v相乘，得到特征相关向量、特征抑制向量和信息向量，所述特征相关向量包括sa、sb、sc，所述特征抑制向量包括ta、tb、tc，所述信息向量包括va、vb、vc；

17、分别将每一特征相关向量sa、sb、sc与所有的特征抑制向量ta、tb、tc进行内积，得到对应的权重分数qa`、qb`、qc`，将权重分数qa`、qb`、qc`与对应的信息向量va、vb、vc加权求和，得到加权向量；

18、对加权向量进行批归一化和通过relu函数激活，将所有加权向量拼接成一个数据序列(a`，b`，c`)，得到第二点云特征向量w。

19、在一些实施例中，建立残差网络，将第一子向量a、第二子向量b、第三子向量c加入到数据序列(a`，b`，c`)中，得到第二点云特征向量w。

20、在一些实施例中，将点云融合特征j和降采样结果输入至两层级联的特征传播模块中，得到数据格式为512×128×2048的第一点云特征向量h；

21、其中，512表征第一点云特征向量h每次训练在训练集中取的训练样本个数，128表征第一点云特征向量h的维数，2048表征第一点云特征向量h的点云个数。

22、在一些实施例中，所述可学习参数矩阵s、t、v均由输入维度是128、输出维度是128的1×1卷积层来实现，利用信息向量va、vb、vc分别量化表征第一子向量a、第二子向量b、第三子向量c的重要特征，基于信息向量va、vb、vc的数值大小，在第二点云特征向量w中增强具有更大数值信息向量的子向量的维度数值，并将具有更小数值信息向量的子向量的维度数值趋于0。

23、在一些实施例中，所述第二点云特征向量w经过卷积层l进行降维后，所得的维度数值等于部件类别数量，并利用log softmax函数增大点云属于不同部件类别的概率值区分度。

24、第二方面，本发明提供一种基于多通道特征提取的点云数据处理系统，应用上述的点云数据处理方法，包括：

25、数据采集模块，用于采集3d点云数据，所述3d点云数据包括n组具有不同采样属性的点云子数据；

26、多通道采样模块，用于根据采样属性的数量，设定m个knn采样通道，每一所述knn采样通道对一组所述点云子数据进行特征提取，得到m个采样结果，其中，m小于等于n；

27、特征融合模块，用于将m个采样结果进行特征融合，拼接得到点云融合特征j；

28、特征传播模块，用于结合m个降采样后的降采样结果，对点云融合特征j进行升采样处理得到长度为e的第一点云特征向量h；

29、特征增强模块，用于对第一点云特征向量h进行特征增强，建立维度为e×e的可学习参数矩阵，将第一点云特征向量h与可学习参数矩阵相乘，通过可学习参数矩阵中的权重参数进行冗余数据削弱，得到第二点云特征向量w；

30、数据输出模块，用于将第二点云特征向量w经过卷积层l进行降维，经log softmax函数处理得到当前点云在不同采样属性下的概率分数，利用negative log-likelihoodloss损失函数求得损失值，再反向传播更新权重参数，最后输出对3d点云数据的基于多通道下不同采样属性的分割结果。

31、第三方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

32、相比现有技术，本发明至少包括以下有益效果：

33、(1)通过设定多个knn采样通道，对原始的3d点云数据进行基于不同采样点的特征提取，再将m个采样结果进行特征融合，实现多通道knn采样，扩大点云采样范围，增加多尺度信息，为决策层提供更多数据，加快处理速度；

34、(2)为了减少冗余，对第一点云特征向量h进行特征增强，通过与e×e维度的可学习参数矩阵相乘，利用权重参数进行冗余数据削弱，增加特征稀疏性，提高点云分割准确率。

35、下面结合附图和具体实施方式对本发明作进一步详细说明。