一种具有普适性的三维点云模型分类方法及系统

1.本发明涉及深度学习和计算机视觉技术领域，尤其涉及一种具有普适性的三维点云模型分类方法及系统。


背景技术：

2.随着人工智能技术的发展，三维点云模型的特征提取技术已取得了长足的发展，这也是目标分类、自动驾驶、机器人导航和增强现实/虚拟现实等领域的关键技术。根据组成形式不同，三维点云模型可以分为视图、体素、点云、网格、八叉树等模型，目前已有多种基于不同模态的深度学习神经网络，并且表现出优秀的性能。对于三维点云模型目标识别分类问题来说，由于点云(三维数据的基础表达方式)的无序性、不规则性等难以处理的性质，早期面向三维数据分析理解的深度学习方法首先将点云转化为规则的视图、体素等模态，然后利用较为成熟的神经网络框架提取特征完成特定任务，这导致了转化过程中几何信息的丢失，限制了网络的性能。为了避免这个问题，一些直接处理点云数据的方法被提出，并且引领了随后越来越多面向原始点云数据的研究。
3.此外，根据是否易于发生形变，三维点云模型又可以被分为刚体三维点云模型(不易形变)与非刚体三维点云模型(易于形变)。非刚体三维点云模型包含十二种非刚性变换，使得三维形状的特征描述、分类和检索更加复杂，也面临更多的难题，且目前先进的针对刚体三维点云模型的深度学习方法并不适用与非刚体三维点云模型。


技术实现要素：

4.本发明的第一目的在于克服现有技术的缺点与不足，提供了一种具有普适性的三维点云模型分类方法，首先通过利用最远测地距离提取三维点云模型若干个关键区域，将全局分类问题化简为多个局部分类问题，可以同时克服刚性变化和非刚性变化，降低了后续神经网络的训练难度。此外，相比于欧氏距离来说，测地距离的使用也使这些关键区域的划分更符合流形的规则。其次，利用基于多层感知机mlp的网络，使特征提取更加灵活，可学习性更强。最后利用关键区域投票算法，合理利用了局部区域分类结果，增加了类间的差距，使分类效果更加显著。
5.本发明的第二目的在于提供一种具有普适性的三维点云模型分类系统。
6.本发明的第一目的通过下述技术方案实现：一种具有普适性的三维点云模型分类方法，包括以下步骤：
7.s1、获得三维点云模型的若干个关键区域；
8.s2、通过权重库计算模块、分数计算模块和动态卷积核构造模块，生成适合三维点云模型的动态卷积核；
9.s3、利用构造的动态卷积核对三维点云模型的若干个关键区域分别进行特征提取，并通过softmax函数获得局部分类结果；
10.s4、通过关键区域投票算法，将局部分类结果融合为三维点云模型的最终整体分
类结果。
11.进一步，所述步骤s1包括以下步骤：
12.s101、随机选取三维点云模型的一个点k0作为初始点；
13.s102、以k0为中心，取距离其测地距离为r的区域内的n个点或曲率最大的n个点，组成三维点云模型的一个关键区域kr0；
14.s103、计算k0与三维点云模型各点的测地距离，获得n维测地距离集l，并取出最大测地距离点k1，其中n为三维点云模型中点的数量；
15.s104、以k1为中心，取距离其测地距离为r的区域内的n个点或曲率最大的n个点，组成三维点云模型的一个关键区域kr1；
16.s105、计算三维点云模型中所有点到k1的测地距离，对于第i个点ki，其与k1的测地距离如果小于n维测地距离集l中的第i位l[i]，即点ki与k1的测地距离小于该点与k0的测地距离，则更新n维测地距离集l中的第i位l[i]＝d(ki,k1)，即将ki与k0的测地距离更新为ki与k1的测地距离；
[0017]
s106、选取n维测地距离集l中最大值对应的点作为k2；
[0018]
s107、重复步骤s103至步骤s106，直到获取设置数量的关键区域。
[0019]
进一步，所述步骤s2包括以下步骤：
[0020]
s201、定义权重矩阵库b＝{bm|m＝1,...,m}，其中bm是大小为c
in
×cout
的权重矩阵，m是权重矩阵库b中权重矩阵bm的数量；
[0021]
s202、通过平均采样，获取关键区域中的若干个分布均匀的采样点p＝{pi|i＝1,...,i}，其中i表示采样点数量；
[0022]
s203、对于每一个采样点，选取与其欧氏距离最小的若干个离散邻域点pj；
[0023]
s204、对于每一组表示为(pi,pj)的点对，通过多层感知机来学习离散邻域点之间的位置关系；
[0024]
s205、对于步骤s204输出的位置关系，通过softmax函数来输出分数系数s
ij
，其中softmax函数用来保证输出的分数系数s
ij
的范围在(0,1)，即将每个权重矩阵与离散邻域点pj之间的关系作为概率，越大概率表示权重矩阵与离散邻域点pj之间关系越紧密；
[0025]
s206、将步骤s201所定义的权重矩阵库中b的所有权重矩阵与步骤s205所输出的分数系数通过：
[0026][0027]
结合生成用来计算点云特征的动态卷积核；其中，k表示所输出的动态卷积核，表示分数系数，bm表示权重矩阵，m表示其数量。
[0028]
进一步，在步骤s3中，以三维点云模型的若干关键区域为输入，利用构造的动态卷积核分别对其进行特征提取，并通过softmax函数获得关键区域的局部分类结果。
[0029]
进一步，所述步骤s4包括以下步骤：
[0030]
s401、生成n个元素全为的列表pre，其中n表示类别数，列表pre表示初始预测的每个类别概率相同；
[0031]
s402、统计不同关键区域的局部分类结果中，某一类别作为最大分类概率出现的
次数，生成列表vot；
[0032]
s403、将列表vot与列表pre按位相乘，更新列表pre，作为投票结果；
[0033]
s404、为了保证输出的概率在(0,1)内，将列表pre送入softmax函数，得到三维点云模型的整体分类概率，并以其中的最大概率结果作为三维点云模型的最终整体分类结果。
[0034]
本发明的第二目的通过下述技术方案实现：一种具有普适性的三维点云模型分类系统，包括：
[0035]
关键区域获取单元，用于获取三维点云模型若干个关键区域；其中，首先随机选取三维点云模型的一个点k0作为起始点，其次通过计算其余点与k0的测地距离，从而选取测地距离在r范围内的最大n个点或曲率最大的n个点，作为k0的关键区域邻域点，然后计算三维点云模型中其余各点与k0的测地距离，选取最大的测地距离点作为k1，并通过计算其余点距离该点的测地距离，从而选取测地距离在范围r内的最大n个点或曲率最大的n个点；最后，重复以上步骤，直到获取设置数量的关键区域；
[0036]
动态卷积核构造单元，用于构造计算点云特征的动态卷积核；其中，所述动态卷积核构造单元包括权重库计算模块、分数计算模块和动态卷积核构造模块；
[0037]
所述权重库计算模块用于先定义权重矩阵库b＝{bm|m＝1,...,m}，其中bm是大小为c
in
×cout
的权重矩阵，m是权重矩阵库b中权重矩阵bm的数量；通过平均采样，获取关键区域中的若干个分布均匀的采样点p＝{pi|i＝1,...,i}，其中i表示采样点数量；对于每一个采样点，选取与其欧氏距离最小的若干个离散邻域点pj；对于每一组表示为(pi,pj)的点对，通过多层感知机来学习离散邻域点之间的位置关系；
[0038]
所述分数计算模块用于对权重库计算模块输出的位置关系，通过softmax函数来输出分数系数s
ij
，其中softmax函数用来保证输出的分数系数s
ij
的范围在(0,1)，即将每个权重矩阵与离散邻域点pj之间的关系作为概率，越大概率表示权重矩阵与离散邻域点pj之间关系越紧密；
[0039]
所述动态卷积核构造模块用于对权重矩阵库中b的所有权重矩阵与分数计算模块所输出的分数系数通过：
[0040][0041]
来结合生成用来计算点云特征的动态卷积核；其中，k表示所输出的动态卷积核，表示分数系数，bm表示权重矩阵，m表示其数量；
[0042]
局部分类器单元，用于处理三维点云模型的关键区域特征，以获取三维点云模型的关键区域类别；其中，利用已构造的动态卷积核，分别对若干三维点云模型的关键区域进行特征提取，然后通过softmax函数，即可获得三维点云模型关键区域的分类概率，最后以其中的最大概率结果作为该关键区域的最终局部分类结果；
[0043]
全局分类器单元，用于处理三维点云模型的关键区域的局部分类结果，融合为最终的整体分类结果，获取三维点云模型的类别；其中，首先生成n个元素全为0.02的列表pre，其中n为类别数，其次统计不同关键区域的局部分类结果中，某一类别作为最大分类概率出现的次数，生成列表vot，然后将列表vot与列表pre按位相乘，更新列表pre，作为投票
结果，并送入softmax函数，得到三维点云模型的整体分类概率，并以其中的最大概率结果作为三维点云模型最终整体分类结果。
[0044]
上述技术方案中的一个技术方案具有以下有益效果：
[0045]
(1)本发明设计的一种具有普适性的三维点云模型分类方法利用最远测地距离提取三维点云模型若干个关键区域，将全局分类问题化简为多个局部分类问题，可以同时克服刚性变化和非刚性变化，降低了后续神经网络的训练难度。此外，相比于欧氏距离来说，测地距离的使用也使这些关键区域的划分更符合流形的规则，在一定程度上增强关键区域的表达能力，增强了三维点云的空间信息。
[0046]
(2)在特征提取网络部分和局部分类器部分，合理利用多层感知机mlp，并通过动态的数据驱动来设计卷积核，使其可以自适应地从不同邻域点的位置来学习其中的关系特征，以及有效克服不同关键区域之间的差异性，对于点云的不规则性和无序性有更强的灵活性。
[0047]
(3)在全局分类器部分，利用关键区域投票算法，对各个区域的分类情况做了统计，并以乘积的形式对初始概率进行更新，合理利用了局部区域分类结果，增加了类间的差距，这提高了不同类别之间的差异度，使分类效果更加显著。
附图说明
[0048]
图1为本发明具有普适性的三维点云模型分类方法的流程示意图；
[0049]
图2为本发明具有普适性的三维点云模型分类方法的关键区域提取的流程示意图；
[0050]
图3为本发明具有普适性的三维点云模型分类方法的特征提取网络的流程示意图；
[0051]
图4为本发明具有普适性的三维点云模型分类方法的关键区域投票的流程示意图；
[0052]
图5为本发明具有普适性的三维点云模型分类系统的架构示意图；
具体实施方式
[0053]
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
[0054]
参见图1所示，本实施例所提供的具有普适性的三维点云模型分类方法，包括以下步骤：
[0055]
s1、获得三维点云模型的若干个关键区域，参见图2所示，具体过程如下：
[0056]
s101、随机选取三维点云模型的一个点k0作为初始点；
[0057]
s102、以k0为中心，取距离其测地距离为r的区域内的n个点或曲率最大的n个点，组成三维点云模型的一个关键区域kr0；
[0058]
s103、计算k0与三维点云模型各点的测地距离，获得n维测地距离集l，并取出最大测地距离点k1，其中n为三维点云模型中点的数量；
[0059]
s104、以k1为中心，取距离其测地距离为r的区域内的n个点或曲率最大的n个点，组成三维点云模型的一个关键区域kr1；
[0060]
s105、计算三维点云模型中所有点到k1的测地距离，对于第i个点ki，其与k1的测地
距离如果小于n维测地距离集l中的第i位l[i]，即点ki与k1的测地距离小于该点与k0的测地距离，则更新n维测地距离集l中的第i位l[i]＝d(ki,k1)，即将ki与k0的测地距离更新为ki与k1的测地距离；
[0061]
s106、选取n维测地距离集l中最大值对应的点作为k2；
[0062]
s107、重复步骤s103至步骤s106，直到获取设置数量的关键区域。
[0063]
步骤s101-s107将三维点云模型拆分为若干部分，同时克服刚性变化和非刚性变化，降低之后的网络训练难度，使该方法具有普适性。
[0064]
s2、通过权重库计算模块、分数计算模块和动态卷积核构造模块，生成适合三维点云模型的动态卷积核；参见图3所示，具体过程如下：
[0065]
s201、定义权重矩阵库b＝{bm|m＝1,...,m}，其中bm是大小为c
in
×cout
的权重矩阵，m是权重矩阵库b中权重矩阵bm的数量；
[0066]
s202、通过平均采样，获取关键区域中的若干个分布均匀的采样点p＝{pi|i＝1,...,i}，其中i表示采样点数量；
[0067]
s203、对于每一个采样点，选取与其欧氏距离最小的若干个离散邻域点pj；
[0068]
s204、对于每一组表示为(pi,pj)的点对，通过多层感知机来学习离散邻域点之间的位置关系；
[0069]
s205、对于步骤s204输出的位置关系，通过softmax函数来输出分数系数s
ij
，其中softmax函数用来保证输出的分数系数s
ij
的范围在(0,1)，即将每个权重矩阵与离散邻域点pj之间的关系作为概率，越大概率表示权重矩阵与离散邻域点pj之间关系越紧密；
[0070]
s206、将步骤s201所定义的权重矩阵库中b的所有权重矩阵与步骤s205所输出的分数系数通过：
[0071][0072]
结合生成用来计算三维点云模型的动态卷积核；其中，k表示所输出的动态卷积核，表示分数系数，bm表示权重矩阵，m表示其数量。
[0073]
s3、利用构造的动态卷积核对三维点云模型的若干关键区域分别进行特征提取，并通过softmax函数获得关键区域的局部分类结果，具体过程如下：
[0074]
以所提取三维点云模型的若干关键区域为输入，利用构造的动态卷积核分别对其进行特征提取，并通过softmax函数得到三维点云模型关键区域的分类概率，最后以其中的最大概率结果作为该关键区域的最终局部分类结果。
[0075]
s4、通过关键区域投票算法，将局部分类结果融合为三维点云模型最终整体分类结果，参见图4所示，具体过程如下：
[0076]
s401、生成n个元素全为的列表pre，其中n表示类别数，列表pre表示初始预测的每个类别概率相同；
[0077]
s402、统计不同关键区域的局部分类结果中，某一类别作为最大分类概率出现的次数，生成列表vot；
[0078]
s403、将列表vot与列表pre按位相乘，更新列表pre，作为投票结果；
[0079]
s404、为了保证输出的概率在(0,1)内，将列表pre送入softmax函数，得到三维点云模型的整体分类概率，并以其中的最大概率结果作为三维点云模型最终整体分类结果。
[0080]
参见图5所示，本实施例也提供了一种具有普适性的三维点云模型分类系统，包括：
[0081]
关键区域获取单元，用于获取三维点云模型若干个关键区域；其中，首先随机选取三维点云模型的一个点k0作为起始点，其次通过计算其余点与k0的测地距离，从而选取测地距离在r范围内的最大n个点或曲率最大的n个点，作为k0的关键区域邻域点，然后计算三维点云模型中其余各点与k0的测地距离，选取最大的测地距离点作为k1，并通过计算其余点距离该点的测地距离，从而选取测地距离在范围r内的最大n个点或曲率最大的n个点；最后，重复以上步骤，直到获取设置数量的关键区域；
[0082]
动态卷积核构造单元，用于构造计算点云特征的动态卷积核；其中，其中，所述动态卷积核构造单元包括权重库计算模块、分数计算模块和动态卷积核构造模块；
[0083]
所述权重库计算模块用于先定义权重矩阵库b＝{bm|m＝1,...,m}，其中bm是大小为c
in
×cout
的权重矩阵，m是权重矩阵库b中权重矩阵bm的数量；通过平均采样，获取关键区域中的若干个分布均匀的采样点p＝{pi|i＝1,...,i}，其中i表示采样点数量；对于每一个采样点，选取与其欧氏距离最小的若干个离散邻域点pj；对于每一组表示为(pi,pj)的点对，通过多层感知机来学习离散邻域点之间的位置关系；
[0084]
所述分数计算模块用于对权重库计算模块输出的位置关系，通过softmax函数来输出分数系数s
ij
，其中softmax函数用来保证输出的分数系数s
ij
的范围在(0,1)，即将每个权重矩阵与离散邻域点pj之间的关系作为概率，越大概率表示权重矩阵与离散邻域点pj之间关系越紧密；
[0085]
所述动态卷积核构造模块用于对权重矩阵库中b的所有权重矩阵与分数计算模块所输出的分数系数通过：
[0086][0087]
来结合生成用来计算点云特征的动态卷积核；其中，k表示所输出的动态卷积核，表示分数系数，bm表示权重矩阵，m表示其数量；局部分类器单元，用于处理三维点云模型的关键区域特征，以获取三维点云模型的关键区域类别；其中，利用已构造的动态卷积核，分别对若干三维点云模型的关键区域进行特征提取，然后通过softmax函数，即可获得三维点云模型关键区域的分类概率，最后以其中的最大概率结果作为该关键区域的最终局部分类结果；
[0088]
全局分类器单元，用于处理三维点云模型的关键区域的局部分类结果，融合为最终的整体分类结果，获取三维点云模型的类别；其中，首先生成n个元素全为0.02的列表pre，其中n为类别数，其次统计不同关键区域的局部分类结果中，某一类别作为最大分类概率出现的次数，生成列表vot，然后将列表vot与列表pre按位相乘，更新列表pre，作为投票结果，并送入softmax函数，得到三维点云模型的整体分类概率，并以其中的最大概率结果作为三维点云模型最终整体分类结果。
[0089]
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的
原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些等同的变型或替换均包含在本技术权利要求所限定的范围内。