应用于点云分析模型的局部中心最近点采样方法及装置

本申请涉及点云技术领域，尤其涉及一种应用于点云分析模型的局部中心最近点采样方法及装置。

背景技术：

局部空间点采样在点云深度学习任务中起到至关重要的作用，现如今的采样方法鲁棒性难以满足实际应用的需求，以及受超参数的影响较大。而对于三维视觉中的点云局部空间采样而言，现在最主流的方法只有一种：query-ball采样方法。

该方法能够采样固定半径球区域的点，在零件分割应用中效果好，广泛运用在各种3d模型，例如pointnet++及一系列的衍生模型。但是这种采样方法鲁棒性较弱，难以应对点云分布不均匀的情况，以及对超参数调参的依赖极大，需用使用多尺度采样来解决这些问题，这种办法极大增加了模型的运行时间。在实际应用中，超参数并不是一直都适用，而且点云的密度是按需进行，这些缺点影响了模型的表现。因此，一个不太依赖最佳超参数和受点云分布影响较小的局部空间采样方法是必需的。

在局部空间采样算法上最相近的方案是k最近邻算法，这种采样方法是计算每一个待采样点与中心点的距离，取出最近的k个，将这个待分类点分给在k个中占比最大的那一类。但是这种分类方法会导致某些局部有大量的采样点，而其他局部却很少甚至没有，并且一个待分类点只能分给一类。与此同时神经网络处理局部空间特征需要相同的矩阵大小输入，所以这种算法需要对采样点较少的局部进行填充，而且无法确定每个局部采样点的数量，这对神经网络的学习来说是非常不利的。

技术实现要素：

本申请提供了一种应用于点云分析模型的局部中心最近点采样方法及装置，解决了现有技术中query-ball采样法的鲁棒性较弱，难以应对点云分布不均匀的情况，对超参数调参的依赖极大，k最近邻算法需要对采样点较少的局部进行填充，不利于神经网络的学习的技术问题。

有鉴于此，本申请第一方面提供了一种应用于点云分析模型的局部中心最近点采样方法，所述方法包括：

在setabstract层对输入点云矩阵采用最远点采样法生成多个局部区域的中心点；

通过最近点采样法生成所述输入点云矩阵的局部空间并计算所述局部空间中的每个局部点以及中心点的相关性特征；

将所述相关性特征与所述输入点云矩阵的局部特征进行通道上的融合，得到点云局部空间特征矩阵；

将所述点云局部空间特征矩阵作为多层感知器的输入，进行局部maxpooling得到全局特征；

在最后一层setabstract层将上一层setabstract层的点云矩阵作为多层感知器的输入，进行全局maxpooling得到输出特征矩阵。

可选地，所述相关性特征包括：欧氏距离、坐标差、局部点坐标以及中心点坐标。

本申请第二方面提供了一种基于点云分析模型的分类方法，所述方法包括：

通过最远点采样法对待分类物体的点云矩阵进行降采样；

对降采样后的点云矩阵进行预处理；

将预处理后的点云矩阵作为点云分析模型的输入点云矩阵，得到输出特征矩阵，将所述输出特征矩阵展平输入至全连接层，得到所述待分类物体的类别概率；

其中，所述点云分析模型中应用有本申请第一方面任意一项所述的局部中心最近点采样方法。

可选地，所述将所述输出特征矩阵展平输入至全连接层，得到所述待分类物体的类别概率之后还包括：

重新计算所述待分类物体的类别概率，得到预设数量的所述待分类物体的类别概率；

累加并取所述预设数量的待分类物体的类别概率的平均值，将所述平均值最高的一类作为所述待分类物体的预测类别结果。

可选地，所述预处理包括随机旋转处理以及随机平移处理。

本申请第三方面提供了一种应用于点云分析模型的局部中心最近点采样装置，所述装置包括：

第一采样单元，用于在setabstract层对输入点云矩阵采用最远点采样法生成多个局部区域的中心点；

第二采样单元，用于通过最近点采样法生成所述输入点云矩阵的局部空间并计算所述局部空间中的每个局部点以及中心点的相关性特征；

融合单元，用于将所述相关性特征与所述输入点云矩阵的局部特征进行通道上的融合，得到点云局部空间特征矩阵；

卷积单元，用于将所述点云局部空间特征矩阵作为多层感知器的输入，进行局部maxpooling得到全局特征；

输出端元，用于在最后一层setabstract层将上一层setabstract层的点云矩阵作为多层感知器的输入，进行全局maxpooling得到输出特征矩阵。

可选地，所述相关性特征包括：欧氏距离、坐标差、局部点坐标以及中心点坐标。

本申请第四方面提供了一种基于点云分析模型的分类装置，所述装置包括：

降采样单元，用于通过最远点采样法对待分类物体的点云矩阵进行降采样；

预处理单元，用于对降采样后的点云矩阵进行预处理；

预测单元，用于将预处理后的点云矩阵作为点云分析模型的输入点云矩阵，得到输出特征矩阵，将所述输出特征矩阵展平输入至全连接层，得到所述待分类物体的类别概率；

其中，所述点云分析模型中应用有本申请第三方面任意一项所述的局部中心最近点采样装置。

可选地，所述预测单元还用于：

重新计算所述待分类物体的类别概率，得到预设数量的所述待分类物体的类别概率；

累加并取所述预设数量的待分类物体的类别概率的平均值，将所述平均值最高的一类作为所述待分类物体的预测类别结果。

可选地，所述预处理包括随机旋转处理以及随机平移处理。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了一种应用于点云分析模型的局部中心最近点采样方法，利用在setabstract层中采用最近点采样法来代替query-ball采样法来生成合适的局部空间特征，为神经网络的学习提供更优的特征输入，便于提高模型的鲁棒性和应用精度，降低每个局部特征的重叠性，提高计算资源利用率的同时提升采样的效率，解决了现有技术中query-ball采样法的鲁棒性较弱，难以应对点云分布不均匀的情况，对超参数调参的依赖极大，k最近邻算法需要对采样点较少的局部进行填充，不利于神经网络的学习的技术问题。

附图说明

图1为本申请实施例中一种应用于点云分析模型的局部中心最近点采样方法的方法流程图；

图2为本申请实施例中一种基于点云分析模型的分类方法的方法流程图；

图3为本申请实施例中一种应用于点云分析模型的局部中心最近点采样装置的结构示意图；

图4为本申请实施例中一种基于点云分析模型的分类装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请设计了一种应用于点云分析模型的局部中心最近点采样方法及装置，解决了现有技术中query-ball采样法的鲁棒性较弱，难以应对点云分布不均匀的情况，对超参数调参的依赖极大，k最近邻算法需要对采样点较少的局部进行填充，不利于神经网络的学习的技术问题。

为了便于理解，请参阅图1，图1为本申请实施例中一种应用于点云分析模型的局部中心最近点采样方法的方法流程图，如图1所示，具体为：

101、在setabstract层对输入点云矩阵采用最远点采样法生成多个局部区域的中心点；

102、通过最近点采样法生成输入点云矩阵的局部空间并计算局部空间中的每个局部点以及中心点的相关性特征；

103、将相关性特征与输入点云矩阵的局部特征进行通道上的融合，得到点云局部空间特征矩阵；

104、将点云局部空间特征矩阵作为多层感知器的输入，进行局部maxpooling得到全局特征；

105、在最后一层setabstract层将上一层setabstract层的点云矩阵作为多层感知器的输入，进行全局maxpooling得到输出特征矩阵。

进一步地，相关性特征包括：欧氏距离、坐标差、局部点坐标以及中心点坐标。

需要说明的是，本申请提供的基于局部中心最近点采样的分类方法中，将setabstract层中原有的query-ball采样法替换为最近点采样法，最近点采样只需要设置两个超参数，而且鲁棒性极强，在点云数量降低，采样数量减少和随机超参数的情况下，仍然保持良好的精度。

与最近邻算法不同，最近点采样法是计算中心点和所有点的欧氏距离，然后根据每个区域的点采样数量k，选出k个与中心点最近的点作为该局部区域的采样点集合，其中，一个点是可以被分进多个局部区域的，同一个局部区域中不可能出现重复的点。

相较于knn算法，最近点采样法不会造成一个局部点多，一个局部点少的情况，不需要对局部进行填充，并且一个点也能属于其他多个局部。

需要说明的是，本申请提供的基于局部中心最近点采样的分类方法中，将setabstract层中原有的query-ball采样法替换为最近点采样法，最近点采样只需要设置两个超参数，而且鲁棒性极强，在点云数量降低，采样数量减少和随机超参数的情况下，仍然保持良好的精度。

与最近邻算法不同，最近点采样法是计算中心点和所有点的欧氏距离，然后根据每个区域的点采样数量k，选出k个与中心点最近的点作为该局部区域的采样点集合，其中，一个点是可以被分进多个局部区域的，同一个局部区域中不可能出现重复的点。

相较于knn算法，最近点采样法不会造成一个局部点多，一个局部点少的情况，不需要对局部进行填充，并且一个点也能属于其他多个局部。

请参阅图2，图2为本申请实施例中一种基于点云分析模型的分类方法的方法流程图，如图2所示，具体为：

201、通过最远点采样法对待分类物体的点云矩阵进行降采样；

202、对降采样后的点云矩阵进行预处理；

203、将预处理后的点云矩阵作为点云分析模型的输入点云矩阵，得到输出特征矩阵，将输出特征矩阵展平输入至全连接层，得到待分类物体的类别概率；

其中，点云分析模型中应用有本申请第一方面任意一项的局部中心最近点采样方法。

进一步地，步骤203中将输出特征矩阵展平输入至全连接层，得到待分类物体的类别概率之后还包括：

204、重新计算待分类物体的类别概率，得到预设数量的待分类物体的类别概率；

205、累加并取预设数量的待分类物体的类别概率的平均值，将平均值最高的一类作为待分类物体的预测类别结果。

进一步地，预处理包括随机旋转处理以及随机平移处理。

请参阅图3，图3为本申请实施例中一种应用于点云分析模型的局部中心最近点采样装置的结构示意图，如图3所示，装置包括：

第一采样单元301，用于在setabstract层对输入点云矩阵采用最远点采样法生成多个局部区域的中心点；

第二采样单元302，用于通过最近点采样法生成输入点云矩阵的局部空间并计算局部空间中的每个局部点以及中心点的相关性特征；

融合单元303，用于将相关性特征与输入点云矩阵的局部特征进行通道上的融合，得到点云局部空间特征矩阵；

卷积单元304，用于将点云局部空间特征矩阵作为多层感知器的输入，进行局部maxpooling得到全局特征；

输出端元305，用于在最后一层setabstract层将上一层setabstract层的点云矩阵作为多层感知器的输入，进行全局maxpooling得到输出特征矩阵。

进一步地，相关性特征包括：欧氏距离、坐标差、局部点坐标以及中心点坐标。

请参阅图4，图4为本申请实施例中一种基于点云分析模型的分类装置的结构示意图，如图4所示，装置包括：

降采样单元401，用于通过最远点采样法对待分类物体的点云矩阵进行降采样；

预处理单元402，用于对降采样后的点云矩阵进行预处理；

预测单元403，用于将预处理后的点云矩阵作为点云分析模型的输入点云矩阵，得到输出特征矩阵，将输出特征矩阵展平输入至全连接层，得到待分类物体的类别概率；

其中，点云分析模型中应用有本申请第三方面任意一项的局部中心最近点采样装置。

进一步地，预测单元403还用于：

重新计算待分类物体的类别概率，得到预设数量的待分类物体的类别概率；

累加并取预设数量的待分类物体的类别概率的平均值，将平均值最高的一类作为待分类物体的预测类别结果。

进一步地，预处理包括随机旋转处理以及随机平移处理。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-onlymemory，英文缩写：rom)、随机存取存储器(英文全称：randomaccessmemory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。