基于全融合网络的三维点云语义分割方法及系统与流程
本发明涉及计算机视觉的三维场景语义分割领域，具体是涉及一种基于全融合网络的三维点云语义分割方法及系统。
背景技术：
在计算机视觉领域中，三维场景语义分割是三维场景分析和理解的关键基础，已经被广泛应用到多个三维场景感知领域。例如：室内场景重建、智能机器人室内导航和增强现实/虚拟现实(ar/vr)都需要先对场景进行语义分割。
三维点云一般具有较高的密度和精度，包含丰富的语义信息，如今已经成为三维场景语义分割研究的主要数据表达形式。随着深度学习方法的广泛利用，将深度学习方法直接应用到点云处理上，受到了更多的关注。
但是，由于点云的无序性以及变换不变性，设计出一个能直接在点云上使用卷积提取特征的语义分割网络，仍然是当前点云研究的挑战。
在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：现有的网络在卷积网络结构中经常存在采样过程丢失大物体边缘和小物体本身信息的问题。
技术实现要素：
本发明的目的是为了克服上述背景技术的不足，提供一种基于全融合网络的三维点云语义分割方法及系统，能保留大小物体信息，准确预测点云类别。
第一方面，提供一种基于全融合网络的三维点云语义分割方法，包括以下步骤：
对点云进行层级下采样，提取高层语义特征和多尺度特征；
对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；
将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。
根据第一方面，在第一方面的第一种可能的实现方式中，对点云进行层级下采样，提取高层语义特征和多尺度特征，包括以下步骤：
采用最远点采样算法在输入的点云中选取质心点云，采用k近邻算法提取质心点云周围的相邻点进行局部区域构建；
对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为l1、l2、l3、l4，l1、l2、l3、l4为多尺度特征，l4为高层语义特征。
根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述进行密度加权卷积，包括以下步骤：
输入局部区域和k个相邻点云，k为点云的数量，将这k个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；
通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为k×cin的逆密度张量s，cin是输入层特征维度的索引；
将逆密度张量s和局部区域特征fin进行矩阵间相乘，输出
将局部区域k个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、
根据第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对l4、l3进行特征解码，得到l33；对l33、l2进行特征解码，得到l22；对l22、l1进行特征解码，得到l11；对l11、l0进行特征解码，得到l00，l00为渐进式解码特征图。
根据第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对l1、l0进行特征解码，对l2、l0进行特征解码，对l3、l0进行特征解码，对l4、l0进行特征解码，各获得一层解码特征图；
将四层解码特征图叠加，获得多层次解码特征图。
根据第一方面或第一方面的第三种或第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述进行特征解码，包括以下步骤：输入底层及其上一层的质心点云坐标，采用k近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云，得到点云坐标和每个区域点的索引；根据权重公式和点云坐标，得到权重；
采用反距离加权插值法，将底层的特征、得到的权重和每个区域内点的索引相结合，得到底层特征的反卷积上采样结果，采用密度加权模块提取该反卷积上采样结果的特征，采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加，采用多层感知器处理串联叠加后的特征，完成一次特征解码。
根据第一方面，在第一方面的第六种可能的实现方式中，将渐进式解码特征图与多层次解码特征图融合，包括以下步骤：将渐进式解码特征图与多层次解码特征图串联叠加，实现特征全融合。
第二方面，提供一种基于全融合网络的三维点云语义分割系统，包括：
下采样单元，用于：对点云进行层级下采样，提取高层语义特征和多尺度特征；
特征解码器，用于：对高层语义特征逐层进行特征解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；
融合模块，用于：将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；
更新模块，用于：根据预测的标签，更新网络参数。
根据第二方面，在第二方面的第一种可能的实现方式中，所述下采样单元包括：
区域构建模块，用于：采用最远点采样算法在输入的点云中选取质心点云，采用k近邻算法提取质心点云周围的相邻点进行局部区域构建；
多个密度加权模块，用于：对所有构建的局部区域进行密度加权卷积，完成对点云的一次下采样；对下采样的结果继续进行密度加权卷积，共计完成4次下采样，4次下采样的结果依次记为l1、l2、l3、l4，l1、l2、l3、l4为多尺度特征，l4为高层语义特征。
根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述进行密度加权卷积，包括以下步骤：
输入局部区域和k个相邻点云，k为点云的数量，将这k个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标；
通过核密度估计算法得到点云局部区域密度，将该密度输入多层感知器，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为k×cin的逆密度张量s，cin是输入层特征维度的索引；
将逆密度张量s和局部区域特征fin进行矩阵间相乘，输出
将局部区域k个点云的相对坐标输入多层感知器，得到权重函数，将权重函数、
根据第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述特征解码器对高层语义特征逐层进行特征解码，得到渐进式解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对l4、l3进行特征解码，得到l33；对l33、l2进行特征解码，得到l22；对l22、l1进行特征解码，得到l11；对l11、l0进行特征解码，得到l00，l00为渐进式解码特征图。
根据第二方面的第一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述特征解码器对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
通过反卷积上采样与跨层跳跃联结，对l1、l0进行特征解码，对l2、l0进行特征解码，对l3、l0进行特征解码，对l4、l0进行特征解码，各获得一层解码特征图；
将四层解码特征图叠加，获得多层次解码特征图。
根据第二方面或二方面的第三种或第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述特征解码器进行特征解码，包括以下步骤：
输入底层及其上一层的质心点云坐标，采用k近邻算法对每一个底层的质心点云坐标在上一层中选取一定数量的点云，得到点云坐标和每个区域点的索引；根据权重公式和点云坐标，得到权重；
采用反距离加权插值法，将底层的特征、得到的权重和每个区域内点的索引相结合，得到底层特征的反卷积上采样结果，指示密度加权模块提取该反卷积上采样结果的特征，采用跨层跳跃联结方式将提取的特征与具有相同分辨率的上一层特征串联叠加，采用多层感知器处理串联叠加后的特征，完成一次特征解码。
根据第二方面，在第二方面的第六种可能的实现方式中，所述融合模块将渐进式解码特征图与多层次解码特征图融合，包括以下步骤：将渐进式解码特征图与多层次解码特征图串联叠加，实现特征全融合。
本发明提供的技术方案带来的有益效果包括：
本发明对点云进行层级下采样，提取高层语义特征和多尺度特征；对高层语义特征进行渐进式逐层解码，得到渐进式解码特征图；对多尺度特征分别进行特征解码，得到多层次解码特征图；将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数。本发明对现有的点云语义分割算法进行改进，利用给定的三维点云，训练三维场景语义分割模型，将多尺度的特征信息融合在一起，可以更好地对不同大小的物体进行语义分割，能够同时保留大小物体信息，并准确预测点云类别，提高点云语义分割的精度，在实际应用中具有较高的商业价值和研究意义。
附图说明
图1是本发明实施例中基于全融合网络的三维点云语义分割方法的流程图；
图2为本发明实施例中的点云原始数据图像；
图3为本发明实施例中的整体网络模型示意图；
图4为本发明实施例中对点云进行层级多密度加权下采样的流程图；
图5为本发明实施例中密度加权卷积的流程图；
图6为本发明实施例中密度加权卷积的具体实现示意图；
图7为本发明实施例中对高层语义特征逐层进行特征解码的流程图；
图8为本发明实施例中对高层语义特征进行渐进式逐层解码，对多尺度特征分别进行特征解码，并进行融合的网络框架示意图；
图9为本发明实施例中特征解码器通过反卷积上采样与跨层跳跃联结进行一次特征解码的流程图；
图10为本发明实施例中特征解码器通过反卷积上采样与跨层跳跃联结进行一次特征解码的具体实现示意图；
图11为本发明实施例中对多尺度特征分别进行特征解码的流程图；
图12为本发明实施例中将渐进式解码特征图与多层次解码特征图融合的流程图；
图13为本发明实施例最终得到的基于全融合网络的三维点云语义分割图像。
具体实施方式
参见图1所示，本发明实施例提供一种基于全融合网络的三维点云语义分割方法，包括以下步骤：
步骤1、对点云进行层级多密度加权下采样，提取点云的高层语义特征和多尺度特征；
步骤2、特征解码器通过反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，即进行渐进式逐层解码，得到点云的渐进式解码特征图，此时，分辨率恢复到输入点云的大小；特征解码器通过反卷积上采样与跨层跳跃联结，对多尺度特征分别进行特征解码，得到多层次解码特征图；对高层语义特征进行渐进式逐层解码，对多尺度特征分别进行特征解码，这两个解码过程可以并行；
步骤3、将渐进式解码特征图与多层次解码特征图融合，得到更加具有判别力的特征，用于预测每个点的类别标签，根据预测的标签，更新网络参数。
本发明对现有的点云语义分割算法进行改进，利用给定的三维点云，训练三维场景语义分割模型，将多尺度的特征信息融合在一起，可以更好地对不同大小的物体进行语义分割，能够同时保留大小物体信息，并准确预测点云类别，提高点云语义分割的精度，在实际应用中具有较高的商业价值和研究意义。
本发明实施例以图2所示的点云原始数据图像为例进行说明。
作为优选的实施方式，参见图3和图4所示，对点云进行层级多密度加权下采样，提取点云的高层语义特征和多尺度特征，具体包括以下步骤：
步骤10、采用最远点采样算法，在输入的初始点云(即图3中的l0层)中选取具有代表性的质心点云；
步骤11、基于步骤10选取的质心点云，使用k近邻算法提取质心点云周围的相邻点进行局部区域构建；
步骤12、基于步骤11构建的局部区域，采用多个密度加权卷积模块以一个局部区域为中心进行密度加权卷积；
步骤13、对所有构建的局部区域重复步骤12，完成对点云一次密度加权下采样；
步骤14、对步骤13的密度加权下采样结果继续进行密度加权卷积，共计4次密度加权下采样，参见图3所示，4次密度加权下采样的结果依次记为l1、l2、l3、l4层，其中，l1、l2、l3、l4层为点云的多尺度特征，l4层为最终下采样的点云的高层语义特征。
作为优选的实施方式，参见图5和图6所示，步骤12和步骤14中，进行密度加权卷积，具体包括以下步骤：
步骤20、输入步骤11得到的局部区域和k个相邻点云，k为点云的数量，将这k个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标，记为plocal；
步骤21、参见图6所示，通过核密度估计算法得到点云局部区域密度，将该密度输入到一维非线性变换的多层感知器中，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为k×cin的逆密度张量s，k表示在局部区域构建时k近邻算法得到的局域内k个点云索引，cin是输入层特征维度的索引；
步骤22、参见图6所示，基于步骤21，将逆密度张量s和局部区域特征fin进行矩阵间相乘，输出
步骤23、参见图6所示，基于步骤20，将局部区域k个点云的相对坐标plocal输入到1×1卷积实现的多层感知器中，一般情况下，多层感知器的最后一层为线性层，从而输出权重函数w：
其中，
步骤24、参见图6所示，对步骤23输出的权重函数w、步骤22输出的结果
作为优选的实施方式，参见图7和图8所示，特征解码器通过反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，得到点云的渐进式解码特征图，包括以下步骤：
步骤30、参见图8所示，将步骤14获得的l4层高层语义特征与l3层特征输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，进行第一次特征解码：对l4、l3进行特征解码，得到l33层特征；
步骤31、参见图8所示，将步骤30得到的l33层特征与l2层特征作为特征解码器的输入，特征解码器通过反卷积上采样与跨层跳跃联结，进行第二次特征解码：对l33、l2进行特征解码，得到l22层特征；
步骤32、参见图8所示，将步骤31得到的l22层特征与l1层特征作为特征解码器的输入，特征解码器通过反卷积上采样与跨层跳跃联结，进行第三次特征解码：对l22、l1进行特征解码，得到l11层特征；
步骤33、参见图8所示，将步骤32得到的l11层特征与l0层(初始点云)特征作为特征解码器的输入，特征解码器通过反卷积上采样与跨层跳跃联结，进行第四次特征解码：对l11、l0进行特征解码，得到l00层特征，此时分辨率恢复到输入点云的大小，此时的结果：l00层特征，即为最终的渐进式解码特征图。
作为优选的实施方式，参见图8和图9所示，特征解码器通过反卷积上采样与跨层跳跃联结，进行一次特征解码，包括以下步骤：
步骤40、参见图8和图10所示，输入底层ldown(以l4层为例说明)及其上一层lup(l3层)的质心点云坐标，例如：l3_xyz、l4_xyz等，采用k近邻算法对每一个ldown层(l4层)的质心点云坐标在lup层(l3层)中选取一定数量的点云，本发明实施例中选取最近的3个点云，得到点云坐标d(x,xi)与每个区域点的索引(idx)；
步骤41、基于步骤40，根据权重公式wi(x)＝d(x,xi)-p，其中，p为正整数，本发明实施例中p取2，输入点云坐标d(x,xi)，得到权重；
步骤42、参见图10所示，采用反距离加权插值法
步骤43、参见图8和图10所示，采用密度加权模块提取步骤42得到的ldown层(l4层)特征的反卷积上采样结果的特征；
步骤44、参见图10所示，采用跨层跳跃联结方式，将步骤43的结果与具有相同分辨率的lup层(l3层)特征串联叠加起来；
步骤45、参见图8和图10所示，基于步骤44，在串联联结后的特征上使用多层感知器，输出l33层特征，至此，完成一次特征解码。
作为优选的实施方式，参见图8和图11所示，对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
步骤50、将步骤14获得的多尺度特征l1层与初始点云特征l0层输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，即按照上述步骤40至步骤45的特征解码流程(后文中的特征解码流程都是这样的，不再赘述)，对l1、l0进行特征解码，获得一层解码特征图；
步骤51、将步骤14获得的多尺度特征l2层与初始点云特征l0层输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，对l2、l0进行特征解码，获得一层解码特征图；
步骤52、将步骤14获得的多尺度特征l3层与初始点云特征l0层输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，对l3、l0进行特征解码，获得一层解码特征图；
步骤53、将步骤14获得的多尺度特征l4层与初始点云特征l0层输入到特征解码器中，特征解码器通过反卷积上采样与跨层跳跃联结，对l4、l0进行特征解码，获得一层解码特征图；
步骤54、参见图8所示，将步骤50、步骤51、步骤52、步骤53获得的四层特征图叠加，获得多层次解码特征图。
作为优选的实施方式，参见图8和图12所示，将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签；根据预测的标签，更新网络参数，包括以下步骤：
步骤60、将步骤54中的多层次解码特征图放在前，步骤33中的渐进式解码特征图放在后，或者，将步骤33中的渐进式解码特征图放在前，步骤54中的多层次解码特征图放在后，参见图8所示，通过串联的方式，将渐进式解码特征图与多层次解码特征图叠加在一起，实现特征全融合；
步骤61、参见图8所示，将步骤60中的融合特征输入分类器，预测每个点云的语义标签；
步骤62、根据已经预测标签，对比点云实际标签，采用梯度下降算法，更新模型中的网络参数；
步骤63、得到如图13所示的基于全融合网络的三维点云语义分割图像，至此，基于全融合网络的三维点云语义分割结束。
本发明实施例以三维点云作为输入数据，通过多密度加权下采样，提取高层语义特征和多尺度特征，通过特征解码器的反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，获得渐进式解码特征图，通过特征解码器的反卷积上采样与跨层跳跃联结，对多尺度特征分别进行特征解码，获得多尺度解码特征图，最后将将渐进式解码特征图与多层次解码特征图串联叠加在一起，实现特征全融合。该方法通过多密度加权下采样，通过特征解码器的反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，对多尺度特征分别进行特征解码，可以更好地对点云内不同大小的物体进行语义分割，能够同时提取大物体边缘信息与小物体细节信息，避免信息遗漏，提高三维场景点云的语义分割准确度。在场景重建、增强现实/虚拟现实、智能机器人导航等方面具有非常广阔的应用前景，具有较高的商业价值和研究意义。
本发明实施例还提供一种基于全融合网络的三维点云语义分割系统，包括：
下采样单元，用于：对点云进行层级下采样，提取高层语义特征和多尺度特征；
特征解码器，用于：通过反卷积操作和跨层跳跃联结，对高层语义特征进行渐进式逐层解码，得到点云的渐进式解码特征图，此时，分辨率恢复到输入点云的大小；对多尺度特征分别进行特征解码，得到多层次解码特征图；对高层语义特征进行渐进式逐层解码，对多尺度特征分别进行特征解码，这两个解码过程可以并行；
融合模块，用于：将渐进式解码特征图与多层次解码特征图融合，得到更加具有判别力的特征，用于预测每个点的类别标签；
更新模块，用于：根据预测的标签，更新网络参数。
下采样单元包括：
区域构建模块，用于：采用最远点采样算法，在输入的初始点云(即图3中的l0层)中选取具有代表性的质心点云，采用k近邻算法提取质心点云周围的相邻点进行局部区域构建；
多个密度加权模块，用于：对所有构建的局部区域进行密度加权卷积，完成对点云的一次密度加权下采样；对密度加权下采样的结果继续进行密度加权卷积，共计完成4次密度加权下采样，参见图3所示，4次密度加权下采样的结果依次记为l1、l2、l3、l4层，其中，l1、l2、l3、l4层为多尺度特征，l4层为高层语义特征。
本发明实施例综合运用多密度加权模块的特征下采样、特征解码器通过反卷积上采样与跨层跳跃联结进行特征解码、全融合网络等技术，可以更好地对点云内不同大小的物体进行语义分割，具有较高的商业价值和研究意义。
作为优选的实施方式，参见图6所示，密度加权模块进行密度加权卷积，具体包括以下步骤：
输入区域构建模块构建的局部区域和k个相邻点云，k为点云的数量，将这k个点云减去局部区域质心的坐标，得到三维点云的局部区域相对坐标，记为plocal；
参见图6所示，通过核密度估计算法得到点云局部区域密度，将该密度输入到一维非线性变换的多层感知器中，得到逆密度函数，对逆密度函数进行张量复制扩展，得到大小为k×cin的逆密度张量s，k表示在局部区域构建时k近邻算法得到的局域内k个点云索引，cin是输入层特征维度的索引；
将逆密度张量s和局部区域特征fin进行矩阵间相乘，输出
参见图6所示，将局部区域k个点云的相对坐标plocal输入到1×1卷积实现的多层感知器中，一般情况下，多层感知器的最后一层为线性层，从而输出权重函数w：
其中，
参见图6所示，对权重函数w、
作为优选的实施方式，特征解码器通过反卷积上采样与跨层跳跃联结，对高层语义特征逐层进行特征解码，得到点云的渐进式解码特征图，包括以下步骤：
参见图8所示，将l4层高层语义特征与l3层特征输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，进行第一次特征解码：对l4、l3进行特征解码，得到l33层特征；
将l33层特征与l2层特征输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，进行第二次特征解码：对l33、l2进行特征解码，得到l22层特征；
将l22层特征与l1层特征输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，进行第三次特征解码：对l22、l1进行特征解码，得到l11层特征；
将l11层特征与l0层(初始点云)特征输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，进行第四次特征解码：对l11、l0进行特征解码，得到l00层特征，此时分辨率恢复到输入点云的大小，此时的结果：l00层特征，即为最终的渐进式解码特征图。
作为优选的实施方式，特征解码器通过反卷积上采样与跨层跳跃联结，进行一次特征解码，包括以下步骤：
参见图8和图10所示，输入底层ldown(以l4层为例说明)及其上一层lup(l3层)的质心点云坐标，例如：l3_xyz、l4_xyz等，采用k近邻算法对每一个ldown层(l4层)的质心点云坐标在lup层(l3层)中选取一定数量的点云，本发明实施例中选取最近的3个点云，得到点云坐标d(x,xi)与每个区域点的索引(idx)；
根据权重公式wi(x)＝d(x,xi)-p，其中，p为正整数，本发明实施例中p取2，输入点云坐标d(x,xi)，得到权重；
参见图10所示，采用反距离加权插值法
参见图8和图10所示，指示密度加权模块提取ldown层(l4层)特征的反卷积上采样结果的特征，采用跨层跳跃联结方式，将该结果的特征与具有相同分辨率的lup层(l3层)特征串联叠加起来；在串联联结后的特征上使用多层感知器，输出l33层特征，至此，完成一次特征解码。
作为优选的实施方式，参见图8所示，特征解码器通过反卷积上采样与跨层跳跃联结，对多尺度特征分别进行特征解码，得到多层次解码特征图，包括以下步骤：
将多尺度特征l1层与初始点云特征l0层输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，即按照上述步骤(后文中的特征解码流程都是这样的，不再赘述)，对l1、l0进行特征解码，获得一层解码特征图；
将多尺度特征l2层与初始点云特征l0层输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，对l2、l0进行特征解码，获得一层解码特征图；
将多尺度特征l3层与初始点云特征l0层输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，对l3、l0进行特征解码，获得一层解码特征图；
将多尺度特征l4层与初始点云特征l0层输入特征解码器，特征解码器通过反卷积上采样与跨层跳跃联结，对l4、l0进行特征解码，获得一层解码特征图；
参见图8所示，将以上四层特征图叠加，获得多层次解码特征图。
作为优选的实施方式，参见图8所示，融合模块将渐进式解码特征图与多层次解码特征图融合，得到的特征用于预测每个点的类别标签，包括以下步骤：
将多层次解码特征图放在前，渐进式解码特征图放在后，或者，将渐进式解码特征图放在前，多层次解码特征图放在后，参见图8所示，通过串联的方式，将渐进式解码特征图与多层次解码特征图叠加在一起，实现特征全融合，融合后的特征更加具有判别力，用于预测每个点云的语义标签。
更新模块，具体用于：根据预测的标签，对比点云的实际标签，采用梯度下降算法，更新网络参数，得到如图13所示的基于全融合网络的三维点云语义分割图像。
本发明实施例以三维点云作为输入数据，通过多密度加权模块下采样提取高层语义特征和多尺度特征，特征解码器对高层语义特征逐层解码获得渐进式解码特征图，特征解码器分别对多尺度特征解码获得多尺度解码特征图，特征图融合分类等，实现对三维点云的语义分割。该方法能够同时提取大物体边缘信息与小物体细节信息，避免信息遗漏，提高三维场景点云的语义分割准确度。在场景重建、增强现实/虚拟现实、智能机器人导航等方面具有非常广阔的应用前景。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。本发明实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
基于同一发明构思，本发明实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音播放功能、图像播放功能等)；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、视频数据等)。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！