一种基于点云数据的目标检测方法和装置与流程

1.本公开涉及深度学习技术领域，特别涉及一种基于点云数据的目标检测方法和装置。


背景技术：

2.利用激光点云数据可以预测目标位置信息以及目标的几何形状信息，因此在机器感知领域，例如无人驾驶及机器人等领域中起到重要作用。
3.现有技术中利用点云数据实现目标检测的方法主要包括：
4.1、基于传统分割检测算法。先通过地面分割算法从激光点云数据中滤除地面点云，然后基于graph-based分割聚类算法将点云数据聚类并滤除背景点云，再通过分类器(例如svm分类器)对分割出来的点云簇进行分类。然而，graph-based分割聚类算法的计算量大，且依赖于地面分割算法，故在复杂城市环境下检测准确率和精度有限。
5.2、基于激光点云投影的深度学习方法。通过将3d的激光点云数据投影到特定的2d平面中，将3d的激光点云目标检测问题降维成2d图像的目标检测问题，但维度的降低也使得点云数据丢失了目标的部分信息，降低了最终目标预测的准确度和精度。
6.综上所述，现有技术中利用点云数据实现目标检测的方法难以满足准确度和精度的要求。


技术实现要素：

7.鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于点云数据的目标检测方法和装置。
8.第一方面，本公开实施例提供一种基于点云数据的目标检测方法，包括：
9.将点云数据体素化，提取非空体素的体素特征；
10.根据所述体素特征获得所述非空体素中激光点对应的体素特征和像素特征；
11.根据所述激光点的原始特征与所述非空体素的体素特征，及所述激光点对应的体素特征及像素特征，得到所述激光点的融合特征；
12.根据所述激光点的融合特征确定所述点云数据中的待识别目标。
13.第二方面，本公开实施例提供一种基于点云数据的目标检测装置，包括：
14.体素化模块，用于将点云数据体素化，提取非空体素的体素特征；
15.特征获取模块，用于根据所述体素化模块提取的体素特征获得所述非空体素中激光点对应的体素特征和像素特征；
16.融合模块，用于根据所述激光点的原始特征与所述体素化模块提取的非空体素的体素特征，及所述特征获取模块得到的激光点对应的体素特征及像素特征，得到所述激光点的融合特征；
17.目标识别模块，用于根据所述融合模块得到的激光点的融合特征确定所述点云数据中的待识别目标。
18.第三方面，本公开实施例提供一种具备目标检测功能的计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现上述基于点云数据的目标检测方法。
19.第四方面，本公开实施例提供一种服务器，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于点云数据的目标检测方法。
20.本公开实施例提供的上述技术方案的有益效果至少包括：
21.本公开实施例提供的基于点云数据的目标检测方法，将点云数据体素化，提取非空体素的体素特征；根据体素特征获得非空体素中激光点对应的体素特征和像素特征；根据激光点的原始特征与非空体素的体素特征，及激光点对应的体素特征及像素特征，得到激光点的融合特征；根据激光点的融合特征确定点云数据中的待识别目标。激光点的融合特征中包含了点的原始特征，保留了点的精确位置信息；同时还包含激光点对应的体素特征和像素特征，保留了周围激光点之间的相对信息，使得点的特征得到了更丰富的表征，故点的融合特征即保留了点的原始特征又包含了丰富的上下文语义信息，增强了每个点的特征表述能力，保证了利用点的融合特征通过深度学习识别的目标的精确度和准确度。
22.本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
23.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
24.附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。在附图中：
25.图1为本公开实施例一中基于点云数据的目标检测方法的流程图；
26.图2为图1中步骤s12的具体实现流程图；
27.图3为本公开实施例二中基于前景点特征的目标识别的具体实现流程图；
28.图4为图3中步骤s33的具体实现流程图；
29.图5为本公开实施例中基于点云数据的目标检测方法的示例图；
30.图6为本公开实施例中基于点云数据的目标检测装置的结构示意图。
具体实施方式
31.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
32.为了解决现有技术中存在的利用点云数据实现目标检测的准确度和精度较低的问题，本公开实施例提供一种基于点云数据的目标检测方法和装置，实现了点维度目标分割检测，检测准确度和精度高。
33.实施例一
34.本公开实施例一提供一种基于点云数据的目标检测方法，其流程如图1所示，包括如下步骤：
35.步骤s11：将点云数据体素化，提取非空体素的体素特征。
36.上述点云数据可以是通过4线、16线、32线、64线或128线等多线激光雷达或者雷达获得的。
37.点云数据体素化，把不具有空间长度信息的点数据转换为具有三维空间信息的立方体数据，具体的做法可以是，根据所有点云数据在x、y、z三个坐标方向上的最小值和最大值，确定包含所有点云数据的最小长方体；根据最小长方体的尺寸以及分辨率要求，确定体素的尺寸；根据体素的尺寸将最小长方体等分为若干体素。
38.在一个实施例中，可以包括，利用多层感知网络mlp和/或卷积神经网络cnn层，提取非空体素的体素特征。
39.多层感知器(multi-layer perceptron，mlp)，也叫人工神经网络(artificial neural network，ann)，包括输入层、输出层和中间的至少一个隐含层。神经网络是仿生物神经网络而来的一种技术，通过连接多个特征值，经过线性和非线性的组合，最终达到一个目标。
40.卷积神经网络(convolutional neural networks，cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks，fnn)，是深度学习的代表算法之一。可以是通过卷积神经网络的pooling层提取非空体素的体素特征。
41.可选的，还可以是获取非空体素的其他手动设置的特征，将其加入到通过网络提取的体素特征中。
42.获取到的体素特征可以是包含非空体素内的每个激光点的特征，和根据非空体素内的激光点的特征及周围激光点的特征融合后得到的特征。
43.步骤s12：根据体素特征获得非空体素中激光点的浅层信息，以及激光点对应的体素特征及像素特征。
44.参照图2所示，步骤s12的具体实现流程可以包括下述步骤：
45.步骤s121：将非空体素中激光点的原始特征与非空体素的体素特征进行拼接，得到激光点的浅层信息。
46.利用多层感知网络mlp将激光点的原始特征{x，y，z，intensity}(intensity为点的反射强度信息)进行一维卷积，将得到的处理后特征与该激光点所在体素的体素特征拼接后通过多层感知网络mlp，得到该激光点的点维度的浅层信息。
47.步骤s122：将非空体素的体素特征输入三维卷积和二维卷积融合的特征网络中，抽取非空体素的三维网络特征和二维网络特征。
48.将非空体素的体素特征输入三维卷积和二维卷积融合的特征网络中，依次进行三维和二维卷积，抽取非空体素的三维网络特征和二维网络特征。
49.可以将非空体素的体素特征通过backbone网络进行稀疏三维卷积，得到设定分辨率的包括非空体素的处理后的体素特征的三维数据体，抽取非空体素的三维网络特征；将三维数据体通过backbone网络进行二维卷积，得到对应分辨率的包括非空体素的像素特征的二维数据体，抽取非空体素的二维网络特征。
50.例如，可以是通过backbone稀疏3d卷积网络进行2倍、4倍和8倍的降采样，在该
backbone网络中抽取出其中的4层3d网络的三维数据体，分别对应于全分辨率、1/2、1/4和1/8分辨率，可选的，也可以是其他的分辨率。将每个分辨率的三维数据体继续进行二维卷积，得到对应分辨率的二维数据体。
51.步骤s123：根据非空体素中激光点与三维网络特征和二维网络特征之间的对应关系，得到非空体素中激光点对应的体素特征及像素特征。
52.点云中激光点的原始特征包含了激光点的位置信息，根据激光点的位置信息确定激光点在三维数据体和二维数据体中的投影位置，即，根据激光点的位置信息确定激光点所在的体素，将三维数据体和二维数据体中该体素的处理后体素特征和像素特征确定为该激光点对应的体素特征和像素特征。
53.步骤s13：根据激光点的浅层信息及其对应的体素特征及像素特征，得到激光点的融合特征。
54.将激光点的点维度的浅层信息和对应的体素特征及像素特征融合，得到激光点的点维度的融合特征。
55.步骤s14：根据激光点的融合特征确定点云数据中的待识别目标。
56.通过对每个激光点的融合特征做多任务的学习，包括前背景分割、点分类识别、iou score监督、中心点、尺寸和角度监督等，实现点云的分割任务及目标检测任务。
57.具体的，前背景分割即区分激光点是前景点还是背景点，若是背景点，则滤除，若是前景点，则用于后续的目标识别；点分类识别，即确定点为前景点后，进一步区分该前景点对应的目标的类型，例如为人、车或树木等；在目标检测的评价体系中，有一个iou参数，简单理解就是模型产生的目标窗口和实际窗口的交叠率，iou score即目标预测准确度的得分；中心点、尺寸和角度为根据前景点识别的目标轮廓的中心点、尺寸和角度。
58.本公开实施例一提供的基于点云数据的目标检测方法，将点云数据体素化，提取非空体素的体素特征；根据体素特征获得非空体素中激光点的浅层信息，以及，激光点对应的体素特征及像素特征；根据激光点的浅层信息及其对应的体素特征及像素特征，得到激光点的融合特征；根据激光点的融合特征确定点云数据中的待识别目标。激光点的融合特征中包含了点的浅层信息，保留了点的精确位置信息；同时还包含激光点对应的体素特征和像素特征，保留了周围激光点之间的相对信息，使得点的特征得到了更丰富的表征，故点的融合特征即保留了点的原始特征又包含了丰富的上下文语义信息，增强了每个点的特征表述能力，保证了利用点的融合特征通过深度学习识别的目标的精确度和准确度。
59.在一个实施例中，将点云数据体素化前，还可以包括执行下述至少一项：
60.过滤点云数据中的背景点云；
61.过滤点云数据中的非兴趣区块内的点云。
62.通过背景点云和非兴趣区块点云数据的滤除，往往可以滤掉大约50％以上无关的点，大大降低了需要处理的激光点的数量，减小了后续计算量。
63.当上述目标检测方法应用于自动驾驶领域时，与非兴趣区域对应的兴趣兴趣指的是对自动驾驶有影响的区域，比如行驶道路，与行驶道路较为接近的人行道等。
64.实施例二
65.本公开实施例二提供一种基于前景点特征的目标识别方法，其流程如图3所示，包括如下步骤：
66.步骤s31：将激光点的融合特征通过深度学习网络，识别前景点，确定前景点的目标预测信息。
67.通过对每个激光点的融合特征做多任务的学习后识别出前景点，确定前景点对应的目标的中心点位置信息、尺寸信息、角度信息和预测得分，作为目标预测信息。可选的，目标预测信息还可以包括目标的分类。
68.中心点位置信息可以是前景点相对于目标中心点的偏移量，由于中心点位置的坐标数值往往较大，中心点位置信息为前景点相对于目标中心点的偏移量而不是中心点的具体坐标值，简化了深度学习过程，减小了计算量。
69.步骤s32：利用最远点采样的方式筛选预设个数的前景点作为主前景点。
70.在一个实施例中，可以包括，删除目标预测信息中的预测得分低于预设第二得分阈值的前景点；根据前景点的原始特征中的位置信息和目标预测信息中的前景点相对于目标中心点的偏移量，确定前景点对应的目标的中心点位置；根据前景点对应的目标的中心点位置，利用最远点采样的方式筛选预设个数的前景点作为主前景点。
71.具体的，可以是先随机确定一个前景点为主前景点，后续依次确定距离当前主前景点最远的前景点为主前景点，直至主前景点的个数达到预设个数。
72.预设个数根据具体情况来定，例如可以是根据预测的准确度要求和大概的目标个数和目标轮廓的大小等因素来确定。例如预设个数可以为256个，也可以为其他的数值。
73.步骤s33：根据主前景点的目标预测信息确定待识别目标的识别结果。
74.在一个实施例中，参见图4所示，可以包括下述步骤：
75.步骤s331：针对每个主前景点，根据其目标预测信息中的目标中心点位置信息，确定目标中心点与该主前景点的目标中心点间的距离小于预设距离阈值的主前景点的集合。
76.针对每个主前景点，可以是利用ball query方法确定与该主前景点对应于同一目标的主前景点集合。
77.步骤s332：根据集合中的每个主前景点的目标预测信息确定第一目标预测结果。
78.可以根据集合中的每个主前景点的目标预测信息通过不同的估计器预测对应目标的信息，例如通过均值估计器简单的对单个主前景点的目标预测信息中目标的中心点、尺寸、角度及预测得分求平均得到单个目标的输出。
79.步骤s333：将第一目标预测结果进行聚类，根据同一类的第一目标预测结果确定第二目标预测结果，作为待识别目标的目标识别结果。
80.虽然每个主前景点对应一个主前景点集合，进而对应一个第一目标预测结果，由于以同一个主前景点集合中的不同主前景点为基准，得到的主前景点集合往往是相同的，所以得到的第一目标预测结果也往往是相同的。所以将第一目标预测结果进行聚类得到的同一类第一目标预测结果，可能仅包含唯一的一个第一目标预测结果，此时，将唯一的第一目标预测结果作为该目标的最终目标识别结果。
81.当同一类的第一目标预测结果包含不只一个第一目标预测结果时，确定该类的第一目标预测结果对应的主前景点的目标预测信息中预测得分的得分均值；根据得分均值高于预设第一得分阈值的第一目标预测结果确定第二目标预测结果。
82.本公开实施例二提供的基于前景点特征的目标识别方法，利用最远点采样的方式筛选预设个数的前景点作为主前景点，大大减少了主前景点的数量，减小了计算量，保证了
目标预测的实时性要求；同时，选择的主前景点代表性强，可以更好的完成对各个目标的预测，保证了预测准确度。
83.参照图5所示，上述基于点云数据的目标检测的过程可以概述为：(1)点云数据输入，将点云数据输入多维度融合端到端3d感知网络；(2)点云体素化及体素特征提取，将点云数据体素化，提取每个非空体素的体素特征，该特征可以包括轻量级多层感知网络mlp+卷积神经网络cnn的pooling层输出的特征，也可以包括手动设计的特征；(3)backbone网络3d处理后体素特征提取和2d像素特征提取，将体素特征进一步输入到3d卷积和2d卷积融合的特征backbone网络中，提取出多尺度下具有更加丰富语义信息的体素及像素特征，即各种分辨率的包括非空体素的处理后的体素特征的三维数据体，和包括非空体素的像素特征的二维数据体；(4)确定点所在的体素，根据点的原始特征中的位置信息，确定点在三维数据体和二维数据体中的投影位置，即确定点所属的体素；(5)确定点处理后的体素特征及像素特征，根据点所属的体素，确定该点的处理后的体素特征和像素特征；(6)点的特征融合，通过将激光点的原始特征经mlp网络之后与体素特征拼接，并进一步通过mlp网络实现体素内点维度浅层特征提取；在得到点的浅层特征，及对应的处理后体素特征和像素特征的基础上，进一步将这三个维度上的特征进行融合，得到具有精确位置信息及丰富语义信息的点维度描述特征；(7)点云的分割及目标检测，通过对每个激光点的融合特征做多任务的学习，包括前背景分割、点分类识别、iou score监督、中心点、尺寸和角度监督，实现点云的分割任务及目标检测任务。
84.本公开实施例中的目标检测方法，可以应用于自动驾驶，在自动驾驶过程中预测车辆周围的物体，为自动驾驶的安全实现提供保证；还可以应用到高精地图和增强现实(augmented reality，ar)导航等场景。
85.基于本公开的发明构思，本公开实施例还提供一种基于点云数据的目标检测装置，其结构如图6所示，包括：
86.体素化模块61，用于将点云数据体素化，提取非空体素的体素特征；
87.特征获取模块62，用于根据体素化模块61提取的体素特征获得所述非空体素中激光点的浅层信息，以及，所述激光点对应的体素特征及像素特征；
88.融合模块63，用于根据特征获取模块62获得的激光点的浅层信息及其对应的体素特征及像素特征，得到所述激光点的融合特征；
89.目标识别模块64，用于根据融合模块63得到的激光点的融合特征确定所述点云数据中的待识别目标。
90.在一个实施例中，特征获取模块62，根据所述体素特征获得所述非空体素中激光点的浅层信息，具体用于：
91.将非空体素中激光点的原始特征与所述非空体素的体素特征进行拼接，得到所述激光点的浅层信息。
92.在一个实施例中，特征获取模块62，获得所述激光点对应的体素特征及像素特征，具体用于：
93.将所述非空体素的体素特征输入三维卷积和二维卷积融合的特征网络中，抽取所述非空体素的三维网络特征和二维网络特征；根据所述非空体素中激光点与所述三维网络特征和二维网络特征之间的对应关系，得到所述非空体素中激光点对应的体素特征及像素
特征。
94.在一个实施例中，目标识别模块64，根据所述激光点的融合特征确定所述点云数据中的待识别目标，具体用于：
95.将所述激光点的融合特征通过深度学习网络，识别前景点，确定所述前景点的目标预测信息；利用最远点采样的方式筛选预设个数的前景点作为主前景点；根据主前景点的目标预测信息确定待识别目标的识别结果。
96.在一个实施例中，目标识别模块64，根据主前景点的目标预测信息确定待识别目标的识别结果，具体用于：
97.针对每个主前景点，根据其目标预测信息中的目标中心点位置信息，确定目标中心点与该主前景点的目标中心点间的距离小于预设距离阈值的主前景点的集合；根据集合中的每个主前景点的目标预测信息确定第一目标预测结果；将第一目标预测结果进行聚类，根据同一类的第一目标预测结果确定第二目标预测结果，作为待识别目标的目标识别结果。
98.在一个实施例中，目标识别模块64，根据同一类的第一目标预测结果确定第二目标预测结果，具体用于：
99.如果同一类的第一目标预测结果包含不只一个第一目标预测结果，确定该类的第一目标预测结果对应的主前景点的目标预测信息中预测得分的得分均值；根据得分均值高于预设第一得分阈值的第一目标预测结果确定第二目标预测结果。
100.在一个实施例中，目标识别模块64，确定所述前景点的目标预测信息，具体用于：
101.确定前景点对应的目标的中心点位置信息、尺寸信息、角度信息和预测得分，作为目标预测信息，所述中心点位置信息为前景点相对于目标中心点的偏移量。
102.在一个实施例中，目标识别模块64，利用最远点采样的方式筛选预设个数的前景点作为主前景点，具体用于：
103.删除目标预测信息中的预测得分低于预设第二得分阈值的前景点；根据前景点的原始特征中的位置信息和目标预测信息中的前景点相对于目标中心点的偏移量，确定前景点对应的目标的中心点位置；根据前景点对应的目标的中心点位置，利用最远点采样的方式筛选预设个数的前景点作为主前景点。
104.在一个实施例中，体素化模块61，提取非空体素的体素特征，具体用于：
105.利用多层感知网络mlp和/或卷积神经网络cnn，提取非空体素的体素特征。
106.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
107.基于本公开的发明构思，本公开实施例还提供一种具备目标检测功能的计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现上述基于点云数据的目标检测方法。
108.基于本公开的发明构思，本公开实施例还提供一种服务器，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于点云数据的目标检测方法。
109.除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系
统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
110.应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
111.在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本公开处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本公开单独的优选实施方案。
112.本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
113.结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。该asic可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
114.对于软件实现，本技术中描述的技术可用执行本技术所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
115.上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。