一种用于3D目标检测的特征增强方法、装置及存储介质与流程

本发明机器人3d感知，具体涉及一种用于3d目标检测的特征增强方法、装置及存储介质。

背景技术：

1、3d检测是智能机器人3d感知的重要方法，也是保障智能机器人自动行驶的安全和避障的关键技术。激光雷达可以精确获得周围环境的深度值。但激光雷达的分辨率较低，特别是32线和16线的激光雷达。从而使得远处的物体的点云数量稀少。因此，如何有效提升3d检测在稀疏点云下的检测性能是一个重要的问题。

2、传统的增强方法主要通过稠密化点云的方法来提升3d检测的性能，如：通过多帧叠加以及构建虚拟点云的方法。然而，运动的物体在多帧叠加后具有拖影并且会改变物体形状等；而构建虚拟点云的方法依赖深度补全网络获得的深度并非真实深度，具有不确定性。因此现有技术的智能机器人3d感知存在检测性能及精度低的问题。

技术实现思路

1、发明目的：为了克服现有技术中的不足，本发明提供一种用于3d目标检测的特征增强方法、装置及存储介质，将点云数据投影至二维平面图像上以获取点云的图像坐标，并采用实例分割二维图像，结合实例分割结果与点云图像坐标，确定前景和背景点云，并通过实例分割结果对前景点云和背景点云进行特征增强，能够有效识别目标物的三维边界框，补全和增强目标物的三维检测场景，从而极大提升智能机器人对3d空间中的目标物及环境感知能力。

2、技术方案：第一方面本发明提供一种用于3d目标检测的特征增强方法，包括：

3、获取ros系统发布的点云话题、相机话题；

4、根据点云话题获取原始点云数据，根据相机话题获取视野图像；

5、将原始点云数据与视野图像对齐，确定正前方视野中的点云数据；

6、将正前方视野中的点云数据投影至二维图像坐标系下，获得雷达点云的图像坐标；以及对视野图像进行实例分割，获得实例分割结果；

7、将雷达点云的图像坐标与实例分割的结果进行关联，确定前景点云集合和背景点云集合；

8、基于实例分割结果对前景点云集合、背景点云集合分别进行特征增强，获得正前方视野目标特征增强后的点云数据集合，并在点云话题中更新原始点云数据，用于增强原始检测场景。

9、在进一步的实施例中，将正前方视野中的点云数据投影至二维图像坐标系下，获得雷达点云的图像坐标的方法包括：

10、正前方视野中的点云数据根据相机的内参和外参进行二维图像投影，获得雷达点云的图像坐标，点云数据根据相机的内参和外参进行二维图像投影的过程表达式为：

11、

12、

13、式中，式中，t1为相机的内参矩阵，t2是相机的外参，[xl,yl,zl]为雷达坐标系，[xc,yc,zc]为相机坐标系，[u,v]为图像坐标系，点云的特征由[x,y,z,r]变成[[x,y,z,r],[u,v]]。

14、在进一步的实施例中，对视野图像进行实例分割，获得实例分割结果的方法包括：

15、采用centernet2对相机原始图像进行实例分割，获得目标的mask区域、目标的类别编码和置信度。

16、在进一步的实施例中，根据雷达点云的图像坐标与实例分割结果进行关联，确定前景点云集合和背景点云集合的方法包括：

17、根据目标的mask区域，确定mask区域内点的坐标；

18、根据点云的图像坐标，确定mask区域内的点，视为前景点云集合；不在msak区域内的点视为背景点的集合。。

19、在进一步的实施例中，还包括对前景点集合的点云进行高斯滤波，具体为：

20、根据mask区域内前景点云集合，查找每个前景点云对应的若干个邻居点云；

21、根据每个前景点云计算到对应的若干个邻居点云的距离；

22、将每个前景点云到对应的若干个邻居点云的距离导入高斯分布模型计算，获得每个前景点云到对应的若干个邻居点云的距离参数；并对每个前景点云到对应的若干个邻居点云的距离进行均值计算，获得每个前景点云到对应的若干个邻居点云的距离的平均值；

23、基于距离参数判断mask区域内前景点云集合中的离群点；

24、从mask区域内前景点云集合移出存在的离群点并重新分配至背景点云集合中，获得滤波处理后的前景点云集合和背景点云集合。

25、在进一步的实施例中，将每个前景点云到对应的邻居点云的距离导入高斯分布模型计算，获得每个前景点云到对应的若干个邻居点云的距离参数的表达式为：

26、

27、

28、式中，(μ,σ)分别表示距离参数计算值，其中dn,j是每个点到其邻居的距离，n∈[1,…,m]表示共有m个点，j∈[1,…,k]表示每个点有k个邻居。

29、获得每个前景点云到对应的若干个邻居点云的距离的平均值的表达式为：

30、

31、式中，表示每个前景点云到对应的若干个邻居点云的距离的平均值。

32、在进一步的实施例中，基于实例分割结果对前景点云集合、背景点云集合分别进行特征增强，获得正前方视野目标特征增强后的点云数据集合的方法包括：

33、根据滤波处理后的前景点云集合、实例分割结果，确定每个前景点云集合的对应的目标的类别编码和置信度，

34、将对应的目标的类别编码和置信度与每个前景点云集合中包含的点云特征进行合并，融合成标注目标点云特征的前景点云集合；以及对背景点云集合中的点云特征进行数据量增强编译，获得点云特征数据量增强的背景点云集合；

35、将标注目标点云特征的前景点云集合与点云特征数据量增强的背景点云集合进行合并，获得正前方视野目标特征增强后的点云数据集合。

36、在进一步的实施例中，正前方视野特征增强后的点云数据集合还包括标准化处理的方法，具体为：

37、对正前方视野特征增强后的点云数据第5个维度的数值进行归一化处理，获得标准化的点云数据集合；

38、其中，归一化处理的表达式为：

39、

40、其中，α表示归一化后的值，lx表示当前值，min,max表示点云数据集合中的最小值和最大值。

41、第二方面本发明提供一种用于3d目标检测的特征增强装置，包括：

42、数据获取模块、投影模块、实例分割模块、特征增强模块；

43、所述数据获取模块用于获取ros系统发布的点云话题、相机话题并根据点云话题获取原始点云数据，根据相机话题获取视野图像；

44、所述投影模块用于将原始点云数据与视野图像对齐，确定正前方视野中的点云数据；并将正前方视野中的点云数据投影至二维图像坐标系下，获得雷达点云的图像坐标；

45、所述实例分割模块用于对视野图像进行实例分割，获得实例分割结果；并根据点云图像坐标与实例分割结果确定前景点云集合和背景点云集合；

46、所述特征增强模块用于基于实例分割结果对前景点云集合、背景点云集合分别进行特征增强，获得正前方视野目标特征增强后的点云数据集合；

47、其中，正前方视野特征增强后的点云数据集合用于在点云话题中更新原始点云数据，进而增强原始检测场景。

48、在进一步的实施例中，所述用于3d目标检测的特征增强装置还包括滤波模块用于对前景点云集合和背景点云集合进行滤波处理，去除存在的离群点。

49、第三方面本发明提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时上述方法的步骤。

50、有益效果：本发明与现有技术相比具有以下优点：

51、利用实例分割对图像的前景和背景分割并获得前景的mask区域、类别和置信度(score)；根据相机的内参和外参将点云投影到图像视野下，并获取前景mask区域内的点云集合；然后滤波模块通过对深度值进行高斯建模将离群点去除；将实例分割的结果作为点云特征的一部分，从而将原有的点云特征与实例分割结果结合，充分利用二维图像的优点处理三维点云数据，极大的增强了3d检测方法在稀疏雷达点云下的检测性能，几乎不增加3d检测的计算量；

52、根据前景mask区域的分割结果生成标注目标点云，生成目标点云的标注信息，并对点云数据进行数据增强，并将所有点云的l值进行归一化处理，能够有效识别目标物的三维边界框，补全和增强目标物的三维检测场景，并无需对3d检测算法进行更改，可以适用于多数3d检测框架，使其具有很强的泛化性；

53、因此该方法充分结合了图像的优点用于增强点云特征，从而增强智能机器人在稀疏点云条件下的3d检测的性能。该方法对提升智能小车和自动驾驶在3d感知性能做出了很大的贡献。