一种基于空间自适应稀疏卷积的三维目标检测方法

本发明属于点云处理，具体地说是涉及一种基于空间自适应稀疏卷积的三维目标检测方法。

背景技术：

1、自动驾驶旨在利用激光雷达、摄像头、毫米波雷达等传感器感知车辆周围环境信息，使车辆可以不借助人工而智能安全地行驶，三维目标检测则是自动驾驶感知系统中重要的一环，其中一种主流方法是使用三维稀疏卷积作为骨干网络的体素化方法，对于输入的点云空间将其网格体素化，这样一些体素就包含了多个点云，利用随机采样控制非空体素内点云的数量，然后利用全连接层将体素内多个点的特征转换为一个特征向量表示，利用三维稀疏卷积对三维的体素空间提取特征，最后使用区域生成网络根据学习到的特征在原空间中找到物体所在检测框与对应类别。

2、基于三维稀疏卷积的方法应用广泛，其目标检测精度相比于使用点级特征提取与点云俯视图二维卷积特征提取的精度有较大提升，但也有其缺陷。三维稀疏卷积通常使用子流形稀疏卷积与常规稀疏卷积，子流形稀疏卷积用以减少计算开销，但是只在输入体素位置处输出特征，这会导致卷积核缺乏感受野，周围的体素信息没有得到交流。常规稀疏卷积虽然像二维卷积一样保证了足够的感受野，但是三个维度的卷积计算量大幅增加，而且会使得原来稀疏结构的体素变得膨胀，模糊了体素的空间结构。

技术实现思路

1、本发明为解决三维稀疏卷积计算量大以及缺乏感受野信息的缺点，提出了一种基于空间自适应稀疏卷积的三维目标检测方法，空间自适应稀疏卷积主要包含动态卷积核生成与空间分区两部分，使用额外的子流形稀疏卷积生成三维偏移量来动态扩展卷积核形状，并对扩展的卷积核划分空间区域以提高感受野，通过共享空间分区内的参数以减少卷积核参数量。本发明适用于替换其他使用三维稀疏卷积骨干网络，可以提升检测精度。

2、本发明的技术方案是：

3、一种基于空间自适应稀疏卷积的三维目标检测方法，如图1所示，包括以下步骤：

4、s1、采集激光雷达点云数据作为三维目标检测输入数据；

5、s2、基于获取的点云数据进行点云体素化和体素特征编码，具体包括：

6、a1、基于获取的点云数据，将点云空间划分为体素空间，在x-y-z空间上按v×v×v的网格划分出个体素，每个体素限制最多有n个点，超出n个点的体素使用随机采样降低至n个点，从而体素表示为列向量：

7、vin＝{pi＝[xi,yi,zi,ri,xi-vx,yi-vy,zi-vz].t∈r7}，i＝1...n

8、xi,yi,zi表示体素内第i个点的空间坐标，ri表示反射强度，vx,vy,vz表示体素内所有点的算数中心点坐标；

9、a2、基于a1的体素表示，对每个体素进行特征编码，具体为将带有7个特征的每个点pi输入到全卷积网络，降维到c个维度，然后在c个维度上对一个体素内所有点特征进行最大池化，最后将每个体素表征为一个c维特征向量；

10、s3、构建空间自适应稀疏卷积网络，该网络主要包含动态卷积核生成与空间分区两个模块，具体包括：

11、b1、动态卷积核生成模块，该模块的输入层采用来自s2步骤得到的n×c格式的体素特征，这里的n表示输入的一帧点云中的体素数量，同时还有格式为n×4的体素坐标索引信息，4表示三维坐标以及体素id这4个参数，然后通过三层由子流形稀疏卷积、sigmoid函数组成的网络，接着各自通过卷积核偏移操作生成动态稀疏卷积，子流形稀疏卷积核的尺寸为3×3×3，卷积核个数为3，输入层通过子流形稀疏卷积与sigmoid函数得到偏移量数据，然后使用一个3×3×3的卷积核，该卷积核的权重位置分布与输入层的体素分布一致，没有体素的位置对应到该卷积核上没有权重，对每个非空权重添加偏移量数据使卷积核尺寸扩充到5×5×5大小。最后动态稀疏卷积计算公式为：

12、

13、△p＝α·sigmoid(submconv(xi))≤m

14、其中，yp表示卷积计算的结果，wk表示权重，p表示卷积核中心位置处x的位置，k是距p的3d偏移距离，p+k代表了中心p周围所有的离散位置，△p表示动态偏移量，每次滑动窗口进行卷积提取特征前的动态偏移量都不相同，α、m用于限制偏移量的大小；

15、b2、空间分区模块，是对b1得到的动态卷积进行空间分区，依次将动态卷积中非空权重周围的6个领域位置分为一个区域，同时保持卷积核尺寸不超过5×5×5大小，分区中的空权重使用分区中心非空权重一样的卷积核参数，由此得到自适应稀疏卷积；

16、s4、将s3步骤得到的自适应稀疏卷积替换三维目标检测backbone中的子流形稀疏卷积，然后将c维特征向量输入到新的骨干网络中进行特征提取，；

17、s5、将提取的特征输入检测头输出检测结果，生成3d边界框并预测目标类别，实现三维目标检测。

18、本发明的有益效果为：本发明提供的基于空间自适应稀疏卷积的三维目标检测方法，使用动态偏移使卷积核更好地适应了稀疏点云的空间结构，解决了子流形稀疏卷积面对稀疏点云空间结构无法很好提取空间特征的问题；采用空间分区的方法解决了动态卷积因为追求适应稀疏点云空间结构而使卷积核过分稀疏的问题，使不规则的稀疏卷积进一步扩大感受野，进而提升检测效果，而不会像普通的大尺寸卷积一样参数量大幅增加。本发明测试在三维目标检测领域的公开数据集kitti上进行测试，测试结果表明车辆遮挡为中等的3d检测精度相比基线方法提升0.27个百分点，自行车的检测精度提升了1.72个百分点，表明了本方法的性能优势。

技术特征：

1.一种基于空间自适应稀疏卷积的三维目标检测方法，其特征在于，包括以下步骤：

技术总结
本发明属于点云处理技术领域，具体地说是涉及一种基于空间自适应稀疏卷积的三维目标检测方法。本发明提供的基于空间自适应稀疏卷积的三维目标检测方法，主要包含动态卷积核生成与空间分区两部分，使用额外的子流形稀疏卷积生成三维偏移量，动态扩展卷积核形状来拟合不规则的稀疏点云结构，使得网络更有效地提取点云特征；采用空间分区的方法对卷积核进一步空间扩展，扩展的区域共享参数，有效提升了卷积核感受野与检测精度。本发明测试在公开数据集KITTI的验证集中进行测试，检测精度相比其他方法有所提升。

技术研发人员：张萍,胡靖璟,彭思懿,邱辰昊,高椿明
受保护的技术使用者：电子科技大学（深圳）高等研究院
技术研发日：
技术公布日：2024/3/27