目标检测方法、装置及电子设备

本发明涉及点云处理，具体地涉及一种目标检测方法、目标检测装置、一种电子设备以及一种存储介质。

背景技术：

1、随着自动驾驶技术的火热，三维目标检测作为场景理解的关键任务也受到越来越多的关注。三维目标检测旨在预测三维空间中关键对象(例如汽车、行人、骑自行车者)的位置、大小、方向和类别。与图像相比，激光雷达点云包含了更多的几何和语义信息，并且不受光照条件的限制，这使其成为主流三维目标检测算法的输入数据。

2、点云数据是非结构化的，因此不能直接使用标准卷积，需要对点云进行有效的编码。目前主要的编码方式有：基于点的方法、基于体素的方法、基于点-体素的方法。基于点的方法需要对点云中的每个点进行操作，并利用置换不变算子(如多层感知器)聚合逐点特征，这会带来很大的计算开销。基于体素的方法对点云进行体素化，然后经三维卷积提取特征。由于三维稀疏卷积的提出大大提高了网络的推理速度，进而基于体素的方法成为目前主流算法的首选。虽然可以保证速度，但在体素下采样过程中会丢失某些区域的几何信息。为了弥补体素方法丢失的几何信息，出现了基于点-体素的方法，它充分利用基于点的方法在保留几何信息方面的优势。但此类算法仍然存在基于点方法所面临的计算开销大的问题。

3、另一个需要解决的问题是检测器会对形状相似的物体产生错误的检测。现有算法会将路标、树木、花坛等误检为行人，将广告牌等误检为骑车者，将建筑、树丛等误检为汽车。这些误检是因为物体的几何信息相似导致的。经深入研究发现，之前的算法着重关注点云坐标中携带的几何信息，但并没有深入挖掘反射强度信息，进而使算法在面对形状相似的物体时产生误检。

技术实现思路

1、本发明实施例的目的是提供一种目标检测方法及一种采用该方法的芯片，使训练后的模型具备高效率和区分形状相似物体的能力，以至少解决背景技术中的部分问题。

2、为了实现上述目的，本发明第一方面提供一种目标检测方法，所述方法包括：以包括四个维度信息的点云数据作为输入数据，所述四个维度包括三维坐标信息和反射强度；

3、对所述点云数据进行多层反射强度鸟瞰图编码，并采用由上/下采样模块、卷积模块和连接层构成的反射强度鸟瞰图特征提取网络从编码结果中提取反射强度鸟瞰图特征；

4、对所述点云数据进行三维体素编码，并采用由编码层、卷积模块和转换模块构成的三维体素特征提取网络从编码结果中提取三维体素特征；

5、将所述反射强度鸟瞰图特征和所述三维体素特征融合后，采用由特征提取子网络、多尺度子网络和卷积层构成第一阶段检测头对融合结果进行检测，得到三维区域建议；

6、采用三维体素感兴趣区域池化层基于所述三维区域建议对所述三维体素特征进行池化，得到感兴趣区域特征；

7、采用第二阶段检测头对所述感兴趣区域特征进行特征转换并分别经边界框回归和置信度预测，得到所述点云数据的检测结果。

8、优选地，对所述点云数据进行多层反射强度鸟瞰图编码，并采用由上/下采样模块、卷积模块和连接层构成的反射强度鸟瞰图特征提取网络从编码结果中提取反射强度鸟瞰图特征，包括：将所述点云数据中的反射强度以鸟瞰图的方式按高度方向进行切片；在切片后的每个小空间内将点云的反射强度以预设分辨率按坐标投影为二维的伪图像，作为所述编码结果；所述编码结果经过多个下采样模块、卷积模块和连接层、多个上采样模块、卷积模块后，得到所述反射强度鸟瞰图特征；其中，所述多个下采样模块中的第一个下采样模块采用两个卷积层组成，后续的下采样模块采用restnet残差结构；所述上采样模块采用反卷积层；所述连接层为横向连接层，设置于上采样模块与对应的下采样模块之间。

9、优选地，对所述点云数据进行三维体素编码，并采用由编码层、卷积模块和转换模块构成的三维体素特征提取网络从编码结果中提取三维体素特征，包括：将所述点云数据所在的三维空间均匀细分为等间距的体素，在每个体素内编码点云的四个维度信息，得到编码结果；所述编码结果依次经过编码层、多个卷积模块和转换模块后，得到所述三维体素特征；其中，所述编码层为体素特征编码层；所述卷积模块为三维稀疏卷积模块，所述多个卷积模块中的第一个卷积模块由两层子流形稀疏卷积组成，后续的卷积模块由一层步长为2的空间稀疏卷积和两层子流形稀疏卷积组成；转换模块为稀疏特征转换为密集bev特征层。

10、优选地，将所述反射强度鸟瞰图特征和所述三维体素特征融合后，采用由特征提取子网络、多尺度子网络和卷积层构成第一阶段检测头对融合结果进行检测，得到三维区域建议，包括：将所述反射强度鸟瞰图特征和所述三维体素特征融合后，得到融合结果；所述融合结果经过由两个卷积层组成的自上而下的特征提取子网络和一个用于上采样和特征融合的多尺度子网络构成的网络后，将网络的输出与两个并列的卷积层进行卷积操作，生成三维区域建议。

11、优选地，采用三维体素感兴趣区域池化层基于所述三维区域建议对所述三维体素特征进行池化，得到感兴趣区域特征，包括：在不同阶段利用体素池化方法提取聚合特征；将不同阶段和不同规模的聚合特征进行拼接，得到体素感兴趣区域特征；所述体素池化方法包括以下步骤：根据中心点体素的三维坐标信息和预设体素位置偏移，得到相邻体素的索引，进而对体素进行分组；根据所述三维区域建议，将相邻非空体素的特征聚合到定位的中心点上进行特征提取；采用全连接层学习不同距离的相邻体素特征，再采用最大池化操作获得k个非空相邻体素的聚合特征。

12、优选地，采用第二阶段检测头对所述感兴趣区域特征进行特征转换并分别经边界框回归和置信度预测，得到所述点云数据的检测结果，包括：采用共享的多层感知器将所述感兴趣区域特征转换为特征向量，将所述特征向量分别输入到边界框回归分支和置信度预测分支，得到所述点云数据的检测结果；所述边界框回归分支用于预测从三维区域建议到真值的残差，所述置信度预测分支用于预测与iou相关的置信度分数。

13、优选地，所述反射强度鸟瞰图特征提取网络、所述三维体素特征提取网络、所述第一阶段检测头、所述第二阶段检测头中的参数权重通过以下训练步骤得到：基于位置损失和分类损失构建损失函数；获取训练样本并确定训练控制参数；采用adam优化器，基于所述损失函数、训练样本和训练控制参数以端到端的方式进行训练。

14、在本发明的第二方面，还提供了一种目标检测装置，所述装置包括：原始数据模块，用于以包括四个维度信息的点云数据作为输入数据，所述四个维度包括三维坐标信息和反射强度；第一特征模块，用于对所述点云数据进行多层反射强度鸟瞰图编码，并采用由上/下采样模块、卷积模块和连接层构成的反射强度鸟瞰图特征提取网络从编码结果中提取反射强度鸟瞰图特征；第二特征模块，用于对所述点云数据进行三维体素编码，并采用由编码层、卷积模块和转换模块构成的三维体素特征提取网络从编码结果中提取三维体素特征；融合检测模块，用于将所述反射强度鸟瞰图特征和所述三维体素特征融合后，采用由特征提取子网络、多尺度子网络和卷积层构成第一阶段检测头对融合结果进行检测，得到三维区域建议；池化模块，用于采用三维体素感兴趣区域池化层基于所述三维区域建议对所述三维体素特征进行池化，得到感兴趣区域特征；以及结果输出模块，用于采用第二阶段检测头对所述感兴趣区域特征进行特征转换并分别经边界框回归和置信度预测，得到所述点云数据的检测结果。

15、本发明第四方面提供了一种电子设备，包括：至少一个处理器；存储器，所述至少一个处理器连接；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的目标检测方法的步骤。

16、本发明第四方面提供了一种计算机可读存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行前述的目标检测方法。

17、本发明第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述的目标检测方法。

18、上述技术方案具有以下有益效果：

19、首先，提出了一种反射强度鸟瞰图-体素的点云编码方式，并设计了对应的特征金字塔主干网络架构，解决了目前点云算法不能有效区分形状相似物体的问题。

20、其次，使用计算成本低的三维稀疏卷积和时间复杂度小的体素池化，保证了网络的处理效率。

21、最后，本发明实施方式具有更好的通用性，可应用于各类交通场景。

22、本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。