单阶段3D点云目标检测方法及装置、计算机设备、介质

文档序号:29157942发布日期:2022-03-08 22:09阅读:来源:国知局

技术特征:
1.一种单阶段3d点云目标检测方法,其步骤包括:主干网络的训练阶段:对于训练样本集中的3d点云,数据增广模块对所述3d点云中目标实例与获取所述3d点云的采样传感器距离不同,设置不同的聚类半径参数对所述3d点云进行聚类操作,用立体包围框将同类的点云包含起来得到最小立体包围框并将其放入3d立体框集合db_boxes;计算所述3d立体框集合db_boxes每个最小立体包围框与对应目标实例在点云中真实3d立体框gt_boxes的交并比,交并比大于设定阈值的,则将对应最小立体包围框保存到saved_boxes集合内,以及将对应最小立体包围框内的点从所述3d点云中剔除;然后将所述saved_boxes集合内的点进行下采样,得到数据增广后的点云数据;所述主干网络对数据增广后的点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,将提取的语义特征和空间特征输入所述主干网络的掩膜采样模块;所述掩膜采样模块根据输入的空间特征和语义特征预测每个点的预测分数,然后按照预测分数从高到低完成点采样并输入到所述主干网络的特征融合模块;所述特征融合模块对输入采样点的特征进行解耦处理,得到语义特征和空间信息;将解耦得到的语义特征进行卷积处理得到语义特征的压缩特征并输入到sigmoid函数,得到语义注意力图;将解耦得到的空间信息进行卷积处理得到空间信息的压缩特征并输入到sigmoid函数,得到空间注意力图;将语义注意力图、空间注意力图逐位相加,得到压缩注意力图;将该压缩注意力图与输入采样点的特征逐点相乘得到激活后的特征图;调整输入采样点的特征图维度大小使得其与激活后的特征图维度一致后,逐位相加得到融合特征图;所述主干网络的回归预测网络根据该融合特征图进行预测,得到点云当中目标实例的位置和类别;然后基于预测结果和设定的损失函数对所述主干网络的参数进行更新;应用阶段:将待处理3d点云输入训练后的所述主干网络;所述主干网络对所述待处理3d点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,将提取的语义特征和空间特征依次经所述掩膜采样模块、所述特征融合模块进行处理得到一融合特征图;然后所述回归预测网络根据该融合特征图进行预测,得到所述待处理3d点云中目标的位置。2.根据权利要求1所述的方法,其特征在于,所述掩膜采样模块为特征编码模块和特征解码模块构成的二分类网络。3.根据权利要求2所述的方法,其特征在于,所述掩膜采样模块将输入的空间特征和语义特征按维度拼接所得特征图输入到特征编码模块中进行下采样,得到不同阶段的下采样特征图;将最后阶段的下采样特征图输入到特征解码模块中进行上采样,将所得阶段的上采样特征图与同阶段的下采样特征图进行拼接后进行后一阶段的上采样,根据最后阶段的上采样特征图与第一阶段的下采样特征图拼接结果预测每个点的预测分数,然后按照预测分数从高到低完成点采样。4.根据权利要求2或3所述的方法,其特征在于,所述特征编码模块包括依次连接的两个3x3卷积单元,其中每个3x3卷积单元后依次连接有批标准化处理单元、线性修正单元、最大池化下采样单元;所述特征编码模块包括两个2x2转置卷积单元以及两个3x3卷积单元,第一2x2转置卷积单元对所述特征编码模块的输入信息进行处理后输入第一3x3卷积单元,第一3x3卷积单元处理后的信息依次经批标准化处理单元、线性修正单元处理后输入第二
3x3卷积单元,第二3x3卷积单元处理后的信息依次经批标准化处理单元、线性修正单元处理后输入第二2x2转置卷积单元。5.根据权利要求1所述的方法,其特征在于,所述聚类操作为dbscan聚类操作。6.根据权利要求1所述的方法,其特征在于,所述采样传感器为激光雷达传感器。7.根据权利要求1所述的方法,其特征在于,所述回归预测网络为无锚框回归头部网络。8.一种单阶段3d点云目标检测装置,其特征在于,所述装置包括:数据增广模块,用于对于训练样本集中的3d点云,对所述3d点云中目标实例与获取所述3d点云的采样传感器距离不同,设置不同的聚类半径参数对所述3d点云进行聚类操作,用立体包围框将同类的点云包含起来得到最小立体包围框并将其放入3d立体框集合db_boxes;计算所述3d立体框集合db_boxes每个最小立体包围框与对应目标实例在点云中真实3d立体框gt_boxes的交并比,交并比大于设定阈值的,则将对应最小立体包围框保存到saved_boxes集合内,以及将对应最小立体包围框内的点从所述3d点云中剔除;然后将所述saved_boxes集合内的点进行下采样,得到数据增广后的点云数据;特征提取模块,用于对数据增广后的点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,将提取的语义特征和空间特征输入掩膜采样模块;掩膜采样模块,用于根据输入的空间特征和语义特征预测每个点的预测分数,然后按照预测分数从高到低完成点采样并输入到特征融合模块;特征融合模块,用于对输入采样点的特征进行解耦处理,得到语义特征和空间信息;将解耦得到的语义特征进行卷积处理得到语义特征的压缩特征并输入到sigmoid函数,得到语义注意力图;将解耦得到的空间信息进行卷积处理得到空间信息的压缩特征并输入到sigmoid函数,得到空间注意力图;将语义注意力图、空间注意力图逐位相加,得到压缩注意力图;将该压缩注意力图与输入采样点的特征逐点相乘得到激活后的特征图;调整输入采样点的特征图维度大小使得其与激活后的特征图维度一致后,逐位相加得到融合特征图;回归预测网络,用于根据融合特征图进行预测,得到点云当中目标的位置和类别。9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器存储计算机程序,所述计算机程序被配置为由所述处理器执行,所述计算机程序包括用于执行权利要求1至7任一项所述方法中各步骤的指令。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。

技术总结
本发明公开了一种单阶段3D点云目标检测方法及装置、计算机设备、介质。本方法为:根据3D点云中目标与获取3D点云的采样传感器距离不同,设置不同的聚类半径参数对3D点云进行聚类操作,用立体包围框将同类的点云包含起来得到最小立体包围框,并对每一所述最小立体包围框内的点集合进行下采样,得到数据增广后的点云数据;对数据增广后的点云数据进行基于球内最远距离采样,并对采样得到的点进行特征提取,得到语义特征和空间特征;根据空间特征和语义特征预测每个点的预测分数,然后按照预测分数从高到低完成点采样;对采样点的特征进行融合得到融合特征图;回归预测网络根据该融合特征图进行预测,得到点云当中目标的位置和类别。别。别。


技术研发人员:王伟平 李鸿宇 周宇
受保护的技术使用者:中国科学院信息工程研究所
技术研发日:2021.10.29
技术公布日:2022/3/7
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1