一种目标检测方法及装置与流程

文档序号:31707822发布日期:2022-10-01 12:40阅读:来源:国知局

技术特征:
1.一种目标检测方法,其特征在于,所述方法包括:获取待测区域的视觉图像和点云数据,所述点云数据包括一个或多个雷达反射点;将基于所述视觉图像提取出的一个或多个图像特征与所述点云数据关联,得到与每个图像特征相关联的一个或多个雷达反射点;根据所述与所述每个图像特征相关联的一个或多个雷达反射点,确定所述每个图像特征对应的雷达特征;根据所述每个图像特征和所述每个图像特征对应的雷达特征,检测所述待测区域内的目标对象的空间状态,所述目标对象包括人体和/或物体。2.根据权利要求1所述的方法,其特征在于,所述将基于所述视觉图像提取出的一个或多个图像特征与所述点云数据关联,得到与每个图像特征相关联的一个或多个雷达反射点,包括:对于所述一个或多个图像特征中的第一图像特征,根据所述第一图像特征和所述点云数据,确定所述第一图像特征与每一个雷达反射点的关联概率;将所述关联概率大于或等于预设概率的雷达反射点确定为与所述第一图像特征相关联的雷达反射点。3.根据权利要求2所述的方法,其特征在于,所述根据所述第一图像特征和所述点云数据,确定所述第一图像特征与每一个雷达反射点的关联概率,包括:确定所述第一图像特征与所述点云数据中每一个雷达反射点的相对位置关系;确定所述第一图像特征的深度信息和所述点云数据中每一个雷达反射点的深度信息;根据所述相对位置关系、所述第一图像特征的深度信息以及所述点云数据中每一个雷达反射点的深度信息,确定所述第一图像特征与每一个雷达反射点的关联概率。4.根据权利要求2或3所述的方法,其特征在于,所述关联概率满足以下关系:其中,d为所述雷达反射点的深度信息,μ
d
为所述第一图像特征的深度信息中的深度均值,σ
d
为所述第一图像特征的深度信息中的深度标准差,所述视锥体用于指示所述基于所述第一图像特征对应的目标图相框与图像采集设备的位置确定出的空间区域。5.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述每个图像特征和所述每个图像特征对应的雷达特征,检测所述待测区域内的目标对象的空间状态,包括:对于所述一个或多个图像特征中的第一图像特征,确定所述第一图像特征和所述第一图像特征对应的雷达特征的联合特征;根据所述第一图像特征和所述联合特征,确定所述待测区域内的目标对象的空间状态。6.根据权利要求5所述的方法,其特征在于,所述根据所述第一图像特征和所述联合特征,确定所述待测区域内的目标对象的空间状态,包括:根据所述第一图像特征,确定所述待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项;
根据所述联合特征,确定待测区域内的目标对象的速度信息和方向信息;根据所述第一图像特征和所述联合特征,确定待测区域内的目标对象的深度信息;根据所述待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量、速度信息、方向信息以及深度信息中的一项或多项,确定所述目标对象的空间状态。7.根据权利要求6所述的方法,其特征在于,所述根据所述第一图像特征,确定所述待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项,包括:将所述第一图像特征输入第一预测模块,得到所述待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项;其中,所述第一预测模块包括一个或多个第一子模块,一个第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核,所述一个第一子模块用于输出所述待测区域内的目标对象的目标类别、朝向角、尺寸或者中心偏移量。8.根据权利要求6所述的方法,其特征在于,所述根据所述联合特征,确定待测区域内的目标对象的速度信息和方向信息,包括:将所述联合特征输入第二预测模块,得到所述待测区域内的目标对象的速度信息和方向信息;其中,所述第二预测模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。9.根据权利要求6所述的方法,其特征在于,所述根据所述第一图像特征和所述联合特征,确定待测区域内的目标对象的深度信息,包括:将所述第一图像特征和所述联合特征输入第三预测模块,得到所述待测区域内的目标对象的深度信息;其中,所述第三预测模块包括一个或多个第一子模块和第二子模块,所述第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核,第二子模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。10.一种目标检测装置,其特征在于,所述装置包括:获取模块,用于获取待测区域的视觉图像和点云数据;特征关联模块,用于将基于所述视觉图像提取出的一个或多个图像特征与所述点云数据关联,得到与每个图像特征相关联的一个或多个雷达反射点;特征提取模块,用于根据所述与所述每个图像特征相关联的一个或多个雷达反射点,确定所述每个图像特征对应的雷达特征;目标检测模块,用于根据所述每个图像特征和所述每个图像特征对应的雷达特征,检测所述待测区域内的目标对象的空间状态,所述目标对象包括人体和/或物体。11.根据权利要求10所述的装置,其特征在于,所述特征关联模块,具体用于:对于所述一个或多个图像特征中的第一图像特征,根据所述第一图像特征和所述点云数据,确定所述第一图像特征与每一个雷达反射点的关联概率;将所述关联概率大于或等于预设概率的雷达反射点确定为与所述第一图像特征相关联的雷达反射点;所述特征关联模块,具体用于:确定所述第一图像特征与所述点云数据中每一个雷达反射点的相对位置关系;
确定所述第一图像特征的深度信息和所述点云数据中每一个雷达反射点的深度信息;根据所述相对位置关系、所述第一图像特征的深度信息以及所述点云数据中每一个雷达反射点的深度信息,确定所述第一图像特征与每一个雷达反射点的关联概率;所述关联概率满足以下关系:其中,d为所述雷达反射点的深度信息,μ
d
为所述第一图像特征的深度信息中的深度均值,σ
d
为所述第一图像特征的深度信息中的深度标准差,所述视锥体用于指示所述基于所述第一图像特征对应的目标图相框与图像采集设备的位置确定出的空间区域;所述目标检测模块,具体用于:对于所述一个或多个图像特征中的第一图像特征,确定所述第一图像特征和所述第一图像特征对应的雷达特征的联合特征;根据所述第一图像特征和所述联合特征,确定所述待测区域内的目标对象的空间状态;所述目标检测模块,具体用于:根据所述第一图像特征,确定所述待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项;根据所述联合特征,确定待测区域内的目标对象的速度信息和方向信息;根据所述第一图像特征和所述联合特征,确定待测区域内的目标对象的深度信息;根据所述待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量、速度信息、方向信息以及深度信息中的一项或多项,确定所述目标对象的空间状态所述目标检测模块,具体用于:将所述第一图像特征输入第一预测模块,得到所述待测区域内的目标对象的目标类别、朝向角、尺寸、中心偏移量中的一项或多项;其中,所述第一预测模块包括一个或多个第一子模块,一个第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核,所述一个第一子模块用于输出所述待测区域内的目标对象的目标类别、朝向角、尺寸或者中心偏移量;所述目标检测模块,还具体用于:将所述联合特征输入第二预测模块,得到所述待测区域内的目标对象的速度信息和方向信息;其中,所述第二预测模块包括1
×
1卷积核、线性整流单元、1
×
1卷积核、线性整流单元以及1
×
1卷积核;所述目标检测模块,还具体用于:将所述第一图像特征和所述联合特征输入第三预测模块,得到所述待测区域内的目标对象的深度信息;其中,所述第三预测模块包括一个或多个第一子模块和第二子模块,所述第一子模块包括3
×
3卷积核、线性整流单元以及1
×
1卷积核,第二子模块包括1
×
1卷积核、线性整流单
元、1
×
1卷积核、线性整流单元以及1
×
1卷积核。12.一种电子设备,其特征在于,所述电子设备包括存储器和处理器;所述存储器和所述处理器耦合;所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;其中,当所述处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-9中任意一项所述的目标检测方法。13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-9中任一项所述的异目标检测方法。

技术总结
本申请提供一种目标检测方法及装置,涉及无人驾驶技术领域,可以提升目标检测的准确率。具体方案包:获取待测区域的视觉图像和点云数据,点云数据包括一个或多个雷达反射点;将基于视觉图像提取出的一个或多个图像特征与点云数据关联,得到与每个图像特征相关联的一个或多个雷达反射点;根据与每个图像特征相关联的一个或多个雷达反射点,确定每个图像特征对应的雷达特征;根据每个图像特征和每个图像特征对应的雷达特征,检测待测区域内的目标对象的空间状态,目标对象包括人体和/或物体。目标对象包括人体和/或物体。目标对象包括人体和/或物体。


技术研发人员:方梓成 张经纬 赵显
受保护的技术使用者:上海高德威智能交通系统有限公司
技术研发日:2022.06.28
技术公布日:2022/9/30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1