一种基于相机与毫米波雷达的目标检测方法及装置与流程

本申请涉及目标检测，特别涉及一种基于相机与毫米波雷达的目标检测方法及装置。

背景技术：

1、近年来，目标检测因其广泛的应用和近年来的技术突破而受到越来越多的关注。它是一种与计算机视觉和图像处理相关的计算机技术，用于检测数字图像和视频中某一对象(如人、建筑物或汽车)的实例。

2、现有技术中，目标检测技术往往仅使用图像进行检测，无法得到目标的空间信息，且易受干扰。因此，如何获得准确且包含空间信息的目标检测结果，成为了亟需解决的问题。

技术实现思路

1、基于上述问题，本申请提供了一种基于相机与毫米波雷达的目标检测方法及装置，以获得准确且包含空间信息的目标检测结果。

2、本申请公开了一种基于相机与毫米波雷达的目标检测方法，所述方法包括：

3、将毫米波雷达点云转换为深度图；

4、基于所述深度图与拆分后的相机图片，得到四通道图；

5、对所述四通道图进行特征提取；

6、将提取出的特征数据输入yo l ov5目标检测模型中，得到包含距离信息的检测框图；

7、将通过毫米波雷达获取的速度信息与所述包含距离信息的检测框图融合，得到包含空间信息的检测框图。

8、可选的，所述将毫米波雷达点云转换为深度图，包括：根据毫米波雷达与相机的相对位置，将所述毫米波雷达点云投影到相机坐标系以获取深度图。

9、可选的，所述将所述毫米波雷达点云投影到相机坐标系以获取深度图，包括：

10、根据毫米波雷达坐标系和相机坐标系，获取并合并旋转矩阵与平移向量，得到变换矩阵；

11、将所述毫米波雷达坐标系中的初始坐标与所述变换矩阵、相机内参和修正矩阵进行矩阵相乘，得到所述相机坐标系中与所述初始目标对应的投影坐标；

12、基于所述投影坐标获取所述深度图。

13、可选的，所述基于所述深度图与拆分后的相机图片，得到四通道图，包括：

14、通过rgb三条通道将所述相机图片拆分，得到与所述三条通道对应的三张图片；

15、将所述三张图片与所述深度图拼接得到四通道图。

16、可选的，所述将提取出的特征数据输入yo l ov5目标检测模型中，得到包含距离信息的检测框图，包括：所述yo l ov5目标检测模型将所述包含距离信息的检测框图通过最大池化层和全连接层进行输出。

17、可选的，在所述将提取出的特征数据输入yo l ov5目标检测模型中前，所述方法还包括：

18、获取多个四通道图进行标注，构成数据集；

19、利用所述数据集训练yo l ov5目标检测模型。

20、可选的，获取速度信息，包括：

21、通过毫米波雷达获取毫米波脉冲探测目标时的频移量；

22、基于所述频移量、毫米波脉冲发射频率和光速，获取速度信息。

23、基于上述一种基于相机与毫米波雷达的目标检测方法，本申请还公开了一种基于相机与毫米波雷达的目标检测装置，包括：点云转换单元、四通道图获取单元、特征提取单元、目标检测单元和融合单元。

24、所述点云转换单元，用于将毫米波雷达点云转换为深度图；

25、所述四通道图获取单元，用于基于所述深度图与拆分后的相机图片，得到四通道图；

26、所述特征提取单元，用于对所述四通道图进行特征提取；

27、所述目标检测单元，用于将提取出的特征数据输入yo l ov5目标检测模型中，得到包含距离信息的检测框图；

28、所述融合单元，用于将通过毫米波雷达获取的速度信息与所述包含距离信息的检测框图融合，得到包含空间信息的检测框图。

29、可选的，所述点云转换单元，用于：根据毫米波雷达与相机的相对位置，将所述毫米波雷达点云投影到相机坐标系以获取深度图。

30、可选的，所述点云转换单元，包括：

31、变换矩阵获取子单元，用于根据毫米波雷达坐标系和相机坐标系，获取并合并旋转矩阵与平移向量，得到变换矩阵；

32、投影坐标获取子单元，用于将所述毫米波雷达坐标系中的初始坐标与所述变换矩阵、相机内参和修正矩阵进行矩阵相乘，得到所述相机坐标系中与所述初始目标对应的投影坐标；

33、深度图获取子单元，用于基于所述投影坐标获取所述深度图。

34、可选的，所述四通道图获取单元，包括：

35、通道拆分子单元，用于通过rgb三条通道将所述相机图片拆分，得到与所述三条通道对应的三张图片；

36、拼接子单元，用于将所述三张图片与所述深度图拼接得到四通道图。

37、可选的，所述目标检测单元，用于：所述yo l ov5目标检测模型将所述包含距离信息的检测框图通过最大池化层和全连接层进行输出。

38、可选的，所述装置还包括：

39、数据集获取单元，用于获取多个四通道图进行标注，构成数据集；

40、训练单元，用于利用所述数据集训练yo l ov5目标检测模型。

41、可选的，所述融合单元，包括：

42、频移量获取子单元，用于通过毫米波雷达获取毫米波脉冲探测目标时的频移量；

43、速度信息获取子单元，用于基于所述频移量、毫米波脉冲发射频率和光速，获取速度信息。

44、本申请公开了一种基于相机与毫米波雷达的目标检测方法及装置。先将毫米波雷达点云转换为深度图，将其与拆分后的相机图片拼接得到四通道图，再对所述四通道图进行特征提取，以输入到yo l ov5目标检测模型，最终获得包含距离信息的检测框图，将之与获取的速度信息融合得到包含空间信息的检测框图。由毫米波雷达点云生成的深度图可以提供目标的距离信息，同时提高抗干扰能力，并且毫米波雷达可提供目标的速度信息，用于获得同时包含距离和速度信息的检测框图。利用毫米波雷达点云与相机图片融合得到的四通道图，将yo l ov5目标检测模型的输入信息从rgb三通道扩展成为rgbd四通道，可提高信息输入量和目标检测的准确度。

技术特征：

1.一种基于相机与毫米波雷达的目标检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将毫米波雷达点云转换为深度图，包括：根据毫米波雷达与相机的相对位置，将所述毫米波雷达点云投影到相机坐标系以获取深度图。

3.根据权利要求2所述的方法，其特征在于，所述将所述毫米波雷达点云投影到相机坐标系以获取深度图，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述深度图与拆分后的相机图片，得到四通道图，包括：

5.根据权利要求1所述的方法，其特征在于，所述将提取出的特征数据输入yolov5目标检测模型中，得到包含距离信息的检测框图，包括：所述yolov5目标检测模型将所述包含距离信息的检测框图通过最大池化层和全连接层进行输出。

6.根据权利要求1所述的方法，其特征在于，在所述将提取出的特征数据输入yolov5目标检测模型中前，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，获取速度信息，包括：

8.一种基于相机与毫米波雷达的目标检测装置，其特征在于，包括：点云转换单元、四通道图获取单元、特征提取单元、目标检测单元和融合单元。

9.根据权利要求8所述的装置，其特征在于，所述点云转换单元，用于：根据毫米波雷达与相机的相对位置，将所述毫米波雷达点云投影到相机坐标系以获取深度图。

10.根据权利要求9所述的装置，其特征在于，所述点云转换单元，包括：

技术总结
本申请公开了一种基于相机与毫米波雷达的目标检测方法及装置。先将毫米波雷达点云转换为深度图，将其与拆分后的相机图片拼接得到四通道图，再对所述四通道图进行特征提取，以输入到yolov5目标检测模型，最终获得包含距离信息的检测框图，将之与获取的速度信息融合得到包含空间信息的检测框图。由毫米波雷达点云生成的深度图可以提供目标的距离信息，同时提高抗干扰能力，并且毫米波雷达可提供目标的速度信息，用于获得同时包含距离和速度信息的检测框图。利用毫米波雷达点云与相机图片融合得到的四通道图，将yolov5目标检测模型的输入信息从RGB三通道扩展成为RGBD四通道，可提高信息输入量和目标检测的准确度。

技术研发人员：张军,陶征,宋清峰
受保护的技术使用者：南京慧尔视智能科技有限公司
技术研发日：
技术公布日：2024/1/13