一种基于相机融合固态激光雷达的无人驾驶目标检测方法

本发明涉及一种目标检测方法，具体涉及一种基于相机融合固态激光雷达的无人驾驶目标检测方法。

背景技术：

1、随着智能化技术的快速发展，无人驾驶技术也应运而生，然而其安全、可靠性也受到越来越多的关注，对车辆周围的环境感知密不可分，精准的识别目标和障碍物，能为自动驾驶汽车提前做好路径规划和采取应急控制措施提供帮助。

2、煤矿井下、石油化工等特殊场景内工况环境恶劣，粉尘水雾较大、光亮稳定性不足，传统的单一相机或者激光雷达难以满足使用需求，亟需使用相机和激光雷达融合技术来对目标进行探测，然而目前使用较多的为机械式激光雷达与相机融合检测，但是考虑到清洁措施，机械式激光雷达受清洁装置的影响，精度下降严重，且扫描范围受限，无法实现高精度目标检测功能。而且，图像与激光雷达采集的视野角度差别较大，统一性较差，难以完全实现绝对统一。

技术实现思路

1、针对上述现有技术存在的问题，本发明提供一种基于相机融合固态激光雷达的无人驾驶目标检测方法，能够统一相机和固态激光雷达的视野，实现高精度三维目标检测。

2、为了实现上述目的，本发明采用的技术方案是：一种基于相机融合固态激光雷达的无人驾驶目标检测方法，包括以下步骤：

3、s1、在车辆的前、后、左、右四个位置分别设置一个相机和一个固态激光雷达；

4、s2、对四个位置相机和固态激光雷达分别进行联合标定，对图像数据和点云数据进行时间同步；

5、s3、将图像数据和点云数据分别进行增强处理；

6、s4、利用神经网络分别对图像特征和点云特征进行提取，再将单一位置的图像特征和点云特征分别进行融合，然后再将四个位置的融合信息进行二次特征融合；

7、s5、将提取的融合特征输入预测网络，识别矿井下的障碍物类别、位置和位姿信息。

8、进一步的，所述步骤s1中车前和车后两个位置分别采用32线固态激光雷达，车左和车右两个位置分别采用16线固态激光雷达，同一位置的相机与固态激光雷达之间的垂直距离为5cm～15cm，四个位置的相机、固态激光雷达分别设置在同一水平面上。

9、进一步的，所述步骤s2中四个位置相机和固态激光雷达分别进行联合标定的方法：通过手动标定与对齐，获取单一位置相机和固态激光雷达位置转换矩阵，建立世界坐标系，获得四个相机和固态激光雷达各自的外参进行标定；设置世界坐标系与相机的旋转和平移矩阵分别为rc、tc，相机坐标系下的非齐次线性坐标为xw、xc，则：xc＝rc*xw+tc；设置固态激光雷达和相机的旋转和平移矩阵分别为rl、tl，固态激光雷达中的一点pl在相对坐标系和相机坐标系的非齐次线性坐标分别为xl、xc，则：xc＝rl*xl+tl。

10、进一步的，所述步骤s2中图像数据和点云数据进行时间同步的方法为：设置相机和固态激光雷达采样周期分别为tc、tl，判断1/2tc>tl，将1/2tc与tl的时间戳数据进行融合；判断1/2tc<tl，将tc与tl的时间戳数据进行融合，完成图像数据与点云数据时空同步。

11、进一步的，所述步骤s3中图像数据增强处理为利用重构函数自注意力机制，保留图像数据结构，对图像数据进行重构处理；点云数据增强处理使用高斯滤波对每个点的邻域内的点进行高斯加权平均，以其协方差矩阵确定的领域内计算权重，然后与中心点数值进行平均处理。

12、进一步的，所述步骤s4中单一位置的图像特征和点云特征融合方法为将图像提取的特征层设置为nci，将点云提取的特征层设置为nli，在特征提取层阶段，取图像特征nci与点云特征nli+2进行跨模态融合。

13、进一步的，所述步骤s4中四个单一位置的图像特征和点云特征的融合信息分别为r1、r2、r3、r4，四个位置的融合特征进行二次融合，ra＝w1*r1+w2*r2+w3*r3+w4*r4，w1、w2、w3、w4分别为相机前、后、左、右四个位置融合特征的权重值。

14、进一步的，所述步骤s5中预测网络的预测头部位置设置为四个维度尺寸，分别为s1(2i*2i)、s2(2i+1*2i+1)、s3(2i+2*2i+2)、s4(2i+3*2i+3)，imax(2i+3≤输出特征宽度值)最后将特征映射为线性矩阵(p1，p2…，x，y，z，r)，p为类别信息，x，y，z分别为三维空间信息，r为旋转角度信息。

15、与现有技术相比：本发明利用单一方位的相机和固态激光雷达信息融合，再将多方位信息融合，采取整个四周视角的信息，可以实现对特殊环境下高精度三维目标检测；使用相机和固态激光雷达进行联合标定实现图像数据和点云数据高精度同步，使用图像数据和点云数据增强处理算法能够实现噪点数据的去除，提高图像和点云数据的质量，另外，使用多视角进行特征信息二次融合，扩大了检测的范围信息，解决了扫描范围受限的问题，并且提高了检测目标特征表达能力，实现了高精度三维目标检测的目的。

技术特征：

1.一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤s1中车前和车后两个位置分别采用32线固态激光雷达，车左和车右两个位置分别采用16线固态激光雷达，同一位置的相机与固态激光雷达之间的垂直距离为5cm～15cm，四个位置的相机、固态激光雷达分别设置在同一水平面上。

3.根据权利要求1所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤s2中四个位置相机和固态激光雷达分别进行联合标定的方法：通过手动标定与对齐，获取单一位置相机和固态激光雷达位置转换矩阵，建立世界坐标系，获得四个相机和固态激光雷达各自的外参进行标定；

4.根据权利要求1所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤s2中图像数据和点云数据进行时间同步的方法为：设置相机和固态激光雷达采样周期分别为tc、tl，判断1/2tc>tl，将1/2tc与tl的时间戳数据进行融合；判断1/2tc<tl，将tc与tl的时间戳数据进行融合，完成图像数据与点云数据时空同步。

5.根据权利要求1所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤s3中图像数据增强处理为利用重构函数自注意力机制，保留图像数据结构，对图像数据进行重构处理；点云数据增强处理使用高斯滤波对每个点的邻域内的点进行高斯加权平均，以其协方差矩阵确定的领域内计算权重，然后与中心点数值进行平均处理。

6.根据权利要求1所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤s4中单一位置的图像特征和点云特征融合方法为将图像提取的特征层设置为nci，将点云提取的特征层设置为nli，在特征提取层阶段，取图像特征nci与点云特征nli+2进行跨模态融合。

7.根据权利要求6所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤s4中四个单一位置的图像特征和点云特征的融合信息分别为r1、r2、r3、r4，四个位置的融合特征进行二次融合，ra＝w1*r1+w2*r2+w3*r3+w4*r4，w1、w2、w3、w4分别为相机前、后、左、右四个位置融合特征的权重值。

8.根据权利要求6所述的一种基于相机融合固态激光雷达的无人驾驶目标检测方法，其特征在于，所述步骤s5中预测网络的预测头部位置设置为四个维度尺寸，分别为s1(2i*2i)、s2(2i+1*2i+1)、s3(2i+2*2i+2)、s4(2i+3*2i+3)，imax(2i+3≤输出特征宽度值)最后将特征映射为线性矩阵(p1，p2…，x，y，z，r)，p为类别信息，x，y，z分别为三维空间信息，r为旋转角度信息。

技术总结
本发明公开了一种基于相机融合固态激光雷达的无人驾驶目标检测方法，在车辆的前、后、左、右四个位置分别设置一个相机和一个固态激光雷达；对四个位置相机和固态激光雷达分别进行联合标定，对图像数据和点云数据进行时空同步；将图像数据和点云数据分别进行增强处理；利用神经网络分别对图像特征和点云特征进行提取，再将单一位置的图像特征和点云特征分别进行融合，然后再将四个位置的融合信息进行二次特征融合；将提取的融合特征输入预测网络，识别矿井下的障碍物类别、位置和位姿信息。本发明利用单一方位的相机和固态激光雷达信息融合，再将多方位信息融合，采取整个四周视角的信息，可以实现高精度三维目标检测。

技术研发人员：鲍久圣,王茂森,阴妍,杨磊,张可琨,赵鸿飞
受保护的技术使用者：中国矿业大学
技术研发日：
技术公布日：2024/1/15