用于辅助驾驶的杆状障碍物检测方法

本发明涉及辅助驾驶，具体为一种用于辅助驾驶的杆状障碍物检测方法。

背景技术：

1、随着计算机视觉技术和深度学习算法的快速发展，障碍检测已经成为辅助驾驶甚至自动驾驶系统中的重要技术。目前，基于深度学习的障碍检测方法已经成为主流，常用的方法有r-cnn、fast r-cnn、faster r-cnn、ssd、yolo等。其中yolo系列算法在速度和精度方面表现更好，是应用最广泛的障碍检测算法之一。现有的杆状障碍物检测系统面临着缺乏基本数据集和数据集质量不均匀等挑战，这限制了算法性能，导致检测精度低。此外，城市道路上的交通环境复杂多变，如夜间、下雨或下雪，会导致能见度降低，也即降低了杆状障碍物检测的准确性。然而，现有的yolov5系列的算法在复杂多变的环境下易出现误检、漏检的问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种用于辅助驾驶的杆状障碍物检测方法。

2、为实现以上目的，本发明通过以下技术方案予以实现一种用于辅助驾驶的杆状障碍物检测方法，包括以下步骤：

3、s01、自制杆状障碍物数据集；

4、s02：对采集的图像使用数据标注软件进行标签标注，并将标注好的标签文件进行处理，按照比例划分训练集、验证集和测试集；

5、s03：基于yolov5s网络采用改进的损失函数进行反向反馈网络参数；

6、s04：在原损失函数中引入monge-kantorovich函数；

7、s05：在yolov5s颈部网络中的残差模块residual block之后添加双通道混合注意力机制cbam；

8、s06：在颈部网络中嵌入改进的多尺度特征融合体系结构mffna；

9、s07：对mfmam-yolov5s算法进行模型训练，将训练后的模型应用于杆状障碍物检测。

10、优选地，在s01中，数据集是在复杂的天气条件下，如晴天、多云、雨天和下雪等天气并且在一天的不同时间，包括上午、中午、下午和晚上，拍摄图像。

11、优选地，所述步骤s04具体为：

12、对于引入数学mk函数中蒙格问题的数学定义是:给定两个度量空间x和y以及两个概率测度μ∈p(x),ν∈p(y),代价损失函数:c∶x×y→r∪{+∞}:

13、(mp):＝inf{∫xc(x,t(x))dμ(x)|t∶x→y and t#μ＝v}

14、其中，c(x,t(x))表示从x到t(x)的损失，x→y和t#μ＝v分别为可测映射和传输映射；

15、kantorovich问题是monge问题的延伸，kantarovich将传输映射推广成了传输方案；给定两个概率测度μ∈p(x),ν∈p(y)和一个代价损失函数c∶x×y→{0,+∞},因此kantorovich problem可以被定义为：

16、(kp):＝inf{∫x×yc(x,y)dγ(x,y)|γ∈∏(μ,ν)}

17、然而，联合概率测度γ属于传输方案空间：

18、∏(μ,ν)＝{γ∈p(x×y)|πx#γ＝μ,πy#γ＝ν}

19、其中，πx#γ:＝∫πdy,πx#γ:＝∫πdx表示边际概率测度。

20、关于iou损失函数,如giou,diou,ciou没有考虑到真实框与预测框之间的方向问题，导致收敛速度较慢，对此引入了siou损失函数重新定义相关损失函数，具体包含角度损失、距离损失、形状损失和优化iou损失；然而，iou损失是目标检测最常用的损失函数，表示的是真实框与预测框的交并比。使用mk函数优化后的iou损失比原始iou收敛性更好。

21、优选地，在s05中，cbam模块会首先执行通道注意力机制，然后执行空间注意力机制。

22、优选地，s05中，首先通过全局池化来实现将维数从h×w×c压缩至1×1×c，即把h×w压缩为1×1维z∈rh×w×c:

23、

24、其中，vc∈rh×w×c代表输入的元素特征图的维度是h×w×c，fsq(·)表示挤压映射；

25、然后，进行激励模块将压缩部分得到的1×1×c的维度融入全连接层，预测各个通道的重要程度，然后再激励到前面特征图对应通道上进行操作；其表达式为：

26、s＝fex(z,w)＝σ(w1δ(w0z))

27、其中，fex(·,w)表示激励映射，和δ为relu函数，δ和σ分别为relu函数和sigmoid函数；

28、最后，通过重新缩放x与激活量s，在特征空间中得到sen的输出β＝[u1,u2,…,uc]∈rh×w×c:

29、uc＝fscale(xc,sc)＝xc×sc

30、其中，fscale表示通道注意力加权映射函数。

31、s05中，空间注意力机制采用一组卷积核对特征图进行卷积操作,以学习每个位置的权重系数；假定给一个h×w×c的特征，分别进行一个通道维度的最大池化和平均池化得到2×h×w×1的通道描述，于是将这两个描述通道拼接在一起；之后经过一个7×7的卷积层和激活函数sigmoid，得到权重系数；最后这些权重系数用于对每个位置的特征进行加权求和，生成加权的空间特征图。其表达式如下：

32、

33、其中，和表示全局平均池化和全局最大池化后的特征图，f7×7表示核大小为7×7的卷积运算，为sigmoid函数。

34、本发明的有益效果是：本发明在保证检测精度的同时大大提高了推理速度，该模型推理时间为1.4ms，map值为96.6％。该方法不仅提升了对于城市道路的交通环境复杂多变检测的查全率和查准率，而且解决了杆状障碍物在不同尺度下大小和形状的变化的问题。

技术特征：

1.一种用于辅助驾驶的杆状障碍物检测方法，其特征在于：包括以下步骤：s01、自制杆状障碍物数据集；

2.根据权利要求1所述的用于辅助驾驶的杆状障碍物检测方法，其特征在于：在s01中，数据集是在复杂的天气条件下，如晴天、多云、雨天和下雪等天气并且在一天的不同时间，包括上午、中午、下午和晚上进行拍摄图像。

3.根据权利要求1所述的用于辅助驾驶的杆状障碍物检测方法，其特征在于：所述步骤s04具体为：

4.根据权利要求1所述的用于辅助驾驶的杆状障碍物检测方法，其特征在于：在s05中，cbam模块会首先执行通道注意力机制，然后执行空间注意力机制，抑制复杂交通环境的干扰因素，重点关注杆状障碍物的特征信息。

5.根据权利要求1所述的用于辅助驾驶的杆状障碍物检测方法，其特征在于：s05中，首先通过全局池化来实现将维数从h×w×c压缩至1×1×c，即把h×w压缩为1×1维z∈rh×w×c：

6.根据权利要求1所述的用于辅助驾驶的杆状障碍物检测方法，其特征在于：s05中，空间注意力机制采用一组卷积核对特征图进行卷积操作，以学习每个位置的权重系数；假定给一个h×w×c的特征，分别进行一个通道维度的最大池化和平均池化得到2×h×w×1的通道描述子，于是将这两个描述子通道拼接在一起；之后经过一个7×7的卷积层和激活函数sigmoid，得到权重系数；最后这些权重系数用于对每个位置的特征进行加权求和，生成加权的空间特征图。其表达式如下：

技术总结
本发明涉及辅助驾驶技术领域，具体为一种用于辅助驾驶的杆状障碍物检测方法，包括以下步骤：自制杆状障碍物数据集；对采集的图像使用数据标注软件进行标签标注，并将标注好的标签文件进行处理，按照比例划分训练集、验证集和测试集；基于YOLOv5s网络采用改进的损失函数进行反向反馈网络参数；在原损失函数中引入MK函数；在残差模块之后添加双通道混合注意力机制CBAM；在颈部网络中引入改进的多尺度特征融合网络结构；进行模型训练，将训练后的模型应用于杆状障碍物检测。该方法不仅提升了对于城市道路的交通环境复杂多变检测的查全率和查准率，而且解决了杆状障碍物在不同尺度下大小和形状的变化的问题。

技术研发人员：蔡磊,周聪玲,王永强,王昊,刘伯禹,黄相迪,张玉东
受保护的技术使用者：天津科技大学
技术研发日：
技术公布日：2024/1/13