基于边界细节补偿和相似特征强化的实时道路检测方法

1.本发明属于自动驾驶技术领域，更具体地，涉及一种基于边界细节补偿和相似特征强化的实时道路检测方法。


背景技术：

2.道路检测作为自动驾驶技术的基础和必要模块，为其他自动驾驶高层任务提供中间结果和先验知识。单目相机相比激光雷达和双目相机等传感器应用场景广泛且价格低廉，可用于检测前方道路区域。
3.近年来，基于深度学习的道路检测方法相对于传统基于特征的方法，取得了更高的精度和更好的鲁棒性。这些基于深度学习的方法采用注意力机制(sun,jee
‑
young et al.“reverse and boundary attention network for road segmentation.”2019ieee/cvf international conference on computer vision workshop(iccvw)(2019):876
‑
885.)、cnn+lstm混合结构(lyu,yecheng et al.“road segmentation using cnn and distributed lstm.”2019ieee international symposium on circuits and systems(iscas)(2019):1
‑
5.)、贝叶斯模型和额外的道路边界监督(chen,z.and zijing chen.“rbnet:a deep neural network for unified road and road boundary detection.”iconip(2017).)等语义分割领域常用的技术手段提高道路检测性能。然而，这些高性能的道路检测方法普遍采用较深和较宽的骨干网络，无法满足车载设备的算力和功耗限制以及自动驾驶任务的实时性要求。直接采用轻量级骨干网络却遭遇以下问题，限制了道路检测的精度：(1)道路边界的预测不准确，特别是与行人、车辆、骑车人的相交边界；(2)在照度剧烈变化、雨雪天气、十字路口等复杂场景条件下，道路检测不鲁棒。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于边界细节补偿和相似特征强化的实时道路检测方法，其目的在于解决现有单目道路检测方法无法得到实时、精确、鲁棒的道路可行驶区域的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种基于边界细节补偿和相似特征强化的实时道路检测方法，包括以下步骤：
7.步骤s1，利用深度卷积神经网络特征提取器对单目相机采集的单帧图像进行多尺度图像特征提取；
8.步骤s2，采用边界细节补偿模块对步骤s1提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征；
9.步骤s3，采用相似特征强化模块对步骤s2得到的道路边界细节补偿后的高层语义图像特征图进行基于相似度的局部特征聚合，得到强化图像特征图；
10.步骤s4，将步骤s3输出的强化图像特征图输入第一分类器，输出所述单帧图像场景中的道路检测结果，将所述单帧图像的所有像素划分为道路和非道路两类。
11.优选地，步骤s1中的多尺度图像特征提取器，采用peleenet作为骨干网络进行单目图像多尺度图像特征提取，在stem块中加入插值操作，其结构包含四个阶段，其中：
12.每个阶段逐步减小图像特征图的尺寸，并增加图像特征图的通道数；
13.阶段三和阶段四中的3
×
3卷积层均为空洞卷积；
14.输出阶段一的低层细节图像特征图和阶段四的高层语义图像特征图，其尺寸分别为单帧图像的1/8和1/32。
15.优选地，所述步骤s2中，边界细节补偿模块采用带恒等连接的变换模块融合多尺度图像特征，具体包括：
16.步骤s21，将步骤s1输出的低层细节图像特征图依次输入1
×
1的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤s21输出的图像特征图；
17.步骤s22，将步骤s1输出的高层语义图像特征图依次输入3
×
3的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤s22输出的图像特征图；
18.步骤s23，将步骤s22输出的图像特征图插值到单帧图像尺寸的1/8与和步骤s21输出的图像特征图在通道维度上进行连接，并输入变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤s23输出的道路边界细节补偿后的高层语义图像特征图。
19.优选地，所述边界细节补偿模块中变换模块采用两条支路进行特征变换；
20.一条支路依次采用卷积核为k
×
1和1
×
k的深度可分离卷积；
21.另一条支路依次采用卷积核为1
×
k和k
×
1的深度可分离卷积；
22.两条支路输出的图像特征图进行逐像素点加法操作，并输入到1
×
1的卷积层。
23.优选地，所述相似特征强化模块采用相似度度量捕捉局部上下文信息，对步骤s2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点的特征加权，具体包括：
24.步骤s31，采用两个参数不共享的1
×
1卷积层分别对道路边界细节补偿后的高层语义图像特征图x∈r
c
×
h
×
w
进行通道调整，得到张量θ∈和张量其中c为道路边界细节补偿后的高层语义图像特征图x的通道数，为张量θ、φ的通道数，h为张量θ、φ高度维度上的尺寸，w为张量θ、φ宽度维度上的尺寸；
25.步骤s32，对张量进行展开操作，得到张量改变张量的形状得到张量
26.步骤s33，改变步骤s31的输出张量φ的形状得到张量
27.步骤s34，对张量θ
s
和张量φ
s
进行矩阵乘法运算，对运算结果进行归一化，得到相似度地图v
s
∈r
l
×
s
×1；
28.步骤s35，改变步骤s32展开操作的输出张量的形状得到张量的形状得到张量对张量γ
s
和相似度地图v
s
进行矩阵乘法运算，得到注意力地图进行矩阵乘法运算，得到注意力地图
29.步骤s36，改变步骤s35输出注意力地图o
s
的形状得到张量的形状得到张量采用1
×
1的卷积层对其通道进行调整，得到张量
30.步骤s37，对步骤s31输入的图像特征图x和步骤s36输出的张量进行逐像素点加法操作，得到相似特征强化模块输出的强化图像特征图y∈r
c
×
h
×
w
。
31.优选地，所述步骤s32中，对张量进行展开操作，得到张量包括；
32.利用展开操作在步骤s31输出张量θ的空间维度上滑动，获得多个局部块
33.其中s为每个滑动块的像素点数量，s＝πd(k[d])，k[d]是滑动块在某个空间维度上的核大小，d代表不同空间维度；l是滑动块的总数，空间维度；l是滑动块的总数，其中spatial是张量θ空间维度上的尺寸，s控制滑动块的步幅，p控制张量θ空间维度上两侧零值填充的数量，dilation控制滑动块核心点之间的间距。
[0034]
优选地，所述基于边界细节补偿和相似特征强化的实时道路检测方法，在训练阶段，采用第一分类器和第二分类器分别输出道路检测概率图；其中，第一分类器中的全卷积网络对步骤s3输出的强化图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为最终的道路检测概率图；第二分类器中的全卷积网络作为辅助预测分支对步骤s2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为辅助的道路检测概率图；
[0035]
在测试阶段，仅保留第一分类器输出的道路区域预测结果。
[0036]
优选地，所述基于边界细节补偿和相似特征强化的实时道路检测方法采用端到端的方式进行参数学习，采用的损失函数为：
[0037]
l＝l
final
+λl
bc
[0038]
其中，l
final
计算第一分类器输出的概率图与真实标签之间的逐像素点交叉熵损失；l
bc
计算第二分类器输出的概率图与真实值之间的逐像素点交叉熵损失；λ为超参数。
[0039]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
[0040]
(1)本发明提出了一种新颖的边界细节补偿模块，该模块采用长条状卷积核扩大感受野以捕捉大范围的道路区域特征，采用空间可分离卷积和通道可分离卷积解耦空间和通道维度上的相关性以降低计算复杂度。该模块从低层特征中获得丰富的细节信息并补充到高层语义特征中来，使得道路区域的特征更显著并滤除非道路区域中的噪声，且增加的计算时间很少(约2ms)。
[0041]
(2)本发明提出了一种新颖的相似特征强化模块，该模块利用道路区域相互连通不需要建立长程依赖性的特点，采用自注意力机制聚合每个像素点局部邻域内的相似特征，与基于non
‑
local的上下文模块相比，在降低计算复杂度(约为non
‑
local的1/35)和空间复杂度(约为non
‑
local的1/8)的同时，并没有牺牲性能。
附图说明
[0042]
图1是本发明提供的基于边界细节补偿和相似特征强化的实时道路检测方法的整体流程图；
[0043]
图2是本发明实施例中peelenet网络结构图；
[0044]
图3是本发明提供的边界细节补偿模块网络结构图；
[0045]
图4是本发明提供的相似特征强化模块网络结构图。
具体实施方式
[0046]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0047]
本发明提供了一种基于边界细节补偿和相似特征强化的实时道路检测方法，如图1所示，步骤具体包括：
[0048]
步骤s1，利用多尺度图像特征提取器2对单目相机采集的单帧图像1进行多尺度图像特征提取；
[0049]
步骤s2，采用边界细节补偿模块3对步骤s1提取的多尺度图像特征进行融合，得到道路边界细节补偿后的高层语义图像特征图；
[0050]
步骤s3，采用相似特征强化模块4对步骤s2得到的道路边界细节补偿后的高层语义图像特征图进行基于相似度的局部特征聚合，得到强化图像特征图；
[0051]
步骤s4，将步骤s3输出的强化图像特征图输入第一分类器5，输出所述单帧图像场景中的道路检测结果，将所述单帧图像的所有像素划分为道路和非道路两类。
[0052]
主要有四个实现部分：1)单目图像多尺度图像特征提取；2)边界细节补偿；3)相似特征强化；4)分类器和损失函数。接下来将对本发明中步骤进行详细地说明。
[0053]
1.单目图像多尺度图像特征提取
[0054]
如图2所示，本发明实施例采用peleenet作为骨干网络进行单目图像多尺度图像特征提取，在stem块中加入插值操作，其结构包含四个阶段，其中：
[0055]
每个阶段逐步减小图像特征图的尺寸，并增加图像特征图的通道数；
[0056]
阶段三和阶段四中的3
×
3卷积层均为空洞卷积；
[0057]
输出阶段一的低层细节图像特征图和阶段四的高层语义图像特征图，其尺寸分别为单帧图像的1/8和1/32。
[0058]
2.边界细节补偿
[0059]
如图3所示，本发明实施例采用带恒等连接的变换模块融合多尺度图像特征，具体包括：
[0060]
步骤s21，将步骤s1输出的低层细节图像特征图依次输入1
×
1的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤s21输出的图像特征图；
[0061]
步骤s22，将步骤s1输出的高层语义图像特征图依次输入3
×
3的卷积层和变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤s22输出
的图像特征图；
[0062]
步骤s23，将步骤s22输出的图像特征图插值到单帧图像尺寸的1/8与和步骤s21输出的图像特征图在通道维度上进行连接，并输入变换模块，输入和输出变换模块的特征图通过恒等连接进行逐像素点加法操作，得到步骤s23输出的道路边界细节补偿后的高层语义图像特征图。
[0063]
本发明实施例边界细节补偿模块3中变换模块采用两条支路进行特征变换；
[0064]
一条支路依次采用卷积核为k
×
1和1
×
k的深度可分离卷积；
[0065]
另一条支路依次采用卷积核为1
×
k和k
×
1的深度可分离卷积；
[0066]
两条支路输出的图像特征图进行逐像素点加法操作，并输入到1
×
1的卷积层。
[0067]
3.相似特征强化
[0068]
如图4所示，本发明实施例相似特征强化模块4采用相似度度量捕捉局部上下文信息，对步骤s2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点的特征加权，具体包括：
[0069]
步骤s31，采用两个参数不共享的1
×
1卷积层分别对道路边界细节补偿后的高层语义图像特征图x∈r
c
×
h
×
w
进行通道调整，得到张量进行通道调整，得到张量和张量其中c为道路边界细节补偿后的高层语义图像特征图x的通道数，为张量θ、φ的通道数，h为张量θ、φ高度维度上的尺寸，w为张量θ、φ宽度维度上的尺寸；
[0070]
步骤s32，对张量进行展开操作，得到张量改变张量的形状得到张量
[0071]
步骤s33，改变步骤s31的输出张量φ的形状得到张量
[0072]
步骤s34，对张量θ
s
和张量φ
s
进行矩阵乘法运算，对运算结果进行归一化，得到相似度地图v
s
∈r
l
×
s
×1；
[0073]
步骤s35，改变步骤s32展开操作的输出张量的形状得到张量的形状得到张量对张量γ
s
和相似度地图v
s
进行矩阵乘法运算，得到注意力地图进行矩阵乘法运算，得到注意力地图
[0074]
步骤s36，改变步骤s35输出注意力地图o
s
的形状得到张量的形状得到张量采用1
×
1的卷积层对其通道进行调整，得到张量
[0075]
步骤s37，对步骤s31输入的图像特征图x和步骤s36输出的张量进行逐像素点加法操作，得到相似特征强化模块输出的强化图像特征图y∈r
c
×
h
×
w
。
[0076]
本发明实施例步骤s32中，对张量进行展开操作，得到张量包括：
[0077]
利用展开操作在步骤s31输出张量θ的空间维度上滑动，获得多个局部块
[0078]
其中s为每个滑动块的像素点数量，s＝πd(k[d])，k[d]是滑动块在某个空间维度上的核大小，d代表不同空间维度；l是滑动块的总数，
其中spatial是张量θ空间维度上的尺寸，s控制滑动块的步幅，p控制张量θ空间维度上两侧零值填充的数量，dilation控制滑动块核心点之间的间距。
[0079]
4.分类器和损失函数
[0080]
本发明实施例在训练阶段，采用第一分类器5和第二分类器6分别输出道路检测概率图；其中，第一分类器5中的全卷积网络对步骤s3输出的图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为最终的道路检测概率图；第二分类器6中的全卷积网络作为辅助预测分支对步骤s2输出的道路边界细节补偿后的高层语义图像特征图进行逐像素点分类，将分类结果插值到单帧图像尺寸作为辅助的道路检测概率图。
[0081]
本发明实施例在测试阶段，仅保留第一分类器5输出的道路区域预测结果。
[0082]
本发明实施例中，采用端到端的方式进行参数学习，采用的损失函数7为：
[0083]
l＝l
final
+λl
bc
[0084]
其中，l
final
计算第一分类器5输出的概率图与真实标签之间的逐像素点交叉熵损失；l
bc
计算第二分类器6输出的概率图与真实值之间的逐像素点交叉熵损失；λ为超参数，本发明实施例设定λ＝0.4。
[0085]
本发明提出了一种基于边界细节补偿和相似特征强化的实时道路检测方法。采用边界细节补偿模块融合多尺度图像特征，有效的补充了高层语义特征中的道路边界细节特征并滤除了非道路区域的噪声。此外，采用相似特征强化模块聚合每个像素点局部邻域内的相似特征，来强化道路区域特征，使之对复杂场景条件下的道路检测有很好的鲁棒性。基于这些模块，本发明在现有基于深度学习的轻量级道路检测框架上增加的时间复杂度和空间复杂度极低，在提高道路检测任务实时性的同时保证了道路检测的精确性和可靠性。
[0086]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。