一种雨天车道线检测方法及系统与流程

本发明属于智能网联汽车，具体涉及一种雨天车道线检测方法及系统。

背景技术：

1、智能网联汽车(intelligent and connected vehicle，icv)是一个融合环境感知、信息交互等关键系统于一体的高新技术综合体。环境感知系统作为icv的“眼睛”，承担着检测并识别周围物体语义类别、位置方向的重要任务。在环境感知系统的诸多子系统中，基于计算机视觉的车道线检测系统(lane detect system，lds)在天气晴朗的工况下性能稳定，但在雨天等恶劣条件下lds采集的图像存在雨纹遮挡、细节信息丢失等问题，而lds的检测精度受图像中车道线特征信息的影响。因此，其检测精度在雨纹遮挡车道线背景层时会发生衰退，严重威胁icv的行驶安全。

2、鉴于此，提升恶劣天气条件下lds的检测精度具有举足轻重的研究意义。目前针对该问题已有多位学者展开相关研究。xu等人针对车道线检测环境复杂，光照变化复杂等特点，运用可变形卷积神经网络提取特征，通过对白天、夜晚、雨天等复杂光照条件下的kitti道路数据集进行联合训练，提升复杂环境下车道线的检测精度。ye等人提供一种山区城市雨天自动驾驶车道线检测方法，将pinet网络改进成以残差结构为基础的车道线检测网络，设计了三种不同结构的残差单元，有效提高网络在雨天环境中的车道线检测精度。deng等人基于车道线特征的雨天图像预处理，通过道路图像的灰度图像获取道路图像的边缘图像，然后分析雨天环境地面有积水情况下车道线像素点的颜色特征确定车道线像素点的颜色特征约束条件，提高了雨天车道线的检测精度。

3、现有的去雨算法分为以稀疏编码、字典学习为为的传统模型方法和以深度学习为为的数据驱动方法。在传统的去雨算法中，一种是使用双边滤波器将图像进行高低频分解，而后通过字典学习和稀疏编码将有雨图像还原。另一种基于高斯混合模型的区域先验的去雨方法，还有一种是将背景层与有雨层剥离，使用联合优化实现雨纹去除。上述方法多需要利用模型和先验知识，易导致去雨不彻底，背景图像变模糊。由于深度学习方法在特征提取等方面的优越性，近年来，基于深度学习的图像去雨逐渐成为研究热点，eigen等首次通过构建数据集训练三层神经网络用于图像恢复。ren等综合考虑网络函数，输入输出与损失函数，提出了渐进式递归网络。

4、现有多尺度渐进式融合网络是将不同尺度的特征信息精细融合，实现了雨纹的高效去除。cao等提出了一个两阶段图像去雨方法，利用物理模型和生成对抗网络来提取多尺度特征，提高图像恢复质量。zamir等采用编-解码器结构获取上下文特征，并利用监督注意力机制精准捕获雨纹特征，有效提高了图像恢复质量，但其采用了三个阶段，网络结构较为复杂。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种雨天车道线检测方法及系统，用于解决目前使用模型存在去雨后的图像不够自然，部分背景细节丢失，网络不够简洁的技术问题，能够更好的复原有雨图像，提高lis在雨天条件下的车道线检测精度。

2、本发明采用以下技术方案：

3、一种雨天车道线检测方法，包括以下步骤：

4、s1、构建基于类沙漏结构的多阶段去雨网络；

5、s2、构建步骤s1得到的多阶段去雨网络的损失函数；

6、s3、向步骤s2得到的多阶段去雨网络中输入雨天交通场景图像，通过小尺度精细化雨纹特征提取和大尺度条件下背景层精细化恢复后输出去雨图像；将去雨图像输入车道线检测模型lanenet中，输出得到车道线检测结果，实现雨天车道线检测。

7、具体的，步骤s1中，基于类沙漏结构的多阶段去雨网络包含轻量级高效雨纹特征提取模块和雨纹特征融合模块，轻量级高效雨纹特征提取模块用于提取不同层次的雨纹特征，雨纹特征融合模块用于将不同阶段的雨纹信息融合。

8、进一步的，多阶段去雨网络的编码器-解码器架构构建如下：

9、s1011、当s＝1，图像进入3×3常规卷积层，将输出的特征图进行升维运算；将原始有雨图像输入经卷积操作后获得初步提取特征图像；

10、s1012、经过卷积操作后的特征图像，经过轻量级高级雨纹特征提取模块提取多尺度特征图；

11、s1013、通过memsnet调制后的跳跃连接辅助解码器中的重构；

12、s1014、将原始有雨图像输入经卷积操作后的残差图像中，以获取初步的去雨图像；

13、s1015、当s＝2，重复以上步骤。

14、更进一步的，步骤s1011中，初步提取特征图像具体为：

15、

16、其中，q∈{1,2,3,4}，f3×3(·)表示3×3常规卷积层，代表原始输入图像。

17、更进一步的，步骤s1012中，不同尺度下雨纹特征提取具体为：

18、

19、

20、

21、其中，enp(·)为编码运算，dep(·)为解码运算，cat[·,·]为拼接运算，为编码运算后的特征图，为拼接处理后的特征图，为解码运算后的特征图。

22、更进一步的，步骤s1013中，降维运算具体为：

23、

24、其中，为由编解码器输出并输入3×3卷积的特征图，为3×3卷积操作后的特征图，q∈{1,2}。

25、更进一步的，步骤s1014中，初步的去雨图像为：

26、

27、其中，为原始输入图像，为3×3卷积操作后的特征图。

28、具体的，步骤s2中，多阶段去雨网络的损失函数la为：

29、

30、其中，le为edge损失，ψp为预测无雨图像，gp为清晰无雨图像，lc为charbonnier损失，β为权重系数。

31、具体的，步骤s3中，输入的有雨图像首先经过3×3常规卷积层，将图像升维运算，然后图像进入类沙漏结构，得到处理后的特征图s为子图像所处网络阶段，q为子图像在完整图像中的位置。

32、第二方面，本发明实施例提供了一种雨天车道线检测系统，包括：

33、去雨网络模块，构建基于类沙漏结构的多阶段去雨网络；

34、车道线检测模块，构建网络模块得到的多阶段去雨网络的损失函数；

35、雨天车道线检测模块，向函数模块得到的多阶段去雨网络中输入雨天交通场景图像，通过小尺度精细化雨纹特征提取和大尺度条件下背景层精细化恢复后输出去雨图像；将去雨图像输入车道线检测模型lanenet中，输出得到车道线检测结果，实现雨天车道线检测。

36、与现有技术相比，本发明至少具有以下有益效果：

37、一种雨天车道线检测方法，基于多阶段逐步恢复的思想(mprnet mspfn)，提出去雨网络memsnet，去雨网络memsnet由两个阶段组成，每阶段均包含一个形似沙漏的改进编码器-解码器架构，用以充分提取和整合多尺度下不同结构的雨纹特征，并通过跨阶段融合机制进行信息交互，从而提高特征信息的挖掘能力。相比单阶段方法，具有适应性好，泛化能力强的优点，并且多阶段去雨网络将复杂的去雨任务分解到多阶段处理，显著提高处理复杂雨纹的能力，具有更好的实际应用价值。

38、进一步的，现有的图像恢复算法对空间特征信息，浅层特征等提取不足，易导致雨纹部分细节信息丢失严重，轻量级高效雨纹特征提取模块采用残差连接，通过融合细节信息，减少特征丢失，能有效地提取多尺度下的雨纹特征。主要由纹理特征挖掘单元和语义结构捕获单元构成，本发明通过延长了去雨网络深度的方式，高效率的增强了探索与挖掘不同尺度上雨纹细节特征的能力。简单的应用批量归一化能有效的加速网络训练，提升了网络的泛化性，但可能并不会得到图像恢复领域的最优解，为进一步提高图像恢复网络的性能，本文使用了半实例归一化，同时该模块采用深度卷积代替部分常规卷积，以降低计算成本。雨纹图像包含多种类，多层次的特征信息，为将捕获到的浅层纹理特征与深层细节特征相聚合，降低卷积过程中的细节损失，提出了基于简化通道注意力机制(simplify channelattention，sca)的雨纹特征融合模块(rpffb)。第一阶段编码器和解码器提取到的特征由简化通道注意力机制聚焦，经像素级相加后传输到下一阶段编码器，实现特征融合。简化通道注意力机制，其可在增加少量参数的情况下推理出高维映射中的一维注意力权重，从而能够表现雨层特征的维度在特征提取中被给予更高的优先级，去除繁冗信息的同时加快了网络运行效率。

39、进一步的，在编解码器结构中，经编码器提取的多尺度特征图通过被memsnet调制后的跳跃连接辅助解码器中的重构过程。有效糅合浅层特征与深层特征，缓解多次上下采样过程造成的细节信息流失；其次，将memsnet融合到编解码器不同层级来提升提取雨纹残差信息的能力；加深了网络层数，提高了网络的性能，同时又有效防止了因加大网络深度而带来的梯度消失问题，并加快训练收敛的速度，实现了不同尺度下雨纹特征的充分提取。

40、进一步的，相较于其它方法仅使用memsnet损失会不可避免的出现图像模糊的问题，融合对异常值兼容性更强的charbonnier损失、可提升图像视觉质量的edge损失约束网络训练；charbonnier损失lc，edge损失le；提高网络训练过程的稳定性，保证去雨网络的去雨效果

41、进一步的，将基准车道线检测模型lanenet融入本发明提出的图像去雨算法memsnet，完成雨天车道线的检测。先将雨天交通场景图像输入memsnet，然后将memsnet处理后的去雨图像传至lanenet进行车辆检测，有益于提升恶劣天气下lds的检测精度。

42、可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

43、综上所述，本发明构建基于类沙漏结构的多阶段去雨网络；构建多阶段去雨网络的损失函数；向多阶段去雨网络中输入雨天交通场景图像，通过小尺度精细化雨纹特征提取和大尺度条件下背景层精细化恢复后输出去雨图像，将去雨图像输入车道线检测模型最终的车道线检测结果，实现雨天车道线检测；更好的复原有雨图像，提高lis在雨天条件下的车道线检测精度。

44、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。