一种无人驾驶车辆雨天图像去雨方法及系统与流程

本发明属于图像处理，具体涉及一种无人驾驶车辆雨天图像去雨方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、图像去雨与图像去雾、图像去噪、图像去模糊等都属于图像恢复问题。雨是最常见的恶劣天气，在雨天环境中，雨水会使图像发生形变、模糊、目标遮挡、可视性差等问题，严重影响了户外计算机视觉系统的正常应用。因此，图像去雨算法是一个重要而有应用价值的研究课题，它包括视频去雨和单幅图像去雨。视频去雨算法直接利用图像帧间像素信息识别与去雨，而单幅图像去雨算法的研究更具挑战。

3、目前，单幅图像去雨算法主要是基于滤波器、字典学习、稀疏编码、高斯混合模型以及深度学习网络。自2017年以来，单幅图像去雨进入了一个深度学习时代。

4、现有的基于深度学习的图像去雨算法大多都是对图像先分解后去雨，且分解的方式不同，较多是高低频分解、rgb转yuv通道分解，而在使用分解算法时容易造成图像信息丢失、色差等问题。

技术实现思路

1、为了解决上述问题，本发明提出了一种无人驾驶车辆雨天图像去雨方法及系统，本发明未对雨天图像进行雨纹层和背景层分解，使得图像信息得到较好的保存，克服了去雨图像细节模糊或纹理信息丢失的问题。

2、根据一些实施例，本发明的第一方案提供了一种无人驾驶车辆雨天图像去雨方法，采用如下技术方案：

3、一种无人驾驶车辆雨天图像去雨方法，包括：

4、获取车辆雨天图像并进行预处理；

5、基于预处理后的车辆雨天图像，利用预先训练好的联结残差卷积神经网络进行车辆雨天图像去雨，得到去雨后的车辆雨天图像；

6、其中，所述联结残差卷积神经网络，包括残差模块、联结结构模块以及单尺度卷积模块；

7、所述残差模块用于残差学习，提取雨天图像的特征信息；所述联结结构模块用于实现多特征提取雨纹信息；所述单尺度卷积模块用于重建去雨图像，输出去雨后的车辆雨天图像。

8、进一步地，所述残差模块采用resnet网络的残差块，将残差块每个卷积层的批量正则化bn去掉，激活函数采用prelu，且所述残差模块满足以下公式：

9、

10、其中，*表示卷积操作，w表示卷积权重，b是偏置值，p(x)代表prelu激活函数；。

11、进一步地，所述联结残差卷积神经网络采用三个残差模块、两个联结结构模块以及一个单尺度卷积模块，每个所述联结结构位于两两残差模块之间，所述单尺度卷积模块与最后一个残差模块连接。

12、进一步地，三个残差模块的卷积核大小相等，每个残差模块的通道数因受联结结构的影响而不同。

13、进一步地，所述联结结构模块采用concat函数跳跃连接将多个分支联结起来构建的。

14、进一步地，所述联结结构残差模块包括依次连接的两层卷积层和一层concat函数跳跃连接层。

15、进一步地，两个所述联结结构模块基于所连接的残差块的卷积核大小选择不同的卷积核。

16、根据一些实施例，本发明的第二方案提供了一种无人驾驶车辆雨天图像去雨系统，采用如下技术方案：

17、一种无人驾驶车辆雨天图像去雨系统，包括：

18、图像采集模块，被配置为获取车辆雨天图像并进行预处理；

19、图像去雨模块，被配置为基于预处理后的车辆雨天图像，利用预先训练好的联结残差卷积神经网络进行车辆雨天图像去雨，得到去雨后的车辆雨天图像；

20、其中，所述联结残差卷积神经网络，包括残差模块、联结结构模块以及单尺度卷积模块；

21、所述残差模块用于残差学习，提取雨天图像的特征信息；所述联结结构模块用于实现多特征提取雨纹信息；所述单尺度卷积模块用于重建去雨图像，输出去雨后的车辆雨天图像。

22、根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。

23、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种无人驾驶车辆雨天图像去雨方法中的步骤。

24、根据一些实施例，本发明的第四方案提供了一种计算机设备。

25、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种无人驾驶车辆雨天图像去雨方法中的步骤。

26、与现有技术相比，本发明的有益效果为：

27、本发明未对雨天图像进行雨纹层和背景层分解，使得图像信息得到较好的保存，克服了去雨图像细节模糊或纹理信息丢失的问题。不仅能有效去除图像中的雨，雨纹残留较少，而且能更多地保留图像的纹理和边缘细节，视觉效果清晰自然。

技术特征：

1.一种无人驾驶车辆雨天图像去雨方法，其特征在于，包括：

2.如权利要求1所述的一种无人驾驶车辆雨天图像去雨方法，其特征在于，所述残差模块采用resnet网络的残差块，将残差块每个卷积层的批量正则化bn去掉，激活函数采用prelu，且所述残差模块满足以下公式：

3.如权利要求1所述的一种无人驾驶车辆雨天图像去雨方法，其特征在于，所述联结残差卷积神经网络采用三个残差模块、两个联结结构模块以及一个单尺度卷积模块，每个所述联结结构位于两两残差模块之间，所述单尺度卷积模块与最后一个残差模块连接。

4.如权利要求3所述的一种无人驾驶车辆雨天图像去雨方法，其特征在于，三个残差模块的卷积核大小相等，每个残差模块的通道数因受联结结构的影响而不同。

5.如权利要求3所述的一种无人驾驶车辆雨天图像去雨方法，其特征在于，所述联结结构模块采用concat函数跳跃连接将多个分支联结起来构建的。

6.如权利要求5所述的一种无人驾驶车辆雨天图像去雨方法，其特征在于，所述联结结构残差模块包括依次连接的两层卷积层和一层concat函数跳跃连接层。

7.如权利要求5所述的一种无人驾驶车辆雨天图像去雨方法，其特征在于，两个所述联结结构模块基于所连接的残差块的卷积核大小选择不同的卷积核。

8.一种无人驾驶车辆雨天图像去雨系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种无人驾驶车辆雨天图像去雨方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种无人驾驶车辆雨天图像去雨方法中的步骤。

技术总结
本发明属于图像处理领域，提供了一种无人驾驶车辆雨天图像去雨方法及系统，包括获取车辆雨天图像并进行预处理；基于预处理后的车辆雨天图像，利用预先训练好的联结残差卷积神经网络进行车辆雨天图像去雨，得到去雨后的车辆雨天图像；其中，所述联结残差卷积神经网络，包括残差模块、联结结构模块以及单尺度卷积模块；所述残差模块用于残差学习，提取雨天图像的特征信息；所述联结结构模块用于实现多特征提取雨纹信息；所述单尺度卷积模块用于重建去雨图像，输出去雨后的车辆雨天图像。本发明未对雨天图像进行雨纹层和背景层分解，使得图像信息得到较好的保存，克服了去雨图像细节模糊或纹理信息丢失的问题。

技术研发人员：管洪清,徐亮,孙浩云,张元杰
受保护的技术使用者：青岛文达通科技股份有限公司
技术研发日：
技术公布日：2024/1/15