一种真实驾驶环境下的视频去雾方法

本发明涉及视觉设计领域，具体涉及一种真实驾驶环境下的视频去雾方法。

背景技术：

1、在自主驾驶和安全辅助领域中，雾对图像和视频质量造成了负面影响。由于气候条件的变化和不可预测的天气状况，驾驶视频中雾的影响变得更加明显，限制了自主驾驶系统的性能和安全性。

2、图像和视频去雾是一种解决这一问题的关键技术。传统的图像去雾方法主要基于物理模型和先验知识，通过对大气散射进行建模并推断出清晰图像。然而，这些方法通常需要严格配准的雾化和清晰图像对作为训练数据，而在实际驾驶场景中很难获取这样的准确对齐数据。

技术实现思路

1、本发明的目的在于提供一种真实驾驶环境下的视频去雾方法，通过引入参考帧匹配和视频去雾模块，有效地解决了实际驾驶视频去雾中地域、时空对齐问题，提高了自主驾驶系统地视觉感知和安全性能。

2、实现本发明目的的技术解决方案：第一方面，本发提供一种真实驾驶环境下的视频去雾方法，包括如下步骤：

3、步骤1、对于给定的连续雾/清晰视频对其中n≤m+2，n和m分别表示连续雾/清晰视频对的帧数，利用图像去雾方法预先去除每帧的雾jt＝p(it)，其中p表示非对齐监督的图像去雾网络，连续雾/清晰视频对统一表示为

4、步骤2、为从清晰视频中建立含雾视频i相应的清晰且非对齐的参考帧，引入非对齐参考帧匹配模块来匹配清晰的参考帧；对于每个含雾视频帧it，用表示相应的清晰帧的滑动窗口，其中和分别表示起始索引和结束索引；

5、步骤3、在光流引导余弦注意采样器模块的基础上，引入可变形余弦注意力融合模块，采用可变形的卷积dconv来拓宽采样接受域，捕获长期依赖关系；

6、步骤4、引入自监督时间一致性正则化，以确保连续帧之间像素的一致性。

7、第二方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。

8、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。

9、本发明与现有技术相比，其显著优点在于：(1)本发明相比于单帧去雾方法，能够融合多帧图像的信息，从而提高去雾效果和图像质量；(2)本发明的自适应性能够处理不同场景和视觉下的驾驶视频，并适应复杂的道路条件；(3)本发明的数据集提供了多样化的场景和视角，能够更全面地评估驾驶视频去雾算法地性能和优化能力。

10、下面结合附图对本发明做进一步详细的描述。

技术特征：

1.一种真实驾驶环境下的视频去雾方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的真实驾驶环境下的视频去雾方法，其特征在于，步骤2中制定一组以时间和空间错位为特征的非对齐视频对，为纠正这些错位，引入非对齐参考帧匹配模块来匹配清晰的参考帧；当t＝0时，将和分别初始化为0和[(m-n)/2]。

3.根据权利要求1所述的真实驾驶环境下的视频去雾方法，其特征在于，步骤2中，定义第t帧的迭代索引和kt指标定义为其中d(·，·)表示余弦距离，φ(·)表示vgg-16网络；得到含雾帧it的匹配参考帧和

4.根据权利要求1所述的真实驾驶环境下的视频去雾方法，其特征在于，步骤3中的光流引导余弦注意采样器模块旨在将前一帧ft-1的特征与当前ft的特征对齐；光流引导余弦注意采样器模块产生相邻帧特征之间的偏移量其中c表示通道数，h表示帧的高度，w表示帧的宽度，通过学习光流ot-1→t来捕获从前一帧到当前帧的像素到像素的对应关系。

5.根据权利要求1所述的真实驾驶环境下的视频去雾方法，其特征在于，步骤3中采用dcaf模块来融合对齐特征与当前帧特征ft实现进一步对齐；通过1×1卷积核c1转换和ft来计算嵌入查询键kt和值vt；键kt和值vt通过4×4最大池操作进行下采样，用m表示；计算过程如下：

6.根据权利要求1所述的真实驾驶环境下的视频去雾方法，其特征在于，步骤4中，通过使用当前帧ft作为标签来优化引导金字塔余弦注意采样器模块，ot-1→t＝conv(cat(ft-1，fattn，ot-1→t))，其中cat表示连接操作，ot-1→t是ft和ft-1之间的偏移映射，fattn表示余弦注意力；为了最小化和ft之间的差异，引入自监督时间一致性正则化，以确保连续帧之间像素的一致性。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法的步骤。

技术总结
本发明公开了一种真实驾驶环境下的视频去雾方法，用于安全辅助驾驶。该方法通过识别与模糊帧紧密匹配的清晰帧，作为监督视频去雾网络的参考，结合非对齐正则化学习方法进行模型训练；该方法包括两个关键部分:参考匹配部分和视频去雾部分；参考匹配部分由一个非对齐参考帧匹配模块构成，利用自适应滑动窗口从清晰视频中匹配高质量参考帧，该模块将输入的模糊帧与最接近场景的最清晰帧配对；视频去雾部分由光流引导余弦注意采样器模块和可变形余弦注意融合模块组成。本发明有效地解决了实际驾驶视频去雾中地域、时空对齐问题，提高了自主驾驶系统地视觉感知和安全性能。

技术研发人员：李俊,樊俊凯,翁江玮,杨健
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/3/12