基于时空特征融合和双向循环神经网络的视频去模糊方法

本发明涉及计算机视觉领域，更具体来说涉及一种基于时空特征融合和双向循环神经网络的视频去模糊方法。

背景技术：

1、随着高速运动拍摄的普及，快门速度过慢、运动模糊、手持相机晃动等因素导致的视频图像模糊问题日益普遍，直接影响了用户的视觉体验。同时，随着计算机视觉技术的不断发展，对清晰图像的需求也越来越高。为了提高视觉质量并满足用户需求，视频去模糊已成为一项重要的视觉任务，旨在从低质量的模糊视频序列中重建出清晰的图像序列。

2、随着深度学习技术的不断发展，基于深度学习的视频去模糊方法不断涌现。与传统方法相比，基于深度学习的方法的处理效果和速度都有极大的提升。这些方法主要利用深度神经网络从图像数据中学习模糊图像与清晰图像之间的映射关系，从而实现去模糊效果。其中，以循环神经网络作为解决视频去模糊问题的主要框架，因为循环神经网络能够捕捉时间序列的依赖关系，对视频帧之间的时间序列特征进行建模。同时，通过反向传播对多层网络进行训练，可以提高模型的鲁棒性和准确性。使用循环神经网络进行视频去模糊的主要思路是，将不同时刻的特征通过时间连接到一起来构建网络结构，这些实时的输入序列会随着时间传入网络中，使得整个网络可以跟踪这个序列的变化过程，从而实现对视频的去模糊处理。然而目前的方法在融合相邻帧和当前帧时，未建立特征之间的时间域依赖关系，导致对相邻帧的信息利用不全。此外，由于模型无法在空间特征提取阶段进行适当的加权，因此无法学习到不同帧之间的动态权重，这导致了在时间域上进行信息传递时的精度下降。

技术实现思路

1、针对现有技术中的缺陷，本发明旨在提供给一种基于时空特征融合和双向循环神经网络的视频去模糊方法。

2、本发明解决上述技术问题所采用的技术方案包括以下步骤：

3、步骤s1，数据预处理：将输入的模糊视频划分为以当前帧和其前后四帧图像为基本单元的序列，并以此作为输入到基于时空特征融合和双向循环神经网络的视频去模糊模型中；

4、步骤s2，构建视频去模糊模型：包括前向单元、反向单元和时空特征融合重建模块；所述前向单元和后向单元分别将当前帧的特征信息在时间上向后和向前传播；所述时空特征融合重建模块分别利用前后帧的特征与当前帧进行有效的时间特征融合并重建；

5、步骤s3，训练视频去模糊模型：基于输入的模糊视频和其对应的清晰视频图像计算l1损失进行反向传播，以更新模型参数；

6、步骤s4，重建清晰视频：输入模糊的视频到训练好的去模糊模型中，输出并保存生成的清晰视频。

7、进一步地，步骤s2中，具体包括以下步骤：

8、将所述输入基本单元序列输入至前向单元中提取图像特征，得到不同时刻前向潜在特征；

9、将所述前向潜在特征输入至后向单元中继续提取模糊特征，得到不同时刻后向潜在特征；

10、将所述不同时刻的后向潜在特征输入值时空特征融合重建模块，进行当前帧重建，重复此过程得到清晰的视频序列。

11、进一步地，步骤s2中，前向单元和后向单元由基于密集注意力块(dab)的rnn单元组成，具体包括：

12、在所述前向单元中，首先从输入的模糊帧中提取特征，然后与上一前向单元输出的隐藏状态拼接，再由级联的多个dab提取模糊特征，输出的隐藏状态传播到后一前向单元，输出的前向潜在特征输入到后向单元；

13、在所述后向单元中，接收前向潜在特征作为输入进行模糊特征提取，然后与后一后向单元输出的隐藏状态拼接提取特征，输出的隐藏状态传播到上一后向单元，输出的潜在特征输入时空特征融合重建模块中，重建出清晰的图像。

14、进一步地，多个dab之间增加残差连接，具体来说每一个dab包括密集特征提取模块和通道注意力机制以及残差连接，密集特征提取模块由四个卷积组进行特征提取，并在不同组间增加密集连接；所述卷积组包括1个3x3卷积层、一个relu激活函数、一个3x3扩张卷积和一个relu激活函数；通道注意力块包括一个全局平均池化操作、一个1x1卷积层、一个relu激活函数、一个1x1卷积层、一个非线性激活函数sigmoid，得到权重注意力图并与提取到的特征相乘得到权重特征；所述残差连接是指将输入特征与权重特征相加。

15、进一步地，步骤s2中，时空特征融合重建模块具体包括：

16、将所述后向单元前后帧四个潜在特征和当前帧潜在特征经过1x1卷积层进行线性嵌入；

17、将嵌入后的特征分别对应相乘并经过softmax激活函数得到当前帧与前后帧之间的映射特征；

18、将所述四个映射特征进行平均并与当前帧特征相乘得到融合特征；

19、将所述融合特征经过1x1卷积层后与当前帧相加得到最终的重建帧。

20、进一步地，步骤s3中用重建的去除模糊的视频和真实清晰视频之间的l1损失作为损失函数进行模型训练，并更新模型参数。

21、与现有技术相比，本发明技术方案的有益效果是：

22、(1)本发明设计的基于时空特征融合和双向循环神经网络的视频去模糊网络，采用前向连接和后向连接的方法，有效地利用双向信息进行帧重构。

23、(2)本发明设计的基于密集注意力块的rnn单元使用密集连接和剩余连接来增强梯度传播。在特征提取中增加扩张卷积在不增加参数数量的情况下扩大网络的感受野，捕获更丰富的上下文信息。同时增加的通道注意机制使网络集中于重要的高频边缘信息。

24、(3)本发明设计的时空特征融合重建模块，能够捕获相邻帧和当前帧之间的时间域依赖关系，并融合有效信息对当前帧进行重建。

技术特征：

1.基于时空特征融合和双向循环神经网络的视频去模糊方法，其特征在于，具体包括以下步骤：

2.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法，所述步骤s2中，具体包括以下步骤：

3.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法，其特征在于，所述步骤s2中，前向单元和后向单元由基于密集注意力块（dab）的rnn单元组成，具体包括：

4.根据权利要求2所述的基于时空特征融合和双向循环神经网络的视频去模糊方法，其特征在于，所述多个dab之间增加残差连接，具体来说每一个dab包括密集特征提取模块和通道注意力机制以及残差连接，密集特征提取模块由四个卷积组进行特征提取，并在不同组间增加密集连接；所述卷积组包括1个3x3卷积层、一个relu激活函数、一个3x3扩张卷积和一个relu激活函数；通道注意力块包括一个全局平均池化操作、一个1x1卷积层、一个relu激活函数、一个1x1卷积层、一个非线性激活函数sigmoid，得到权重注意力图并与提取到的特征相乘得到权重特征；所述残差连接是指将输入特征与权重特征相加。

5.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法，其特征在于，所述步骤s2中，时空特征融合重建模块具体包括：

6.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法，其特征在于，所述步骤s3中用重建的去除模糊的视频和真实清晰视频之间的l1损失作为损失函数进行模型训练，并更新模型参数。

技术总结
本发明公开了一种基于时空特征融合和双向循环神经网络的视频去模糊方法，包括以下步骤S1：对模糊视频分成基本序列单元；S2：建视频去模糊模型包括前向单元、反向单元和时空特征融合重建模块；S3：计算输入的模糊视频和其对应清晰视频图像L1损失，反向传播训练去模糊模型；S4：输入模糊的视频到训练好的去模糊模型中，输出并保存生成的重建清晰视频。本发明提供一种基于循环神经网路框架构，对视频帧之间的时间序列特征进行双向建模；时空特征融合重建模块捕获相邻帧和当前帧的时间依赖关系，融合有效信息对当前帧进行重建。通过该方法，可以提高模型对相邻帧信息的利用效率，增强对输入视频特征表达和重构能力，提高视频的清晰度。

技术研发人员：赵唯肖,董明刚,王彦,武天昊
受保护的技术使用者：桂林理工大学
技术研发日：
技术公布日：2024/1/14