一种视频超分方法、装置、设备及计算机可读存储介质与流程

本发明涉及视频处理，特别涉及一种视频超分方法、装置、设备及计算机可读存储介质。

背景技术：

1、视频超分的基本原理是利用视频帧的空间相关性和时间连续性来推测缺失的细节信息。具体而言，首先将视频帧划分成若干个空间块或时间块，然后通过神经网络模型对每个块进行超分辨率重建。最后，将重建的块组合起来形成高分辨率的视频。视频超分技术在提高视频质量、增强细节信息方面具有广泛的应用前景。

2、然而，视频超分应用在设备端，例如前端设备时，其中设置的深度学习超分网络处理较低图像质量时，容易受到噪声和伪影的影响。网络本身可能会放大这些噪声或产生额外的伪影，导致输出的超分结果不理想。其次由于网络本身缺少可解释性，经常导致超分后的图像稳定性较差，引入伪纹理而缺少真实感。

3、综上，在设备端有限计算资源下，现有技术存在信息丢失泛化能力不足导致无法很好地还原细节等问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种视频超分方法、装置、设备及计算机可读存储介质，改善了现有技术存在信息丢失泛化能力不足导致无法很好地还原细节的技术问题。

2、为解决上述技术问题，本发明提供了一种视频超分方法，包括：

3、将待处理视频输入至预训练好的局部精细超分模块，并通过所述局部精细超分模块中的特征提取层对所述待处理视频中的多个图像块进行特征提取，得到多个图像块对应的第一特征信息；

4、通过所述局部精细超分模块中特征掩膜层的参数，增强多个图像块对应的第一特征信息中的有效特征信息，得到多个图像块对应的第二特征信息；

5、通过所述局部精细超分模块中自注意力模块增强多个图像块对应的所述第二特征信息中纹理区域的特征权重，得到多个图像块对应的目标特征；

6、经所述局部精细超分模块中的卷积层对多个图像块对应的所述目标特征进行处理，以输出所述待处理视频对应的超分视频。

7、可选的，所述自注意力模块包括实例归一化层以及自注意力掩膜层；

8、所述通过所述局部精细超分模块中自注意力模块增强多个图像块对应的所述第二特征信息中纹理区域的特征权重，得到多个图像块对应的目标特征之前，还包括：

9、通过所述实例归一化层对多个图像块对应的第二特征信息分别进行归一化处理；

10、通过所述自注意力掩膜层的学习处理，对归一化处理后的所述第二特征信息中的至少部分特征信息进行推理，以对第二特征信息进行自更新。

11、可选的，所述局部精细超分模块的训练过程包括：

12、利用低清训练视频对初始的局部精细超分模块进行训练，并在训练过程中利用总损失函数对初始的局部精细超分模块的参数进行优化；

13、利用所述低清训练视频对优化后的局部精细超分模块继续进行训练，并在训练过程中利用优化后的局部精细超分模块对应的新的总损失函数对优化后的局部精细超分模块继续进行优化，直至达到训练终止条件时输出预训练好的局部精细超分模块；

14、所述总损失函数包括l1损失、感知损失以及目标损失函数，所述目标损失函数包括方差损失函数和稳定性损失函数中的至少一种；

15、所述方差损失函数为超分结果以及该超分结果对应的真值间的方差损失，所述超分结果为所述低清训练视频中当前图像帧经局部精细超分模块处理后得到；所述稳定性损失函数为所述当前图像帧的超分结果和相对于所述当前图像帧的前一图像帧的超分结果间的稳定性损失。

16、可选的，按照以下公式得到所述总损失函数；

17、ltotal＝w1l1+w2lvar+w3lstab+w4lpercep

18、其中w1、w2、w3和w4对应为所述l1损失、所述方差损失函数lvar、所述稳定性损失函数lstab以及所述感知损失lpercep分别对应的权重，ltotal为总损失函数。

19、可选的，所述在训练过程中利用优化后的局部精细超分模块对应的新的总损失函数对优化后的局部精细超分模块继续进行优化之前，所述方法还包括：

20、通过中值滑动窗口提取所述超分结果中目标纹理区域的深层语义信息；

21、通过所述深层语义信息计算所述感知损失。

22、可选的，所述经所述局部精细超分模块中的卷积层对多个图像块对应的所述目标特征进行处理，以输出所述待处理视频对应的超分视频，包括：

23、经所述局部精细超分模块中的卷积层对多个图像块对应的所述目标特征进行处理，得到多个超分图像块；

24、对多个所述超分图像块进行融合，得到所述待处理视频对应的超分视频。

25、可选的，所述将待处理视频输入至预训练好的局部精细超分模块，包括：

26、利用所述待处理视频的正逆光流信息，对所述待处理视频的各空间图像进行帧间对齐操作，得到对齐后的多个图像块；

27、将所述对齐后的多个图像块输入至预训练好的局部精细超分模块。

28、本技术还提供了一种视频超分装置，所述装置包括：

29、第一特征信息确定模块，用于将待处理视频输入至预训练好的局部精细超分模块，并通过所述局部精细超分模块中的特征提取层对所述待处理视频中的多个图像块进行特征提取，得到多个图像块对应的第一特征信息；

30、第二特征信息确定模块，用于通过所述局部精细超分模块中特征掩膜层的参数，增强多个图像块对应的第一特征信息中的有效特征信息，得到多个图像块对应的第二特征信息；

31、目标特征确定模块，用于通过所述局部精细超分模块中自注意力模块增强多个图像块对应的所述第二特征信息中纹理区域的特征权重，得到多个图像块对应的目标特征；

32、卷积处理模块，用于经所述局部精细超分模块中的卷积层对多个图像块对应的所述目标特征进行处理，以输出所述待处理视频对应的超分视频。

33、本技术还提供了一种前端设备，包括：

34、存储器，用于存储计算机程序；

35、处理器，用于执行所述计算机程序实现如上述的视频超分方法的步骤。

36、本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述的视频超分方法的步骤。

37、可见，本发明将待处理视频输入至预训练好的局部精细超分模块，并通过局部精细超分模块中的特征提取层对待处理视频中的多个图像块进行特征提取，得到多个图像块对应的第一特征信息；通过预训练好的局部精细超分模块中特征掩膜层的参数，增强多个图像块对应的第一特征信息中的有效特征信息，得到多个图像块对应的第二特征信息；通过局部精细超分模块中自注意力模块增强多个图像块对应的第二特征信息中纹理区域的特征权重，得到多个图像块对应的目标特征；经局部精细超分模块中的卷积层对多个图像块对应的目标特征进行处理，以输出待处理视频对应的超分视频。

38、本发明中的预训练好的局部精细超分模块中的特征掩膜层，利用预训练阶段进行特征掩膜得到的参数，在局部精细超分过程中能够适配周边相邻的像素点，使图像块，特别是图像块在遇到未知场景时超分出有效特征信息，也即增强了模型的泛化能力。同时在特征掩膜的基础上，在预训练好的局部精细超分模块的架构中还引入了自注意力层，通过更新了有效特征信息的第二特征信息中纹理区域权重的增加，提高超分视频中纹理区域的适应性，能够增强图像块的纹理细节。

39、因此使得最终呈现的超分视频能够很好地还原细节，恢复纹理，从总体上改善了相关技术中存在信息丢失泛化能力不足导致无法很好地还原细节等问题。特别对于前端设备，例如安防监控领域中涉及的前端设备中嵌入视频超分的方案，特征掩膜层和自注意力层的引入能够在有限的计算资源下帮助提升前端设备的计算效率。