基于参考池匹配的视频超分方法

本发明涉及视频编码领域，特别涉及一种有参考的视频超分方法。

背景技术：

1、图像和视频通常包含着大量的视觉信息，且视觉信息本身具有直观高效的描述能力，所以随着信息技术的高速发展，图像和视频的应用逐渐遍布人类社会的各个领域。近些年来，在计算机图像处理，计算机视觉和机器学习等领域中，来自工业界和学术界的许多学者和专家都持续关注着视频图像的超分辨率技术这个基础热点问题。图像的超分辨率技术是指利用数字图像处理、计算机视觉等领域的相关知识，通过某种有效的算法或方法，借助已经获得的低分辨率的图像恢复出高分辨率的图像的技术。这种技术能够将本来模糊质量较差且关键区域的细节纹理特征不明显或根本看不清的图像恢复成我们需要的状态，克服了自然条件下获取图像所遇到的困难。有参考的超分辨率技术是一种利用语义相关的高清图片的纹理细节恢复当前低清图片的技术，相比单图片超分有着不可比拟的纹理恢复效果。基于参考的超分辨率需要为每个目标图像选择特定的高分辨率参考(例如，内容相似性、相机视角和图片尺度大小)。

2、视频与图像类似，分辨率的提升对于提升视频质量也至关重要。与图像超分最大的不同就是，视频可以利用多个连续的图像/帧之间的相关信息，提升目标图像/帧的分辨率。虽然可以将视频拆分成多幅图像，然后用图像超分算法进行处理，但是会造成帧与帧之间出现不连贯的失真。近年来出现了一大批优秀的应用于视频的超分算法，以图像超分算法为基础，通过增加相应的模块来挖掘帧与帧之间的特征，从而提高视频超分算法的性能。同样地，也可将有参考的超分技术运用于视频超分领域，在连续视频帧帧间的相关性高的场景下，根据高清参考帧恢复出丰富的纹理细节，从而提高视频序列超分的性能。

技术实现思路

1、为此，本发明的目的是结合跨尺度特征搜索和有参考的视频超分的方法，提出一种基于参考池匹配的视频超分方法。

2、本发明采用的技术方案为：

3、基于参考池匹配的视频超分方法，包括如下步骤：

4、s1，收集和整理视频图像数据集，构建训练集和测试集；

5、s2，对高清参考帧和低清输入帧进行预处理，将低清输入帧进行上采样，对高清参考帧先进行下采样后再上采样；

6、s3，建立特征提取网络，将经过预处理的高清参考帧和低清输入帧输入所述特征提取网络；

7、s4，初始化参考池，将由所述特征提取网络输出的高清参考帧的特征作为参考池的初始特征；

8、s5，建立特征搜索匹配网络，将低清输入帧特征与参考池特征输入所述特征搜索匹配网络，计算相关性系数，得到最大相关性系数/坐标列表；

9、s6，更新参考池；

10、s7，通过相关性感知融合网络，重建恢复出高清帧图像。

11、进一步地，所述步骤s2中，对低清输入帧上采样同时，对高清参考帧也要先下采样后再上采样，所述下采样及上采样均采用双三次插值法。

12、进一步地，所述步骤s3中，所述特征提取网络包括三个卷积层，所述高清参考帧和低清输入帧经过所述三个卷积层提取得到三个层次的特征，这三个层次的特征的视觉模式不同，第一层次的特征是用于提供高频信息的关键特征，第二层次的特征是用于后续恢复重建高清帧，第三层次的特征是用于匹配查询特征。

13、进一步地，所述步骤s5中，采用h×w滑动窗口将所有特征进行分块拼接，分别得到低清输入帧特征矩阵和参考池特征矩阵并计算相关性。

14、进一步地，所述步骤s5中，h＝w＝3，步长为1。

15、进一步地，所述步骤s6中，更新参考池的更新规则为：参考最大相关性列表，筛选出若干个值最小的相关性值，然后根据相关性位置坐标列表从重建恢复出的高清帧中索引出这些相关性值对应的特征作为更新特征，输入参考池。

16、本发明通过建立一个通用参考池，搜索本地匹配模式来恢复所有低分辨率图像目标。通过利用注意力机制以及跨尺度特征融合，生成具有较好感知质量和丰富细节的逼真图像。在性能效果保持与现有跨尺度信息融合方法(crs)持平情况下，解决了其计算冗余过大的问题，大大节省了数据量(节省约34.8％)和运行时间(降低约64.7％)；另外，数据量和运行时间两项指标也均优于残差通道注意力图像超分方法(rcan)和增强可变卷积视频超分方法(edvr)。

技术特征：

1.基于参考池匹配的视频超分方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于参考池匹配的视频超分方法，其特征在于，所述步骤s2中，对低清输入帧上采样同时，对高清参考帧也要先下采样后再上采样，所述下采样及上采样均采用双三次插值法。

3.根据权利要求1所述的基于参考池匹配的视频超分方法，其特征在于，所述步骤s3中，所述特征提取网络包括三个卷积层，所述高清参考帧和低清输入帧经过所述三个卷积层提取得到三个层次的特征，这三个层次的特征的视觉模式不同，第一层次的特征是用于提供高频信息的关键特征，第二层次的特征是用于后续恢复重建高清帧，第三层次的特征是用于匹配查询特征。

4.根据权利要求1所述的基于参考池匹配的视频超分方法，其特征在于，所述步骤s5中，采用h×w滑动窗口将所有特征进行分块拼接，分别得到低清输入帧特征矩阵和参考池特征矩阵并计算相关性。

5.根据权利要求4所述的基于参考池匹配的视频超分方法，其特征在于，所述步骤s5中，h＝w＝3，步长为1。

6.根据权利要求1所述的基于参考池匹配的视频超分方法，其特征在于，所述步骤s6中，更新参考池的更新规则为：参考最大相关性列表，筛选出若干个值最小的相关性值，然后根据相关性位置坐标列表从重建恢复出的高清帧中索引出这些相关性值对应的特征作为更新特征，输入参考池。

技术总结
本发明公开了一种基于参考池匹配的视频超分方法。该方法的步骤如下：收集并整理视频图像数据集，构建训练集和测试集；预处理高清参考帧和低清输入帧；建立特征提取网络，将经过预处理的高清参考帧和低清帧输入特征提取网络；初始化参考池，将由特征提取网络输出的高清参考帧的三个层次的特征作为参考池的初始特征；建立特征搜索匹配网络，将低清帧特征与参考池特征输入搜索匹配网络，计算相关性系数，得到最大相关性系数/坐标列表；更新参考池；通过相关性感知融合网络，重建恢复图像。本发明通过利用注意力机制以及跨尺度特征融合，生成具有较好感知质量和丰富细节的逼真图像。

技术研发人员：马展,黄俊杰,张驰,陆明
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/1/14