一种视频超分辨率重建方法与流程

本发明属于数字图像处理技术领域，涉及一种视频超分辨率重建方法，具体涉及一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法。

背景技术：

随着科学技术的发展，人们对于高清视频的需要也在日益增长，从720p(1280×720)到1080p(1920×1080)高清，再到4k(3840×2160)甚至是8k(7680×4320)的超高清。因此，作为一种能从给定的低分辨率视频生成高分辨率视频的技术，视频超分辨率便有了重要用途。目前，视频超分辨率被广泛应用于如视频监控，数字电视，卫星遥感等领域。

传统的超分辨率方法有基于插值的方法，如双三次插值方法。这类方法从给定的低分辨率图像，计算对应高分辨率图像中未知的像素值。图像插值方法计算量少，处理速度快，在工业界得到了广泛的应用。然而，这种方法过于简单，重建效果往往过于模糊，画面过光滑而缺少纹理细节。而且，他们大都针对单张图像超分辨率，只能利用帧内空间相关性，无法利用连续视频帧的帧间时间相关性。

最近，基于深度学习，特别是卷积神经网络(cnn)的超分辨率方法取得了巨大的成功。目前的一些视频超分辨率方法通常采用显式或隐式的运动补偿，利用视频帧间的时间相关性。然而，这种方法需要引入额外的光流网络，增加了额外的参数量和计算量，也使得训练网络的难度加大。此外，一些视频超分辨率方法采用直接融合、慢融合或是3d卷积神经网络的方法来融合时域多帧互补信息。但是，直接融合与慢融合方式过于简单，难以有效地利用多帧相关性；3d卷积神经网络的融合效果相对较好，但计算量过大，严重影响处理速度。

sajjadi等人提出了一种帧递归视频超分辨率cnn网络，先放大第一个低分辨率视频帧，再利用放大后的高分辨率视频帧监督处理下一个低分辨率视频帧，从而重建整个视频。该方法每一帧只需处理一次，速度较快，但它不能利用下一延时帧的信息来帮助恢复当前帧。jo等人提出了一种基于3d卷积的视频超分辨率网络，该网络利用3d卷积，能较好地利用帧间的时空相关性，但存在计算量巨大、效率低的弊端。

技术实现要素：

为了解决上述技术问题，本发明提供了一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法。在非局部时空网络中采用非局部残差块，直接提取多帧的非局部时空相关性；在渐进式融合网络中，利用渐进式融合残差块，更有效地融合多帧之间的时空相关性。同时采用一种跨通道参数共享技术，极大地减少了渐进式融合网络的参数需求。

本发明所采用的技术方案为：一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法，其特征在于，包括以下步骤：

步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为t×h×s×w×s×c像素的图像作为高分辨率学习目标，将其下采样s倍，得到大小为t×h×w×c的低分辨率图像，作为网络的输入；其中，t为帧数，h和w分别为图像的高和宽，c为图像的通道数，s为下采样倍数；

步骤2：将低分辨率帧输入现有的非局部时空网络融合，形成一整块高维特征张量，对高维特征张量进行变形，分离，计算并提取非局部时空相关性，进而得到混合了非局部时空相关性的多帧视频；

步骤3：将混合了非局部时空相关性的多帧视频输入渐进式融合网络，逐渐地融合多帧之间的时空相关性；

步骤4：提取渐进式融合网络中卷积层的参数，并把参数共享给相同深度的其他卷积层；

步骤5：将融合了时空相关性的多帧继续融合，进而得到一个低分辨率特征张量图；

步骤6：将低分辨率特征张量图放大，获得高分辨率图像。

本发明使用了非局部残差块，直接提取多帧的非局部时空相关性，并使用渐进式融合残差块，加强多帧之间时空相关性的融合效果，使得能够提取更加丰富的纹理细节。此外，通过采用跨通道参数共享技术，极大地减少了渐进式融合网络的参数量，提升了网络存储和运算效率。

附图说明

图1为本发明实施例的非局部残差块结构图；

图2为本发明实施例的渐进式融合残差块结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1和图2，一种基于非局部时空相关性及渐进式融合网络的视频超分辨率重建方法，包括以下步骤：

步骤1：选取若干视频数据作为训练样本，从每个视频帧中相同的位置截取大小为t×h×s×w×s×c像素的图像作为高分辨率学习目标，将其下采样s倍，得到大小为t×h×w×c的低分辨率图像，作为网络的输入。其中t为帧数，h和w分别为图像的高和宽，c为图像的通道数，s为下采样倍数；

步骤2：将低分辨率帧输入非局部时空网络，将它们融合在一起形成一整块高维特征张量，对其进行变形，分离，计算并提取非局部时空相关性，进而得到混合了非局部时空相关性的多帧视频；

本发明采用一种非局部残差块，对输入进行变形，分离，计算等操作，提取视频帧的非局部时空相关性。

非局部残差块的输入x尺寸为t×h×w×c，其中t为帧数，h和w分别为图像的高和宽，c为图像的通道数。改变x的形状，进而得到x1以及x2，进一步将x2变形分别得到x3和x4。同时，对x2进行卷积，得到输入的一种特征表示g。将x3和x4相乘得到f，对f做指数归一化，得到非局部时空关系图。将非局部时空关系图与输入的特征表示g相乘，就得到了提取了非局部时空相关性的特征图y。将y进一步变形并卷积，使其与输入x的尺寸相同，并与x相加，最终得到了输出z。

具体实现过程为：

s(x)＝t×h×w×c(1)其中，s(x)表示输入帧x的形状；

将x变形得到x1，再将x1的空间尺寸转化部分为通道数得到x2，进一步将x2变形得到x3和x4；

s(x1)＝h×w×(c×t)(2)

s(x2)＝(h/r)×(w/r)×(c×t×r²)(3)

s(x3)＝(h×w/r²)×(c×t×r²)(4)

s(x4)＝(c×t×r²)×(h×w/r²)(5)

其中，r为转化倍数；

f＝x3×x4(6)

g＝g(x2)(7)

y＝softmax(f)×g(8)

z＝w(y)+x(9)

其中，将x3和x4相乘得到f，f为输入x的非局部时空关系图，将x2进行卷积得到g，g为输入x的一种特征表示；softmax(f)表示将f指数化归一，将其与变形的g相乘得到y，y为获得了非局部时空关系的多帧；将y进行卷积并变形后，与输入x相加得到输出z，z为非局部残差块的输出多帧。

步骤3：将混合了非局部时空相关性的多帧视频输入渐进式融合网络，逐渐地融合多帧之间的时空相关性；

本实施例采用一种渐进式融合残差块，逐渐地融合多帧之间的时空相关性；

其中，表示输入的第t帧，表示第1层的第t个卷积，表示将输入送入卷积得到的特征张量图；i1表示将所有帧的特征张量图融合后得到的混合特征张量图，i2表示把i1送入c²卷积得到的特征张量图；将i2与融合后，送入卷积，并与相加，就得到了输出ot，ot为经过了渐进式融合后的多帧。

本实施例以输入5帧为例。渐进式融合残差块首先使用5个卷积，分别处理对应的5个视频帧。将得到的5个特征张量图融合为1个，并利用1个卷积来压缩它的通道数，得到1个混合有所有帧信息的混合特征张量图。将输入的5帧依次与该混合特征张量图拼接，并使用新的5个卷积处理这5个新的混合特征张量图。将得到的5个混合特征张量图与5个输入帧依次相加，最终得到5个输出。

步骤4：将渐进式融合网络中卷积层的参数提取出来，并把参数共享给相同深度的其他卷积层；

本实施例采用现有的跨通道参数共享方法，将渐进式融合残差块中卷积参数提取出来，并共享给其它相同层数的卷积块。

本实施例以输入5帧为例。在卷积的过程中，把网络中相同深度的5个卷积层的参数共享为一致，以减小网络参数量。

步骤5：将融合了时空相关性的多帧继续融合，进而得到一个低分辨率特征张量图；

步骤6：将低分辨率特征张量图放大，获得高分辨率图像；

本发明能够利用多帧的非局部时空相关性保证重建效果，并利用跨通道参数共享技术减小网络参数量。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。