一种基于联合正则化的视频超分辨率重建方法与流程

本发明设计一种基于联合正则化的视频超分辨率重建方法，尤其是本正则化项既考虑了视频帧内的相关性，又考虑到了视频帧间的相关性，能够在保持视频帧边缘细节信息的同时,很好的抑制噪声，属于数字图像处理领域。

背景技术：

在获取视频的过程中，由于大气扰动、欠采样、系统噪声以及光学与运动模糊等因素的影响，导致得到的视频质量退化，分辨率降低。随着人们对视频的清晰度的要求越来越高，如何提高视频的分辨率成为亟待解决的问题。超分辨率重建技术因不需要高昂的硬件成本就能具有良好的重建效果而受到国内外研究学者的广泛的关注，是近几年图像处理和计算机视觉等领域的研究热点。视频超分辨率重建时利用相似又不相同的连续低分辨率视频帧，通过视频帧之间的冗余信息、抑制噪声、减少模糊现象获得高分辨率视频帧。视频帧受到各种噪声或冗余信息的不足使超分辨率重建成为病态问题,因此通过正则化项约束高分辨率图像解空间的方法可以解决这个问题。Tikhonov正则化项实现简单，但是此正则化在约束噪声的同时模糊了图像边缘，这种方法会使重建的图像过于平滑。基于全变分(TV)和双边全变分(BTV)的正则化约束是较为普遍运用的图像先验模型，由于它们能够去除噪声的的同时重建出锐化的图像，保存图像边缘细节信息，但是当视频受到较大噪声影响时，在平坦区域处理效果不佳，容易产生伪边缘，在边缘区域也容易产生锯齿效应。

技术实现要素：

本发明针对以上正则化的不足，提出了一种联合正则化方法，将基于补偿的的TV(CTV)与多幅非局部低秩正则化项结合起来，充分利用两种正则化的不同优点，在考虑到视频帧内相关性的同时，探索视频帧间的相关性，在正则化项中引入相邻视频帧之间的冗余信息。同时考虑到CTV中配准残差带来的不良影响，对CTV设计了区域空间信息滤波的加权系数，减小了配准残差对视频的重建的消极影响。使得重建算法在消除噪声的同时保持视频帧的边缘细节信息。

本发明提出基于联合正则化的视频超分辨率重建方法，主要包含以下操作步骤：

(1)建立低分辨率观察模型；

(2)通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；

(3)构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；

(4)构建多幅非局部低秩(MNLR)正则化项；

(5)根据步骤(3)与步骤(4)中的正则化项，建立本发明基于联合正则化的视频超分辨率重建的代价函数；

(6)用Split-Bregman迭代方法求解代价函数，重建出高分辨率视频。

附图说明

图1是本发明基于联合正则化的视频超分辨率重建方法的框图

图2是本发明与四种方法对视频”Mobile”的第15帧的重建结果的对比图

图3是本发明与四种方法对视频”Grandma”的第15帧的重建结果对比图

图4是本发明与四种方法对视频”Akiyio”的第15帧的重建结果帧对比图

具体实施方式

基于联合正则化的视频重建方法主要包含以下步骤：

(1)建立低分辨率观察模型；

(2)通过基于正则化的最小均方方法，建立一个通用的视频重建的代价函数；

(3)构建基于运动补偿的TV(CTV)正则化项并赋予区域空间自适应加权系数以减小配准误差的不良影响；

(4)构建多幅非局部低秩(MNLR)正则化项；

(5)根据步骤(3)与步骤(4)中的正则化项，建立本发明基于联合正则化的视频超分辨率重建的代价函数；

(6)用Split-Bregman迭代方法求解代价函数。

具体的，所述步骤(1)中视频帧的低分辨率观察模型为：

y_k＝DBf_k+N 1≤k≤K, (1)

其中y_k，f_k分别为第k帧低分辨率视频帧与第k帧高分辨率视频帧，D为下采样因子，B为模糊因子，N为随机噪声，K为视频帧数。

所述步骤(2)中，在视频超分辨率重建时引入适当的先验信息来构造高分辨率视频的约束，来引导视频的超分辨率重建，可以通过基于正则化的最小均方方法来实现，公式如下：

其中，第一项为数据保真项，第二项为正则化项，λ为正则化的加权系数。

所述步骤(3)中构造基于补偿的TV(CTV)正则化项。该方法包含以下步骤：

第一步，假设对每一帧f_k，有其中Q_k-1，B_k+1分别表示以f_k为参考帧对f_k-1,f_k+1的运动补偿操作，本发明使用光流法进行运动估计；

第二步，将参考帧与运动补偿后的相邻帧之间的残差设置在梯度域，公式如下：

其中G表示梯度操作，G＝[G_h,G_v],G_h与G_v分别表示水平和垂直方向的差分操作。

本发明中将残差设置在梯度域，而非与传统全变分(TV)一样将原始图像设置在梯度域，是因为如果运动估计足够精确，残差将会比原始图像更加的稀疏。

由于CTV依赖与视频帧的内容与相邻帧之间的差分，所以它对边缘不敏感。然而，相邻帧之间存在着复杂的局部运动，精确的运动配准很难获得，因此配准残差将会影响视频的重建结果。考虑到步骤(3)中s_k的精确性，在梯度域中对每一s_k添加一个区域空间自适应权重，使得CTV转换成为CATV,公式如下：

其中步骤W_k的求解步骤如下；

第一步，需要提取空间结构信息，由于对于高频成分，二阶导数可以区分图像边缘与噪声区域，所以将基于二阶导数的曲率差分边缘提取算子运用到正则化权重系数定义中。像素j点处的曲率差分为：

C_j＝||e_ηη|-|e_εε||

其中，e_x,e_y分别为像素点处水平方向和垂直方向的一阶导数，e_xx,e_xy,e_yy为像素处的二阶导数。

第二步，计算在像素点处的局部权重，公式如下：

其中，τ为常数，控制参数强度。

第三步，利用聚类算法，将w_j划分M类，则图像被划分为不连续的区域，具有相似权重的像素则划分为相同的区域，每个区域的正则化强度由同一类的聚类中心r_m(m＝1,...,M)控制。

第四步，计算最终的权重公式：

其中Γ₁,Γ₂分别代表图像的平滑区域与细节区域。

需要注意的是权重W_k(k＝1,...,K)是为梯度域中残差设计的，而非视频帧。

可以看出在边缘区域权重较小，因此具有较小的正则化约束，减小了配准误差对重建的影响，同时保持了重建的细节信息。在平坦区域，权重较大，有效的抑制噪声。

所述步骤(4)中，构建多幅非局部低秩(MNLR)正则化项的步骤为：

第一步，将视频帧划分成重叠的块，假设将在第k帧中，以像素j为中心，大小为n×n的图像块表示成为p_k,j，以j为中心，确定搜索窗；

第二步，重复利用步骤(3)中的光流场，来引导在第(k-1)帧与第(k+1)帧中搜索窗的中心点位置。因此，确定了在第k帧中的搜索窗的中心点位置，就可以运用光流场中这一中心点的运动向量，找出相邻帧中对应搜索窗的中心点位置；

第三步，计算第(k-1)帧、k帧以及第(k+1)帧中搜索窗内中所有候选块与参考块p_k,j之间的l₂差分，找出p_k,j块的N_p个相似块；

第四步，将相似块分组，每个构建矩阵X_j,k，这个矩阵的每一列代表一个相似块。根据相似特性，这个矩阵具有低秩特性，但是由于噪声的干扰，这个特性被破坏了；

第五步，构建MNLR正则化项，公式如下：

其中，S_k,jF表示在(k-1)帧、k帧以及第(k+1)帧中寻k帧中以像素j为中心的参考块的相似块，并且X_j,k＝S_k,jF，Z_k,j是一个低秩的近似S_k,jF的矩阵，λ是一个权衡参数。

步骤(5)中的代价函数为：

其中α,β,λ正则化参数，使用以下函数来代替Rank(Z_k,j)：

δ是一个很小的常数，I表示单位矩阵，则代价方程转化成为了：

步骤(7)中使用联合正则化项的超分辨率重建的最优化算法的步骤如下：

第一步，增加一个变量d，使得将代价方程转换成为了以下公式：

第二步，使用Split-Bregman迭代算法求解以上问题，则代价函数可以分解为以下四个子问题：

第三步，分别求解以上四个的子问题：

1求解Z的子问题：

Zⁿ⁺¹＝U(Σ-λdiag(θⁿ))₊V^T (16)

其中，是的第l个特征值，S_k,jFⁿ可以进行特征值分解为UΣV^T，并且(x)₊＝max(x,0)。

2求解F的子问题：

此处用共轭梯度法(CG)求解。

3求解d的子问题：

其中，

为了说明本发明的有效性，本发明将选取3个测试视频进行实验，即“Mobile”“Grandma”以及“Akiyo”。首先将视频用大小5×5，方差为1的模糊核进行模糊，然后进行下采样，最后加入方差为3的零均值高斯噪声，生成低分辨率视频。对比方法选取双三次插值Bicubic以及3种视频超分辨率重建方法。实验结果如图2、图3以及图4所示，(b)到(f)分别代表双三次插值图像、方法1、方法2、方法3以及本发明重建出的视频帧。

三种视频超分辨率重建算法分别为：

方法一：软件算法，Infognition Video Enhancer[EB/OL],vol.5,no.1,2014.

http://www.infognition.com/videoenhancer/.

方法二：Yuan等人提出的方法。参考文献“Q.Yuan，L.Zhang，H.Shen."Regional spatially adaptive total variation super-resolution with spatial information filtering and clustering."IEEE Transactions on Image Processing,vol.22,no.6,pp.2327-2342,2013.”。

方法三：Turgay等人提出的方法。参考文献“E.Turgay，G.B.Akar."Texture and edge preserving multiframe super-resolution."Image Processing,IET,vol.8,no.9,pp.499-508,2014.”。

对比实验的内容如下：

实验1是用Bicubic方法对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(b)、图3(b)以及图4(b)所示。

实验2是用方法1对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(c)、图3(c)以及图4(c)所示。

实验3是用方法2对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(d)、图3(d)以及图4(d)所示。

实验4是用法3对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(e)、图3(e)以及图4(e)所示。

实验5是用本发明对视频“Mobile”、“Grandma”以及“Akiyo”的第10到20帧进行2倍超分辨率重建，实验结果如图2(f)、图3(f)以及图4(f)所示。

几组对比对比实验表明，Bicubic重建的到的视频帧非常模糊，边缘有锯齿效应，视频帧中噪声仍然严重；方法1重建的方法仍然不能克服重建的视频帧整体上仍然模糊且噪声严重的缺点；从方法2重建得到的视频帧可以看出方法2去噪效果比较好，但是在边缘部分仍然有锯齿效应；方法3重建得到的视频帧在边缘锐化，但是噪声现象仍然严重；运用本发明重建得到的视频帧，无论在去除噪声方面还是保持边缘方面都得到了好的结果。

为了客观的评价本发明的有效性，以峰值信噪比(PSNR：Peak Signal to Noise Ratio)和结构相似度(SSIM：Structure Similarity Index)作为客观评价评价标准，表一展示了各种算法的平均PSNR与平均SSIM。

表一说明了对两种客观标准,本发明具有最高的值，对于视频“Mobile”、“Grandma”以及“Akiyo”本发明的平均PSNR值比方法2分别高出1.09dB、1.63dB以及2.01dB,平均SSIM值比方法2分别高出0.0303、0.0121以及0.0192。

综上所述，本发明无论在主观视觉或是在客观评价标准都有明显的优势。因此本发明是一种有效的视频超分辨率重建方法。

表一