基于多种互补先验的视频超分辨率重建算法的制作方法
本发明涉及图像超分辨率重建技术，具体涉及一种基于多种互补先验的视频超分辨率重建算法，属于数字图像领域。
背景技术：
图像与视频具有简单直观、表现力强、信息含量丰富等特点，是人类获取和传递信息的重要方式。因此，研究和处理图像与视频信息具有十分重要的意义。随着信息化技术的发展，人们对接收和到的信息的要求也越来越高，尤其在医学、遥感、天文以及视频监控等应用领域中，都需要获得高分辨率的视频来传递更为精确的信息。然而在实际采集视频时，往往受到欠采样、大气扰动、散焦以及系统噪声等因素的影响，所获得的视频的空间分辨率不高。改善成像系统中的硬件设备是提高视频分辨率较为简单的途径，但是成本太高，所以我们考虑通过软件的方法来提高图片和视频的分辨率。而超分辨率重建技术正是针对这一问题而提出来，它现在也是图像处理领域的一个热点。视频超分辨率重建技术利用相似的连续低分辨率视频帧，通过利用视频帧之间的冗余信息来抑制噪声、减少模糊，从而获得高分辨率视频帧。视频帧受到各种噪声或冗余信息的不足的影响，这使超分辨率重建成为病态问题,因此通过正则化项来约束解空间的方法可以有效地解决这个问题。但是现有的一些方法容易产生不好的人工效应，例如对平坦区域的噪声抑制较差，边缘产生锯齿效应，重建图像过于平滑或者产生振铃效应等。
技术实现要素：
本发明的目的就在于为解决上述问题而提供一种基于多种互补先验的视频超分辨率重建算法。
本发明提出的一种基于多种互补先验的视频超分辨率重建算法，具体可以分为以下几个步骤：
(1)对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL，MNLR和SKR方法来重建中间帧，并得到高分辨率图片F1、F2和F3，并将它们作为初始的输入图片；
(2)利用步骤(1)中得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1-F2＝C1，F3-F2＝C2，并得到残差图像C1和C2；
(3)对于步骤(2)中的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；
(4)对于步骤(3)中的残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；
(5)对于步骤(3)中的残差图像C3和步骤(4)中的残差图像C6，我们对它们进行一个自适应加权并得到残差图像C7，最后将其叠加到F2上得到最终的重建图像。
附图说明
图1是本发明基于多种互补先验的视频超分辨率重建算法原理框图
图2是本发明与七种方法对没有加入噪声的视频“Miss-american”中第15帧的重建结果的对比图
图3是本发明与七种方法对加入方差为3高斯白噪声的视频“Akiyo”中第15帧的重建结果的对比图
图4是本发明与七种方法对加入方差为5高斯白噪声的视频“Suzie”的第15帧的重建结果的对比图
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，基于多种互补先验的视频超分辨率重建算法，具体可以分为以下几个步骤(其中操作一、操作二和操作三表示分别用MSEPLL,MNLR和SKR来重建低分辨率帧)：
(1)对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL，MNLR和SKR方法来重建中间帧，并得到高分辨率图片F1、F2和F3，并将它们作为初始的输入图片；
(2)利用步骤(1)中得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1-F2＝C1，F3-F2＝C2，并得到残差图像C1和C2；
(3)对于步骤(2)中的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；
(4)对于步骤(3)中的残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；
(5)对于步骤(3)中的残差图像C3和步骤(4)中的残差图像C6，我们对其它们进行一个自适应加权并得到残差图像C7，最后将其叠加到F2上得到最终的重建图像。
具体地，所述步骤(1)中，对输入的低分辨率的视频帧，我们将连续三帧作为一组，然后分别利用MSEPLL,MNLR和SKR方法来重建中间帧，并得到高分辨率图片F1、F2、F3。具体每种方法的使用如下：
首先介绍图像的降质过程，高分辨率图像f经过退化模型后，最终产生了低分辨率图像序列gi，整个过程对应的数学表达式为：
gi＝DBiEif+ni,(i＝1,...,p) (1)
其中，D表示下采样过程，Bi表示模糊过程，Ei表示坐标变换过程(旋转，平移等)，ni表示噪声。
下面我们介绍MSEPLL先验：
其中，操作S＝DH表示在进行下采样操作D后再进行低通滤波H，表示从抽样信号SX中提取第i个块。然后我们可以通过求解下面的式子来重建低分辨率图像：
为了优化上面的式子，我们采用Half Quadratic Splitting。然后我们添加辅助变量zi和他们分别代表从原始尺寸图片中提取的块和从上采样的图片中提取的块。结果我们得到了如下的式子：
我们假设β为一个常量，用来表示采用MSEPLL迭代多次的结果，并用X来表示干净的图片。其中用来表示对原始尺寸图片中的噪声水平的估计，并用来表示上采样图片噪声水平的估计。然后我们可以通过解决如下两个MAP问题来更新zi和
对于两种尺寸的图片的局部先验均采用GMM模型,然后我们在得到zi和后通过解决如下的式子来更新X，
最后，我们通过采用Conjugate Gradient来求解计算矩阵的逆。
对于SKR先验我们能够表示为:
WiS为一个行向量,Si为以为中心的局部邻域内的采样点以字典顺序构成的列向量。WiS中的元素也与Si中的元素一一对应。调整核回归(SKR)正则化超分辨率重建的代价函数变为：
然后我们可以通过梯度下降法对其进行求解。
对于MNLR先验，我们可以表示为：
其中，n表示相关帧的数量。对于在第k帧中以像素j为中心的块，Sk,jF表示从第(k-1)帧，第k帧和第(k+1)帧中搜索相似块。λ是一个权衡参数，Zk,j是一个矩阵，并与Sk,jF很相似。
然后我们可以通过求解下面的公式来重建高分辨率帧，
其β中λ和都是权衡参数。
我们用Split-Bregman迭代来解决这个问题,公式(11)中的问题可以被分解为
紧接着我们可以通过下面的式子来更新F，
通过上面的几种先验在超分辨率技术中的应用，我们很容易得到F1、F2和F3。
所述步骤(2)中利用步骤(1)中得到的三张高分辨率图像F1、F2和F3，对它们进行如下处理：F1-F2＝C1，F3-F2＝C2，并得到残差图像C1和C2；
所述步骤(3)中对于步骤(2)中的残差图像C1和C2，我们采用Gabor滤波器对它们进行滤波处理，并得到残差图像C3和C4；
所述步骤(4)中对于步骤(3)中的残差图像C4，我们用C4减去C3，得到残差图像C5，然后用Gauss滤波器对其进行滤波处理，得到残差图像C6；
所述步骤(5)中的残差图像C3和步骤(4)中的残差图像C6，我们对它们进行一个自适应加权并得到残差图像C7，自适应加权的方式为：
C7＝mC3+nC6 (15)
其中m和n为加权系数，它们能够通过下面的式子确定
其中α和β分别用来反映初始图片中的噪声水平。我们均假设噪声为高斯白噪声，它们均表示噪声方差。
最后将残差叠加到F2上得到最终的结果
F＝F2+C7 (18)
为了更好地说明本发明的有效性，本发明选取3个测试视频进行实验，低分辨率视频分别为视频“Miss-american”、视频“Akiyo”和视频“Suzie”。首先将视频用大小5×5，方差为1的模糊核进行模糊，然后进行下采样，最后分别加入方差为0，3，5的零均值高斯噪声，最后生成低分辨率视频。对比算法分别为双三次插值和另外六种超分辨率算法。实验结果如图2,图3和图4所示，(a)表示原图，(b)～(h)分别代表双三次插值以及方法1到方法6这六种对比算法，(i)表示本发明的结果。
这六种超分辨率重建算法分别为：
方法1：Infognition Co.Ltd公司开发的一款Video Enhancer软件，参考文献“InfognitionCo.Ltd,Video Enhance[OL],http://www.infognition.com/video enhancer/.Version 2.0,23March 2016.”。
方法2：Takeda H等人提出的算法。参考文献“Takeda H,Farsiu S,Milanfar P.Kernel regression for image processing and reconstruction[J].IEEE Transactions on image processing,2007,16(2):349-366.”。
方法3：Yuan等人提出的算法。参考文献“Q.Yuan，L.Zhang，H.Shen."Regional spatially adaptive total variation super-resolution with spatial information filtering and clustering."IEEE Transactions on Image Processing,vol.22,no.6,pp.2327-2342,2013.”。
方法4：Turgay等人提出的算法。参考文献“E.Turgay，G.B.Akar."Texture and edge preserving multiframe super-resolution."Image Processing,IET,vol.8,no.9,pp.499-508,2014.”。
方法5：Dong W等人提出算法。参考文献“Dong W,Zhang L,Shi G,et al.Nonlocally centralized sparse representation for image restoration[J].IEEE Transactions on Image Processing,2013,22(4):1620-1630.”。
方法6：Papyan V等人提出的算法。参考文献“Papyan V,Elad M.Multi-scale patch-based image restoration[J].IEEE Transactions on Image Processing,2016,25(1):249-261.”。
对比实验的内容如下：
实验1，分别用双三次插值，方法1到方法6以及本发明对视频“Miss-american”进行2倍超分辨率重建，选取其中一帧作为对比。超分辨重建结果分别如图2(b)到图2(i)所示。
实验2，分别用双三次插值，方法1到方法6以及本发明对视频“Akiyo”进行2倍超分辨率重建，选取其中一帧作为对比。超分辨重建结果分别如图3(b)到图3(i)所示。
实验3，分别用双三次插值，方法1到方法6以及本发明对视频“Suzie”进行2倍超分辨率重建，选取其中一帧作为对比。超分辨重建结果分别如图3(b)到图3(i)所示。
从3组实验中可以看出：在无噪声的情况下，对比算法都能恢复一定的高频信息，但是在边缘或者平坦区域容易出现一些不好的人工效应，例如振铃，锯齿或者是过度平滑等。但是我们的算法重建出来的结果细节信息更丰富，视觉效果更好，产生的人工效应也比较少。在有噪声的情况下，对比方法1到方法4的重建结果有些过于平滑，一些比较好细节不能很好的恢复出来，而对比方法5和方法6在平滑区域不能较好的抑制噪声，但是本发明能够较好解决这两个问题，重建结果具有较好的视觉效果和较高的客观参数。
为了客观的评价本发明的有效性，以峰值信噪比(PSNR：Peak Signal to Noise Ratio)和结构相似度(SSIM：Structure Similarity Index)作为客观评价评价标准，表一展示了各种算法的平均PSNR与平均SSIM。
表一将3组视频在不同噪声下的客观参数进行了展示，我们能够发现我们的实验结果确实获得了最好的客观参数。
综上所述，本发明确实在主客观上都有很好的效果，是一种有效的视频超分辨率重建算法。
表一
- 还没有人留言评论。精彩留言会获得点赞！