一种基于多幅图像的鲁棒的图像分辨率增强方法与流程

本发明涉及一种基于多幅图像集合的鲁棒的分辨率增强方法，特点是模型先验参数自适应的图像分辨率增强方法，并且该方法对模型误差、运动野值点和脉冲噪声具有更好的鲁棒性，广泛用于医学成像、遥感、监视和天文观察等领域。属于图像处理、计算机视觉和计算成像技术领域。

背景技术：

图像空间分辨率是评价图像质量的重要指标，高空间分辨率图像为接下来的检测、识别和跟踪等应用提供更加丰富的信息。因而，获取高空间分辨率的图像成像设备具有重要的价值。由奈克斯特采样定理，数字成像设备获取的数字图像的空间分辨率决定于成像设备光学子系统的带宽以及光电转换子系统的空间采样频率。传统的提高数字成像设备空间分辨率最直接的解决方案有：1)增加光学子系统的带宽；2)增加光电转换子系统的空间采样频率。这些方案通常会大幅增加成像设备的体积或者成本。在低成本或者小薄轻巧的成像需求下，利用这些方案来直接提高成像系统分辨率较为困难。

另一方面，由摩尔定律计算机的成本越来越低并且处理能力越来越强，把廉价的计算技术融入成像系统已经成为必然趋势。基于低成本和小薄轻巧的光学成像系统并结合计算机，通过信号处理算法来获得高分辨率图像提供了另外一条行之有效的途径。通常，利用低分辨率成像设备获取同一场景的低分辨率图像集往往容易得多，该低分辨率图像集合可以由同一成像设备在不同时刻获得或者由一个阵列成像设备获得。设图像集合中有l幅图像,这里我们对图像集合的图像进行编号1,2,……,l。在下面的描述中我们称其中一幅图像为第m幅图像或为了方便起见称为第m帧图像。根据低分辨率成像设备的物理特性建立待求高分辨率图像到低分辨率图像的图像退化观测模型，再通过信号处理算法来实施相应逆问题求解以获得高空间分辨率的图像。逆问题求解通常是病态的，即解的存在性、唯一性和稳定性中的一个或多个不满足。在这里高分辨率图像的存在性通常是可以保证的，而解的唯一性和稳定性需要引入额外的信息才能得到保证。确定性的正则化方法和基于统计的先验概率方法是引入额外信息的两种常用方法。但正则化方法存在正则化参数选择较为费时的问题。这里采用基于统计的先验概率来引入额外约束信息，使得解具有唯一性和稳定性。并且我们采用分层贝叶斯理论,其为求解逆问题提供了重要的理论框架，它提供了有效融合先验知识和观测数据的最优途径，并且所涉及的参数都是由数据驱动的方式来确定，省去了繁琐费时的参数选择过程。现有的在分层贝叶斯理论下获得的分辨率增强算法往往具有鲁棒性差的特点，因而工程实用性不好。本发明提出了基于拉普拉斯分布的低分辨率图像观测模型，并在分层贝叶斯框架下获得了相应的图像增强方法。该方法不仅具有更好的图像增强性能，并且对不同的图像场景具有更好的鲁棒性。因而能更好的满足实际的工程应用需求。

技术实现要素：

本发明要解决技术问题为：针对现有技术的不足，提供一种基于拉普拉斯分布观测模型的图像增强方法，该方法具有更好的图像增强性能，并且对模型误差、运动野值点和脉冲噪声具有更好的鲁棒性。

本发明解决上述技术问题采用的技术方案为：一种基于多幅图像的鲁棒的图像分辨率增强方法，包括如下步骤：

步骤一、对于给定的参考帧，利用低分辨率图像集进行图像相对运动参数、模型先验参数、高分辨率图像和辅助变量的初始化；

步骤二、利用图像集迭代求解图像相对运动参数、模型先验参数和高分辨率图像的分布，包括相应求解量的均值和方差，具体迭代步骤如下：

(21)使用上次迭代的高分辨率图像分辨和图像相对运动参数获得辅助变量和模型先验参数分布的更新；

(22)使用上次迭代的高分辨率图像、辅助变量和(21)中更新的模型先验参数获得图像相对运动参数分布的更新；

(23)使用(21)中更新的辅助变量、模型先验参数分布和(22)中更新的图像相对运动参数分布获得高分辨率图像分布的更新；

步骤三、判断迭代停止条件时，若不满足继续步骤二中的迭代；若迭代停止条件满足，停止迭代，取迭代结果中的高分辨率图像的均值作为高分辨率图像测最优估计。

其中，步骤(21)中所述的使用上次迭代的高分辨率图像分辨和图像相对运动参数获得辅助变量和模型先验参数分布的更新，辅助变量和模型先验参数的更新依赖于图像和图像中噪声的局部特征。

其中，步骤(22)中所述使用上次迭代的高分辨率图像和步骤(21)中更新的模型先验参数获得图像相对运动参数分布的更新，相对运动参数的分布更新依赖于图像噪声的局部特征。

其中，步骤(23)中所述使用步骤(21)中更新的辅助变量、模型先验参数分布和步骤(22)中更新的图像相对运动参数分布获得高分辨率图像分布的更新，高分辨率图像更新依赖于观测噪声的局部特性。

其中，所述的依赖于图像噪声的局部特性，该局部特性取决于观测低分辨率图像和估计高分辨率图像在各个像素处差值的平方。

其中，步骤一具体步骤如下：

(11)使用现有的图像配准算法，例如tl[1](b.lucas,t.kanade,“aniterativeimageregistrationtechniquewithanapplicationtostereovision,”in:proceedingsofimagingunderstandingworkshop,1981,pp.121–130.)算法，获得各帧图像相对于参考帧的相对运动参数初始化；

(12)高分辨率图像可以通过双线性插值等方法初始化；

(13)模型先验参数主要包括噪声水平先验参数和图像先验分布参数，噪声水平先验参数可以通过现有噪声估计算法进行估计，或者噪声水平先验参数和图像先验分布参数在(11)和(12)中图像相对运动参数和图像高分辨率图像初始化并加上两者协方差矩阵为0的假设下进行初始化，具体可根据本发明专利的增强算法的公式4和9进行初始化。

本发明与现有技术相比的有益效果在于：

(1)本发明相比于正则化方法，所涉及的参数都是由数据驱动的方式来最优估计，无需繁琐费时的参数选择过程。

(2)本发明和通常的增强算法相比，由于采用了多帧图像进行增强，不仅可以增强相应的图像细节，还可以放大图像的尺寸。

(3)本发明不仅能够获得增强的高分辨率图像，还能够获得高分辨率图像、相对运动参数和模型参数的后验分布概率，能为后续的处理提供更加丰富的信息。

(4)本发明和通常的基于变分贝叶斯的图像分辨率增强算法相比，由于采用了基于拉普拉斯分布的观测模型，对模型误差、运动野值点以及脉冲噪声具有更好的抑制作用，算法具有更好的鲁棒性，更利用工程实现。

附图说明

图1为本发明方法实现流程图；

图2为本发明仿真数据实验使用的高分辨率图像；

图3为1％椒盐噪声时本发明方法和主流方法的对比结果，其中，图3(a)为bbc(16.18db,0.8378)，图3(b)为rsr(25.55db,0.9846)，图3(c)为sar(22.17db,0.9655)，图3(d)为tv(23.22db,0.9730)，图3(e)为ns(22.21db,0.9665)，图3(f)为proposed(31.55db,0.9962)；

图4为35db高斯白噪声加0.1％椒盐噪声时本发明方法和主流方法的对比结果，其中，图4(a)为bbc(16.47db,0.8475)，图4(b)为rsr(26.53db,0.9878)，图4(c)为sar(25.37db,0.9839)，图4(d)为tv(27.66db,0.9906)，图4(e)为ns(26.26db,0.9872)，图4(f)为proposed(30.91db,0.9956)；

图5为本发明的增强方法和现有主流方法在alpaca真实图像集上的增强结果，其中，图5(a)为bbc，图5(b)为rsr，图5(c)为sar，图5(d)为tv，图5(e)为ns，图5(f)为proposed。

具体实施方式

为了准确说明本发明的实施方式，下面对实施过程中的定义和符号进行描述。这里采用矩阵-向量的方式进行描述。把所涉及到的图像使用字典排序的方式逐列堆叠排列为列向量，把进行图像处理的算子用矩阵表示，对图像的处理表示为相应的算子矩阵对图像向量的乘积。设观测获得的l个低分辨率图像为yk,k＝1,...,l，待求的高分辨率图像为x。yk和x是n×1和pn×1的向量，其中是放大因子，p和n为正整数。从高分辨率图像到低分辨率图像的退化过程建模为：

yk＝dhkmk(sk)x+nk＝bk(sk)x+nk,k＝1,...,l(1)

其中，nk是加性观测噪声，d是n×pn的下采样矩阵，hk是图像模糊矩阵，mk(sk)是相对于参考帧的运动矩阵，由相对运动参数sk决定，它定义了各个低分辨率帧相对于x定义的高分辨率帧的相对运动。这里假设低分辨率图像之间为刚体变换(即只存在平移和旋转)，相对运动矩阵由决定，其中，θk是旋转角度，(ck,dk)是平移向量，其各个分量依次表示水平方向和垂直方向的平移像素数。下采样矩阵、模糊矩阵和相对运动矩阵相乘合并为n×pn的从高分辨率图像到低分辨率图像的退化矩阵bk。另外，这里假定模糊矩阵hk已知，图像的模糊过程可以建模为线性空不变过程，由光学系统的点扩散函数决定。

本发明提供一种基于多幅图像的鲁棒的图像分辨率增强方法，包含以下基本步骤：

步骤一、确定参考帧、用于重构参考帧的低分辨率图像集合以及放大因子

步骤二、算法初始化：包括高分辨率图像初始化、先验参数初始化和相对运动向量初始化，具体实施如下：

(2.1)根据步骤一中的放大因子，利用步骤一中确定的低分辨率图像集合，采用现有的插值或放大的方法获得给定放大因子的参考帧的高分辨率图像，现有方法可以是线性插值、双线性插值、双三次插值等；

(2.2)先验参数包括超先验参数、图像先验参数、噪声参数和辅助变量，其初始化具体如下：

(2.2.1)每个图像先验参数和噪声参数都对应两个超先验参数，根据已有知识对超先验参数进行初始化。或者在没有超先验参数先验知识的情况下，相应的超先验参数都设置为0；

(2.2.2)根据(2.1)中初始化的高分辨率图像，采用公式2对噪声局部特性辅助变量进行初始化；

(2.2.3)采用公式4或现有算法分别对l个低分率图像的噪声水平参数进行估计；

(2.2.4)根据(2.1)中初始化的高分辨率图像，采用公式7对图像局部特性辅助变量进行初始化；

(2.2.5)对图像先验参数，采用公式8利用图像局部辅助变量进行初始化；

(2.3)采用公式10或现有算法获得低分辨率图像相对于参考帧的相对运动参数初始估计值。

步骤三、迭代求解高分辨率图像、先验参数和相对运动参数，直到达到迭代停止条件，具体步骤包括：

(3.1)噪声局部特性辅助变量更新：

(3.2)噪声总体特性先验参数分布更新：

这里该参数的均值为：

(3.3)高分辨率图像概率分布函数的迭代更新为：

上式子中是(wi)n-1反映图像局部特征的辅助变量，(vi^k)n是反映噪声局部特性的辅助变量。

相应高分辨率图像的均值更新可由：

计算获得。

设高分辨率图像的协方差矩阵为∑x，由公式5中的分布函数可以求得高分辨率图像的协方差矩阵，其具体表达式见参考文献[2]。

(3.4)图像局部特性辅助变量更新：

(3.5)图像先验参数更新：

这里图像先验参数的均值为：

(3.6)相对运动参数更新，相对运动参数服从多维高斯分布，其相应的均值和方差更新为：

相对运动参数的均值为：

其中，和是相对运动参数的初始估计均值和方差，由相对运动参数初始化算法决定。

相对运动参数的协方差矩阵更新参考文献[2]。在(3.1)～(3.6)中，eq(α)(f[α])表示对随机变量α的函数关于其分布求期望的期望算子，<α>是eq(α)(α)的简写。bk(sk)关于sk是非线性关系，这里参考文献[2](babacan,s.d.,molina,r.,katsaggelos,a.k.,“variationalbayesiansuperresolution,”ieeetrans.imageprocess.20(4),984–999(2011).)进行一阶泰勒展开。高分辨率图像x和相对运动参数sk都为多变量高斯分布，因而由其均值向量和协方差矩阵完全决定。均值和的计算参见文献[2]。另外，高分辨率图像和相对运动参数中涉及到的优化问题可以采用现有的优化方法进行求解，例如可以采用共轭梯度法，levenberg-marquardt算法等。

为了验证本发明中增强方法的有效性，这里把推荐方法和现有主流方法进行对比，现有主流方法包括双线性插值的方法(bbc)，文献[2]中的sar和tv方法，文献[3](s.villena,m.vega,r.molina,a.k.kasaggelos.,“anon-stationaryimagepriorcombinationinsuper-resolution,”digitalsignalprocessing32(2014)1-10.)中利用滤波器nf3的配置方法(ns)以及文献[4](s.farsiu,d.robinson,m.elad,andp.milanfar,“fastandrobustsuper-resolution,”proceedingsofieeeinternationalconferenceonimageprocessing,pp.291–294,spain2(2003).)中基于l1保真项和双边滤波总变差tv先验的方法(rsr)。接下来采用仿真实验数据和相机采集获得的数据来进行相应的对比。对于仿真实验数据，采用图2所示的分辨率图像作为原图，根据公式1生成5幅低分辨率图像，图3是添加1％椒盐噪声时，利用5幅图像进行分辨率增强的对比图和相应的psnr(peaksignal-to-noiseratio)和ssim(structuralsimilaritymeasure)，图4是添加0.1％随机值脉冲噪声和35db高斯噪声时，利用5幅低分辨率图像进行分辨率增强的对比图和相应的psnr和ssim。图3(a)和图4(a)是bbc方法增强结果，图3(b)和图4(b)是rsr方法增强结果，图3(c)和图4(c)是sar方法增强结果，图3(d)和图4(d)是tv方法增强结果，图3(e)和图4(e)是ns方法增强结果，图3(f)和图4(f)是本发明推荐方法增强结果。从图3和图4可以看出，bbc的方法效果最差，因为其仅仅使用了参考帧的图像；sar和tv方法鲁棒性非常差，少量的脉冲噪声造成了性能的严重下降；ns的方法对脉冲噪声有一定的抑制效果，但是存在图像过平滑的现象，图像中的部分细节被平滑掉；rsr的方法脉冲噪声抑制效果相对较好，但是图像中存在明显的ringing干扰物；本发明推荐方法具有最好的视觉效果(包括噪声抑制效果、更多细节和更少人造干扰物)和最高的psnr和ssim。图5是采用9帧相机采集获得数据(参见文献[5]p.milanfar.mdspsuper-resolutionanddemosaicingdatasets[online].available:https://users.soe.ucsc.edu/～milanfar/software/sr-datasets.html.)，放大因子为3时的对比图，低分辨率图像帧间场景中有物体运动，因而存在运动野值点，即一个低分辨率图像中的点由于场景中物体运动而被遮挡。图5(a)是bbc方法增强结果，图5(b)是rsr方法增强结果，图5是sar方法增强结果，图5是tv方法增强结果，图5(e)是ns方法增强结果，图5(f)是本发明推荐方法增强结果。可以看出由于bbc仅仅使用了参考帧低分辨率图像效果最差；由于运动野值点，sar和tv具有明显的鬼影；ns的方法过平滑现象比较严重，图像细节具有较大损失，rsr方法能干抑制运动野值点造成的影响，但噪声抑制作用差于推荐方法。综上，本发明推荐方法在抑制脉冲噪声、保持图像细节信息和抑制人造干扰物方面综合效果最佳。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化,变型都将落在本发明权利要求书的范围内。