一种利用序列图像的图像分辨率增强方法与流程

文档序号:15640466发布日期:2018-10-12 22:00阅读:301来源:国知局

本发明涉及一种图像分辨率增强方法,特点是模型参数自适应的图像分辨率增强方法,广泛用于医学成像、遥感、监视和天文观测等领域。属于图像处理、计算机视觉和计算成像技术领域。



背景技术:

图像空间分辨率是评价图像质量的重要指标,高空间分辨率图像为接下来的检测、识别和跟踪等应用提供更加丰富的信息。因而,获取高空间分辨率的图像的成像设备具有重要的价值。对于常见的数字成像设备,由奈克斯特采样定理,数字图像的空间分辨率决定于成像设备光学子系统的带宽以及光电转换子系统的空间采样频率。由此可知,提高数字成像设备性能以获得高空间分辨率图像最直接的解决方案有:1)增加光学子系统的带宽;2)增加光电转换子系统的空间采样频率。对于前一个方案,通常需要采用先进透镜或者复杂的透镜组合,这无疑会增加系统体积或成本。后一个解决方案通过增加空间采样频率,即在单位面积内采用更多的光电转换单元来提高空间采样率。然而,随着单位面积内像素数的增加,单个像素单元上有用信号光能量随之减少,光子噪声将成为限制性能的瓶颈因素,并且现在的ccd和cmos工艺几乎达到了性能极限。综上,由于实际的或理论上的原因,利用成像设备直接获取高分辨率图像往往较为困难。

另一方面,随着计算器件性能的提升,通过信号处理算法来获得高分辨率图像提供了另外一条行之有效的途径。通常,获取同一场景的低分辨率图像序列往往容易得多,低分辨率图像集合可以由同一成像设备在不同时刻获得或者由一个阵列成像设备在同一时刻获得。前述的前一种场景获得低分辨率图像序列,后一种场景获得低分辨率图像集,本发明不区分这两种情况,统称为序列图像,对序列图像中图像编号称为图像帧。根据低分辨率成像设备的物理特性建立待求高分辨率图像到低分辨率图像的图像退化模型,再通过电子系统来实施相应逆问题求解的分辨率增强算法。逆问题求解通常是病态的,即解的存在性、唯一性和稳定性中的一个或多个不满足。正则化是一个把病态问题转化为良定问题的途径之一,但正则化方法存在正则化参数需要人为选择的问题。另一方面,分层贝叶斯理论为求解逆问题提供了重要的理论框架,它提供了有效融合先验知识和观测数据的最优途径,并且所涉及的参数都是由数据驱动的方式来确定,无需繁琐费时的参数选择过程。在分层贝叶斯理论下获得的算法往往具有自动化、智能化和鲁棒性的特点。然而,如何确定贝叶斯框架下的先验模型一直都是一个公开待解决的问题。本发明提出了基于滤波器组和l1范数的图像先验模型,并在分层贝叶斯框架下获得了相应的图像增强方法。较传统方法,该方法不仅具有更好的图像增强性能,并且对不同的图像场景具有更好的鲁棒性。因而能更好的满足实际的工程应用需求。



技术实现要素:

本发明要解决的技术问题为:针对现有方法的不足,提供一种基于滤波器组和l1范数的图像先验模型的图像空间分辨率增强方法,该方法具有更好的图像增强性能,并且对不同的图像场景具有更好的鲁棒性。

本发明解决上述技术问题采用的技术方案为:一种利用序列图像的图像分辨率增强方法,包括如下步骤:

步骤一、对于给定的参考帧,利用低分辨率图像序列进行图像相对运动参数、模型参数、辅助参量和高分辨率图像的初始化;

步骤二、利用序列图像迭代求解图像相对运动参数、模型参数和高分辨率图像的分布,具体迭代步骤如下:

步骤(21)使用上次迭代的高分辨率图像和图像相对运动参数获得辅助参量和模型参数分布的更新;

步骤(22)使用上次迭代的高分辨率图像、辅助参量和步骤(21)中更新的模型参量获得图像相对运动参数分布的更新;

步骤(23)使用步骤(21)中更新的辅助参量、模型参数分布和步骤(22)中更新的图像相对运动参数分布获得高分辨率图像分布的更新;

步骤三、判断迭代停止条件时,若不满足继续步骤二中的迭代;若迭代停止条件满足,停止迭代,取迭代结果中的高分辨率图像的均值作为高分辨率图像测最优估计。

其中,步骤(23)中所述的使用步骤(21)中更新的辅助参量、模型参数分布和步骤(22)中更新的图像相对运动参数分布获得高分辨率图像分布的更新,模型参数分布中的图像先验模型参数分布的更新依赖于一组滤波器对高分辨率图像滤波的结果。

其中,所述的模型参数分布中的图像先验模型参数分布的更新依赖于一组滤波器对高分辨率图像滤波的结果,该组滤波器可以是多个一阶滤波器的组合、二级滤波器的组合,或者一阶和二级滤波器的组合。

其中,所述的该组滤波器可以是多个一阶滤波器的组合,一阶滤波器组的空域模板为nf={f1,f2,f3},其中,

本发明与现有技术相比的有益效果在于:

(1)本发明相比于正则化方法,所涉及的参数都是由数据驱动的方式来确定,无需繁琐费时的参数选择过程。

(2)本发明不仅可以获得高分辨率图像、模型参数和相对运动参数的估计值,还可以获得它们的后验分布,能够为后续处理提供更加丰富的信息。

(3)本发明采用对高分辨率图像和相对运动参数联合迭代估计,具有更好的分辨率增强性能。

(4)本发明采用基于滤波器组和l1范数的图像先验模型,能更好的对高分辨率图像进行建模,所获得的方法对不同的图像场景具有更好的鲁棒性,并且具有更好的图像增强性能。

附图说明

图1为本发明一种利用序列图像的图像分辨率增强方法实现流程图;

图2为本发明对5幅低分辨率图像增强的结果;其中,图2(a)为4幅低分辨率图像,图2(b)为bbc方法增强结果,图2(c)为sar方法增强结果,图2(d)为tv方法增强结果,图2(e)为ns方法增强结果,图2(f)本发明推荐方法图像增强的结果。

图3为本发明对15幅低分辨率图像增强的结果,其中,图3(a)为4幅低分辨率图像,图3(b)为bbc方法增强结果,图3(c)为sar方法增强结果,图3(d)为tv方法增强结果,图3(e)为ns方法增强结果,图3(f)为本发明推荐方法图像增强的结果。

具体实施方式

为了准确和清晰说明本发明的实施方式,下面对实施过程中的定义和符号进行描述。这里采用矩阵-向量的方式进行描述。把所涉及到的各个低分辨率图像和高分辨率图像分别使用字典排序的方式逐列堆叠排列为列向量,把图像处理算子用矩阵进行表示,图像处理算子对图像的处理表示为相应的算子矩阵对图像向量的乘积。设观测获得的l帧低分辨率图像为yk,k=1,...,l,待求的高分辨率图像为x。yk和x是n×1和pn×1的向量,其中是放大因子。从高分辨率图像到低分辨率图像的退化过程建模为:

yk=dhkmk(sk)x+nk=bk(sk)x+nk,k=1,...,l(1)

其中,nk是加性观测噪声,d是n×pn的下采样矩阵,hk是图像模糊矩阵,mk(sk)是有相对运动参数sk定义的相对于参考帧的运动矩阵,它定义了各个低分辨率帧相对于x定义的高分辨率帧的相对运动。这里假设低分辨率图像之间为只存在平移和旋转的刚体变换,相对运动矩阵由决定,其中,θk是旋转角度,(ck,dk)是平移向量,其各个分量依次表示水平方向和垂直方向的平移像素数。下采样矩阵、模糊矩阵和相对运动矩阵合并为n×pn的从高分辨率图像到低分辨率图像的退化矩阵bk。另外,这里假定模糊矩阵hk已知,其由低分辨率成像系统的光学特性决定。

本发明提供一种基于序列图像进行高分辨率重构的方法,包含以下步骤:

步骤一、确定参考帧、用于重构参考帧的低分辨率图像集合以及重构高分辨率图像相对于低分辨率图像的放大倍数

步骤二、算法初始化:包括高分辨率图像初始化、模型参数初始化和相对运动参数的初始化,具体实施如下:

(2.1)根据步骤一中的放大倍数,利用步骤一中确定的低分辨率图像集合,采用现有的插值或放大的方法获得给定倍数的参考帧的高分辨率图像,现有方法可以是线性插值、双线性插值、双三次插值等;

(2.2)模型参数初始化包括超先验参数初始化、图像先验参数初始化、噪声参数初始化和辅助参量初始化,具体如下:

(2.2.1)每个图像先验参数和噪声参数都对应两个超先验参数,根据已有知识对超先验参数进行初始化。或者在没有超先验参数先验知识的情况下,相应的超先验参数都设置为0;

(2.2.2)对d个图像先验参数,根据(2.1)中初始化的高分辨率图像和每个图像先验参数对应的滤波器采用公式8进行初始化;

(2.2.3)采用公式9或现有算法分别对l个低分率图像的噪声先验参数进行估计;

(2.2.4)根据(2.1)中初始化的高分辨率图像,采用公式5对辅助参量进行初始化。

(2.3)采用公式6或现有算法获得低分辨率图像相对于参考帧的相对运动参数初始估计值。

步骤三、迭代求解高分辨率图像、模型参数和相对运动参数,直到达到迭代停止条件,具体步骤包括:

(3.1)高分辨率图像的均值、协方差矩阵和相关的辅助参量的迭代更新依次为:

其中,<·>为期望算子,上述式子中期望<αj>和<βk>由上次迭代给出,计算需要利用sk的均值和协方差矩阵,相应的均值和协方差矩阵由迭代给出,d是滤波器组中的滤波器个数,fj是滤波器组中第j个滤波器对应的矩阵形式,由相应滤波器的空域模板决定。

(3.2)迭代更新相对运动参数的均值和协方差矩阵,具体步骤包括:

(3.2.1)通过求解如下优化问题来求解相对运动向量的均值更新:

其中,是相对运动参数初始估计的均值和方差,计算需要利用x的均值和协方差矩阵,x的均值和协方差矩阵均由(3.1)中迭代给出,这里的无约束优化问题可以采用现有的优化方法进行求解。

(3.2.2)通过

更新相对运动向量的协方差矩阵的逆矩阵,其中ψk和φk的计算参考文献[1]。

(3.3)通过

更新图像先验参数αj和噪声先验参数βk,其中是图像先验参数αj的两个超参数,是噪声先验参数βk的两个超参数。更新公式中的计算需要利用x和sk的均值和协方差矩阵,具体计算公式参考文献[1]。

为了验证本算法的有效性,这里把推荐方法和现有主流方法进行对比,现有主流方法包括文献[1](babacan,s.d.,molina,r.,katsaggelos,a.k.,“variationalbayesiansuperresolution,”ieeetrans.imageprocess.20(4),984–999(2011).)中的sar和tv方法,文献[2](s.villena,m.vega,r.molina,a.k.kasaggelos.,“anon-stationaryimagepriorcombinationinsuper-resolution,”digitalsignalprocessing32(2014)1-10.)中利用滤波器nf3的配置方法。分别采用5幅和15幅低分辨率图像来重构高分辨率图像,以第一幅低分辨率图像作为参考帧,放大倍数设置为2,算法中的超参数全部设置为0,采用权利要求书中的滤波器组nf={f1,f2,f3}。图2和图3分别为5幅和15幅低分辨率图像增强的结果,其中,图2(a)和图3(a)是低分辨率图像集中的4幅图像,图2(b)和图3(b)是第一幅低分辨率图像双线性插值的结果,图2(c)和图3(c)是sar方法增强结果,图2(d)和图3(d)是tv方法增强结果,图2(e)和图3(e)是文献[2]中方法的增强结果,图2(f)和图3(f)是本发明推荐方法的增强结果。可以看出双线性插值方法性能最差,因为它仅仅使用了参考帧低分辨率图像;sar方法在边缘处具有ringing干扰,这可以从图2(c)中插入的圆圈内图像看出;并且sar和tv的方法对噪声的抑制性能差于本发明推荐方法;文献[2]中的方法具有明显的过平滑现象,该现象在低分辨率图像帧数为5时表现得更为明显。

综上,本发明推荐方法在保持图像细节信息、抑制噪声及人造干扰物方面具有更好的折衷。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本发明,而并非用作为对本发明的限定,只要在本发明的实质精神范围内,对以上所述实施例变化,变型都将落在本发明权利要求书的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1