一种中间尺度约束的高倍率图像超分辨率重建方法与流程

文档序号:11277248阅读:492来源:国知局

本发明属于图像处理技术领域,涉及一种图像超分辨率重建方法,具体涉及一种中间尺度约束的高倍率图像超分辨率重建方法。

技术背景

图像超分辨率重建是一种图像空间分辨率增强的方法,利用信号处理的方法将低分辨率图像的分辨率提高并重建出高质量的清晰图像。超分辨率重建技术为提高图像空间分辨率提供了一种成本低廉、切实有效的解决途径,在航天遥感、视频监控、手机视频等领域具有广泛的应用前景。

很多实际应用场合,如遥感卫星对地观测,出于细致辨识的需要,需要对低分辨率观测图像进行高倍率超分辨率。当前流行的基于学习的超分辨率方法尽管在低倍率放大时取得了显著的效果,但用于高倍率放大,其效果将模糊不清。究其原因在于,基于字典学习的超分辨率方法假设高分辨率图像和对应的低分辨率图像共享同一流形空间,从而将低分辨率图像上训练的字典表达系数用于重建高分辨率图像。在超分辨率倍数不太大时,高低维空间的流形一致性假设基本成立,因而能够给出较好的重建效果;但当放大倍数较大时,也即高倍率放大情况下,高低维流形一致性被削弱,仍然沿用训练的低分辨率表达系数对高分辨率图像进行重建,将存在较大的模型误差,导致重建结果图像模糊不清,失去了使用价值。

图像超分辨率重建是一个典型的病态逆问题求解过程,对低分辨率观测图像的先验知识掌握越多,越有助于改善问题的正定性。在高倍率重建的情况下,输入图像和目标重建结果图像的分辨率悬殊过大,引起解空间膨胀是造成问题求解困难的主要原因。如果存在一种可资利用的介于二者之间的中间分辨率图像,或中间尺度图像,用这个中间尺度图像作为低分辨率向甚高分辨率转换的过渡,将能提高解的精度,最终提高重建图像的保真度和清晰度。如同低分辨率图像的高分辨率版本现实中不存在一样(否则无需超分辨率重建),中间尺度的图像一般也不会存在。但是,采用现有的方法可以人为生成低分辨率图像的中间尺度版本,而且,由于中间尺度图像与输入图像分辨率的差距小于目标图像分辨率的差距,故生成图像的质量可满足要求。



技术实现要素:

为了解决上述技术问题,本发明提供了一种中间尺度约束的高倍率图像超分辨率重建方法。

本发明所采用的技术方案是:一种中间尺度约束的高倍率图像超分辨率重建方法,其特征在于,包括以下步骤:

步骤1:获取若干高分辨率图像样本,制作高-中-低分辨率的训练图像块样本集{sh,sm,sl};其中,sh表示高分辨率图像块集合,sm表示中等分辨率图像块集合,sl表示低分辨率图像块集合;

步骤2:建立联合稀疏表达模型,利用训练图像块样本集{sh,sm,sl}训练高-中-低分辨率联合字典{dh,dm,dl};其中,dh、dm、dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典;

步骤3:运用图像上采样算法,对输入的低分辨率图像进行插值放大,生成中间尺度图像;

步骤4:通过中间尺度图像约束的低分辨率图像稀疏分解,获得低分辨率图像块的稀疏域表达系数;

步骤5:利用训练得到的高分辨率字典dh和低分辨率图像块的稀疏域表达系数,重建最终的高分辨率图像。

与现有的图像超分辨率方法相比,本发明具有以下优点和积极效果:

(1)本发明通过引入中间尺度图像改善超分辨率病态逆问题的正定性,提高了解的精度,从而提升了超分辨率重建的保真度,为图像的高倍率超分辨率重建提供了可行的思路;

(2)本发明新建立了一种高-中-低分辨率联合字典学习模型,具有一定的普适推广价值,在超分辨率以外的问题中也能发挥作用;

(3)由于中间尺度图像的生成可借助简单的插值方法完成,因此,本方法基本上不增加计算量。

附图说明

图1:本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。

请见图1,本发明提供的一种中间尺度约束的高倍率图像超分辨率重建方法,包括以下步骤:

步骤1:获取若干高分辨率图像样本,制作高-中-低分辨率的训练图像块样本集{sh,sm,sl};其中,sh表示高分辨率图像块集合,sm表示中等分辨率图像块集合,sl表示低分辨率图像块集合;

其中制作高-中-低分辨率的训练图像块样本集{sh,sm,sl},其具体实现包括以下子步骤:

步骤1.1:将每幅高分辨率图像的长宽下采样倍得到中等分辨率图像、下采样k倍得到低分辨率图像;其中,k表示图像长宽的超分辨率放大倍数,k≥4;

步骤1.2:将高分辨率图像、中等分辨率图像、低分辨率图像均裁剪成正方形的图像块,收集所有的图像块,构成高-中-低分辨率的训练图像块样本集{sh,sm,sl}。

步骤2:建立联合稀疏表达模型,利用训练图像块样本集{sh,sm,sl}训练高-中-低分辨率联合字典{dh,dm,dl};其中,dh、dm、dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典;

具体实现过程是:

令xh、xm、xl分别代表输入的高分辨率图像块、中等分辨率图像块、低分辨率图像块;w为输入图像块在字典上的稀疏表达系数,l、m、n分别表示高分辨率图像块、中等分辨率图像块、低分辨率图像块的维度;

则通过给定的{sh,sm,sl}训练字典{dh,dm,dl}的过程转化为如下的优化问题:

变换形式,上式等价于:

其中

采用交叉迭代优化求解上述凸优化问题,即固定w求解d,然后在下一轮迭代中固定d求解w,如此交替迭代更新,直到收敛为最优解。

步骤3:运用图像上采样算法,对输入的低分辨率图像进行插值放大,生成中间尺度图像;

本实施例运用经典的bicubic上采样算法生成中间尺度图像,且上采样倍数为

步骤4:通过中间尺度图像约束的低分辨率图像稀疏分解,获得低分辨率图像块的稀疏域表达系数;

其中低分辨率图像稀疏分解,具体实现过程如下:

将输入的低分辨率图像和生成的中间尺度图像切分成正方形块,低分辨率图像块的尺寸设定为5×5像素,保证块与块之间有1~2个像素的重叠,利用训练的中等分辨率字典、低分辨率字典,逐个图像块执行稀疏投影分解,获取每块的稀疏表达系数;

单个图像块的联合稀疏分解模型建立如下:

若xl、xm分别表示输入的低分辨率图像块、中等分辨率图像块,dl、dm为相应的低分辨率字典、中等分辨率字典,则稀疏投影分解的优化问题表示为:

w为代求取的稀疏表达系数,γ为中间尺度图像的误差权重;

上式变形为:

其中

步骤5:利用训练得到的高分辨率字典dh和低分辨率图像块的稀疏域表达系数,重建最终的高分辨率图像;

具体实现包括以下子步骤:

步骤5.1:利用训练得到的高分辨率字典dh和低分辨率图像块的稀疏域表达系数,通过字典原子的线性合成得到重建的高分辨率图像块,即xh=dhw;其中,w为输入图像块在字典上的稀疏表达系数;

步骤5.2:待所有高分辨率图像块都重建完成后,将其按原有位置拼接成完整的图像,然后对重叠的边缘部分进行平滑滤波,去掉缝结效应。

本发明采用简单的插值方法(也可以是复杂的超分辨率方法,但增加了运算复杂度)来产生中间尺度图像,得到中间尺度图像后,将其纳入低分辨率图像的稀疏字典学习模型,构建中-低分辨率的联合稀疏表达模型,作为重建误差项约束低分辨率图像的字典稀疏投影分解。相应地,为适应高-中-低分辨率联合字典学习的需要,将现有的高-低分辨率耦合字典学习模型扩展到高-中-低三元组联合学习模型。

应当理解的是,本说明书未详细阐述的部分均属于现有技术。

应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1