本发明涉及计算机图像复原领域,具体涉及一种基于主结构分离的稀疏表示图像超分辨率重建方法以求重构出逼近原始纯净信号的图像信号。
背景技术:
图像超分辨率重建是利用同一场景的多幅存在亚像素位移的低分辨率图像重建一副高分辨率图像的过程。图像超分辨率分析技术广泛应用于图像重构,医学图像诊断、遥感影像等原因往往不能获得足够分辨率的图像,提高硬件设备又会大幅度提高成本。另外有些场合获得的图像珍贵或者不宜重复采集,因此图像超分辨率重建在这些方面具有很高的应用价值。基于学习的算法构造低分辨率和高分辨率图像样本库,通过学习样本库得到低分辨率图像和高分辨率图像的内在联系,从而指导图像超分辨率重建。一般来说基于学习的算法首先对图像进行分块处理,分别构造低分辨率图像块和高分辨率图像块样本库。然后学习样本库中低分辨率图像块与相应高分辨率图像块之间的关系,最后再利用这种关系对输入的低分辨率图像块进行超分辨率重建。基于学习的算法是目前图像超分辨率处理领域研究较热的一类方法,使得基于稀疏表示的学习算法成为单幅图像超分辨率领域中的一个研究热点。基于稀疏表示的方法可以较好的保持领域关系,且可以恢复更多的图像细节信息,但它的缺点是稀疏编码阶段的计算机较大,另一方面,得到一个具有广泛表示能力的过完备字典较难。因此一个具有高表达能力的字典对基于稀疏表示的图像超分辨率重建是非常重要的,ksvd算法正是使得字典的表达能力得到了提升,从而获得了广泛的应用。在处理十分复杂自然图像图时案,虽然可以通过增加字典的原子数目,即字典尺寸,来提升字典的表达能力,但随着原子数的增加,计算量也会大幅上升。在需要平衡计算量和字典表达能力的情况下,一个正常大小的字典往往很难应付所有的图案。
技术实现要素:
为了解决这个问题,本发明提出了基于主结构分离的稀疏表示图像超分辨率重建算法,通过对图像进行分解,大幅减少图案的复杂性,并配合改进的字典学习方案,来提高超分辨率重建的效果。
本发明公开一种基于主结构分离的稀疏表示图像超分辨率重建方法,包括下述步骤:
(1)用rtv(relativetotalvariation)分解输入图像i,分解成主结构部分s与纹理部分t;
(2)将主结构部分重建以获取hr主结构图像sh;
(3)将纹理部分重建以获取hr纹理图像th;
(4)将hr主结构图像sh与hr纹理图像th相加得到hr图像ih0=sh+th;
(5)对hr图像ih0进行全局优化处理,求解下式:
其中ih为要求解的hr图像,
优选地,所述步骤(1)的具体过程为:令输入图像为i,最终获得主结构图像为s,像素的索引为p,则rtv的目标函数可以表示为:
其中(sp-ip)2项用来保持主结构图像与原图像之间的相似性,λ为正则平衡参数,ε为极小值,用来维持稳定解。正则项
其中r(p)为以像素p为中心的矩形区域,q则属于r(p),
其中x和y指像素点在窗口内的坐标,σ则用来控制空间尺度,通过调整λ和σ的值,我们可以获得不同的图像分解能力,同时,通过组合
优选地,所述步骤(2)中主结构部分重建以获取hr主结构图像sh的具体过程为:
(3.1)利用kvsd字典学习算法训练得到主结构高低分辨率字典对
(3.2)将所述主结构部分s进行双三次插值放大得到sm;
(3.3)通过特征提取算子forstner提取sm的特征smf;
(3.4)对smf中的每个小块smf,利用正交匹配追踪omp(orthogonalmatchingpursuit)算法求解下属最优化问题:
获得高分辨率图像块smf在字典
(3.5)根据公式
优选地,所述步骤(3)中纹理部分重建以获取hr纹理图像th的具体过程为:
(4.1)对外部hr训练样本图像
(4.2)对
(4.3)利用主结构重建方法对
(4.4)用外部hr训练样本图像
(4.5)对lr图像
(4.6)通过特征提取算子f提取
(4.7)对
(4.8)将输入图像i进行双三次插值放大得到im;
(4.9))通过特征提取算子forstner提取im的特征imf;
(4.10)对imf中的每个小块imf,利用正交匹配追踪omp算法解下述最优化问题:
获得高分辨率图像块imf在字典
(4.11)根据公式
(4.12)将所有的hr纹理图像块th在hr网格上进行重组,对重叠区域进行平均处理,得到hr纹理图像th。
优选地,所述kvsd算法的具体过程为,将目标函数泛化为下式:
其中p为需要训练的输入图像块集合,d为字典,稀疏系数zi为系数矩阵z中的列向量,固定字典d,令di为d中的第i列,
其中k为字典d中的原子数,
定义一个大小为n×|ωk|的矩阵ωk,其中n为p中图像块的个数,使ωk在(ωk(i),i)处为1,其余地方为0,并且令
再对
本发明的有益效果:通过利用rtv将图像分解为主结构和纹理两部分,分别进行重建,可有效减少图像的复杂性,大幅减缓字典训练的压力,另外由于采用了rtv分解得到的主结构部分边缘锐利,很接近原始hr图像的边缘部分,纹理部分也十分纯净。
附图说明
图1为实施例中基于主结构分离稀疏表示图像超分辨率重建方法的详细过程示意图。
具体实施方式
下面对本发明技术方案进行详细说明,但是本发明的保护范围不局限与所述实施例。
如图1所示,本发明的基于主结构分离稀疏表示图像超分辨率重建方法,具体包括如下步骤:
(1)用rtv分解输入图像i,分解成主结构部分s与纹理部分t;
(2)主结构部分重建以获取hr主结构图像sh;
(3)纹理部分重建以获取hr纹理图像th;
(4)将hr主结构图像sh与hr纹理图像th相加得到hr图像ih0=sh+th;
(5)对hr图像ih0进行全局优化处理,求解下式:
其中ih为要求解的hr图像,
具体地,所述步骤(1)的具体过程为:令原图为i,最终获得主结构图像为s,像素的索引为p,则rtv的目标函数可以表示为:
其中(sp-ip)2项用来保持主结构图像与原图像之间的相似性,λ为正则平衡参数,ε为极小值,用来维持稳定解。正则项
其中r(p)为以像素p为中心的矩形区域,而q则属于r(p),
其中x和y特指像素点在窗口内的坐标,σ则用来控制空间尺度。通过调整λ和σ的值,我们可以获得不同的图像分解能力。由于在对图像进行处理时,如果图像块中只包含纹理,则其梯度一般不定向,使得φ较小;而如果图像块中包含主结构边缘,由于边缘上的梯度方向相似,所以φ较大。这样就可以有效的区分主结构与纹理成分。同时,通过组合
具体地,所述步骤(2)中主结构部分重建以获取hr主结构图像的具体过程为:利用kvsd算法训练得到主结构高低分辨率字典对
获得高分辨率图像块smf在字典
根据公式
具体地,所述步骤(3)中纹理部分重建以获取hr纹理图像的具体过程为:对外部hr训练样本图像
获得高分辨率图像块imf在字典
根据公式
将所有的hr纹理图像块在hr网格上进行重组,对重叠区域进行平均处理,得到hr纹理图像th。
具体地,所述kvsd算法的具体过程如下,首先将目标函数泛化为下式:
其中p为需要训练的输入图像块集合,d为字典,稀疏系数zi为系数矩阵z中的列向量。此时固定字典d,并令di为d中的第i列,
其中k为字典d中的原子数,
定义一个大小为n×|ωk|的矩阵ωk,其中n为p中图像块的个数,使ωk在(ωk(i),i)处为1,其余地方为0,并且令
再对
通过以上实施例方式的描述,本领域的技术人员可以清楚地了解,各实施例方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案的实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读写介质中,如u盘、移动硬盘、rom、ram、磁碟或者光盘等。包括若干指令,用以使得一台计算机设备(如个人计算机,服务器或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式。