一种基于主结构分离的稀疏表示图像超分辨率重建方法与流程

本发明涉及计算机图像复原领域，具体涉及一种基于主结构分离的稀疏表示图像超分辨率重建方法以求重构出逼近原始纯净信号的图像信号。

背景技术：

图像超分辨率重建是利用同一场景的多幅存在亚像素位移的低分辨率图像重建一副高分辨率图像的过程。图像超分辨率分析技术广泛应用于图像重构，医学图像诊断、遥感影像等原因往往不能获得足够分辨率的图像，提高硬件设备又会大幅度提高成本。另外有些场合获得的图像珍贵或者不宜重复采集，因此图像超分辨率重建在这些方面具有很高的应用价值。基于学习的算法构造低分辨率和高分辨率图像样本库，通过学习样本库得到低分辨率图像和高分辨率图像的内在联系，从而指导图像超分辨率重建。一般来说基于学习的算法首先对图像进行分块处理，分别构造低分辨率图像块和高分辨率图像块样本库。然后学习样本库中低分辨率图像块与相应高分辨率图像块之间的关系，最后再利用这种关系对输入的低分辨率图像块进行超分辨率重建。基于学习的算法是目前图像超分辨率处理领域研究较热的一类方法，使得基于稀疏表示的学习算法成为单幅图像超分辨率领域中的一个研究热点。基于稀疏表示的方法可以较好的保持领域关系，且可以恢复更多的图像细节信息，但它的缺点是稀疏编码阶段的计算机较大，另一方面，得到一个具有广泛表示能力的过完备字典较难。因此一个具有高表达能力的字典对基于稀疏表示的图像超分辨率重建是非常重要的，ksvd算法正是使得字典的表达能力得到了提升，从而获得了广泛的应用。在处理十分复杂自然图像图时案，虽然可以通过增加字典的原子数目，即字典尺寸，来提升字典的表达能力，但随着原子数的增加，计算量也会大幅上升。在需要平衡计算量和字典表达能力的情况下，一个正常大小的字典往往很难应付所有的图案。

技术实现要素：

为了解决这个问题，本发明提出了基于主结构分离的稀疏表示图像超分辨率重建算法，通过对图像进行分解，大幅减少图案的复杂性，并配合改进的字典学习方案，来提高超分辨率重建的效果。

本发明公开一种基于主结构分离的稀疏表示图像超分辨率重建方法，包括下述步骤：

(1)用rtv(relativetotalvariation)分解输入图像i，分解成主结构部分s与纹理部分t；

(2)将主结构部分重建以获取hr主结构图像sh；

(3)将纹理部分重建以获取hr纹理图像th；

(4)将hr主结构图像sh与hr纹理图像th相加得到hr图像ih0＝sh+th；

(5)对hr图像ih0进行全局优化处理，求解下式：

其中ih为要求解的hr图像，为最终满足要求的hr图像，u为图像退化矩阵，最终得到hr重建图像

优选地，所述步骤(1)的具体过程为：令输入图像为i，最终获得主结构图像为s，像素的索引为p，则rtv的目标函数可以表示为：

其中(sp-ip)²项用来保持主结构图像与原图像之间的相似性，λ为正则平衡参数，ε为极小值，用来维持稳定解。正则项包含两个不同的变分估计和φ，分别有如下的具体形式：

其中r(p)为以像素p为中心的矩形区域，q则属于r(p)，是窗口全变分，用来衡量窗口r(p)内绝对的空间差异；而φ为窗口固有变分，代表窗口内整体的差异，gp,q为权重函数，用来衡量空间内的相关性，gp,q可以表示为：

其中x和y指像素点在窗口内的坐标，σ则用来控制空间尺度，通过调整λ和σ的值，我们可以获得不同的图像分解能力，同时，通过组合和φ，构建新的正则项即rtv项，可以非常有效的突出主结构成分，最后通过求解式(2)即可获得主结构图像s，也可以获得纹理图像t＝i-s。

优选地，所述步骤(2)中主结构部分重建以获取hr主结构图像sh的具体过程为：

(3.1)利用kvsd字典学习算法训练得到主结构高低分辨率字典对和

(3.2)将所述主结构部分s进行双三次插值放大得到sm；

(3.3)通过特征提取算子forstner提取sm的特征smf；

(3.4)对smf中的每个小块smf，利用正交匹配追踪omp(orthogonalmatchingpursuit)算法求解下属最优化问题：

获得高分辨率图像块smf在字典下的稀疏表示系数其中z表示稀疏表示系数，λ为正则化系数；

(3.5)根据公式得到重建的hr主结构图像块sh，将所有的hr主结构图像块sh在hr网格上进行重组，对重叠区进行评价处理，得到hr主结构图像sh。

优选地，所述步骤(3)中纹理部分重建以获取hr纹理图像th的具体过程为：

(4.1)对外部hr训练样本图像进行降采样，得到lr图像

(4.2)对进行基于相关全变分rtv分解，获得主结构图像

(4.3)利用主结构重建方法对进行重建，得到hr主结构图像

(4.4)用外部hr训练样本图像减去得到hr主结构图像以获取hr纹理图像

(4.5)对lr图像进行升采样，得到

(4.6)通过特征提取算子f提取并获得特征

(4.7)对与进行ksvd联合字典学习，得到纹理高低分辨率字典和

(4.8)将输入图像i进行双三次插值放大得到im；

(4.9))通过特征提取算子forstner提取im的特征imf；

(4.10)对imf中的每个小块imf，利用正交匹配追踪omp算法解下述最优化问题：

获得高分辨率图像块imf在字典下的稀疏表示系数其中z表示稀疏表示系数，λ为正则化系数；

(4.11)根据公式得到重建的hr纹理图像块th；

(4.12)将所有的hr纹理图像块th在hr网格上进行重组，对重叠区域进行平均处理，得到hr纹理图像th。

优选地，所述kvsd算法的具体过程为，将目标函数泛化为下式：

其中p为需要训练的输入图像块集合，d为字典，稀疏系数zi为系数矩阵z中的列向量，固定字典d，令di为d中的第i列，为z中的第i行，假设要更新第k个原子dk，则目标函数可以调整为：

其中k为字典d中的原子数，为稀疏系数矩阵z中与dk相乘的第k行，矩阵ek则表示去掉原子dk的成分在所有样本中造成的误差，对ek和作变换，引入ωk来记录p中在进行稀疏表示时使用过原子dk的图像块，即：

定义一个大小为n×|ωk|的矩阵ωk，其中n为p中图像块的个数，使ωk在(ωk(i),i)处为1，其余地方为0，并且令即中只保留非零位置系数，ek只保留与中非零位置相乘后得到的项，然后将式(8)乘上ωk。可得到：

再对进行svd分解：然后用矩阵u的第一列来更新原子dk，字典更新后通过omp算法得到新的稀疏表示系数，然后重复迭代字典原子更新过程直到所有原子均得到更新，并获得最终的字典d。

本发明的有益效果：通过利用rtv将图像分解为主结构和纹理两部分，分别进行重建，可有效减少图像的复杂性，大幅减缓字典训练的压力，另外由于采用了rtv分解得到的主结构部分边缘锐利，很接近原始hr图像的边缘部分，纹理部分也十分纯净。

附图说明

图1为实施例中基于主结构分离稀疏表示图像超分辨率重建方法的详细过程示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限与所述实施例。

如图1所示，本发明的基于主结构分离稀疏表示图像超分辨率重建方法，具体包括如下步骤：

(1)用rtv分解输入图像i，分解成主结构部分s与纹理部分t；

(2)主结构部分重建以获取hr主结构图像sh；

(3)纹理部分重建以获取hr纹理图像th；

(4)将hr主结构图像sh与hr纹理图像th相加得到hr图像ih0＝sh+th；

(5)对hr图像ih0进行全局优化处理，求解下式：

其中ih为要求解的hr图像，为最终满足要求的hr图像，u为图像退化矩阵，最终得到hr重建图像

具体地，所述步骤(1)的具体过程为：令原图为i，最终获得主结构图像为s，像素的索引为p，则rtv的目标函数可以表示为：

其中(sp-ip)²项用来保持主结构图像与原图像之间的相似性，λ为正则平衡参数，ε为极小值，用来维持稳定解。正则项包含两个不同的变分估计和φ，分别有如下的具体形式：

其中r(p)为以像素p为中心的矩形区域，而q则属于r(p)，是窗口全变分，用来衡量窗口r(p)内绝对的空间差异(无方向性)；而φ为窗口固有变分，代表窗口内整体的差异(有方向性)。gp,q为权重函数，用来衡量空间内的相关性，它可以表示为：

其中x和y特指像素点在窗口内的坐标，σ则用来控制空间尺度。通过调整λ和σ的值，我们可以获得不同的图像分解能力。由于在对图像进行处理时，如果图像块中只包含纹理，则其梯度一般不定向，使得φ较小；而如果图像块中包含主结构边缘，由于边缘上的梯度方向相似，所以φ较大。这样就可以有效的区分主结构与纹理成分。同时，通过组合和φ，构建新的正则项即rtv项，可以非常有效的突出主结构成分。通过求解式(2)即可获得主结构图像sl，也可以获得纹理图像tl＝il-sl。

具体地，所述步骤(2)中主结构部分重建以获取hr主结构图像的具体过程为：利用kvsd算法训练得到主结构高低分辨率字典对和将所述主结构部分sl进行双三次插值放大得到sm；通过特征提取算子forstner提取sm的特征smf；对于smf中的每个小块smf，利用omp算法求解下属最优化问题：

获得高分辨率图像块smf在字典下的稀疏表示系数其中z表示稀疏表示系数，λ为正则化系数；

根据公式得到重建的hr主结构图像块sh，将所有的hr主结构图像块在hr网格上进行重组，对重叠区进行评价处理，得到hr主结构图像sh。

具体地，所述步骤(3)中纹理部分重建以获取hr纹理图像的具体过程为：对外部hr训练样本图像进行降采样，得到lr图像对进行基于相关全变分rtv分解，获得主结构图像利用主结构重建方法对进行重建，得到hr主结构图像用外部hr训练样本图像减去得到hr主结构图像以获取hr纹理图像对lr图像进行升采样，得到通过特征提取算子f提取并获得特征对与进行ksvd联合字典学习，得到纹理高低分辨率字典和将输入图像i进行双三次插值放大得到im；通过特征提取算子f提取im的特征imf；对imf中的每个小块imf，利用正交匹配追踪omp算法解下述最优化问题：

获得高分辨率图像块imf在字典下的稀疏表示系数其中z表示稀疏表示系数，λ为正则化系数；

根据公式得到重建的hr纹理图像块th；

将所有的hr纹理图像块在hr网格上进行重组，对重叠区域进行平均处理，得到hr纹理图像th。

具体地，所述kvsd算法的具体过程如下，首先将目标函数泛化为下式：

其中p为需要训练的输入图像块集合，d为字典，稀疏系数zi为系数矩阵z中的列向量。此时固定字典d，并令di为d中的第i列，为z中的第i行，假设要更新第k个原子dk，则目标函数可以调整为：

其中k为字典d中的原子数，为稀疏系数矩阵z中与dk相乘的第k行，矩阵ek则表示去掉原子dk的成分在所有样本中造成的误差。考虑对ek和作变换，引入ωk来记录p中在进行稀疏表示时使用过原子dk的图像块，即：

定义一个大小为n×|ωk|的矩阵ωk，其中n为p中图像块的个数，使ωk在(ωk(i),i)处为1，其余地方为0，并且令即中只保留非零位置系数，ek只保留与中非零位置相乘后得到的项，然后将式(8)乘上ωk。可得到：

再对进行svd分解：然后用矩阵u的第一列来更新原子dk。字典更新后通过上述omp算法得到新的稀疏表示系数，然后重复迭代字典原子更新过程直到所有原子均得到更新，并获得最终的字典d。

通过以上实施例方式的描述，本领域的技术人员可以清楚地了解，各实施例方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案的实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读写介质中，如u盘、移动硬盘、rom、ram、磁碟或者光盘等。包括若干指令，用以使得一台计算机设备(如个人计算机，服务器或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式。