一种基于图像分解的图像超分辨率方法
【技术领域】
[0001] 本发明的技术邻域属于数字图像处理，为其中的图像超分辨（super-resolution) 技术。目P，对给定的一幅低分辨率图像进行放大，得到的一幅更清晰，细节纹理更加丰富的 高分辨率的图像。此技术可应用于对数码相机中的图像、互联网上存储的图像、监控视频中 的图像等邻域中的图像的放大，W提高其分辨率和清晰度。
【背景技术】
[0002] 随着数字图像处理技术和互联网技术的发展，由于受到存储空间和传输带宽的限 审IJ，互联网上存在大量的低分辨的图像和视频。而人们对高分辨率图像与视频的需求与曰 俱增，希望能看到更高分辨率和更清晰的图像，同时高分辨率图像的播放技术已经成熟。因 此，为满足该一需求，基于单幅图像的超分辨率技术就诞生了。
[0003] 已有的图像超分辨率技术主要可W分为=类方法；第一类是早期的图像插值方 法，它是基于单幅图像的插值放大，在插值过程中利用未知像素点与邻域内的已知像素点 的某种关系，根据不同的关系产生了最近邻插值法、双线性插值法、双立方插值法等经典的 插值算法，W及在此基础上的某些改进的方法；第二类是基于图像重建的方法，其主要思想 是建立观察图像的退化模型，人为的提出约束条件，通过迭代计算重建出高分辨率图像，在 该些方法中统计学、概率论等领域知识提供了有力的理论支持；第=类是近年来基于学习 的图像超分辨率方法，其主要思想是针对重建算法中人为定义约束条件的缺陷，通过学习 样本库中的图像来获得先验知识，再利用该些知识进行超分辨放大，是近年来性能较好的 方法。
[0004] 基于样例学习的超分辨算法是W上第=类基于学习的方法中的一种方法，该方法 主要分为离线的样本库训练和在线的图像重构两个部分。在训练部分中，传统的方法首先 对高分辨率图像进行标准差为1，大小为7*7的高斯模板滤波平滑处理，然后对高斯滤波后 的图像进行下采样得到低分辨率的图像，而高分辨率的预测差值图像则通过原始图像减去 低分辨率图像的双线性插值部分来获得，最后把所有图像进行分块处理，每块的高分辨率 部分与低分辨率部分存在相对应的关系，可得到大量的低分辨率块和与之对应的高分辨率 差值块。一个低分辨率的块和其对应的高分辨率差值块组成了一个样例对。然后把该些样 例对存储到训练数据库中。该样，在训练数据库中就存在着低分辨率图像块和与之对应的 高分辨率差值图像块的样例对。在图像超分辨率重构部分中，首先对输入的低分辨率图像 进行双线性插值，然后对插值图像分块处理；接着依次的把低分辨率图像块与样本库中的 图像低分辨率块进行匹配捜索，获得最佳的几个匹配的高分辨率的图像差值块；最后把和 该几个匹配得到的样本块所对应的高分辨率信息通过线性的方法叠加到插值图像上W重 构最终的高分辨率图像。
[0005] 在W上的样本建立的过程中，只是简单的对高分辨率图像进行滤波和下采样处理 作为低分辨率的图像，由于其线性分解会导致低分辨的图像的边缘信息的模糊，产生模糊 效应，而使低分辨率的训练块不利于与实际图像块进行匹配。而且，所提取的样本中存在多 对一的情况，即原本相差较小的低分辨率块，在训练数据库中对应着相差很大的高分辨率 块。该样，仅利用低分辨率块来寻找高分辨率块，在很多情况下会产生较大的误差。同时， 由于在匹配过程中，只是简单地计算像素值之间的绝对差值之和，并未考虑图像的本质内 容的差别，该也降低了图像匹配的准确度。
[0006] 另外，由于本发明可W应用到放大倍数为整数倍时的情况，而传统的基于插 值或样例的放大方法所得到的重构图像质量较差，存在着模糊效应和块效应化lock arti化ct)。在放大倍数高时，该些失真效应尤其明显。
[0007] 该样，为了能有效克服W上的图像超分辨率的方法中的缺点，在本发明中，将建立 一种基于图像分解的超分辨率方法来克服W上缺点，取得更好质量和视觉效果的放大图 像。在此，将利用卡通和纹理图像分解的方法，把待放大图像分解为卡通图像和纹理图像。 由于，卡通图像中包含图像中的平滑部分，和物体边界部分的边缘信息，是分区域平滑的 (piece-wisesmooth)的，非常有利于重构出高质量的高分辨率的图像。同时，本发明在对 低分辨率的卡通图像的插值方面，是利用偏微分方程（PDE)的方法，W使滤波沿着边缘的 走向，而在垂直于边缘的方向基本不滤波，W减少插值后边缘的模糊化lur)。在本发明中， 为了充分利用卡通图像的特性和其优点来提高重构后的图像的质量，对传统存储在数据库 中的样例对（低分辨块和高分辨率差值块）进行了改进，在数据库中存储样例=元组（低 分辨率块，低分辨率的卡通图像块，和高分辨率的预测差值）。在捜索和匹配方面，对重要的 边缘像素提高了其权重，同时不仅利用低分辨率块来寻找匹配块，还利用了低分辨率的卡 通块来寻找匹配块。该样，可W有效地克服W上所述的一对多的问题。最后，利用和所提出 的匹配差值成反比的权重来重构高分辨率的图像块。
【发明内容】
[000引 （1)本发明所采用的基于卡通和纹理的图像分解方法
[0009] 本发明提出了一种利用图像分解的图像超分辨率方法。该种图像分解方法是把 低分辨率的训练图像、和待超分辨放大的图像先分解为卡通图像部分和纹理图像部分。在 此方法中，利用图像的卡通和纹理分解技术对图像进行分解，把原始图像分解I分解为纹 理部分图像T和卡通部分图像C，且I=T+C。其中，卡通部分C包含图像中主要的结构信 息和中低频信息，像素值变化在各物体内部是比较缓慢的，仅在各物体的边缘处有较剧烈 的变化，所W是分区域平滑的（piece-wisesmooth)。而图像的纹理部分的像素值的变化 剧烈。相比较而言，卡通部分在超分辨处理中更容易处理，而纹理部分较难处理。由于W 下文章中的分解方法具有较好的性能，本发明采用如下文献中的图像分解技术；"Modeling TextureswithTotalVariationMinimizationandOscillatingPatternsinImage Processing"，Journalofscientificcomputing，vol. 19，issue1-2，pp. 553-572， Dec. 2003,来先对低分辨率的图像进行卡通和纹理分解。在分解后，将对卡通图像和纹理图 像进行和其特点相适应的处理方法。
[0010] (2)对卡通图像块的插值处理的新方法
[0011] 虽然传统插值计算简单，但是其容易造成放大后的图像的边缘模糊问题。为进一 步地减少放大后的图像的边缘模糊，本发明对传统的基于偏微分方程（ro巧的滤波方法进 行改进，在先对卡通图像块进行传统的双线性插值后，再对其进行改进的PDE方法的处理。 其处理方法如下所述。
[0012] 作为非线性扩散的偏微分方程，方向扩散模型也是从尽量保持图像边缘信息的观 点出发，扩散是沿着平行于边缘的切线方向进行，即垂直于图像的梯度矢量的方向。把水平 集理论应用到图像处理中来，任一水平集的内部取值较外部大，因此水平集矢量为
[001引
（1)
[0014]其中，C为双线性插值过的卡通图像块，巧为其梯度，|^|为其梯度的模，心巧)； 为对3的散度的计算。
[0015] 其图像的曲率可表示为：
[001引
0)
[0017] 于是，在传统的方法中所采取的方向扩散可W表示为
[001引
P)
[0019] 由于传统的基于方向扩散的图像滤波对边缘还是有一定的平滑和模糊问题，针对 此问题，本发明提出加入一个与图像梯度相关的乘法因子各(|^|)使扩散率在边缘区域能迅 速到达零，表达式为
[0020]
(4)
[0021 ] 其中，函蠻
「为乘法因子，在本发明中T为40 (根据实验而优化地 确定）。当图像边缘区域梯度大时，其扩散率迅速变为零而停止扩散，达到保持边缘效果。 因此该方法能对放大图像起到消除边缘银齿效应，在滤波的同时尽量保持了图像的边缘信 息，与经典算法相比有一定的图像插值质量提高。
[0022]按照式（4)对图像进行方向扩散处理就等于图像中所有水平集在作曲率运动，而 对该偏微分方程对所有偏导数采用中屯、差分离散化，就可W得到如下显式方案 [002引ci(i，_j)=C(i，_j) 妨
[0024]CW(i，_]?) =Ck(i，_j) +AtQk(i，_j) 做
[00巧]式中，Ck(i，j)为卡通图像第k次的处理结果，第1次初始处理时Ci(i，j) =C(i， j)，At为迭代参数，根据大量的实验结果，本发明中取At= 0. 25,妒(i，j)为第k次处理 的增量，可用离散化的方式近似表示-g(l^l)wc)，即有[0026]
[0030] 该样通过m次迭代即可得到区域平滑（piece-wisesmooth)的图像块Cm(m的取值 将由停止准则来确定）。在本发明中，此停止准则设计为d(cm，C-气《e，d(cm，C-4)为块 C-和块C--1之间的欧氏