基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法的制作方法

本发明属于数字图像处理领域，是一种基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法。
背景技术：
：随着信息化时代的发展，人们对数字图像的分辨率的要求越来越高。传统的通过提高成像元件质量来提高分辨率的方法受到工艺水平和成本价格等因素限制而无法持续满足人们的需要。因此以信息处理方式获得高分辨率的图像超分辨率算法逐渐成为现代图像处理领域的一个重要课题。一般的，图像的退化模型可以表示为：Y＝DHX+n(1)其中，D是降采样矩阵，H是模糊矩阵，n为噪声项。目前的超分辨率技术大致可以分为三种类型，分别是基于插值的方法、基于重建的方法以及基于学习的方法。插值算法主要包括三个步骤：运动估计、非均匀插值、去模糊。其优点在于计算简单，易于实现，可用于实时性场合。但它的缺点主要在于恢复时忽略插值过程引入的误差，由此无法实现整个复原性能的最优化。基于重建的方法的主要特点在于在约束退化模型的保真项的基础上加入一些正则项来约束高分辨率图像X的解空间，从而克服超分辨率问题的病态性。x^=argxmin||y-DHx||22+γJ(x)---(2)]]>基于学习的图像超分辨率方法是最近超分辨率研究的重点和热点。与基于重建的超分辨率方法不同，这类方法使用的先验知识并不是人为定义的，而是通过对大量的高分辨率训练图像的学习而得到。以输入图像为依据，通过事先学习获取的先验知识对输入图像中缺失的高频信息进行搜索匹配补充。目前这一类方法中有代表性的是：Freeman等人通过使用置信传播算法提高邻域一致性约束提出的MRF模型(多重参考模型)方法，Chang等人受来自流形学习的LLE算法(局部线性嵌入算法)的启发而发展起的邻域嵌入方法，Yang等人的稀疏表示算法，等等。这些算法的性能各不相同，但都毫无例外地全部将字典图像块视为一个固定不变的向量，字典图像块并不能在重建过程中动态地调整自身几何结构特征以适应低分辨率输入图像，由此在匹配精度上无法做到更大的提高。且当前大多数算法均不能实现自适应地对邻域匹配有贡献的邻近图像块，无法做到匹配误差的最小化。另外目前的算法在处理图像的低频段信息时过于简单，大多仅仅是减掉自身均值即完成去低频过程，这种方式并不能充分消除来自原图像中低频基本内容的干扰。技术实现要素：针对上述问题，本发明提出了一种解决办法，可在算法重建的过程中在线更新调整邻域图像块的几何结构以适应输入图像，并且在邻域匹配时可以发现对最小化匹配误差起作用的潜在邻近图像块，识别并排除邻域内的异常图像块。为了实现上述目的，本发明提供的一种基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法，具体包括以下步骤：S1：首先进行离线字典(数据库)训练学习，对训练图像集中的高分辨率图像和对应的低分辨率图像进行特征学习，并对学习结果进行PCA降维和和K均值聚类处理以形成字典；S2：将低分辨率输入图像从RGB颜色空间转换到YCbCr颜色空间，进行双三次线性插值以形成初始高分辨率图像mIm，然后提取初始高分辨率图像mIm的亮度分量mIm_Y和色度分量mIm_CbCr；S3：计算亮度分量mIm_Y的梯度特征，对其提取图像块后进行与步骤S1中相同的PCA降维处理；从亮度分量mIm_Y中提取图像块之后计算方向梯度直方图特征，根据当前输入图像块的方向梯度直方图特征，从字典中选择合适的聚类子集；S4：从步骤S3选择出的聚类子集中，使用输入图像块的梯度特征，按照稀疏邻域嵌入方式迭代选择若干个邻域，在选择邻域低分辨率图像块的同时确定其对应的权值w；S5：利用光流法计算步骤S4中选择出的邻域的低分辨率图像块与低分辨率输入图像块之间的光流场速度矢量，并根据光流场速度矢量值迭代调整邻域图像块的几何结构特征；S6：将步骤S5调整后的每个图像块的梯度特征对应的处理后的邻域高分辨率图像块加权组合后作为最终匹配结果；S7：将最终匹配结果复制到亮度分量mIm_Y的对应位置，得到高分辨率重建图像的亮度分量；S8：将步骤S2得到的色度分量mIm_CbCr作为重建图像的色度分量，将步骤S7得到的亮度分量mIm_Y作为重建图像的亮度分量，将重建图像由YCbCr颜色空间转换到RGB颜色空间，即完成单图像超分辨率重建过程。进一步地，步骤S1具体包括：S11：将训练集图像从RGB颜色空间转换到YCbCr颜色空间，并将其亮度分量作为高分辨率图像，对高分辨率图像进行降采样和双三次线性插值升采样处理后形成对应的低分辨率图像；S12：从低分辨率图像中提取图像块后计算HOG特征(方向梯度直方图特征)；S13：使用梯度算子计算低分辨率图像的梯度特征，从梯度特征中提取图像块后使用PCA算法将所有梯度特征图像块进行降维处理，以去除其中的冗余信息和图像噪声；S14：从步骤S11中高分辨率图像和低分辨率图像中分别提取高分辨率图像块和低分辨率图像块，将其与步骤S12的HOG特征图像块和S13中的梯度特征图像块一起组成字典中的学习样本；S15：使用K均值方法将步骤S14的处理结果按照HOG特征进行聚类，将学习样本分成若干个聚类子集；S16：保存步骤S15聚类处理的结果作为重建时的字典。进一步地，步骤S4具体包括：S41：根据算法设置的邻域最大个数K确定稀疏邻域嵌入过程中的稀疏度λ；S42：在选择K个邻域图像块的迭代过程中，计算输入梯度特征图像块与字典学习样本中梯度特征图像块之间的欧氏距离，记录对应欧式距离最小的字典样本的索引，同时根据稀疏度λ更新权值以赋予当前选择出的邻域图像块；之后根据稀疏度和当前邻域更新输入梯度特征图像块以用于下一次迭代；S43：对步骤S42中得到的所有邻域图像块对应的权值进行降序排序和归一化；S44：识别步骤S43中权值序列中的异常值，将其赋值为0，以将对应的邻域内异常样本排除在重建过程之外；S45：根据步骤S44处理后的有效权值的索引，从字典中提取出对应的高样本分辨率图像块和低分辨率图像块。进一步地，步骤S5具体包括：S51：在每一次迭代中，将步骤S4中得到的每个邻域低分辨率图像块作为光流法模型中的前一帧图像，将低分辨率输入图像块作为后一帧图像，计算两帧图像的光流场速度矢量(u,v)，根据光流场速度矢量(u,v)对邻域低分辨率图像块和高分辨率图像块同步进行运动估计，调整其几何特征结构；S52：计算调整后的邻域低分辨率图像块与低分辨率输入图像块之间的欧式距离，若欧氏距离为当前迭代过程中的最小值，则暂存此次迭代的邻域高分辨率图像块；S53：若没有达到设置的迭代次数，则转到步骤S51进行下一次迭代；反之则结束迭代，输出暂存的邻域高分辨图像块。进一步地，步骤S51具体包括：S511：标准化邻域低分辨率图像块、邻域高分辨率图像块和低分辨率输入图像块；S512：根据图像超分辨率重建的一个基本约束：重建后的高分辨率图像经相同降采样过程后应与输入低分辨率图像保持一致，将这一基本约束与一个基于图像平滑假设的先验项结合后，可形成一个能量函数:其中：Pd=DHBh-Pl-βα]]>Px＝DHdiag(Bhx)Py＝DHdiag(Bhy)其中，D为降采样矩阵，H为模糊矩阵，Bh为邻域高分辨率图像块，Bhx和Bhy分别为邻域高分辨率图像块沿x方向和沿y方向的梯度，Pl为未标准化的低分辨率输入图像块，α,β分别是Pl的标准差和平均值，Pd为邻域低分辨率图像块与输入图像块之间的差值，Px,Py分别为邻域低分辨率图像块沿x方向和沿y方向的梯度，为先验项，是一个运动先验，以调整图像灰度变化；▽和▽2分别表示梯度操作符和拉普拉斯操作符，μ、λ和η分别是控制各先验成分贡献的调整常数；S513：最小化能量函数E(u,v)是一个l2范数问题，设定l2范数问题迭代系数w＝1.2,w1＝1之后，使用迭代法计算光流场速度矢量(u,v)的解的迭代形式为：un+1(1-w1)×un+w1×(w×(-pxpd-pxpy×vn)×un-w×px2×un-w×η×▿2uvn+1=(1-w1)×vn+w1×(w×(-pypd-pxpy×un)+vn-w×py2×vn-w×μ×▿2v.]]>本发明所公布的一种基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法，通过在重建过程中使用光流法计算出的光流场速度矢量动态调整匹配字典图像块的几何特征结构，充分发挥了有限样本数量字典的图像几何特征表现能力，提高了字典学习的有效性和泛化能力；使用稀疏邻域嵌入方式自适应地发现对邻域匹配有贡献的邻近图像块，有助于最小化匹配误差，且能有效发现并排除邻域内的异常字典图像块。在重建之初和字典学习训练期间进行的图像频段分割，可以使有效区分一幅图像的低频基本内容和高频几何结构，在充分摆脱低频内容干扰的前提下进行更有效，匹配更准确的超分辨率重建。附图说明通过参考附图会更加清楚地理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：图1示出了本发明实施例中的一种基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法的步骤流程图；图2示出了本发明的图像重建过程的总体框架图；图3～图6分别示出了本发明其他算法在相同条件下处理图像的主观效果；图3(a)-(e)为各种算法对girl图像的重建效果；图4(a)-(e)各种算法对Butterfly图像的重建效果；图5(a)-(e)各种算法对lena图像的重建效果；图6(a)-(e)各种算法对Parrots图像的重建效果。具体实施方式下面将结合附图对本发明的实施例进行详细描述。如图1所示，本发明提供了一种基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法，包括以下具体步骤：S1：通过离线方式的字典训练学习，对预备的训练图像集中的高分辨率图像和对应的低分辨率图像进行高分辨率图像和低分辨率图像对应特征的学习，并使用PCA降维算法和k-means聚类方法进一步处理学习过程采集到地数据，以形成字典。图2是字典学习训练过程的总体框架图。其中：S11：将训练集图像从RGB颜色空间转换到YCbCr颜色空间，并将其亮度分量作为高分辨率图像，对高分辨率图像进行降采样和双三次线性插值升采样处理后形成对应的低分辨率图像；S12：从低分辨率图像中提取图像块后计算方向梯度直方图特征；S13：使用梯度算子计算低分辨率图像的梯度特征，从梯度特征中提取图像块后使用PCA算法将所有梯度特征图像块进行降维处理，以去除其中的冗余信息和图像噪声；S14：从步骤S11中得到高分辨率图像和低分辨率图像中分别提取高分辨率图像块和低分辨率图像块，并从低分辨率图像对应位置提取HOG特征图像块，将其与步骤S12中的方向梯度直方特征图像块和步骤S13中的梯度特征图像块一起组成字典中的学习样本；S15：使用k均值聚类方法将步骤S14的处理结果按照HOG特征进行聚类，将学习样本分成若干个聚类子集；S16：保存步骤S15聚类处理的结果作为重建时的字典。S2：将低分辨率输入图像从RGB颜色空间转换到YCbCr颜色空间，进行双三次线性插值以形成初始高分辨率图像mIm，然后提取初始高分辨率图像mIm的亮度分量mIm_Y和色度分量mIm_CbCr。S3：计算亮度分量mIm_Y的梯度特征。从梯度特征中提取图像块后，对其进行与步骤S1相同的PCA算法降维处理。从亮度分量mIm_Y中提取图像块后计算HOG特征。根据当前输入图像块的HOG特征，从字典中选择合适的聚类子集。S4：从步骤S3选择出的聚类子集中，使用输入图像块的梯度特征，按照邻域嵌入方式迭代选择若干个邻域，在选择邻域低分辨率图像块的同时确定其对应的权值w。其中：S41：根据算法设置的邻域最大个数K确定稀疏邻域嵌入过程中的稀疏度λ；S42：在选择K个邻域图像块的迭代过程中，计算输入梯度特征图像块与字典学习样本中梯度特征图像块之间的欧氏距离，记录对应欧式距离最小的字典样本的索引，同时根据稀疏度λ更新权值以赋予当前选择出的邻域；之后根据稀疏度和当前邻域更新输入梯度特征图像块以用于下一次迭代；S43：对步骤S42中得到的所有邻域对应的权值进行降序排序和归一化；S44：识别步骤S43中权值序列中的异常值，将其赋值为0，以将对应的邻域内异常样本排除在重建过程之外；S45：根据S44步骤处理后的有效权值的索引，从字典中提取出对应的高分辨率图像块和低分辨率图像块样本。S5：利用光流法计算步骤S4中选择出的低分辨邻域图像块与低分辨率输入图像块之间的光流场速度矢量，并根据光流场速度矢量值迭代调整邻域图像块的几何结构特征。其中：S51：在每次迭代中，将步骤S4中得到的每个邻域图像块作为光流法模型中的前一帧图像，将低分辨率输入图像块作为后一帧图像，计算两帧图像的光流场速度矢量(u,v)，根据光流场速度矢量(u,v)对邻域低分辨率图像块和邻域高分辨率图像块同步进行运动估计，调整其几何特征结构；S511：标准化邻域低分辨率图像块、邻域高分辨率图像块以及低分辨率输入图像块；S512：计算Pd＝低分辨率邻域图像块─输入图像块，计算低分辨率邻域图像块沿x方向和沿y方向的梯度Px,Py。根据图像超分辨率重建的一个基本约束：重建后的高分辨率图像经相同降采样过程后应与输入低分辨率图像保持一致。将这一基本约束与一个基于图像平滑假设的先验项结合后，可形成一个能量函数:其中：Pd=DHBh-Pl-βα]]>Px＝DHdiag(Bhx)Py＝DHdiag(Bhy)其中，D为降采样矩阵，H为模糊矩阵，Bh为高分辨率邻域图像块，Bhx和Bhy分别为高分辨率邻域图像块沿x方向和沿y方向的梯度，Pl为未标准化的低分辨率输入图像块，α,β分别是Pl的标准差和平均值，Pd为低分辨率邻域图像块与输入图像块之间的差值，Px,Py分别为邻域低分辨率图像块沿x方向和沿y方向的梯度，为先验项，是一个运动先验，以调整图像灰度变化；▽和▽2分别表示梯度操作符和拉普拉斯操作符，μ、λ和η是控制各先验成分贡献的调整常数；S513：最小化能量函数E(u,v)是一个l2范数问题，设定l2范数计算系数w＝1.2,w1＝1之后，使用迭代法计算光流场速度矢量(u,v)的解的迭代形式为：un+1=(1-w1)×un+w1×(w×(-pxpd-pxpy×vn)+un-w×px2×un-w×η×▿2u]]>vn+1=(1-w1)×vn+w1×(w×(-pypd-pxpy×un)+vn-w×py2×vn-w×η×▿2v]]>S52：计算调整后的低分辨率邻域图像块与低分辨率输入图像块之间的欧式距离，若欧氏距离为当前迭代过程中的最小值，则暂存此次迭代的高分辨率邻域图像块；S53：若没有达到设置的迭代次数，则转到S51进行下一次迭代，反之则结束迭代，输出暂存的邻域高分辨图像块。S6：将步骤S5中每个输入图像块对应的处理后的高分辨邻域图像块加权组合后作为最终匹配结果。S7：将步骤S6中的最终匹配结果复制到亮度分量mIm_Y的对应位置，得到高分辨率重建图像的亮度分量mIm_Y。S8：将步骤S2得到的色度分量mIm_CbCr作为重建图像的色度分量，将步骤S7得到的亮度分量mIm_Y作为重建图像的亮度分量，将重建结果由YCbCr颜色空间转换到RGB颜色空间，即完成单图像超分辨率重建过程。图2是上述图像重建过程的总体框架图。为验证本发明的性能，以下给出了本发明在不同训练图像集的情况下的性能表现和在相同条件下与其他算法性能相比较的结果。为客观评价本发明算法的有效性，实验选取了6个具有代表性的超分辨率算法作为比较对象，分别是Bicubic(基于插值的超分辨率重建算法)、NE(邻域嵌入算法)、ScSr(基于稀疏表示的超分辨率重建算法)、SPNE(稀疏邻域嵌入图像重建算法)、DPSR(基于可变patch的单图像超分辨率重建算法)，并从客观性能参数和主观质量两个方面来比较不同算法的重建特点。本次实验的客观性能参数选择PSNR、SSIM和FSIM三个方面的性能指标，放大倍数为3倍。表1是不同算法重建图像的性能对比结果。其中每个图像名所对应的三行分别是PSNR、SSIM和FSIM值。表1不同算法的性能指标对比表从表中可以看出，本文提出的算法能够获得比Bicubic算法、NE算法、ScSr算法、SPNE算法和DPSR算法更好的实验性能结果。而且从算法模型复杂性而言，本文所提出的算法的模型更加简单明了，易于实现。因为客观性能参数是从数学计算的角度评价一幅图像的整体重建性能的，但有时这种评价方法可能与人观察一幅图像时的主观感受之间存在差异。为此，本章列举了几幅实验过程中的图像视觉效果，以从人眼的角度主观评价一幅图像的重建效果质量。实验中本文算法的比较对象是ScSr算法、SPNE算法和DPSR算法。实验时三种算法采用了相同的训练集，放大倍数均为3倍。图3(a)、图4(a)、图5(a)和图6的(a)分别为原高分辨率图像，图3(b)～(e)、图4(b)～(e)、图5(b)～(e)、和图6(b)～(e)分别是ScSr、SPNE、DPSR和本发明算法的超分辨率重建结果。如图3～图6中的(c)图所示，SPNE算法产生了更自然的边沿，但却难以避免模糊和块效应，例如在图6(c)中鹦鹉的眼睛处，这是因为字典是固定的，只能有限地支持输入图像块。相同的模糊现象在图4(c)中蝴蝶翅膀的纹理之间也可以更明显地观察到。SPNE算法由于摒弃了严格固定的邻域个数的限制，能有效减小重建误差，而且采用了一种改进后的迭代反向投影方法，能够获取迭代期间的最佳结果，因此重建效果要更好。与图4(b)中ScSr的Butterfly重建效果相比，SPNE算法在保证蝴蝶翅膀纹理更自然方面做的更好，块效应也得到很好的抑制。但却可能造成一些图像细节内容的丢失，例如图3(c)中头发缝隙中漏出的小疙瘩，与原图像相比，重建图像的这一细节几乎观察不到。相同的缺陷也发生在DPSR算法的重建图像上，因为DPSR算法的最终变形结果取最后一次迭代数据，由此可能错过变形期间可能出现的最佳变形结果，造成重建效果上的损失，造成性能上的降低。例如在图5(d)的重建图像中lena的帽子上的纹理距离原高分辨率图像仍有一段差距。本发明中的邻域嵌入选择字典匹配图像块的方式，在选择与输入图像块最匹配的字典样本时可扩大邻域个数到一个相对较大的范围，避免欠拟合或过拟合现象。在基于光流法的调整选择出的高分辨率图像块的几何结构时可充分挖掘字典图像块的表现能力，以摆脱字典图像块几何结构固定的限制，提高匹配图像块与输入图像块在几何结构上的相似度，更进一步提高了重建性能。另外本发明在后处理时使用了一种对图像结构破坏更小的非局部均值滤波算法，因此在重建后的去模糊环节也更胜一筹，这一优点可从图6(e)中鹦鹉眼睛周围的条纹之间的可分辨程度上体会到。而且，相比之下本发明在图像保真程度上做的也很好，这可以从图3(a)-(e)中girl的脸上的斑点看出。其他算法重建结果上这些斑点已经被模糊而无法明显察觉，失掉了这些图形细节内容。本发明所公布的一种基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法，使用邻域嵌入时能够在查找邻域的同时确定其对应权值，提高了邻域嵌入的效率；通过将光流法模型应用于单图像超分辨率问题，在重建中动态调整匹配字典图像块的几何特征结构，提高了字典图像块的泛化能力。这一系列措施提升了重建匹配的准确性，使重建图像更加自然真实。以上实施方式仅用于说明本发明，并非对本发明的限制，有关
技术领域：
的普通技术人员在不脱离本发明的精神和范围的情况下，还可以做出各种的改进和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。当前第1页1 2 3