一种含噪图像超分辨率方法与流程

本发明涉及图像超分辨率领域，尤其涉及一种含噪图像超分辨率方法。

背景技术：

受成像设备(数码相机、手持摄像机等)物理条件限制，获取的数字图像往往分辨率低且包含噪声。其中，数字图像的分辨率是衡量图像质量优劣的重要指标之一，分辨率越高，说明图像越清晰，能提供的信息越丰富。在一定程度上，图像分辨率的增高伴随着像素个数的增加。为提高图像的分辨率，现有的技术手段大多通过已获图像(下面简称“低分辨率图像”)内部的像素，对高分辨率图像其内部的新增像素信息进行估计。这类技术手段统称为图像超分辨率。然而，在处理含噪图像时，目前常用的技术手段极少考虑噪声在此过程中的变化，其默认做法为，先对含噪低分辨率图像进行超分辨率处理，并对已提高分辨率的图像采用图像处理领域中已有的图像去噪技术，进行噪声去除。

为了估计高分辨率图像中新增的未知像素，yang提出了一种利用回归技术的图像超分辨率算法。该方法将低分辨率图像进行一系列非线性操作，从而构建出包含低分辨率图像和高分辨率图像的训练图像集，以及待处理的低分辨率测试图像，并将训练图像、测试图像划分成一组有重叠区域的图像块。借助低分辨率图像块和与之对应的高分辨率图像块，该方法结合回归技术和泰勒展开，获得不同分辨率图像块间的映射函数，并将其作用到测试图像块上，以获得相应的高分辨率图像块。在映射函数的求取过程中，泰勒展开的阶数决定该函数的精度，即阶数越高，映射函数的精度越高，所产生的高分辨率图像块越准确。然而，高阶的泰勒展开会增加映射函数的求取难度。

因此，hu基于此提出了一种二阶泰勒展开的映射函数求解。然而，在处理含噪图像时，这两种方法极易加强噪声的空间联系、引起噪声幅度放大，从而加大了后续去噪的难度，使得最终结果的质量受到严重影响。

另一方面，对于图像去噪算法而言，当前常用的处理思路为：对于含噪图像中的每一个像素点，其像素真值可通过以该像素为中心的邻域内部所有含噪像素的灰度值进行加权平均得到。加权权重的计算方式则是这类思路的核心，通常涉及多个内部参数的取值。由于参数取值设置大多较为主观，基于这类思路的去噪算法无法保证在所有图像上都具有较强的去噪能力。

近年来，有学者在分析图像多尺度金字塔时发现，当金字塔的顶层图像包含噪声时，随尺度的变小，各层图像内部包含的噪声幅度也逐渐降低。利用多尺度图像金字塔其内部噪声随图像尺度的下降而降低这一特性，提出了一种新的图像去噪方法，避免了内部参数对图像去噪能力的影响。在该方法中，如何选择最佳的图像缩小尺度，是影响去噪程度和细节保持的重要因素。该方法通过估计金字塔中各层图像与顶层图像间的噪声相关性的期望值，可实现对各层图像去噪能力的描述。然而，该方法并没有给出估计各层图像内的所含噪声的具体方式。事实上，对金字塔各层图像噪声幅度的估计也是一个较为困难问题。噪声估计的准确性直接影响该方法中噪声相关性期望值的精度。

综上，如何解决现有技术在进行数字图像的超分辨率过程中，容易造成图像噪声放大，从而难以处理含噪图像的不足，已成为图像超分辨率领域亟需解决的问题。

技术实现要素：

针对现有技术之不足，本发明提出一种含噪图像超分辨率方法，所述方法包括：

步骤1：输入一张低分辨率含噪图像i；

步骤2：以所述低分辨率含噪图像i为基础生成低分辨率测试图像lk+1：

步骤21：对所述低分辨率含噪图像i进行插值操作，获得关于低分辨率测试图像的初步估计图像

步骤22：基于所述初步估计图像分别生成横向多尺度图像金字塔、纵向多尺度图像金字塔和对角方向多尺度图像金字塔；

步骤23：利用所述横向多尺度图像金字塔、所述纵向多尺度图像金字塔和所述对角方向多尺度图像金字塔，获得关于所述初步估计图像的去噪估计图像，所述去噪估计图像即为低分辨率测试图像lk+1；

步骤3：对所述低分辨率含噪图像i进行高斯模糊操作，获得模糊图像lk；

步骤4：将所述低分辨率含噪图像i和所述模糊图像lk划成大小为s×s的图像块，分别构成训练集高分辨率图像块集合p＝{p}和训练集低分辨率图像块集合q＝{m}，将所述低分辨率测试图像lk+1划分成重叠的大小为s×s的图像块，构成测试集低分辨率图像块集合r＝{n}；

步骤5：对于训练集中的每一对{m，p}，通过泰勒展开和回归分析技术，求解从图像块m到图像块p的映射函数f；

步骤6：对于测试集中的低分辨率图像块n，在所述训练集低分辨率图像块集合q上寻找与所述图像块n最相似的图像块m，将所述图像块m对应的映射函数f作用到所述图像块n上，获得相应的高分辨率图像块估计q；

步骤7：用步骤6的方法遍历所述测试集低分辨率图像块集合r中所有的图像块n，获得每个所述图像块n对应的高分辨率图像块估计q，最终的高分辨率图像h为所有所述高分辨率图像块估计q在像素重叠部分的算术平均。

根据一种优选的实施方式，步骤22具体包括步骤：

步骤221：对所述初步估计图像进行高斯模糊；

步骤222：对经步骤221模糊后的图像进行下采样操作，获得下采样图像

步骤223：对所述下采样图像重复高斯模糊和横纵坐标两方向的下采样操作，得到第一下采样图像，所述第一下采样图像的集合构成对角方向多尺度图像金字塔；

步骤224：对所述下采样图像重复高斯模糊和横坐标方向的下采样操作，得到第二下采样图像，所述第二下采样图像的集合构成横向多尺度图像金字塔；

步骤225：对所述下采样图像重复高斯模糊和纵坐标方向的下采样操作，得到第三下采样图像，所述第三下采样图像的集合构成纵向多尺度图像金字塔。

根据一种优选的实施方式，步骤23的去噪估计方法为：

步骤231：对所述初步估计图像中的每一个大小为s×s的图像块k，其去噪估计如下：设所述图像块k中心像素坐标为(x,y)，在对角方向多尺度图像金字塔的每一层图像上，选出以(r^dx,r^dy)为中心的大小为s×s图像块k^d。类似地，横向多尺度图像金字塔上的图像块k^d其中心像素的坐标为(x,r^dy)，纵向多尺度图像金字塔上的图像块k^d其中心像素的坐标为(r^dx,y)。则所述图像块k的去噪估计满足如下表达式：

其中，用于衡量k^d与k间的相似性，σ²r^d-1用于表示k^d内部的噪声含量，λ＝0.5，满足式(1)最小化的k^d则为k的去噪估计图像块；

步骤232：遍历所述初步估计图像中所有的图像块k，由步骤231获得其去噪估计图像块，从而得到低分辨率测试图像lk+1。

与现有技术相比，本发明的有益效果在于：

1、本发明的技术方案弥补了现有技术在处理含噪图像时，容易出现噪声放大的不足，使得重建后的图像噪声得到很好的抑制，达到了更好的去噪效果。

2、本发明采用经验公式得到金字塔内各层图像噪声幅度的估计。并设计出了一个代价函数，对其的优化有助于选择出最佳的金字塔图像缩小尺度，将该尺度对应的图像块用于超分辨率重建，便可抑制噪声对超分辨率过程的影响。

3、本发明不仅更好的消除了噪声，并且相比现有去噪算法相比，根据重建图像的客观评价指标，可以得到重建图像的细节也较为丰富，本发明重建的图像结构和原高分辨率图像更接近。

附图说明

图1是本发明超分辨率方法的流程图；

图2是低分辨率含噪图像；

图3是低分辨率含噪图像的初步估计图像；

图4是横向多尺度图像金字塔；

图5是纵向多尺度图像金字塔；

图6是对角方向多尺度图像金字塔；

图7是低分辨率含噪图像i的低分辨率测试图像lk+1；

图8是低分辨率含噪图像i的模糊图像lk；

图9(a)是本发明重建的高分辨率图像；

图9(b)是yang方法得到的高分辨率图像；

图9(c)是9(b)经nlm去噪得到的图像；

图9(d)是hu方法得到的高分辨率图像；

图9(e)是9(d)经nlm去噪得到的图像；

图9(f)是dong方法得到的高分辨率图像；和

图10是低分辨率含噪图像所对应的原高分辨率图像。

具体实施方式

下面结合附图进行详细说明。

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是实例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明将多尺度图像金字塔与基于二阶展开的超分辨率方法相结合，利用图像金字塔内各层图像的噪声下降特性，设计出了一种对噪声鲁棒的图像超分辨率重建方法。

图1是本发明超分辨率方法的流程图。现结合图1，详细说明本发明的技术原理。本发明的方法包括：

步骤1：输入一张低分辨率含噪图像i。低分辨率含噪图像i的尺寸为m×n，放大倍数为t，放大倍数t为将输入图像进行尺寸放大的比例。如图2所示为一幅低分辨率含噪图像，噪声方差为10。

步骤2：以低分辨率含噪图像i为基础生成低分辨率测试图像lk+1。

步骤21：对低分辨率含噪图像i进行插值，获得关于低分辨率测试图像i的初步估计图像

如图3所示为初步估计图像初步估计图像的尺寸为(m×r)×(n×r)。理论上，任何插值算法都可应用于本步骤，但细节保持能力高的插值算法，时间消耗也较高。本发明的技术方案选择bicubic插值，以实现细节保持和时间消耗的折中。

步骤22：基于初步估计图像分别生成横向多尺度金字塔、纵向多尺度金字塔和对角方向多尺度图像金字塔。

图4是横向多尺度图像金字塔。图5是纵向多尺度图像金字塔。图6是对角方向多尺度图像金字塔。图像尺度与图像大小有关，常用于图像特征的提取。

步骤221：对初步估计图像进行高斯模糊。

高斯核尺寸为5×5，高斯方差为r^dδ^d，其中r代表下采样比例，d代表图像金字塔层数，取值范围为0，1，2，……，20，δ代表所述低分辨率含噪图像i的噪声方差。r的取值范围为r<1。

步骤222：对经步骤221模糊后的图像进行下采样操作，获得下采样图像横纵坐标的下采样比例分别为r。

图像下采样方法属于图像插值，其区别在于最终图像的尺寸经下采样方法后缩小，即取出原图像相对位置的多个像素点进行加权平均，作为目标像素点的值，而目标像素点的位置与原图像所取出的像素点位置间的关系由下采样系数r决定。经下采样后，下采样图像的尺寸变为ceil(m×r)×ceil(n×r)，ceil(·)函数代表向上取整函数。

在本发明中，所使用的下采样方法为bicubic插值方法，下采样系数为0.9。选择0.9的原因在于较为接近于1的下采样系数，可使得多尺度图像金字塔相邻两层的图像尺寸相近，从而两图像间的特征差异不太大。

步骤223：对下采样图像重复高斯模糊和横纵坐标两方向的下采样操作，得到第一下采样图像，第一下采样图像的集合构成对角方向多尺度图像金字塔。

步骤224：对下采样图像重复高斯模糊和横坐标方向的下采样操作，得到第二下采样图像，第二下采样图像的集合构成横向多尺度图像金字塔。

步骤225：对下采样图像重复高斯模糊和纵坐标方向的下采样操作，得到第三下采样图像，第三下采样图像的集合构成纵向多尺度图像金字塔。

第一下采样图像的尺寸为ceil(m×r^d)×ceil(n×r^d),d＝0,1,2,…,20。

第二下采样图像的尺寸为：m×ceil(n×r^d),d＝0,1,2,…,20。

第三下采样图像的尺寸为：ceil(m×r^d)×n,d＝0,1,2,…,20。

与对角方向多尺度图像金字塔类似，横坐标方向多尺度图像金字塔的生成也包含高斯模糊和下采样两个步骤。但后者的区别在于下采样仅在横坐标方向下进行。同理，纵坐标方向多尺度图像金字塔的下采样步骤仅在纵坐标方向下进行。

具体的，对角方向多尺度图像金字塔的生成方法为：1)对下采样图像与高斯核进行卷积；2.对模糊后的图像，在其横纵坐标两方向进行像素下采样，将图像长宽缩小r^d倍。

类似地，横向多尺度图像金字塔的生成方法如下：1)对下采样图像与高斯核进行卷积操作；2)对模糊后的图像，在横坐标方向进行像素下采样，将图像长度缩小r^d倍。

类似地，纵向多尺度图像金字塔的生成方法如下：1)对下采样图像与高斯核进行卷积操作；2)对模糊后的图像，在纵坐标方向进行像素下采样，将图像宽度缩小r^d倍。

步骤23：利用横向多尺度图像金字塔、纵向多尺度金字塔和对角方向多尺度金字塔，获得关于初步估计图像的去噪估计图像，去噪估计图像即为低分辨率测试图像lk+1。

步骤231：对初步估计图像中的每一个大小为s×s的图像块k，其去噪估计方法如下：设图像块k中心像素坐标为(x,y)，在对角方向多尺度金字塔的每一层图像上，选出以(r^dx,r^dy)为中心的大小为s×s的图像块k^d。类似地，横向多尺度图像金字塔上的图像块k^d其中心像素的坐标为(x,r^dy)，纵向多尺度图像金字塔上的图像块k^d其中心像素的坐标为(r^dx,y)。则图像块k的去噪估计需满足如下表达式：

式(1)中，用于衡量k^d与k间的相似性，σ²r^d-1用于表示k^d内部的噪声含量。λ＝0.5，用于调整前后两项的相对重要性的权重系数。s取值为5。满足式(1)最小化的k^d则为图像块k的去噪估计图像块。

本步骤中采用经验公式，得到金字塔内各层图像噪声幅度的估计。并于该步骤设计出了一个代价函数，对其的优化有助于选择出最佳的金字塔图像缩小尺度，将该尺度对应的图像块用于超分辨率重建，便可抑制噪声对超分辨率过程的影响。

步骤232：遍历初步估计图像中所有的图像块k，由步骤231获得图像块k对应的去噪估计图像块，从而得到初步估计图像的去噪估计图像，去噪估计图像即为低分辨率测试图像lk+1。如图7所示为低分辨率测试图像lk+1。

步骤3：对低分辨率含噪图像i进行高斯模糊操作，获得模糊图像lk。如图8所示为模糊图像lk。

获得模糊图像lk的方法为：

用高斯核对低分辨率含噪图像i进行卷积计算，生成模糊图像lk。

步骤4：将低分辨率含噪图像i和模糊图像lk均划成大小为s×s的图像块，分别构成训练集高分辨率图像块集合p＝{p}和训练集低分辨率图像块集合q＝{m}。将低分辨率测试图像lk+1划分成重叠的大小为s×s的图像块，重叠度为s-1，构成测试集低分辨率图像块集合r＝{n}。

在本发明的技术方案中，将低分辨率测试图像lk+1划分成重叠的图像块，其目的为减弱待生成的高分辨图像的块效应问题。

步骤5：对于训练集中的每一对{m，p}，通过泰勒展开和回归技术，求解从图像块m到图像块p的映射函数f；

步骤51：在模糊图像lk上寻找与图像块m灰度值距离最小的j个图像块mi，其中i＝1,2,…,j，则mi对应的高分辨率图像块为pi，pi中心像素的坐标位置与mi中心像素的坐标位置相同。

步骤52：利用泰勒展开式，将pi＝f(mi)转化为：

f′()和f″()映射函数f的一阶导数和二阶导数，⊙代表两个矩阵对应位置元素相乘。式(2)将对f的求解转换为对f′()和f″()的求解。

步骤53：联立n个方程，使用加权最小二乘法求解f′()和f″()：

表示m和mi间的相似度，则f′()和f″()的估计为：

其中，

1是全为1的列向量，大小为s²×1；diag()为对角化算子，当

步骤6：对于测试集中的低分辨率图像块n，在训练集低分辨率图像块集合q上寻找与图像块n最相似的图像块m，将图像块m对应的映射函数f作用到图像块n上，获得相应的高分辨率图像块估计q；

高分辨图像块估计q可由下式获得：

式(4)中f′()和f″()为图像块m对应的映射函数的一阶导数和二阶导数值。

步骤7：用步骤6的方法遍历所述测试集低分辨率图像块集合r中所有的图像块n，获得每个图像块n对应的高分辨率图像块估计q，最终的高分辨率图像h为所有高分辨率图像块估计q在像素重叠部分的算术平均。高分辨率图像h的尺寸为(m×t)×(n×t)。

本发明的去噪方法，得到金字塔内各层图像噪声幅度的估计，并选择出了最佳的金字塔图像缩小尺度，使得噪声得到很好的抑制，去噪效果更好。本发明亦无需主观的设置参数，使得算法适合各种类型的图像去噪处理，适用范围更广。

为了进一步体现本发明技术方案在含噪图像上超分辨率重建的有益效果，通过对比实验来进行详细说明。将所提算法与当前流行的超分辨率重建算法作用于含噪图像，并从主观视觉和客观评价两方面比较不同算法的重建效果。值得注意的是，对于彩色图像的超分辨率重建，由于人类视觉对光照变化更敏感，故实验中只对图像的亮度通道进行超分辨率处理；在图像的色彩通道上，我们采用简单的插值方法进行放大处理。

实验中，用于对比的算法有yang方法和hu方法以及dong方法。其中，yang方法和hu方法能够重建部分图像细节，但在处理含噪图像时，容易出现噪声放大现象。dong方法是近期提出的一种能够直接处理噪声的图像超分辨率重建算法，该方法基于稀疏表示。

实验中所用的低分辨率含噪图像如图2所示，图9(a)为本发明技术方案得到的超分辨率重建图像。9(b)是用yang方法得到的高分辨率图像。由于9(b)图像存在大量噪声，故我们将9(b)图像进行后续的去噪操作，其结果如9(c)所示。去噪操作为流行的非邻域去噪方法(non-localmeans,nlm)。9(d)为使用hu方法得到的高分辨率图像。图9(e)为图9(d)经nlm去噪后的结果。图9(f)为使用dong方法得到的超分辨率重建结果。

从图9中不难看出，即使将yang方法和hu方法的重建结果进行后续的去噪处理，其去噪后的结果仍然呈现大量的噪声污染。dong方法虽然能够很好地消除噪声，但重建图像细节能力也较弱。而本发明技术方案在细节保持和噪声去除两方面均能达到较为理想的效果，如图9(a)所示，图像噪声得到了很好的抑制，重建图像的细节也较为丰富。

除主观视觉比较外，本实验借助图像质量评价准则，从而实现对超分辨率重建算法的重建效果进行客观评价。当原高清图像已知时，峰值信噪比(peaksignaltonoiseratio,psnr)和结构相似度量(structuresimilarity,ssim)是最常用的两种图像质量评价方式，其定义形式如下所示：

其中,i1和i2分别代表原始图像和对比图像，两者具有同样的大小；(x,y)代表图像内像素点的坐标位置，w和h分别表示图像的长和宽。

式(5)中的标量p代表图像中像素灰度值的最大可能取值，对8位图像而言，p＝255。ssim对图像块的结构特征进行统计，分别从图像的亮度值、对比度和结构信息三个方面进行衡量。psnr值越高，说明重建结果中包含越少的图像变形(distortion)和噪声。

式(6)中的μ1和μ2分别表示在参考图像和对比图像中以(x,y)为中心的图像块的灰度值均值；σ1和σ2则分别表示两个图像块的灰度值方差；σ12表示两个图像块灰度值的协方差；c1和c2为常数，避免当分母接近0时结果的不稳定。ssim值越接近1，说明重建结果的图像结构和原高清图像更相似。

图10显示了图2低分辨率含噪图像所对应的原高分辨率图像。

表1不同方法超分辨率重建结果的质量评价比较(psnr[db]/ssim)

表1展示了图9中不同的重建方法其重建结果的质量评价分数。不难看出，与其他方法相比，本发明重建出的高分辨率图像获得更高的psnr值和ssim值，反映了本发明技术方案的重建的高分辨率图像的噪声得到更高的抑制，图像形变更少，重建的细节更丰富，更接近原高分辨率图像。

需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。