一种图像放大方法与流程

本发明涉及视频图像处理技术领域，特别是涉及一种基于结构保持的图像放大方法。

背景技术：

随着数码产品的普及，图像作为人类获取信息的主要来源，得到了越来越广泛的应用。同时，数字图像处理技术也得到了迅速发展。而视频图像的采集是数字图像处理系统中一个关键的步骤。在数字化采集过程中，受以下几个因素的影响，图像分辨率和图像质量会下降。采样频率，欠采样使得图像的频谱混叠，因变形效应而发生降质。大气扰动、脱焦、传感器尺寸以及图像采集设备和被拍摄物体之间的相对运动，会造成图像的模糊。而在图像的获取、传输和存储过程中，也会引入噪声，如高斯噪声，也会使图像发生降质。

因此，如何提高图像的分辨率和质量，使其尽可能的接近原始的图像成为近年来国际上图像处理领域的研究热点之一。而随着图像处理技术的发展和计算机计算能力的不断提升，视频图像的超分辨率重建技术为低分辨率图像的重建提供了很好的解决方案。它可以将一系列低分辨率的图像按一定的比例放大，最终产生一幅或者多幅高分辨率的图像，并且很好的保持原图的结构。

现有的超分辨率重建方法主要分为三大类。第一类是基于插值的超分辨率技术。第二类是基于重建的超分辨率技术。第三类是基于学习的超分辨率技术。简单的线性插值技术，比如双线性和双三次插值，计算简单但是会产生锯齿效应，同时也会模糊边缘。为了更好的保持边缘的锐度，很多基于边缘指导的插值方法被相继提出。有研究者在2001年提出在低分辨率图像上估计高分辨率图像的协方差，然后用该协方差来进行插值。另有研究者在2008年提出一种基于分块的自回归模型，一次估计整块像素。另有研究者在2012年提出一种鲁棒的软决策插值技 术，在参数和像素的估计中，都采用加权最小二乘法。然后，这些方法都只考虑了边缘部分的重建，没有考虑纹理部分的重建。

基于重建的超分辨率技术，是模拟图像降质的反过程，去解一个优化方程。图像降质过程是，一幅高分辨率图像，经过模糊之后，降采样得到低分辨率图像。另有研究者在2005年提出的基于图像总变差分的方法是该类方法中很有代表性的一个。在该方法中，图像的总变差分作为约束项，加到优化方程中，从而约束问题的解。它在保持边缘锐度的同时可以极大的抑制人造效应。另有研究者在2011年提出通过低分辨率图像的梯度来估计高分辨率图像边缘的梯度，然后把估计得到的梯度作为约束项，加入到优化方程中。

近年来，一些基于学习的超分辨率重建方法也不断被提出。另有研究者在2010年提出一种基于稀疏表示的超分辨率重建方法。该方法提出，图像块可以被一个超完备的字典中的元素通过线性组合的方式表示，其中，非零系数的个数会尽可能的少。所以，首先产生两个超完备的字典集合，这两个集合中的图像块是一一对应的，分别是低分辨率图像和高分辨率图像。对于输入的任意低分辨率图像块，在低分辨率字典中寻找一种稀疏表示，然后用这一组稀疏在高分辨率字典中生成高分辨率图像块。另有研究者在2016年提出使用深度学习的方法来重建高分辨率图像。基本方法是，生成多组低分辨率和高分辨率图像对，然后把低分辨率图像作为卷积神经网络的输入，把高分辨率图像作为卷积神经网络的输出，训练网络。对于训练好的网络，把任意低分辨率图像作为输入，产生高分辨率图像作为重建结果。

现有技术的算法是基于插值的方法，虽然计算量低，但是重建的效果差。基于重建的方法，不能同时将边缘和纹理两个部分都很好地重建。基于学习的方法计算复杂度高，而且对于训练库的选择也有很强的依赖性。

本发明提供一种基于结构保持的图像放大方法，能够很好地对图像的边缘结构和纹理结构进行重建。首先，采用改进的非局部均值方法对高分辨率图像的梯度进行估计，然后通过梯度来指导边缘像素的插值。之后，采用梯度估计阶段使 用的非局部均值方法对插值图像进行后处理，去除插值引入的噪声和人造效应。最后，把插值的图像作为初始结果，其梯度作为约束，采用基于重建的方法，得到最终的高分辨率图像。

技术实现要素：

本发明的一种图像放大方法，包括：梯度值估计步骤，其中采用改进的非局部均值方法对高分辨率图像的梯度进行估计；梯度指导插值步骤，其中利用所述梯度值对边缘像素的插值进行指导；插值结果修正步骤，其中采用梯度估计阶段使用的非局部均值方法对插值图像进行后处理，去除插值引入的噪声和人造效应；以及纹理结构重建步骤，其中把插值的图像作为初始结果，将其梯度作为约束，采用基于重建的方法，得到最终的高分辨率图像。

在本发明的图像放大方法中，所述梯度值估计步骤包括相似性度量步骤和高分辨率梯度估计步骤。

在本发明的图像放大方法中，所述相似性度量步骤中，通过图像块的相似性来定义像素点的相似性，其中，假设当前像素点为y(i,j)，其周边N×N的像素点组成的图像块为N(i,j)，并假设图像中另一像素点为y(m,n)，其周边N×N的像素点组成的图像块为N(m,n)，通过相应图像块的灰度强度相似性对像素点y(i,j)和y(m,n)之间的相似性进行估计。

在本发明的图像放大方法中，所述图像块之间的灰度强度差异由公式(1)定义：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

给像素点y(m,n)赋予一个权值，用来度量相似度，如公式(2)所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\σ}1}}---\left(2\right)$

其中，Z(i,j)是归一化常量，代表所有权值的总和，参数σ1对指数方程的 衰减速度进行控制。

在本发明的图像放大方法中，所述高分辨率梯度估计步骤中，首先使用传统的双三次插值处理低分辨率图像，得到初始的高分辨率图像，然后运用Sobel算子对初始高分辨率图像进行卷积运算，得到高分辨率图像的梯度近似估计。

在本发明的图像放大方法中，梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\∈S\×S}{\Σ}\mathrm{\ω}(m,n)G(m,n)---\left(3\right)$

其中，窗口S×S大小设置为21×21。

在本发明的图像放大方法中，所述梯度指导插值步骤中，将平面划分为8个方向区间。

${\mathrm{\&beta;}}_k=\left\{\mathrm{\&theta;}\right|\frac{k\mathrm{\&pi;}}{4}-\frac{\mathrm{\&pi;}}{8}\&le;\mathrm{\&theta;}<\frac{k\mathrm{\&pi;}}{4}+\frac{\mathrm{\&pi;}}{8}\},k=0,1,...,7$

将8个方向再细分为两类，分别是Ω₁＝{β₁,β₃,β₅,β₇}和Ω₂＝{β₀,β₂,β₄,β₆}。假设Mi的梯度方向是θ_M，如果θ_M属于Ω₁，如图5所示，将黑色点投影到梯度方向，并假设P(ij)为投影长度，Nj的权值如公式4定义：

$w\left(j\right)=\frac{1}{C\left(i\right)}{e}^{-\frac{P(i,j)}{\mathrm{\&sigma;}2}}---\left(4\right)$

其中，C(i)是归一化参数，代表所有权值的总和，σ2控制指数方程的衰减速度。

在本发明的图像放大方法中，将灰度差更大的一侧权值赋为0，其中，σ2取0.2，阈值T取50。

在本发明的图像放大方法中，在所述纹理结构重建中，假设输入的低分辨率图像为I_l，插值图像为采用基于重建的超分辨率技术，把插值图像的梯度作 为约束条件，在保证边缘的同时重建出图像的纹理，通过解以下方程来得到高分辨率图像：

其中，是卷积运算，G表示高斯核函数，↓(n)表示比例为n的降采样，Ψ是梯度提取操作的集合，方程的第一项是数据保真度，第二项是梯度约束项。

在本发明的图像放大方法中，为求解所述方程，采用梯度下降法，如下式(6)所示：

其中，t是迭代次数，τ是迭代步长，↑(n)表示比例为n的上采样，梯度提取操作采用水平方向和垂直方向两个Sobel算子，高斯核函数G取均值为0、标准差为1的高斯函数，降采样比例和升采样比例都为2，迭代步长τ为0.1，λ取0.2。迭代次数取30。

附图说明

图1是表示本发明的图像放大方法的主流程图。

图2是表示本发明的图像放大方法的梯度值估计步骤的子流程图。

图3是表示本发明的图像放大方法的高分辨率梯度值估计步骤的子流程图。

图4是表示待插值像素和已知像素空间位置关系图。

图5是表示对白色正方形标记的像素点进行插值的示意图。

图6是表示对白色圆点标记的像素点进行插值的示意图。

图7(a)～图7(b)是对图像进行修正前后的效果对比图。

图8(a)～图8(b)是重建前后的低分辨率图像和高分辨率图像的对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1的流程图所示，本发明的一种图像放大方法包括：梯度值估计步骤S1，其中采用改进的非局部均值方法对高分辨率图像的梯度进行估计；梯度指导插值步骤S2，其中利用梯度值对边缘像素的插值进行指导；插值结果修正步骤S3，其中采用梯度估计阶段使用的非局部均值滤波方法对插值图像进行后处理，去除插值引入的噪声和人造效应；以及纹理结构重建步骤S4，其中把插值的图像作为初始结果，将其梯度作为约束，采用基于重建的方法，得到最终的高分辨率图像。

如图2的子流程图所示，梯度值估计步骤S1包括相似性度量步骤S11和高分辨率梯度估计步骤S12。在相似性度量步骤S11中，通过图像块的相似性来定义像素点的相似性，假设当前像素点为y(i,j)，其周边N×N的像素点组成的图像块为N(i,j)，并假设图像中另一像素点为y(m,n)，其周边N×N的像素点组成的图像块为N(m,n)，通过相应图像块的灰度强度相似性对像素点y(i,j)和y(m,n)之间的相似性进行估计。

另外，图像块之间的灰度强度差异由公式(1)定义：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

给像素点y(m,n)赋予一个权值，用来度量相似度，如公式(2)所示：

$\mathrm{\&omega;}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\&sigma;}1}}---\left(2\right)$

其中，Z(i,j)是归一化常量，代表所有权值的总和，参数σ1对指数方程的衰减速度进行控制。这里，图像块之间的差异越大，赋予相应像素点的权值越小， 反之，则权值越大。块大小N×N设置为7×7。σ1大小取7×7图像块的方差。

另外，如图3的子流程图所示，在高分辨率梯度估计S12中，首先使用传统的双三次插值处理低分辨率图像，得到初始的高分辨率图像，然后运用Sobel算子对初始高分辨率图像进行卷积运算，得到高分辨率图像的梯度近似估计。假设对低分辨率图像进行两倍放大，如图4所示，其中黑色的点是低分辨率图像放大后再高分辨率图像中所在位置，白色点是待插值的像素点。接下来，对待插值像素点的梯度进行修正。根据上一步骤像素点相似性度量，假设y(i,j)为图中任意白色的待插值像素点，初始梯度为G(i,j)。y(m,n)为任意黑色的已知低分辨率像素点，梯度为G(m,n)。y(i,j)修正后的梯度为其周边S×S窗口大小内所有黑色点y(m,n)梯度的加权平均，权值就是步骤一中估计的权值。这里，梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\&Element;S\&times;S}{\&Sigma;}\mathrm{\&omega;}(m,n)G(m,n)---\left(3\right)$

其中，窗口S×S大小设置为21×21。

另外，在梯度指导插值步骤中，如图4所示，白色的点是待插值像素，分两步进行插值。第一步是对白色正方形标记的像素点进行插值，第二步对白色圆点标记的像素点进行插值。第一步插值像素点和已知像素点之间的位置关系如图5所示，Mi是待插值像素点，Nj,j＝1,2,3,4是已知的低分辨率像素点，Mi的值就是Nj的加权平均。将平面划分为8个方向区间。

${\mathrm{\&beta;}}_k=\left\{\mathrm{\&theta;}\right|\frac{k\mathrm{\&pi;}}{4}-\frac{\mathrm{\&pi;}}{8}\&le;\mathrm{\&theta;}<\frac{k\mathrm{\&pi;}}{4}+\frac{\mathrm{\&pi;}}{8}\},k=0,1,...,7$

将8个方向再细分为两类，分别是Ω₁＝{β₁,β₃,β₅,β₇}和Ω₂＝{β₀,β₂,β₄,β₆}。假设Mi的梯度方向是θ_M，如果θ_M属于Ω₁，如图5所示，将黑色点投影到梯度方向，并假设P(ij)为投影长度，Nj的权值如公式4定义：

$w\left(j\right)=\frac{1}{C\left(i\right)}{e}^{-\frac{P(i,j)}{\mathrm{\&sigma;}2}}---\left(4\right)$

其中，C(i)是归一化参数，代表所有权值的总和，σ2控制指数方程的衰减速度。如果如果θ_M属于Ω₂，如图5所示，相邻像素点的投影长度几乎一致，也就是说权值也几乎一致，因此，需要对权值进行修正，以保持该类方向边缘的锐度。修正的方法就是比较待插值像素点两侧的梯度强度，假设梯度方向是垂直方向，则比较上下两侧的梯度强度，分别是两侧两个点的梯度之和。如果梯度之差大于阈值T，将梯度大的一侧权值赋为0。如果小于T，则继续比较两侧像素和待插值像素之间的灰度差，两侧像素的灰度分别是两侧中两个像素的灰度均值。将灰度差更大的一侧权值赋为0。其中，σ2取0.2。阈值T取50。第二步插值像素点和已知像素点之间的位置关系如图6所示。第一步中已插值的像素点可以当作已知像素点，将图像旋转45度，第二步中未知像素和已知像素之间空间位置关系和图5中一致，因此，沿用第一步中的插值方法。

以上插值在保持边缘的同时也会引入一些锯齿，所以，在这一步骤中对插值的结果进行修正。如图4所示，对于每个被白色点标记的像素点，使用周边S×S窗口内被黑色标记的像素点进行加权平均来得到修正后的灰度值。使用步骤一中像素点之间的相似性对权值进行估计。修正前和修正后结果对比图如图7所示。窗口大小也为21×21。

以上步骤主要是对图像的边缘结构进行重建。在该纹理结构重建步骤中，在保证已重建边缘的前提下，对纹理结构进行重建。假设输入的低分辨率图像为I_l，插值图像为采用基于重建的超分辨率技术，把插值图像的梯度作为约束条件，在保证边缘的同时重建出图像的纹理，通过求解以下方程来得到高分辨率图像：

其中，是卷积运算，G表示高斯核函数，↓(n)表示比例为n的降采样，Ψ是梯度提取操作的集合，方程的第一项是数据保真度，第二项是梯度约束项。λ控制着两部分的相对权重，λ越大，梯度约束项权重越大，可以产生更锐利的边缘。 为求解所述方程，采用梯度下降法，如下式(6)所示：

其中，t是迭代次数，τ是迭代步长，↑(n)表示比例为n的上采样，梯度提取操作采用水平方向和垂直方向两个Sobel算子，高斯核函数G取均值为0、标准差为1的高斯函数，降采样比例和升采样比例都为2，迭代步长τ为0.1，λ取0.2。迭代次数取30。如图8所示，(a)是输入重建前的低分辨率图像，(b)是重建后的高分辨率图像。

本发明的基于结构保持的图像放大方法中，充分利用图像的局部和非局部结构信息，在梯度估计中，利用相似结构具有相似梯度信息这一特性，采用基于灰度强度和灰度分布的非均值滤波，精确地对待插值像素的精度进行估计，同时使算法更具鲁棒性。在插值阶段，将平面分为8个方向区间，对不同方向的边缘采用不同的插值方法，从而使得各个方向的边缘锐度都得到保持。在插值完成之后，采用非局部均值滤波进行后处理，可以显著的去除插值引入的锯齿效应，同时保持边缘的锐度。另一方面，将插值得到的图像作为初始的结果，并将其梯度作为约束项，采用基于重建的超分辨率技术，在保持边缘的锐度的同时对图像的纹理部分进行重建，从而使本方法可以同时对图像的边缘和纹理进行很好的重建，为后续的应用奠定了基础。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。