一种超分辨率图像重建方法及其系统与流程

本发明涉及视频图像处理技术领域，特别是涉及一种基于总变差分和非线性增强滤波的超分辨率重建方法及其系统。

背景技术：

随着数码产品的普及，图像作为人类获取信息的主要来源，得到了越来越广泛的应用。同时，数字图像处理技术也得到了迅速发展。而视频图像的采集是数字图像处理系统中一个关键的步骤。在数字化采集过程中，受以下几个因素的影响，图像分辨率和图像质量会下降。采样频率，欠采样使得图像的频谱混叠，因变形效应而发生降质。大气扰动、脱焦、传感器尺寸以及图像采集设备和被拍摄物体之间的相对运动，会造成图像的模糊。而在图像的获取、传输和存储过程中，也会引入噪声，如高斯噪声，也会使图像发生降质。

因此，如何提高图像的分辨率和质量，使其尽可能的接近原始的图像成为近年来国际上图像处理领域的研究热点之一。而随着图像处理技术的发展和计算机计算能力的不断提升，视频图像的超分辨率重建技术为低分辨率图像的重建提供了很好的解决方案。它可以将一系列低分辨率的图像按一定的比例放大，最终产生一幅或者多幅高分辨率的图像，并且很好的保持原图的结构。

现有的超分辨率重建方法主要分为三大类：第一类是基于插值的超分辨率技术；第二类是基于重建的超分辨率技术；第三类是基于学习的超分辨率技术。

简单的线性插值技术比如双线性和双三次插值，计算简单但是会产生锯齿效应，同时也会模糊边缘。为了更好的保持边缘的锐度，很多基于边缘指导的插值方法被相继提出。有研究者在2001年提出在低分辨率图像上估计高分辨率图像的协方差，然后用该协方差来进行插值。另有研究者在2008年提出一种基于分块的自回归模型，一次估计整块像素。另有研究者在2012年提出一种鲁棒的软决策插值技术，在参数和像素的估计中，都采用加权最小二乘法。然后，这些方法都只考虑了边缘部分的重建，没有考虑纹理部分的重建。

基于重建的超分辨率技术，是模拟图像降质的反过程，去解一个优化方程。图像降质过程是，一幅高分辨率图像，经过模糊之后，降采样得到低分辨率图像。另有研究者在2005年提出的基于图像总变差分的方法是该类方法中很有代表性的一个。在该方法中，图像的总变差分作为约束项，加到优化方程中，从而约束问题的解。它在保持边缘锐度的同时可以极大的抑制人造效应。另有研究者在2011年提出通过低分辨率图像的梯度来估计高分辨率图像边缘的梯度，然后把估计得到的梯度作为约束项，加入到优化方程中。

近年来，一些基于学习的超分辨率重建方法也不断被提出。另有研究者在2010年提出一种基于稀疏表示的超分辨率重建方法。该方法提出，图像块可以被一个超完备的字典中的元素通过线性组合的方式表示，其中，非零系数的个数会尽可能的少。所以，首先产生两个超完备的字典集合，这两个集合中的图像块是一一对应的，分别是低分辨率图像和高分辨率图像。对于输入的任意低分辨率图像块，在低分辨率字典中寻找一种稀疏表示，然后用这一组稀疏在高分辨率字典中生成高分辨率图像块。另有研究者在2016年提出使用深度学习的方法来重建高分辨率图像。基本方法是，生成多组低分辨率和高分辨率图像对，然后把低分辨率图像作为卷积神经网络的输入，把高分辨率图像作为卷积神经网络的输出，训练网络。对于训练好的网络，把任意低分辨率图像作为输入，产生高分辨率图像作为重建结果。

现有的算法是基于插值的方法，计算量低，但是重建的效果差。基于重建的方法，不能同时将边缘和纹理两个部分都很好的重建。基于学习的方法中，计算机复杂度高，而且对于训练库的选择也有很强的依赖性。

本发明提供一种基于总变差分和非线性增强滤波的超分辨率重建方法，可以很好的对图像的边缘结构和纹理结构进行重建。首先，通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节。然后，对这两部分分别进行放大。对于结构部分，先用线性插值进行放大，然后用一个非线性锐化滤波器进行锐化，并采用改进的非局部均值滤波进行后处理。对于纹理部分，采用脉冲锐化滤波器，对纹理图像进行增强。最后，将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。

本发明要解决的技术问题是：实现图像超分辨率重建，同时保持图像的边缘和纹理结构，并降低运算复杂度，满足实时性的要求。

技术实现要素：

本发明提供一种超分辨率图像重建方法，其中，包括：图像分解步骤，其中通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节；图像放大步骤，其中对所述结构部分和所述纹理部分分别进行放大；以及图像组合步骤，其中将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。

本发明的超分辨率图像重建方法优选为，所述图像放大步骤包括：结构图像放大子步骤，对于所述结构部分，先用线性插值进行放大，然后用一个非线性锐化滤波器进行锐化，并采用改进的非局部均值滤波进行后处理；和纹理图像放大子步骤，对于所述纹理部分，采用脉冲锐化滤波器，对纹理图像进行增强。

本发明的超分辨率图像重建方法优选为，在所述图像分解步骤中，通过求解以下最小化方程进行图像分解：

其中是图像u的梯度，梯度越小，说明图像越平滑，λ是拉格朗日乘子，用来平衡这两部分的权重。

本发明的超分辨率图像重建方法优选为，在所述图像分解步骤中，方程式(1)中的λ取0.85。

$\underset{u}{\min }\∫\[\▿u\]+\mathrm{\λ}\∫|f-u|---\left(1\right)$

本发明的超分辨率图像重建方法优选为，在所述结构图像放大子步骤中，进行基于冲击滤波的结构图像锐化，采用传统的双三次插值处理输入的结构图像，获得初始放大后的结构图像Iu⁰，然后采用冲击滤波器对边缘进行锐化操作，冲击滤波器对像素的迭代操作如下：

${\mathrm{Iu}}^{n+1}={\mathrm{Iu}}^n-sign\left({\mathrm{\ΔIu}}^n\right)\left|\right|\▿{\mathrm{Iu}}^n\left|\right|t\mathrm{......}\left(2\right)$

其中，t是迭代步长，n是迭代次数，初始为0，ΔIuⁿ和通过以下方式进

$\mathrm{\Δ}Iu={\mathrm{Iu}}_{xx}\·{\mathrm{Iu}}_x^2+2\·{\mathrm{Iu}}_{xx}{\mathrm{Iu}}_x{\mathrm{Iu}}_y+{\mathrm{Iu}}_{yy}\·{\mathrm{Iu}}_y^2---\left(3\right)$

行计算：

$\▿Iu=\sqrt{{\mathrm{Iu}}_x^2+{\mathrm{Iu}}_y^2}---\left(4\right)$

其中，Iu_x和Iu_y是图像在水平和垂直方向的一阶导数。

本发明的超分辨率图像重建方法优选为，所述迭代总次数为50，迭代步长为0.1。

本发明的超分辨率图像重建方法优选为，还包括：相似性度量步骤，基于灰度强度和灰度分布对像素点相似性进行度量。

本发明的超分辨率图像重建方法优选为，两个图像块之间的灰度强度差异通过公式(5)定义：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(5\right)$

其中，是第二范式操作符。对于图像块的灰度分布，使用感知哈希的方法进行度量。

本发明的超分辨率图像重建方法优选为，还包括：修正步骤，对于每个像素点，使用周边21×21窗口内像素点进行加权平均，对插值结果进行修正，从而得到修正后的灰度值。

本发明所涉及的超分辨率图像重建系统，包括：图像分解模块，其中通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节；图像放大模块，其中对所述结构部分和所述纹理部分分别进行放大；以及图像组合模块，其中将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。

附图说明

图1是表示本发明的超分辨率图像重建方法的流程图。

图2是表示对结构图进行放大的子流程图。

图3是表示对纹理图进行放大的子流程图。

图4是表示进行图像分解的结果图，其中图4(a)表示原始图，图4(b)表示结构图，图4(c)表示纹理图。

图5是表示对图像进行修正前后的效果对比图，其中图5(a)是表示修正处理前的效果的图，图5(b)是修正处理后的效果的图。

图6是表示对图像进行重建前后的效果对比图，其中图6(a)是重建前的低分辨率图像，图6(b)是重建后后的高分辨率图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1的流程图所示，本发明的基于总变差分和非线性锐化滤波的超分辨率重建方法包括：图像分解步骤S1，其中通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细；图像放大步骤S2，其中对所述结构部分和所述纹理部分分别进行放大；以及图像组合步骤S3，其中将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。

图像分解步骤S1中，将一幅图像f分解成结构部分u，和纹理部分v。f＝u+v。采用基于总变差分的方法。总变差分，是指信号的变化程度之和，对于二维图像，总变差分就是图像的梯度之和。图像分解的问题通过解以下最小化方程来求解：

$\underset{u}{\min }\∫\[\▿u\]+\mathrm{\λ}\∫|f-u|---\left(1\right)$

其中是图像u的梯度，梯度越小，说明图像越平滑，λ是拉格朗日乘子，用来平衡这两部分的权重。λ越大，说明u越接近f，因此就没有那么平滑。λ越小，总变差分项的权重就越大，说明u越平滑。通过实验发现，当λ取0.85时，分解效果较好，分解结果如图4所示。

在图像放大步骤S2中，进行基于冲击滤波的结构图像锐化，结构图像包含图像的边缘和平滑部分，因此，对于这一部分的放大主要是要保持原图边缘的锐度。如图2的流程图所示，在步骤S21中，首先采用传统的双三次插值处理输入的结构图像，获得初始放大后的结构图像Iu⁰，然后采用冲击滤波器对边缘进行锐化操作。冲击滤波器对像素的迭代操作如下：

${\mathrm{Iu}}^{n+1}={\mathrm{Iu}}^n-sign\left({\mathrm{\ΔIu}}^n\right)\left|\right|\▿{\mathrm{Iu}}^n\left|\right|t\mathrm{......}\left(2\right)$

其中，t是迭代步长，n是迭代次数，初始为和通过以下方式进行

$\mathrm{\Δ}Iu={\mathrm{Iu}}_{xx}\·{\mathrm{Iu}}_x^2+2\·{\mathrm{Iu}}_{xx}{\mathrm{Iu}}_x{\mathrm{Iu}}_y+{\mathrm{Iu}}_{yy}\·{\mathrm{Iu}}_y^2---\left(3\right)$

计算：

$\▿Iu=\sqrt{{\mathrm{Iu}}_x^2+{\mathrm{Iu}}_y^2}---\left(4\right)$

其中，Iu_x和Iu_y是图像在水平和垂直方向的一阶导数。实验结果表明，当迭代总次数为50，迭代步长为0.1的时候能取得较好的锐化效果。

接下来，进行基于灰度强度和灰度分布的像素点相似性度量。像素点的相似性通过图像块的相似性来定义，这样更加精确也更具鲁棒性。假设当前像素点为y(i,j)，其周边N×N的像素点组成的图像块为N(i,j)。假设图像中另一像素点为y(m,n)，其周边N×N的像素点组成的图像块为N(m,n)。像素点y(i,j)和y(m,n)之间的相似性通过相应图像块的灰度强度和灰度分布的相似性来估计。因为结构图像主要以平滑区域和边缘区域为主，因此，加入灰度强度分布这一项，能更加准确的估计两个图像块之间的相似性。两个图像块之间的灰度强度差异通过公式(5)定义：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(5\right)$

其中，是第二范式操作符。对于图像块的灰度分布，使用感知哈希的方法进行度量。假设二进制图像块H(i,j)和H(m,n)分别为图像块N(i,j)和N(m,n)的哈希值。对于图像块N(i,j)，首先计算它的灰度平均值。然后对于N(i,j)中的每个像素点，如果其灰度值大于平局灰度值则在H(i,j)相应位置赋值为1，否则赋值为0。同理计算图像块N(m,n)的哈希值。两个图像块之间的灰度分布差异通过公式(6)定义：

$h(m,n)=\left|\right|H(i,j)-H(m,n)|{|}_1^1---\left(6\right)$

其中，是第一范式操作符。根据公式(5)和公式(6)定义的两类相似性，给像素点y(m,n)赋予一个权值，用来度量相似度，如公式(7)所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\σ}1}}{e}^{-\frac{h(m,n)}{\mathrm{\σ}2}}---\left(7\right)$

其中，Z(i,j)是归一化常量，代表所有权值的总和，参数σ1和σ2控制指数方程的衰减速度。图像块之间的差异越大，赋予相应像素点的权值越小，反之，则权值越大。在此，将窗口块大小N×N设置为7×7，σ1大小取7×7图像块的方差，σ2取0.1。

接下来，对插值结果进行修正，以上锐化操作在保持边缘锐度的同时也会引入一些锯齿，所以在这一步骤中对插值的结果进行修正。对于每个像素点，使用周边21×21窗口内像素点进行加权平均来得到修正后的灰度值。权值使用步骤3中像素点之间的相似性进行估计。修正前和修正后结果对比图如图5所示。

接下来，进行基于强度保持的脉冲锐化滤波。以上步骤主要是对结构图像进行重建。在此步骤中，对纹理图像进行重建。分解之后的图像分为结构图像和纹理图像。其中结构图像在边缘部分接近于阶跃式的矩形信号，因此，采用冲击滤波可以很好的对该类型的信号进行增强，保持边缘阶跃特性，同时又让边缘两侧更加的平滑。而纹理图像，在当前区域，更接近于孤立的脉冲信号，因此，不太适合用冲击滤波进行处理。因此，如图3所示，在步骤S22中，采用基于强度保持的脉冲锐化滤波。首先，将低分辨率的纹理图像通过线性的双三次插值放大到指定的高分辨率图像大小，然后对于每个高分辨率下的纹理图像像素点，搜索其周边11×11窗口内的像素点的灰度强度最大值，假设为G_max。像素点灰度值按如下方式更新：

y＝E×|G_max|^1-N×|x|^N×sign(x) (8)

其中，x是当前像素值，E是增强因子，为了和低分辨率图像在结构和亮度上保持一致，增强因子E通过如下方式计算。降当前高分辨率像素位置按放大所用的比例映射到低分辨率图像像素位置上，然后在低分辨率图像像素位置周边5×5的窗口内搜索灰度强度最大值，得到G_max1，然后取E＝max(G_max1/G_max,1)。图6表示重建前后的低分辨率图像和高分辨率图像。

本发明的超分辨率图像重建系统，包括：图像分解模块，其中通过图像分解，将输入图像分解成结构部分和纹理部分，其中结构部分相对平滑，并且具有锐利的边缘，而纹理部分包含图像的纹理和细节；图像放大模块，其中对所述结构部分和所述纹理部分分别进行放大；以及图像组合模块，其中将放大后的结构图像和纹理图像组合，生成最终的超分辨率图像。

本发明的一种基于总变差分和非线性锐化滤波的超分辨率重建方法及其系统中，将图像分解成结构图像和纹理图像，并且根据这两种图像的特点分别按不同的方法进行重建。其中，对于结构图像的重建，先使用简单的双三次线性插值技术，放大到和目标大小一致，然后采用一个非线性冲击滤波器，迭代的对图像进行锐化，之后，用改进的非局部均值滤波器作为后处理，使最终放大之后的结构图像既能有锐利的边缘，也能抑制锯齿效应的产生。对于纹理结构的重建，利用非线性脉冲锐化滤波进行增强处理。本方法可以同时对图像的边缘和纹理进行很好的重建，为后续的应用奠定了基础，同时，只有较低的运算量，可以满足实时性的要求。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。