基于学习和自适应三边滤波正则化的超分辨率重建方法与流程

本发明涉及基于学习和自适应三边滤波正则化的超分辨率重建方法，基于学习先验和自适应三边滤波正则化的图像超分辨率重建方法以求重构出逼近原始纯净信号的图像信号，具体应用于飞机蒙皮表面状态下多视角图像超分辨滤重建。

背景技术：

图像去噪是数字图像处理的一项基本工作。这项工作的中心任务是在去除图像中噪声的同时保证图像不被过渡平滑。由于噪声和边缘结构均属于图像中的高频成分，噪声去除与图像中的边缘结构和纹理等细节信息的保持是一对矛盾。因此，在设计去噪滤波器时必须综合考虑各方面的因素，不能顾此失彼。基于这样的思想，1998年，tomasi和manduchi设计出非线性滤波器用于图像噪声的去除，这种滤波器被称为双边滤波器(bilateralfilter)。与传统的去噪处理不同的是，双边滤波器在图像的局部区域内同时考虑邻域中心像素与邻域内其他像素的距离相关性和灰度相似性以确定中心像素的值，并借助空域滤波去除噪声和值域滤波保持图像边缘的双重异性加权处理思想实现了具备边缘保持的图像平滑去噪。双边滤波与全变分相结合生成的双边全变分模型在超分辨率重建过程中能够抑制图像中的噪声，对于图像中边缘的保持效果较好。但是，它主要适用于阶跃边缘的保持。在灰度跳变的边缘区域，这类正则模型能起到较好的边缘保持作用。但在实际成像过程中，由于受模糊、噪声和下采样等降质因素的影响，获取的低分辨率观测图像会存在一定程度的频谱混叠，同时，很多边缘结构会产生不同程度的退化，呈现出灰度逐渐变化的陡坡特征而非阶跃特征。由于双边全变分模型只检测图像的一阶梯度，对于陡坡边缘并不能很好地反映，当应用于这类图像的重建时，其重建图像的质量会受到一定程度的影响。choudhury和tumblin在双边滤波的基础上提出三边滤波(trilateralfilter,tf)方法用于图像噪声去除和非阶跃型边缘的保持。该方法将滤波操作由双边滤波的一阶微分运算改为二阶微分运算，有利于重建图像中存在的非阶跃边缘的保持。三边滤波除了包含双边滤波的空间位置和亮度信息外，又引入了图像的梯度信息，在滤波过程中以局部梯度方向为参考，同时在确定滤波方向和像素值更新时均采用双边滤波机制。它能够更好地保持屋顶和陡坡型边缘，对图像中的纹理等细节信息也有较好地保持作用。三边滤波方法提出后得到广泛的关注。2009年，宋锐等将三边滤波方法应用到超分辨率重建中，使得重建图像中存在的陡坡和屋顶边缘得到更好的保持。但是，该方法在应用过程中并未考虑正则参数的选择问题，其设置需要通过人为多次实验调整来完成，不能根据输入低分辨率序列图像的状况自适应的进行调整，效率不高且缺乏鲁棒性。同时，该方法也未考虑不准确的运动估计对重建结果的影响问题。由于通常应用的配准方法在序列图像的配准处理中很难做到完全准确，而不准确的远动估计会产生配准误差，并与重建过程中产生的误差相叠加，使重建结果产生一定程度的伪像，从而严重影响重建效果。而在许多实际应用中，即便获得同场景的图像序列，但由于不同图像间的重合部分少(如航空和卫星影像等)，无法满足图与图之间存在微小差异的前提要求，故在这种情况下序列图像超分辨率算法也不具有可行性。

技术实现要素：

有鉴于此，本发明的主要目的在于提供应用于航空和卫星影像这类图像的超分辨率重建技术。同时以提高重建图像中边缘和纹理结构的保持能力为目的，本节提出结合学习先验和自适应三边滤波正则化的重建方法。该方法基于map则化框架，首先生成高分辨率迭代初始图像，然后借鉴gcv的思想，根据低分辨率观测图像序列自适应地计算最优正则化参数，并结合三边滤波方法进行超分辨率重建。此外，考虑到在超分辨率重建应用中，实际使用的配准方法并不能完全精确地获取帧间配准参数的问题，为消减配准误差的影响，采用交替估计、循环迭代的方式来估计重建结果，从而在提高重建图像阶跃边缘和非阶跃边缘保持能力的同时提高算法的鲁棒性和自适应能力。

本发明提出了基于学习和自适应三边滤波正则化的超分辨率重建方法，其特征在于，包括如下步骤：

1)获取高低分辨率图像块对的集合tri＝{f^h,g^l}，其中f^h＝{f1,f2,lfi}是高分辨率图像块集合，g^l＝{g1,g2,lgi}是f^h对应的低分辨率图像块的集合，fi为第i块高分辨率图像块，gi为第i块第分辨率图像块，i为自然数；

2)利用高分辨率图像块和低分辨率图像块计算相应的学习字典d^h和d^l并且使它们具备相同的稀疏表示；

3)在低分辨率图像块的基础上，通过非均匀插值方法获取高分辨率初始插值图像r，并将高分辨率初始插值图像r分成r1,r2lri，使块与块间保留一定的像素重叠，其中ri表示第i个高分辨率初始插值图像块，i为自然数；

4)基于所述的学习字典d^l并采用公式(1)来计算稀疏表示系数α，然后基于所述的学习字典d^h并利用公式(2)计算高频先验图像块hi，将所有的高频先验图像块hi在高分辨率hr网格上进行重组，对重叠区域进行平均处理，得到高频先验图像h

hi＝d^hα(2)

其中参数β用于控制低分辨率图像块和与邻接图像块匹配的高频先验图像块估计值之间的权重，q为梯度算子，λ为正则化系数，u用于提取当前计算的高频先验图像块与前述已计算的高频先验图像块的重叠区域，y表示已计算的高频先验图像块在当前重叠区域的值；

5)将高配先验图像h下采样到尺寸与高分辨率初始插值图像相同并获得下采样后的高配先验图像，最后将所述下采样后的高配先验图像和高分辨率初始插值图像r叠加生成高分辨率迭代初始图像；

6)借助广义交叉验证gcv方法计算正则化参数λ；

7)结合三边滤波方法，并采用循环迭代的方式来计算重建图像。

优选地，所述步骤2具体过程为：通过求解公式(3)来获取具备相同的稀疏表示的学习字典d^h和d^l

其中α表示样本x在d下的稀疏表示系数，χ是正则化系数，n和m分别表示高、低分辨率图像块向量形式的维数，1/n和1/m用于平衡高、低分辨率图像块不同尺寸对整个表示框架的影响。

优选地，所述梯度算子q具体形式如下：

q1＝[-1,0,1],q2＝q1^t

q3＝[1,0,-2,0,1],q4＝q3^t

其中q1，q2，q3和q4分别表示一阶梯度算子、二阶梯度算子、三阶梯度算子和四阶梯度算子。

所述步骤6中借助广义交叉验证gcv方法计算正则化参数λ的具体过程可以表示为如下的最优化问题：

其中，tr(·)为矩阵的迹，i为单位阵，mk为由于运动引起的变形矩阵的准确值，bk为由点扩散函数引起的模糊矩阵的准确值，gk为第k块低分辨率图像块。

优选地，所述步骤7的具体过程为：三边滤波使用倾斜的滤波窗口，其实现步骤主要分为两步：a)滤波方向确定，三边滤波器改变了双边滤波器的滤波方向，使其沿梯度方法以角度θ进行倾斜,倾斜向量的计算公式为：

其中，τ为以像素x为中心的邻域，s是距离度量函数，p是灰度相似性度量函数，为x的图像梯度；b)像素值更新，使用倾斜的滤波窗口，对每一个像素x，根据倾斜角度gθ(x)，计算其邻域内每一个像素τ的估计值：

l(x,τ)＝fin(x)+gθ(x)·τ(6)

则τ范围内每个位置的增更新值为：

f△(x,τ)＝fin(x+τ)-l(x,τ)(7)

则像素x经过三边滤波的结果为：

其中，hθ(x,τ)是一个二值函数，hθ(x,τ)作用是对邻域内的像素进行检测，若像素τ与像素x的梯度差异过大，则在对x滤波时忽略τ，其表示如下：

这里r＝0.15(||max(gθ(x))-min(gθ(x))||)；最后设定参数β和最大迭代次数t，令初始迭代次数t＝0，结合学习先验和自适应三边滤波正则化的超分辨率重建如下所示：

其中τ为以像素x为中心的邻域，d为降采用矩阵，mk为变形矩阵的准确值，bk为模糊矩阵的准确值，gk为第k块低分辨率图像块，λ为正则参数,f^t为第t次迭代获得的高分辨率重建图像；若t<t，则利用公式(5)重新估计序列中每帧图像相对于f^t的配准参数；否则，输出高分辨率重建图像的估计结果f^t，t为迭代次数，0≤t≤t。

优选地，递推公式(5)的获取过程为：首先结合学习先验和自适应三边滤波正则化方法的超分辨率重建可以归结为如下的约束最小二乘问题：

其中，jtf(f)表示为：

然后根据变分理论，基于公式(11)和(12)，构造euler-lagrange方程如下：

其中τ为以像素x为中心的邻域，mk为变形矩阵的准确值，bk为模糊矩阵的值，s是距离度量函数，p是灰度相似性度量函数，fin表示图像当前值，fout表示处理结果，p为低分辨率图像块的块数，将公式(13)整理之后，并利用最速下降法推导递推公式(5)。

采用了该发明中的超分辨率重建方法，利用获得的高质量的高分辨率迭代初始图像，结合学习先验和自适应三边滤波正则化重建方法，此外在重建过程中为消减配准误差，采用了交替估计、循环迭代的方式提高算法的鲁棒性和自适应能力，使得重构的hr图像更加地清晰。

附图说明

图1为本发明的整体流程示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

如图1所示，本发明的基于学习和自适应三边滤波正则化的超分辨率重建方法，具体包括如下步骤：

1)获取高低分辨率图像块对的集合tri＝{f^h,g^l}，其中f^h＝{f1,f2,lfi}是高分辨率图像块集合，g^l＝{g1,g2,lgi}是f^h对应的低分辨率图像块的集合，fi为第i块高分辨率图像块，gi为第i块第分辨率图像块，i为自然数；

2)利用高分辨率图像块和低分辨率图像块计算相应的学习字典d^h和d^l并且使它们具备相同的稀疏表示；

3)在低分辨率图像块的基础上，通过非均匀插值方法获取高分辨率初始插值图像r，并将高分辨率初始插值图像r分成r1,r2lri，使块与块间保留一定的像素重叠，其中ri表示第i个高分辨率初始插值图像块，i为自然数；

4)基于所述的学习字典d^l并采用公式(1)来计算稀疏表示系数α，然后基于所述的学习字典d^h并利用公式(2)计算高频先验图像块hi，将所有的高频先验图像块hi在高分辨率hr网格上进行重组，对重叠区域进行平均处理，得到高频先验图像h

hi＝d^hα(2)

其中参数β用于控制低分辨率图像块和与邻接图像块匹配的高频先验图像块估计值之间的权重，q为梯度算子，λ为正则化系数，u用于提取当前计算的高频先验图像块与前述已计算的高频先验图像块的重叠区域，y表示已计算的高频先验图像块在当前重叠区域的值；

5)将高配先验图像h下采样到尺寸与高分辨率初始插值图像相同并获得下采样后的高配先验图像，最后将所述下采样后的高配先验图像和高分辨率初始插值图像r叠加生成高分辨率迭代初始图像；

6)借助广义交叉验证gcv方法计算正则化参数λ；

7)基于所述生成高分辨率迭代初始图像，结合三边滤波方法，并采用循环迭代的方式来计算重建图像。

优选地，所述步骤2具体过程为：通过求解公式(3)来获取具备相同的稀疏表示的学习字典d^h和d^l

其中α表示样本x在d下的稀疏表示系数，χ是正则化系数，n和m分别表示高、低分辨率图像块向量形式的维数，1/n和1/m用于平衡高、低分辨率图像块不同尺寸对整个表示框架的影响。

优选地，所述梯度算子q具体形式如下：

q1＝[-1,0,1],q2＝q1^t

q3＝[1,0,-2,0,1],q4＝q3^t

其中q1，q2，q3和q4分别表示一阶梯度算子、二阶梯度算子、三阶梯度算子和四阶梯度算子。

优选地，所述步骤7的具体过程为：三边滤波使用倾斜的滤波窗口，其实现步骤主要分为两步：a)滤波方向确定，三边滤波器改变了双边滤波器的滤波方向，使其沿梯度方法以角度θ进行倾斜,倾斜向量的计算公式为：

其中，τ为以像素x为中心的邻域，s是距离度量函数，p是灰度相似性度量函数，为x的图像梯度；b)像素值更新，使用倾斜的滤波窗口，对每一个像素x，根据倾斜角度gθ(x)，计算其邻域内每一个像素τ的估计值：

l(x,τ)＝fin(x)+gθ(x)·τ(6)

则τ范围内每个位置的增更新值为：

f△(x,τ)＝fin(x+τ)-l(x,τ)(7)

则像素x经过三边滤波的结果为：

其中，hθ(x,τ)是一个二值函数，hθ(x,τ)作用是对邻域内的像素进行检测，若像素τ与像素x的梯度差异过大，则在对x滤波时忽略τ，其表示如下：

这里r＝0.15(||max(gθ(x))-min(gθ(x))||)；最后设定参数β和最大迭代次数t，令初始迭代次数t＝0，结合学习先验和自适应三边滤波正则化的超分辨率重建如下所示：

其中τ为以像素x为中心的邻域，d为降采用矩阵，mk为变形矩阵的准确值，bk为模糊矩阵的准确值，gk为第k块低分辨率图像块，λ为正则参数,f^t为第t次迭代获得的高分辨率重建图像，；若t<t，则利用公式(5)重新估计序列中每帧图像相对于f^t的配准参数；否则，输出高分辨率重建图像的估计结果f^t，t为迭代次数，0≤t≤t。

优选地，递推公式(5)的获取过程为：首先结合学习先验和自适应三边滤波正则化方法的超分辨率重建可以归结为如下的约束最小二乘问题：

其中，jtf(f)表示为：

然后根据变分理论，基于公式(12)和(13)，构造euler-lagrange方程如下：

其中f为数字图像的向量表示，τ为以像素x为中心的邻域，mk为变形矩阵的准确值，bk为模糊矩阵的值，s是距离度量函数，p是灰度相似性度量函数，fin表示图像当前值，fout表示处理结果，p为低分辨率图像块的块数，将公式(13)整理之后，并利用最速下降法推导递推公式(5)。

通过以上实施例方式的描述，本领域的技术人员可以清楚地了解，各实施例方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案的实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读写介质中，如u盘、移动硬盘、rom、ram、磁碟或者光盘等。包括若干指令，用以使得一台计算机设备(如个人计算机，服务器或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式。