基于各向异性的快速超分辨率重建方法与流程

本发明属于光学图像重建技术领域，特别是一种基于各向异性的快速超分辨率重建方法。

背景技术：

图像超分辨率重建技术就是利用一组低质量、低分辨率图像或运动序列来产生单幅高质量、高分辨率图像的技术。单位尺度上的像素密度高的图像称为高分辨率图像，高分辨率图像表达的图像细节更多，信息更丰富。分辨率是表征图像观测水平的重要技术指标，受探测器阵列数目以及探测器结构限制，成像系统的空间采样频率的空间采样频率往往无法满足采样定理，从而容易产生混频现象，导致图像模糊。

提高图像空间分辨率的途径通常有两种。一种是改进成像器件的物理特性，如降低像元尺寸、增大芯片面积等。但这一方法有内在缺陷，芯片面积增大会引起电荷转移速率下降，降低像元尺寸会使单位像元受光量减少、成像单元受散粒噪声的影响加大，进而导致成像图像的质量急剧下降。另一种是改进光学镜头的焦距和孔径。

20世纪60年代由Harris和Goodman首次提出了单幅图像复原的超分辨率重建技术。20世纪80年代初，Tsai和Huang首次提出了基于序列图像的超分辨率重建技术。图像超分辨率重建，是采用信号处理技术和计算机软件的方法，通过由一帧或含有互补信息的多帧同一场景低分辨率图像，重建高分辨率图像的技术。超分辨率重建算法分为频域算法和空域算法两类。频域算法是基于傅里叶变换的平移特性，连续傅里叶变换和离散傅里叶变换之间的变换关系实现超分辨率复原的算法。理论简单，计算量小，但缺点是只适用于全局平移运动和退化模型。空域算法包括非均匀插值法，反向投影迭代法，凸集投影法，最大后验概率法。插值法可以将单幅低分辨率图像插值成一幅密度较高的合成图像，但无法提供额外信息，丢失高频分量无法恢复，在内插过程中无法避免内插误差；凸集投影法退化模型具有一般性，先验知识融入较为方便，但解不唯一，算法严重依赖于初始值的选取，迭代次数较多；最大后验概率法优点在于有唯一解，但收敛速度慢，运算量过大，并且图像细节容易被平滑。

基于正则化项的超分辨率重建算法，依据低分辨率图像的退化模型和图像模型对应的正则化项构造正则化能量泛函，通过最小化能量泛函得到高分辨率图像，不需要对图像噪声进行统计假设，但会抑制图像细节，使得图像过于平滑。Farsiu等人提出了基于基于双边总变分正则化的快速超分辨率图像重建方法(Farsiu,Robinson,Elad,et a1.Fast and robust multiframe super-resolution[J].IEEE Transactionson on Image Processing,2004,13(10):1327—1344)，提升了图像重建速度，但当存在强噪声的情况下容易造成阶梯效应，无法保护好图像的纹理效应。Soohwan等人提出了一种通过局部自适应多元线性回归函数(Soohwan,Wonseok,Seungyong,et al.Single image superresolution using locally adaptive multiple linear regression[J].Journal of the Optical Society of America A,2015,32(12),2264-2275),这种函数可以克服数字图像空间分辨率的局限性，从而达到提高图像分辨率的算法；Kanaev等人提出的复杂运动下的超分辨率重建算法则考虑了目标物体运动的不确定性(Kanaev,Miller.Multi-frame super-resolution algorithm for complex motion patterns[J].OPTICS EXPRESS,2013,21(17)19850-19866)。这些算法在提高图像重建质量方面各有优点，但均没有有效的提升图像的重建速率，在信息的获取上仍然显得有些滞后。

技术实现要素：

本发明的目的在于提供一种基于各向异性正则化项的快速超分辨率重建方法，从而降低重建过程中的计算量，在提高图像重建速率的基础上提高图像的重建质量。

实现本发明目的的技术解决方案为：一种基于各向异性的快速超分辨率重建方法，步骤如下：

步骤1，对采集到的所有原始图像进行运动补偿及上采样，得到一幅高分辨率图像模糊以后的图像作为参考图；

步骤2，对基于L1范数最小二乘法的重建模型进行改进，得到优化以后的重建模型；

步骤3，引入各向异性的正则化项，构造一个基于该正则化项的自适应参数，得到基于各向异性的自适应重建模型；

步骤4，将步骤1所得参考图作为迭代初始值将带入步骤3所构建的自适应重建模型开始迭代，计算每次重建图像的峰值信噪比，当迭代结果的峰值信噪比低于上一次时，停止迭代，图像重建完成。

进一步地，步骤1中所述高分辨率图像模糊以后的图像具体为：

对采集到的所有原始图像分别进行运动补偿和上采样，然后求取各幅图像对应位置像素的平均值，得到高分辨率图像模糊退化以后的图像。

进一步地，步骤2所述优化以后的重建模型为：

其中，是原始高分辨率图像X的极大似然估计，H表示模糊矩阵。

进一步地，步骤3所述引入各向异性的正则化项，构造一个基于该正则化项的自适应参数，得到基于各向异性的自适应重建模型，具体为：

(1)各向异性正则化项为：

其中Ψ(s²)＝2μ²(1+s²/μ²)^0.5是Charbonnier函数，其中μ是固定参数，v₁、v₂是图像结构张量J的两个正交向量，图像结构张量J公式如下：

其中，*代表卷积算子，t代表向量转置，G_ρ是高斯核，ρ₁、ρ₂分别是邻域平滑尺度和图像平滑尺度；

(2)自适应正则化参数β为：

其中σ取0.0000001；

(3)最终的基于各向异性的快速超分辨率重建模型为：

其中，表示第n次迭代结果值，λ表示梯度下降步长，Ψ'表示对Ψ求导。

进一步地，步骤4所述将步骤1所得参考图作为迭代初始值将带入步骤3所构建的自适应重建模型开始迭代，计算每次重建图像的峰值信噪比，当迭代结果的峰值信噪比低于上一次时，停止迭代，图像重建完成，其中迭代条件为：

if(i＞＝2&&PSNR(i)＜PSNR(i-1))break；

其中，PSNR为峰值信噪比，X为原始高分辨率图像，为第n次迭代形成的超分辨率图像，PSNR(i)为第i次迭代图像的峰值信噪比。

本发明与现有技术相比，其显著优点为：(1)优化改进了迭代模型，去除了冗余计算，大幅降低了计算量，提高了重建速率；(2)引入了带有自适应参数的各向异性正则化项，该正则化项有效的保护了图像边缘细节，从而能够在提高图像重建速率的基础上提高图像的重建质量。

附图说明

图1为基于各向异性的快速超分辨率重建算法流程示意图。

图2为lena图通过不同算法重建结果图，其中(a)为TV正则化算法结果图，(b)为传统迭代算法+各向异性平滑项结果图，(c)本方法重建结果图。

图3为acer图通过不同算法重建结果图，其中(a)为TV正则化算法结果图，(b)为传统迭代算法+各向异性平滑项结果图，(c)为本方法重建结果图。

具体实施方式

本方法首先利用计算机编程读取所有低分辨率图像，对这些低分辨率图像进行运动补偿以及上采样，得到高分辨率图像模糊退化以后的图像作为参考图像，然后对传统的重建模型进行优化改进，去除冗余过程；引入带有自适应参数的各向异性的正则化项，得到最终的重建模型。读取待重建的低分辨率进行双三次插值得到第一幅超分辨率图像，将其带入重建模型中，迭代计算。以峰值信噪比作为标准，当某次的重建图像峰值信噪比低于上一次时，即认为图像重建完成。流程示意图如图1所示，具体实现步骤如下：

步骤1，对采集到的所有原始图像进行运动补偿及上采样，得到一幅高分辨率图像模糊以后的图像作为参考图；具体为：

利用Matlab软件读取所有的原始低分辨率图像，对采集到的所有原始图像分别进行运动补偿和上采样，然后求取各幅图像对应位置像素的平均值，得到高分辨率图像模糊退化以后的图像，作为参考图。

步骤2，对基于L1范数最小二乘法的重建模型进行改进，得到优化以后的重建模型，如下：

其中，是原始高分辨率图像X的极大似然估计，H表示模糊矩阵。

步骤3，引入各向异性的正则化项，构造一个基于该正则化项的自适应参数，得到基于各向异性的自适应重建模型，具体为：

(1)引入各向异性的正则化项，设计一个基于该正则化项的自适应参数，得到基于各向异性的自适应快速超分辨率重建模型。其中，各向异性正则化项为：

其中Ψ(s²)＝2μ²(1+s²/μ²)^0.5是Charbonnier函数，其中μ是固定参数，v₁、v₂是图像结构张量J的两个正交向量，图像结构张量J公式如下：

其中，*代表卷积算子，t代表向量转置，G_ρ是高斯核，ρ₁、ρ₂分别是邻域平滑尺度和图像平滑尺度；

(2)自适应正则化参数β为：

其中，σ是非常小的参数，避免分母为0，这里σ取0.0000001。

(3)利用最快下降法，最终的基于各向异性的快速超分辨率重建模型为：

其中，表示第n次迭代结果值，λ表示梯度下降步长，Ψ'表示对Ψ求导。

步骤4，将步骤1所得参考图作为迭代初始值将带入步骤3所构建的自适应重建模型开始迭代，计算每次重建图像的峰值信噪比，当迭代结果的峰值信噪比低于上一次时，停止迭代，图像重建完成。其中迭代条件为：

if(i＞＝2&&PSNR(i)＜PSNR(i-1))break；

其中，PSNR为峰值信噪比，X为原始高分辨率图像，为第n次迭代形成的超分辨率图像，PSNR(i)为第i次迭代图像的峰值信噪比。

通过上述步骤可以看出，本发明主要是对重建模型中的迭代过程进行优化，去除了大量的冗余过程，同时引入了带有自适应参数的各向异性的正则化项，该正则化项可以在数据约束方向降低平滑度，而不是在图像边缘方向，填充图像来实现图像的正交化，这使得图像数据的两个正交项上具有最佳的互补性，最终能够在保证提高图像重建速率的基础上也提高了图像的重建质量。

实施例1

为了测试基于各向异性的快速超分辨率重建方法的有效性，本发明在测试中分别使用512*512和640*480的灰度图像作为测试图像，实验平台是Intel Core i5-2430M@3.0GHz,采用的Matlab R2015b。图2(a)、图3(a)分别为TV正则化方法重建图像，图2(b)、图3(b)为传统迭代算法重建图像，图2(c)、图3(c)为本方法重建图像。

通过观察图2、图3来说明本方法在图像重建质量方面的优势，使用本方法重建的图像质量优于使用总变分正则化重建的图像。例如，Lena图中的帽子边缘及头发在图2的(b)、(c)中体现的较为直观，而在(a)中较为模糊；图3中字符字样也是同样的效果。而从各图像的峰值信噪比来看，图2中三幅图像对应的数值分别是23.25、25.50、26.32；图3对应的数值分别是22.5、24.60、25.35。这说明了各向异性平滑项可以在复杂运动模式下具有很好的保护边缘的能力，再加上正则化参数随迭代过程及时调整，可以获取更高质量的图像。

表1传统算法与本文算法重建结果对比

在重建图像质量方面，根据表1提供的数据，本方法重建后图像峰值信噪比要略高于传统迭代算法，迭代次数是传统迭代算法的一半左右，重建时间只是传统迭代算法的十分之一甚至更低，说明了本方法可以在耗时少的情况下获得高质量的图像。