一种图像超分辨率重构方法及系统与流程
本发明涉及图像处理领域，特别是涉及一种图像超分辨率重构方法及系统。
背景技术：
图像分辨率是衡量遥感图像质量的一个非常重要的因素。目前，获取高分辨率图像的方法有两类，一是通过直接增加光学成像系统的焦距来获取高分辨率图像，但是该类方法由于光学成像孔径大小的限制，获取的图像的分辨率有限，不能满足人们在实际应用中对遥感图像高质量的要求；二是通过多次测量，并融合不同维度的数据，得到低分辨率图像，然后通过设计超分辨重构算法来获得高分辨率图像，其中常用的超分辨重构算法有：图像域或者小波域插值方法、凸集投影迭代法、landweber迭代及其加速算法、最大后验概率方法等，该类方法虽然能在一定程度上提高图像的分辨率，但是其计算量大、计算复杂度高。
技术实现要素：
基于此，有必要提供一种能减少计算代价且能大幅度提高图像分辨率的图像超分辨率重构方法及系统。
为实现上述目的，本发明提供了如下方案：
一种图像超分辨率重构方法，包括：利用斜采样模式获取多幅图像，所述多幅图像为在不同方向上获取的图像；根据所述多幅图像建立带有线性约束的全变差优化模型，所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束；根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数；引入预处理算子，利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数，所述预处理算子为线性有界半正定算子；对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算，得到重构后的图像，所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率。
可选的，所述带有线性约束的全变差优化模型为
minf(wx)，s.t.ax＝b，0≤x≤255，
式中，f(·)是保持稀疏约束的函数，
可选的，所述根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数，具体包括：
将辅助变量y＝wx和z＝x引入到所述带有线性约束的全变差优化模型中，则转化后的带有线性约束的全变差优化模型为
式中，x是重构后的图像，a为斜采样算子，b为利用斜采样模式获取的多幅图像，w为梯度算子，i表示矩阵的第i行，j表示矩阵的第j列；
依据上式建立所述增广拉格朗日函数，所述增广拉格朗日函数为
式中，λ、μ和ν分别为约束条件az＝b、wz-y＝0和z＝x对应的拉格朗日乘子；ρ1为λ乘子罚函数的罚因子，ρ2为μ乘子罚函数的罚因子，ρ3为ν乘子罚函数的罚因子。
可选的，所述迭代形式的带预处理算子的增广拉格朗日函数为
式中，k为迭代次数，zk、yk和xk分别为第k次迭代的结果，zk+1、yk+1和xk+1分别为第k+1次迭代的结果，λk、μk和νk分别为第k次迭代约束条件az＝b、wz-y＝0和z＝x对应的拉格朗日乘子，ρ1为λ乘子罚函数的罚因子，ρ2为μ乘子罚函数的罚因子，ρ3为ν乘子罚函数的罚因子，q为预处理算子，
可选的，所述对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算，得到重构后的图像，具体包括：
选取q＝ρi-ρ1a*a，ρ为任意的正数，则
zk+1＝(ρ2w*w+(ρ3+ρ)i)-1(a*(ρ1(b-azk)-λk)+w*(ρ2yk-μk)+ρ3xk-v+ρzk)
利用对偶的方法计算上述公式中的a*(b-azk)，从而解得zk+1；
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
从而解得xk+1；
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
其中m为任意的正数，从而解得yk+1；
利用停机准则自动停止迭代，得到第k次迭代的结果，xk为重构后的图像。
一种图像超分辨率重构系统，包括：图像获取模块，用于利用斜采样模式获取多幅图像，所述多幅图像为在不同方向上获取的图像；优化模型建立模块，用于根据所述多幅图像建立带有线性约束的全变差优化模型，所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束；增广拉格朗日函数建立模块，用于根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数；迭代函数构造模块，用于引入预处理算子，利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数，所述预处理算子为线性有界半正定算子；迭代运算模块，用于对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算，得到重构后的图像，所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率。
可选的，所述带有线性约束的全变差优化模型为
minf(wx)，s.t.ax＝b，0≤x≤255，
式中，f(·)是保持稀疏约束的函数，
可选的，所述增广拉格朗日函数建立模块，具体包括：
优化模型转化单元，用于将辅助变量y＝wx和z＝x引入到所述带有线性约束的全变差优化模型中，则转化后的带有线性约束的全变差优化模型为
式中，x是重构后的图像，a为斜采样算子，b为利用斜采样模式获取的多幅图像，w为梯度算子，i表示矩阵的第i行，j表示矩阵的第j列；
增广拉格朗日函数建立单元，用于依据上式建立所述增广拉格朗日函数，所述增广拉格朗日函数为
式中，λ、μ和ν分别为约束条件az＝b、wz-y＝0和z＝x对应的拉格朗日乘子；ρ1为λ乘子罚函数的罚因子，ρ2为μ乘子罚函数的罚因子，ρ3为ν乘子罚函数的罚因子。
可选的，所述迭代形式的带预处理算子的增广拉格朗日函数为
式中，k为迭代次数，zk、yk和xk分别为第k次迭代的结果，zk+1、yk+1和xk+1分别为第k+1次迭代的结果，λk、μk和νk分别为第k次迭代约束条件az＝b、wz-y＝0和z＝x对应的拉格朗日乘子，ρ1为λ乘子罚函数的罚因子，ρ2为μ乘子罚函数的罚因子，ρ3为ν乘子罚函数的罚因子，q为预处理算子，
可选的，所述迭代运算模块，具体包括：
第一求解单元，用于选取q＝ρi-ρ1a*a，ρ为任意的正数，则
zk+1＝(ρ2w*w+(ρ3+ρ)i)-1(a*(ρ1(b-azk)-λk)+w*(ρ2yk-μk)+ρ3xk-v+ρzk)
利用对偶的方法计算上述公式中的a*(b-azk)，从而解得zk+1；
第二求解单元，用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
从而解得xk+1；
第三求解单元，用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
其中m为任意的正数，从而解得yk+1；
迭代终止单元，利用停机准则中的偏差原则自动停止迭代，得到第k次迭代的结果，xk为重构后的图像。
与现有技术相比，本发明的有益效果是：
本发明提出了一种图像超分辨率重构方法，利用斜采样模式获取多幅序列图像，根据获取的多幅序列图像建立带有线性约束的全变差优化模型，根据带有线性约束的全变差优化模型建立增广拉格朗日函数，并引入预处理算子对增广拉格朗日函数进行求解，得到重构后的图像。其中利用斜采样模式获取的多幅序列图像，配准精度高且噪声较低；建立带有线性约束的全变差优化模型能够有效地保留图像的边界；引入预处理算子对增广拉格朗日函数进行求解，不仅能够有效地降低运算量，减少计算代价，并且能够大幅度地提高图像的分辨率，满足在实际应用中对遥感图像高质量的要求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例图像超分辨率重构方法的流程图；
图2为本发明实施例利用超模式斜采样在不同方向上获取的五幅靶标图像；
图3为本发明实施例重构后的靶标图像；
图4为本发明实施例利用斜采样模式获取的任意一幅靶标图像与重构后的靶标图像的对比图；
图5为本发明实施例图像超分辨率重构系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例图像超分辨率重构方法的流程图。
参见图1，实施例的图像超分辨率重构方法，包括：
步骤s1、利用斜采样模式获取多幅图像，斜采样模式多种多样，通常采用单线阵模式斜采样和超模式斜采样，本实施例利用超模式斜采样在五个不同的方向上分别获取五幅靶标图像。
图2是本发明实施例利用超模式斜采样在不同方向上获取的五幅靶标图像。
参见图2，(a)为像素为400*400的靶标图像，(b)表示的靶标图像相对于(a)在x方向上位移了0.4个像元，在y方向上位移了0.2个像元，(c)表示的靶标图像相对于(a)在x方向上位移了0.8个像元，在y方向上位移了0.4个像元，(d)表示的靶标图像相对于(a)在x方向上位移了1.2个像元，在y方向上位移了0.6个像元，(e)表示的靶标图像相对于(a)在x方向上位移了1.6个像元，在y方向上位移了0.8个像元。
利用超模式斜采样在五个不同的方向上分别获取的五幅靶标图像(a)、(b)、(c)、(d)、(e)之间的几何关系是已知的，在不考虑采样模式本身的误差的情况下，图像(a)、(b)、(c)、(d)、(e)可以当作是经过了高精度配准的低分辨率图像，并且它们的噪声水平也比较低。
步骤s2、根据所述多幅图像建立带有线性约束的全变差优化模型，所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束，本实施例中，利用五幅靶标图像(a)、(b)、(c)、(d)、(e)建立带有线性约束的全变差优化模型，得到的带有线性约束的全变差优化模型具体为
minf(wx)，s.t.ax＝b，0≤x≤255，
式中，f(·)是保持稀疏约束的函数，
步骤s3、根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数，具体包括：
由于算子a没有具体的表达式，导致矩阵求逆的计算量太大，为了简化求解过程，将辅助变量y＝wx和z＝x引入到所述带有线性约束的全变差优化模型中，则转化后的带有线性约束的全变差优化模型为
式中，x是重构后的图像，a为斜采样算子，b为利用斜采样模式获取的多幅图像，w为梯度算子，i表示矩阵的第i行，j表示矩阵的第j列；
为了避免求解过程中存在的不等式约束条件，依据上式建立所述增广拉格朗日函数，所述增广拉格朗日函数为
式中，λ、μ和ν分别为约束条件az＝b、wz-y＝0和z＝x对应的拉格朗日乘子；ρ1为λ乘子罚函数的罚因子，ρ2为μ乘子罚函数的罚因子，ρ3为ν乘子罚函数的罚因子。
步骤s4、为了减少运算量，引入预处理算子，利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数，所述预处理算子为线性有界半正定算子，所述迭代形式的带预处理算子的增广拉格朗日函数为
式中，k为迭代次数，zk、yk和xk分别为第k次迭代的结果，zk+1、yk+1和xk+1分别为第k+1次迭代的结果，λk、μk和νk分别为第k次迭代约束条件az＝b、wz-y＝0和z＝x对应的拉格朗日乘子，ρ1为λ乘子罚函数的罚因子，ρ2为μ乘子罚函数的罚因子，ρ3为ν乘子罚函数的罚因子，q为预处理算子，
步骤s5、对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算，得到重构后的图像，所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率，具体包括：
由迭代形式的带预处理算子的增广拉格朗日函数可以得到z-子问题的求解等价于
zk+1＝(ρ1a*a+ρ2w*w+ρ3i+q)-1(a*(ρ1b-λk)+w*(ρ2yk-μk)+ρ3xk-v+qzk)
在实际计算中通过选取合适的预处理算子q可以有效的减少运算量，如选取q＝ρi-ρ1a*a，其中ρ为任意的正数，使得整个预处理矩阵是半正定的，则可以将z-子问题的求解简化为
zk+1＝(ρ2w*w+(ρ3+ρ)i)-1(a*(ρ1(b-azk)-λk)+w*(ρ2yk-μk)+ρ3xk-v+ρzk)由于无法直接获得斜采样算子a的表达式，因此计算azk，对于azk的任意一点azk(i,j)，i表示矩阵的第i行，j表示矩阵的第j列，由于斜采样的几何位置是已知，azk(i,j)在重构的网格中的位置也就是已知的，选取azk(i,j)重构网格中周围的四个网格点，对其进行插值计算，得到azk(i,j)的像素值，再利用对偶的方法计算a*(b-azk)，带入上式，从而解得zk+1，其中对偶算子的定义为
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
利用停机准则自动停止迭代，得到第k次迭代的结果，xk为重构后的图像，图3为本发明实施例重构后的靶标图像，图4为本发明实施例利用斜采样模式获取的任意一幅靶标图像与重构后的靶标图像局部放大后的对比图，由图3和图4可知，重构后的靶标图像有效地保留了图像的边界，大幅度地提高了靶标图像的分辨率，能够满足在实际应用中对遥感图像高质量的要求。
本实施例中，停机准则具体为经典的偏差原则。
图5为本发明实施例图像超分辨率重构系统的结构示意图。
参见图5，实施例的图像超分辨率重构系统100，包括：
图像获取模块10，用于利用斜采样模式获取多幅图像，所述多幅图像为在不同方向上获取的图像，斜采样模式多种多样，通常采用单线阵模式斜采样和超模式斜采样，本实施例利用超模式斜采样在五个不同的方向上分别获取五幅靶标图像。
优化模型建立模块20，用于根据所述多幅图像建立带有线性约束的全变差优化模型，所述带有线性约束的全变差优化模型使得所述多幅图像在变换域下保持稀疏约束，本实施例中，利用五幅靶标图像建立带有线性约束的全变差优化模型，得到的带有线性约束的全变差优化模型具体为
minf(wx)，s.t.ax＝b，0≤x≤255，
式中，f(·)是保持稀疏约束的函数，
增广拉格朗日函数建立模块30，用于根据所述带有线性约束的全变差优化模型建立增广拉格朗日函数，所述增广拉格朗日函数建立模块30，具体包括：
优化模型转化单元，用于将辅助变量y＝wx和z＝x引入到所述带有线性约束的全变差优化模型中，则转化后的带有线性约束的全变差优化模型为
式中，x是重构后的图像，a为斜采样算子，b为利用斜采样模式获取的多幅图像，w为梯度算子，i表示矩阵的第i行，j表示矩阵的第j列；
增广拉格朗日函数建立单元，用于依据上式建立所述增广拉格朗日函数，所述增广拉格朗日函数为
式中，λ、μ和ν分别为约束条件az＝b、wz-y＝0和z＝x对应的拉格朗日乘子；ρ1为λ乘子罚函数的罚因子，ρ2为μ乘子罚函数的罚因子，ρ3为ν乘子罚函数的罚因子。
迭代函数构造模块40，用于引入预处理算子，利用交替方向乘子法构造迭代形式的带预处理算子的增广拉格朗日函数，所述预处理算子为线性有界半正定算子，所述迭代形式的带预处理算子的增广拉格朗日函数具体为
式中，k为迭代次数，zk、yk和xk分别为第k次迭代的结果，zk+1、yk+1和xk+1分别为第k+1次迭代的结果，λk、μk和νk分别为第k次迭代约束条件az＝b、wz-y＝0和z＝x对应的拉格朗日乘子，ρ1为λ乘子罚函数的罚因子，ρ2为μ乘子罚函数的罚因子，ρ3为ν乘子罚函数的罚因子，q为预处理算子，
迭代运算模块50，用于对所述迭代形式的带预处理算子的增广拉格朗日函数进行迭代运算，得到重构后的图像，所述重构后的图像的分辨率大于利用斜采样模式获取的多幅图像中任意一幅图像的分辨率，所述迭代运算模块50，具体包括：
第一求解单元，用于选取q＝ρi-ρ1a*a，ρ为任意的正数，则
zk+1＝(ρ2w*w+(ρ3+ρ)i)-1(a*(ρ1(b-azk)-λk)+w*(ρ2yk-μk)+ρ3xk-v+ρzk)
利用对偶的方法计算上述公式中的a*(b-azk)，从而解得zk+1；
第二求解单元，用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
从而解得xk+1；
第三求解单元，用于依据所述迭代形式的带预处理算子的增广拉格朗日函数计算得到
其中m为任意的正数，从而解得yk+1；
迭代终止单元，利用停机准则中的偏差原则自动停止迭代，得到第k次迭代的结果，xk为重构后的图像，重构后的靶标图像有效地保留了图像的边界，大幅度地提高了靶标图像的分辨率，能够满足在实际应用中对遥感图像高质量的要求。
本实施例中，停机准则具体为经典的偏差原则。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！