一种高光谱图像空间分辨率增强方法与流程

本发明隶属于光电成像探测和图像处理领域，涉及一种新的高光谱偏振图像超分辨率增强方法。

背景技术

高光谱成像技术是20世纪80年代以来综合对地观测的重要组成部分，将成像技术与光谱技术结合在一起，包含丰富的空间、辐射和光谱信息，具有光谱连续、图谱合一的特性。高光谱图像由于良好的光谱特性，已经广泛应用于地质勘查、海洋监测、战场侦察等领域。另外在医学成像中，通过高光谱成像技术获得的空间分辨光谱成像提供了关于组织生理学，形态学和组成的诊断信息。遥感图像的空间分辨率是衡量高光谱遥感影像质量的一个重要指标，反映了图像上能看到的地面最小目标尺寸，决定了实际应用中对地面目标的检测识别能力。受到成像条件和成像环境影响，获取的图像空间分辨率较低，导致大量混合像素，大大降低后续的检测和识别性能，进而影响到军事和民用领域的诸多应用，因此提高高光谱图像的空间分辨率具有重要意义。为解决该问题，有研究者提出使用高分辨率传感器的简单解决方案，但是进一步降低了到达传感器光子的密度，在许多应用场合不可行。由于硬件设备的限制，采用基于软方法的图像超分辨率技术是提升图像空间分辨率的有效手段。超分辨率(superresolution，sr)问题的性质不足，已经提出多种正则化方法来解决该问题，包括基于插值的方法、基于多帧图像的方法、基于样本学习的单帧图像超分辨率方法。这些方法在灰度图像或彩色图像上取得较好的重建效果，但是直接应用于高光谱图像结果并不理想。

高光谱图像sr问题，不仅应该提高空间域信息，而且需要保持光谱信息。经典的基于凸集投影的高光谱图像sr方法，融合多个光谱带的信息提高空间分辨率，并将观测场景的频谱重建为少量频谱基函数的组合。为了估计运动参数，有学者提出基于最大后验的多帧图像sr方法，利用主成分分析减少计算负荷并重建高分辨率图像。然而，基于多帧图像的sr方法需要精确的配准过程。为了克服这个困难，近年来基于压缩感知(compressivesensing，cs)的方法得到足够重视，可以从高分辨率的训练图像中学习，得到重建的高分辨率图像的高频细节。针对高光谱图像各波段噪声强度不同，空间域和光谱域均存在噪声污染的问题，有学者提出了基于分组三维离散余弦变换字典的稀疏表示方法；为了增强高光谱图像的空间分辨率，有学者利用矩阵分解的方法将高光谱图像与全色图像融合，有提出光谱解混合与稀疏编码方法，用于高光谱图像与rgb图像融合，还有学者利用耦合光谱解混合的方法融合多光谱和高光谱遥感图像，提高高光谱图像的空间分辨率。上述方法在一定程度上提高了图像的空间分辨率，但是没有行之有效的方法引入光谱域信息提高重建效果，存在光谱信息失真问题。

与高光谱成像系统相比，低光谱分辨率成像系统场景辐射的总体量化虽然消除大部分的光谱信息，但是能够较好的保留场景图像的空间结构信息，利用该成像系统获取的高分辨率图像有助于提高高光谱图像的空间分辨率。

技术实现要素：

基于此，本发明提出了一种高光谱图像空间分辨率增强方法，包括了如下步骤：

步骤一、提取图像中不同场景的反射光谱，通过压缩感知字典学习算法得到强稀疏性、弱相干性的光谱字典φ；

步骤二、利用高光谱场景中信号的稀疏性、非负性以及空间结构自相似性，从提取的场景反射光谱解析得到高空间分辨率的低光谱图像，通过同步正交匹配追踪算法求解得到稀疏编码矩阵b；

步骤三、联合所述光谱字典φ和所述稀疏编码矩阵b得到目标图像s。

所述步骤一中的光谱字典φ通过如下公式进行计算：

其中，xh为高分辨率训练集，h表示高分辨率，将训练图像块的所有列向量连接成矩阵xh，xh＝{x1,...,xi,...xmn},^xi表示预处理后的图像块形成的列向量，mn表示训练集的数量，m，n分别表示空间维尺寸，a∈r^d×mn表示所有稀疏表示系数αi的矩阵，v0是稀疏约束参数，v1是相干性阈值，w是观测矩阵，d表示字典原子个数。

所述步骤二中的稀疏编码矩阵b通过如下公式进行计算:

其中，ε表示误差项，p表示三维原始输入信号，是p二维形式，通过连接p中的像素形成的二维矩阵形式，t∈r^l×l是变换矩阵，是字典φ变换后得到的，βpi表示矩阵bp的第i列，m，n表示空间维尺寸，l表示光谱维数，m＞＞m，n＞＞n，l＞＞l。

通过公式(2)计算稀疏编码矩阵b时，进行i次迭代运算，i＝i+1。步骤描述如下：

步骤2.1、计算每个字典原子与当前图像块近似残差的累积相关性bj，即

步骤2.2、

步骤2.3、

步骤2.4、

步骤2.5、更新残差：

步骤2.6、如果||rⁱ||f>σ||r^i-1||f，则算法停止，否则继续下一次迭代。

其中，在进行所述第i次迭代之前，还包括初始化步骤：

i＝0；

初始化解：b⁰＝0；

初始残差：

初始化引集：row-supp{b}＝{1≤t≤d,β^t≠0},表示矩阵b中非0行的基数，β^t是矩阵b的第t行。

通过上述方法得出目标图像s＝φb。

本发明的有益技术效果：

1.更好地提高了边缘的锐度并且恢复了更多的图像细节信息，例如目标图像上方参照物的边缘信息；

2.更好地重建了目标图像的轮廓边缘及细节信息，提高了目标图像边缘锐度以及目标图像周围的细节；

3.具有更好的超分辨率重建效果。

附图说明

图1为“大学校园”图像不同sr方法重建效果图

图1(a)为高分辨率参考图像

图1(b)为双三次插值方法的重建图像

图1(c)为mf方法的重建图像

图1(d)为本发明方法的重建图像

图2为“卡车”缩比模型不同sr方法重建效果

图2(a)为高分辨率参考图像

图2(b)为双三次插值方法的重建图像

图2(c)为mf方法的重建图像

图2(d)为本发明方法的重建图像

图3为不同sr方法重建图像的光谱比较

图3(a)为“大学校园”图像

图3(b)为“卡车”缩比模型图像

图4apsnr、assim和sam与图像块尺寸之间的关系

图5不同方法在不同分辨率提升倍率下重建图像的apsnr、assim和sam指标

图6为本发明的高光谱图像空间分辨率增强方法流程图

具体实施方式

下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。

如图6所示，在本发明中，提出了一种高光谱图像空间分辨率增强方法，该方法包括了如下步骤：

步骤一、提取图像中不同场景的反射光谱，通过压缩感知字典学习算法得到强稀疏性、弱相干性的光谱字典φ；

高光谱图像超分辨率的目标是从已经获得的低分辨率高光谱图像yh和相应的高分辨率图像y中恢复得到高分辨率的高光谱图像s，其中yh∈r^m×n×l，y∈r^m×n×l，s∈r^m×n×l，m、m、n和n表示空间维尺寸，l和l表示光谱维数。由于m＞＞m,n＞＞n,l＞＞l，使得该问题不适定，考虑将yh和y分别作为目标图像s的线性映射如下：

yh∈ψh(s),y∈ψ(s)

其中ψh表示r^m×n×l→r^m×n×l，ψ表示r^m×n×l→r^m×n×l。

由高光谱图像的稀疏性先验信息可知，高光谱图像场景中通常只包含少数不同的材料，并且与整个图像相比，每个像素中通常只包含非常少的不同光谱。因此yh中的像素yh可以通过线性组合光谱字典φ的原子进行表示，其中yh∈r^l，可用如下矩阵形式表示yh：

yh≈φα

上式中，φ∈r^l×d表示图像场景中不同材料的反射向量，α∈r^d是系数向量。当像素yh表示的场景也包括y的像素y对应区域时，其中y∈r^l，则可以近似表示y为：

y≈(tφ)β(3)

式(3)中，t∈r^l×l是一个变换矩阵，β∈r^d是系数向量，其中t是将高光谱成像系统的光谱量化与高分辨率的低光谱成像系统相关联的矩阵，使用矩阵之间的联系性可得：

y≈(tφ)β≈ts(4)

其中s∈r^l，s表示高分辨率目标图像s中的像素。式(4)表明，如果字典φ已知，则可以通过适当的稀疏编码矩阵联合估计高分辨率的高光谱图像s。

在本发明中，将φ称为字典，t∈r^l×l为变换矩阵，为变换后的字典。字典φ的每一列被称为字典原子，系数矩阵(例如b)被称为稀疏编码矩阵。

字典的选择在稀疏表示领域起着非常重要的作用。基于压缩感知理论的稀疏性和不相干性，将通过压缩感知的字典学习方法得到一个强稀疏性、弱相干性的光谱字典。该字典学习方法从获取的lr图像本身学习字典，因为在局部或者非局部区域内，不同波段的lr图像中存在大量相似的图像块；而且相关研究结果表明，使用预处理后的低分辨率图像作为训练样本，学习的字典比使用高分辨率图像训练得到的字典效果更好。

基于压缩感知的字典学习方法，首先通过线性插值方法处理低分辨率高光谱图像yh，然后利用预处理后的图像块训练得到字典。另外，为了生成高分辨率训练集xh，将训练图像块的所有列向量连接成矩阵xh，xh＝{x1,...,xi,...xmn}，其中xi表示预处理后的图像块形成的列向量，mn表示训练图像块的数量。为了同时满足cs理论的约束条件，字典学习任务表示如下：

式(1)中，a∈r^d×mn表示所有稀疏表示系数αi的矩阵，v0是稀疏约束参数，v1是相干性阈值，w是观测矩阵，d表示字典原子个数，d可以取值为256～2048之间。基于压缩感知的字典学习方法充分利用cs理论的强稀疏性和弱相干性，使学习字典和感知矩阵之间的一致性变小；另外，本方法学习的字典并不是含有固定数量的字典原子，可以根据相干阈值降低字典的维度，加快稀疏分解的速度。通过上述基于压缩感知的字典学习方法，求解式(1)得到字典φ。

步骤二、利用高光谱场景中信号的稀疏性、非负性以及空间结构自相似性，从提取的场景反射光谱解析得到高空间分辨率的低光谱图像，通过同步正交匹配追踪算法求解得到稀疏编码矩阵b；

为了得到目标图像s，根据式(4)需要求解得到合适的稀疏编码矩阵b，本发明通过学习得到的字典φ和高分辨率的图像y以及两个重要的先验信息来求解稀疏编码矩阵b。一是在高分辨率图像中，附近的像素可能在场景中表示相同的材料，可以被一组相同的字典原子很好地表示；二是稀疏编码矩阵b中的元素是非负的，表示场景中光谱信号源的比例系数。为此，通过小的不相交的空间图像块处理图像y，计算稀疏编码矩阵b。用表示每个图像块，并通过求解以下约束的同步稀疏近似问题，得到相应的稀疏编码矩阵

式(2)中，ε表示误差项，p表示三维原始输入信号，是p的二维形式，通过连接p中的像素形成的二维矩阵形式，t∈r^l×l是变换矩阵,βpi表示矩阵bp的第i列，m，n表示空间维尺寸，l表示光谱维数,m＞＞m，n＞＞n，l＞＞l。当输入的信号为单一列原子时，可以采用标准的正交匹配追踪算法求解，但是式(2)中的包含了mpnp个信号列原子，并且具有非负性约束，因此式(2)是一个约束的同步稀疏近似问题。为了解决式(2)，该算法在正交匹配追踪算法的基础上进行拓展，每次迭代会同时选择字典中的多个列原子，并且将解空间约束为非负矩阵。

该算法通过选择索引集合所对应的的字典原子寻求输入信号的近似值，并且每个有助于整个图像块的近似。在第i次迭代中，首先计算每个字典原子与图像块当前近似残差的累积相关性，图像块本身作为初始残差；然后识别具有最大累积相关性的d个字典原子，将这些原子添加到集合索引的子空间中，其中初始索引集为空；而后将上述子空间用于图像块的非负最小二乘近似，并且更新残差rⁱ。如果更新后的残差大于上一次迭代残差，则算法停止。

本算法使用非负最小二乘法近似每次迭代中的图像块，而不是标准的最小二乘近似，可以对稀疏编码矩阵施加非负约束。通过解决式(2)得到稀疏编码矩阵b，与字典φ一起得到目标图像s。

假设低分辨率的高光谱图像yh和高分辨率的高光谱图像xh，h＝{1,2,...l}，其中l表示图像中光谱带的数量，本发明的高光谱图像分辨率增强算法描述如下。本发明的超分辨率算法如下：

输入：算法1字典学习得到的φ，经过变换得到字典

1：初始化

1.1：i＝0；

1.2：初始化解：b⁰＝0；

1.3：初始残差：

1.4：初始化引集：row-supp{b}＝{1≤t≤d,β^t≠0},表示矩阵b中非0行的基数，β^t是矩阵b的第t行。

2：通过同步正交匹配追踪算法解决式(2)：迭代项i＝i+1

2.1：计算每个字典原子与当前图像块近似残差的累积相关性bj，即

2.2、

2.3、

2.4、

2.5、更新残差：

2.6、如果||rⁱ||f>σ||r^i-1||f则停止，否则继续下一次迭代。

输出：s＝φb

步骤三、联合所述光谱字典φ和所述稀疏编码矩阵b得到目标图像s，即根据上述方法，得到s＝φb。

为了检验本发明的有效性，采用包括公共数据集中的图像以及实际采集的图像数据进行实验验证，并将本方法的重建结果与经典的双三次插值方法、矩阵分解(matrixfactorization，mf)方法进行比较。为了评估本发明的重建效果，实验结果从主观和客观两个方面进行比较分析。对于单波段的重建图像，主观上主要从视觉效果比较重建结果的去模糊以及纹理细节等信息的重建情况，客观上从峰值信噪比(peaksignal-to-noiseratio，psnr)、结构相似度(structuralsimilarity，ssim)进行图像重建质量比较。另外，本发明采用波段平均峰值信噪比(averagepeaksignal-to-noiseratio，apsnr)、波段平均结构相似度(averagestructuralsimilarity，assim)以及光谱角映射(spectralangelmapper，sam)对重建图像的质量进行定量分析。

本发明采集实验图像所用的设备是分孔径同时式偏振高光谱成像仪，实验运行环境是：lenovoideapad700,intelcorei5-6300hq,cpu@2.30ghz,8gbram,matlabr2014a。本发明实验采用公共数据集(avirisdataset)的“大学校园”高光谱图像以及实际采集的缩比模型“卡车”高光谱图像。其中，“大学校园”图像的光谱波段范围是400nm到1200nm，光谱分辨率为20nm；所采集的“卡车”实验图像光谱波段范围是400nm到700nm，光谱分辨率为10nm。实验中将高分辨率参考图像分别进行高斯模糊以及降采样处理，得到待处理的低空间分辨率图像。高斯模糊核的尺寸为8×8，行和列的降采样因子均为3。字典学习训练阶段，取n＝10000个训练图像块，图像块尺寸为4×4，v1取值为1.6，初始化字典φ⁰的原子数为d＝100；同步正交匹配追踪算法中，每次迭代同时选取d＝25个字典原子，残差参数ε＝0.9。分别采用双三次插值方法、mf方法以及本发明方法对低分辨率图像进行超分辨率重建，并对不同方法的重建效果进行比较。

图1比较了“大学校园”图像在不同sr算法的重建效果，图中所示为600nm波段的重建图像。图1(a)为高分辨率参考图像，如图1(b)所示，双三次插值方法的重建图像整体比较模糊；图1(c)为mf方法的重建图像，与双三次插值相比，mf方法恢复了很多细节，提高了图像的边缘锐度以及整体清晰度；图1(d)为本发明方法的重建图像，与mf方法相比，本发明方法更好地提高了边缘的锐度并且恢复了更多的图像细节信息,例如图像上方道路的边缘信息。

图2比较了所获取的“卡车”缩比模型图像在不同sr方法重建的效果，所示为540nm波段的重建图像。图2(a)为高分辨率参考图像，如图2(b)所示，双三次插值方法的重建图像比较模糊，很多细节信息无法分辨；图2(c)为mf方法的重建图像，与双三次插值方法相比，mf方法恢复了很多图像细节，比如“卡车”周围情况的清晰度增强；图2(d)为本发明方法的重建图像，与mf方法相比，本发明方法更好地重建了“卡车”的轮廓边缘及细节信息，提高了图像边缘锐度以及“卡车”图像周围的细节。

为进一步客观评价sr重建方法，对不同sr方法的重建效果利用psnr和ssim比较分析。在3倍重建倍率下，评价结果如表1所示。实验结果表明，本发明方法的客观评价指标均优于另外两种方法，psnr和ssim的平均值比双三次插值方法分别提高了2.68db和0.1373，比mf方法分别提高了1.35db和0.0507。

表1.不同方法的psnr(db)和ssim评价指标比较

另外，本发明采用波段平均峰值信噪比(apsnr)、波段平均结构相似度(assim)以及光谱角度映射(sam)对图像的重建质量进行定量分析评价。设y表示高光谱参考图像，可以用三维矩阵来表示，y＝(yi,j,q)∈r^m×n×q，m和n分别为图像y水平和垂直方向的尺寸，q为波段的个数，y的第q波段形成的图像yq，其中q＝{1,2,...q}；表示重建的高光谱图像，为的第q波段图像形成的向量。apsnr、assim和sam分别定义如下：

式(7)中tq为yq的峰值，m为的均方误差；tq为第q波段的ssim值；y(i,j)和分别为图像原始像素和重建后的像素。

apsnr和assim的值越大，表明高光谱重建图像的质量越高。sam通过原始图像和重建图像的每个像素所构成的两个光谱向量之间的绝对角度反映光谱失真，并且对整个图像进行平均计算测量sam。对于理想的重建图像，sam的值应该为0。表2和表3分别比较了“大学校园”图像和“卡车”缩比模型图像在不同sr算法下重建图像的apsnr、assim和sam值，粗体标记的数值表示相应评价指标下具有最优效果。实验结果表明，本发明方法具有更好的超分辨率重建效果。

表2“大学校园”不同算法的apsnr(db)、assim、sam评价指标对比结果

表3“卡车”图像不同算法的apsnr(db)、assim、sam评价指标对比结果

图3为使用不同sr方法重建图像的光谱比较，其中图(a)是“大学校园”图像中特定像元的光谱曲线，共41个光谱波段；图(b)是“卡车”缩比模型图像中特定像元的光谱曲线，共31个光谱波段。从图3中的光谱曲线比较可见，本发明方法重建的图像与参考图像之间的光谱差异最小。结果表明，本发明方法具有更好的光谱保真性。

为了细化分析参数与本发明方法重建效果的关系，采用“卡车”缩比模型图像进行实验，定量化分析重建图像质量与图像块尺寸、分辨率提升倍率等参数间的关系。图4(a)、4(b)、4(c)分别为apsnr、assim、sam与图像块尺寸之间的关系，从图中可以看出选择4×4的图像块重建效果更好。

图5(a)、(b)、(c)分别为三种算法重建图像的apsnr、assim和sam指标与分辨率提升倍率间的关系。从图中可以看出,随着分辨率提升倍率的增加,三种算法重建图像的质量逐渐下降。与其他两种算法相比，本发明方法重建图像质量在不同分辨率提升倍率时具有更好的重建质量，其中apsnr和assim指标比其他两种方法更大，sam指标更小。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。