基于非负结构稀疏的高光谱图像超分辨率算法
【专利摘要】本发明公开了一种基于矩阵结构稀疏非负分解的光谱图像超分辨率重建算法，从低空间分辨率高光谱图像和高分辨率彩色图像联合重建高分辨率高光谱图像，解决现有算法难以精确恢复高分辨率光谱图像的问题。其实现步骤是：(1)输入低分辨率高光谱图像和对应的高分辨率彩色图像；(2)利用光谱图像的局部与非局部自相似性，构建基于矩阵结构稀疏非负分解的光谱重建目标函数；(3)采用交替方向乘子法交替求解得到优化的光谱材料系数和光谱材料基；(4)利用得到的优化光谱材料系数矩阵和光谱材料基矩阵，重建出高分辨率高光谱图像。本发明所恢复的高光谱图像更清晰，图像边缘更锐利，可有效提升光谱图像空间分辨率。
【专利说明】基于非负结构稀疏的高光谱图像超分辨率算法
【技术领域】
[0001] 本发明涉及图像处理【技术领域】，具体涉及一种高分辨率的高光谱图像重建方法， 主要用于从低分辨率高光谱图像和高分辨率彩色图像联合重建高分辨率的高光谱图像。
【背景技术】
[0002] 高光谱图像在国防科学研究和军事应用领域均有着重要需求。受传统高空间分辨 率成像内在固有成像特性和高分辨率传感器限制，现有高光谱成像方法在实现高光谱成像 时很难达到高分辨率。所以使用信号处理技术从低分辨率高光谱图像重建出高分辨率高光 谱图像成为高分辨率高光谱图像获取的一个重要途径。
[0003] 为了获得高分辨率的高光谱图像，Kawakami等人在"High-resolution Hyperspectral Imaging via Matrix Factorization，2011" 中提出了用低分辨率光谱相机 和高分辨率彩色相机获取高分辨率光谱图像的方法，该方法采用信号处理的方法从低分辨 率高光谱图像和高分辨率彩色图像重建出高分辨率高光谱图像。由于该光谱重建问题是一 个病态逆问题，为了获得高精度光谱图像，Kawakami等人提出了基于光谱稀疏性的重建方 法，利用光谱图像在光谱材料基上的稀疏分解特性，联合彩色图像重建高空间分辨率高光 谱图像。针对Kawakami等人提出的光谱重建方法中，光谱材料基和光谱材料系数可能为负 数而不满足实际物理含义的问题，Eliot Wycoff等人在"A Non-Negative Sparse Promoting Algorithm For High Resolution Hyperspectral Imaging，2013，' 中提出了一种基于矩阵非 负分解（Sparse Non-Negative Matrix Factorization, SNNMF)的光谱图像重建方法，利用 光谱图像和彩色图像的相关性，构建了基于矩阵非负分解的光谱稀疏重建模型，通过交替 方向乘子法进行高效优化求解，重建出高空间分辨率高光谱图像。
[0004] 另一方面，现有的基于SNNMF的光谱重建方法只利用了高光谱图像谱间稀疏性， 没有充分利用光谱图像存在的较强的局部和非局部的空间结构相似性，导致难以精确恢复 精细的光谱图像的边缘和纹理细节。为了进一步提升光谱图像重建的稳定性和精度，需要 进一步挖掘光谱图像的空间结构相关性。
【发明内容】
[0005] 本发明的目的在于针对现有基于矩阵非负分解的光谱超分辨率重建算法没有利 用光谱图像局部和非局部的相似性的问题，提出一种基于矩阵结构稀疏非负分解的光谱图 像超分辨重建算法，从低分辨率光谱图像和高分辨率彩色图像重建出高精度高分辨率光谱 图像。通过利用光谱图像的局部和非局部结构相似性，采用矩阵结构范数构建更加稳健、精 确的光谱图像矩阵稀疏非负分解模型，有效提升光谱图像的重建精度。
[0006] 本发明的技术思路是：对光谱图像谱线进行结构聚类；对每一个类中的相似谱线 在材料基上采用结构范数同时进行非负分解，使得各相似谱线的分解系数具有结构相似 性；构建基于矩阵结构稀疏非负分解的光谱重建优化目标函数，采用交替方向乘子法交替 求解光谱材料系数和光谱材料基，重建出高分辨率高光谱图像。具体步骤包括如下：
[0007] (1)分别输入低分辨率高光谱图像和高分辨率的彩色图像
【权利要求】
1. 一种基于非负结构稀疏的高光谱图像超分辨率算法，包括如下步骤： (1) 分别输入低分辨率高光谱图像X e 和高分辨率的彩色图像Y e ,其中， Mh表示谱段数，Lh表示低分辨率高光谱图像每个谱段的像素数，L。表示高分辨率高光谱图 像每个谱段的像素数，且k < L。，M。为彩色图像的谱段数，M。= 3 ; (2) 假设高分辨率光谱图像Z可以表示为：
，其中
表示光 谱材料基矩阵，
表示光谱材料系数矩阵，其每一列表示各谱线在A上的稀疏分解系 数。假设低分辨率光谱图像X和彩色图像Y与高分辨率光谱图像Z之间满足如下线性关系 X = ASG+W，Y = FAS+V，其中
表示下采样矩阵，
表示彩色图像变换矩阵，
表示加性高斯白噪声。利用高光谱图像的局部与非局部相似性，构 建如下基于结构稀疏光谱非负分解目标函数：
其中Rk表示相似谱线索引矩阵，SRk表示从稀疏系数矩阵S中取出第k类中相似谱线 对应的稀疏分解系数向量，即
。表示第k类中第p条相似谱线对 应的稀疏系数，P = 1，2. .. η，η为第k类中相似谱线对应稀疏系数的个数，表示矩阵的 弗罗贝尼乌斯范数的平方，λ表示正则参数，Μ · | |12表示对矩阵每行求二范数再求和，即
为SRk矩阵的行数，r为SRk矩阵的第r行，r = 1, 2. . . w ； (3) 交替迭代求解上述两个子目标函数，初始化循环次数t = 0, 1，2. .. T，其中T为最 大循环次数，将步骤（2)中的目标函数转化为如下两个交替优化的子目标函数：
其中J(A，S)表示步骤⑵中的目标函数。 交替迭代求解上述两个子目标函数，当光谱材料基矩阵A和光谱材料系数矩阵S的联 合目标函数的循环次数达到T次时循环停止，得到优化的光谱材料基矩阵At+1和光谱材料 系数矩阵S t+1 ; (4) 利用光谱材料基矩阵At+1和光谱材料系数矩阵St+1，重建出高空间分辨率光谱图像 Zt+1 = At+1St+1。
2. 根据权利要求1所述的方法，其特征在于所述步骤（3)中对两个子目标函数的求解， 按如下步骤进行： (3a)应用交替方向乘子法，将步骤（3)中关于光谱材料系数矩阵S的优化问题转换成 如下的优化问题：
其中γ (Mk，S，E，Q)表示增广拉格朗日函数，定义如下：
其中氏、H2、H3分别为约束条件Mk = SRk、E = S和Q = E对应的拉格朗日乘子，μ和 Υ为惩罚因子，L+(E)表示Ε的非负指示函数。 (3al)初始化循环次数d = 0, 1，2,... L，L表示最大循环次数，交替求解下列方程来求 解步骤（3a)中的目标函数：
其中，m，1为第d+Ι次迭代中第k类相似谱线系数矩阵Mkd+1的第i行向量，Μ · ||2 表示向量的二范数，max{a，b}表示取a与b中的最大值；sd+1为第d+Ι次迭代中光谱 材料系数矩阵S d+1的向量形式，h/、h2d、h3d分别表示第d次迭代中拉格朗日乘子H/、 H/、H3d的向量形式；qd+1和ed+1分别为第d+1次迭代中矩阵Q d+1和Ed+1的向量形式，
+表示取正数； (3a2)当的相对变化量小于阀值tol = ΚΓ5,停止迭代，得到优化的光谱材料稀疏 系数矩阵S。 (3b)输入步骤（3a2)中得到的优化的光谱材料稀疏系数矩阵S，使用交替方向乘子法 求解光谱材料基矩阵A，将步骤（3c)中的光谱材料基矩阵A的目标函数式改写为：
其中X为交替方向乘子法中定义的向量，
表 示向量算子，
>表示克罗内克积运算，a为光 谱材料基矩阵A的向量形式，其中h4为拉格朗日乘子，μ i为惩罚因子。 (3bl)初始化循环次数c = 0, 1，2,... L，交替求解下列方程来优化求解步骤（3e)中的 目标函数：
(3b2)当Z?的相对变化量小于设定的阀值tol = 1(Γ5时，停止迭代，得出优化的光谱材 料基矩阵Α。
【文档编号】G06T3/40GK104050653SQ201410319970
【公开日】2014年9月17日 申请日期:2014年7月7日 优先权日:2014年7月7日
【发明者】董伟生, 孟贵宇, 李广煜, 石光明 申请人:西安电子科技大学