基于延迟嵌入转换空间的超分辨率重建系统

1.本发明涉及高光谱和多光谱融合的图像超分辨率重建，具体说是一种基于延迟嵌入转换空间的超分辨率重建系统。


背景技术：

2.高光谱图像(hsi)由一个场景的数十到数百个离散光谱波段的图像组成。非常高的光谱分辨率和覆盖率的图像使精确识别现场的材料，往往显著有利于成像场景的描述和大大提高性能在许多应用程序包括遥感，监控，目标检测等等。然而，hsi虽然具有较高的光谱分辨率，但在空间分辨率上通常有严重的限制。实际上，hs成像系统需要大量的曝光才能同时在窄光谱窗口内获得多个波段，为了保证足够的信噪比，通常需要长时间的曝光，这通常会导致牺牲空间分辨率，这在一定程度上限制了其广泛的应用。


技术实现要素：

3.针对上述技术不足，本发明的目的提供一种基于延迟嵌入转换空间的超分辨率重建系统。该发明能够根据高光谱数据的先验知识挖掘其中的低秩性及局部平滑性。解决了高光谱图像的分辨率增强及图像细节恢复等问题，并在常用的高光谱数据集上进行大量实验，证明了该方法的优越性。
4.本发明解决其技术问题所采用的技术方案是：
5.基于延迟嵌入转换空间的超分辨率重建系统，包括图像预处理模块、超分辨率重建图像恢复模型建立模块；
6.所述图像预处理模块，用于将低分辨率高光谱图像进行预处理，并且得到高分辨率多光谱图像和延迟空间高阶张量
7.所述超分辨率图像重建恢复模块，包括：在低分辨率高光谱图像lr-hsi和高分辨率多光谱图像hr-msi的退化融合模型的基础上添加多路延迟嵌入空间的低秩正则项、加权三维tv正则项，生成超分辨率重建图像恢复模型，再反复迭代优化求解，获取重建图像；对重建图像进行逆mdt，得到重建后的高分辨率高光谱清晰图像；该超分辨率图像重建恢复模块用于融合低分辨率高光谱图像和高分辨率多光谱得到清晰图像。
8.所述图像预处理模块包括：上采样单元、多光谱单元、多路延迟单元；
9.所述上采样单元，将原始低分辨率高光谱图像进行上采样，获取待恢复的高分辨率高光谱图像
10.所述多光谱单元，真实的原始图像和光谱矩阵r相乘，获取高分辨率的多光谱图像hr-msi；
11.所述多路延迟单元，对图像张量进行多路延迟操作，得到延迟空间高阶张量
12.所述多路延迟单元对图像张量进行多路延迟操作，得到延迟空间高阶张量包括：
13.1).对高光谱图像的每个维度设定一个延迟参数，第n个维度对应的延迟参数为τn，那么
14.2).对于高光谱图像张量其延迟空间高阶张量形式如下：
[0015][0016]
其中，jn为复制矩阵，即
[0017]
所述生成的超分辨率重建图像恢复模型为：
[0018]
引入多路延迟嵌入空间的低秩正则项、mcp惩罚项、3dtv正则项、辅助变量和得到如下形式：
[0019][0020][0021][0022]
其中λ1,λ2,λ3,λ4,λ5和λ
tv
是正则化参数；和为高光谱和多光谱图像的退化融合模型，代表观测的lr-hsi图像，代表观测的hr-msi图像，d是下采样算子，s是模糊算子，代表待恢复的高分辨率高光谱图像hr-hsi；为延迟空间高阶张量；和uj是的tucker分解后得到的核张量和模式矩阵。为加权三维tv正则项，x
i,j,k
为图像张量的第(i,j,k)个元素，wj(j＝1,2,3)是沿着第j个模式正则项的权重；gw(
·
)＝[w1×gh
(
·
)；w2×gv
(
·
)；w3×gt
(
·
)]为加权3dtv算子，gh(
·
)，gv(
·
)和g
t
(
·
)分别为图像数据三个不同维度的一阶差分算子。
[0023]
所述反复迭代优化求解是采用admm算法。
[0024]
所述反复迭代优化求解过程中，当相邻两次图像恢复结果数据的误差在阈值范围内，则判断图像重建至当前轮次为符合收敛性，停止迭代。
[0025]
所述逆mdt的公式为：
[0026][0027]
其中，
[0028]
基于延迟嵌入转换空间的超分辨率重建方法，包括以下步骤：
[0029]
s1、采集原始低分辨率高光谱图像
[0030]
s2、输入图像预处理模块进行预处理，得到的高光谱图像多光谱图像延迟空间高阶张量
[0031]
s3、将预处理后的各数据输入超分辨率重建图像恢复模型建立模块，依次进行处
理，重建原始低分辨率高光谱图像lr-hsi和高分辨率多光谱图像hr-msi融合后的清晰图像。
[0032]
所述依次进行处理包括：
[0033]
s31、将原始低分辨率高光谱图像lr-hsi预处理得到的高分辨率高光谱图像和高分辨率多光谱图像hr-msi输入高光谱多光谱图像融合的退化模型单元；
[0034]
s32、将高分辨率高光谱图像输入加权三维tv正则项单元；
[0035]
s33、将高分辨率高光谱图像通过mdt得到的输入多路延迟嵌入空间的低秩正则项中；
[0036]
s34、再经过逆mdt得到重建后的高分辨率高光谱清晰图像。
[0037]
本发明具有以下有益效果及优点：
[0038]
1.本发明方法采用多路延迟嵌入转换空间，提高高光谱数据的冗余性，并通过非凸无偏估计实现对数据的有效近似估计；
[0039]
2.本发明方法采用加权三维tv正则项，挖掘高光谱数据中的不同维度的局部平滑性，保证了不同维度的局部平滑效果。
[0040]
3.本发明方法在对高光谱图像超分方面要优于现有的算法，在细节和结构信息恢复效果尤为突出。
附图说明
[0041]
图1是本文方法整体框架图；
[0042]
图2是在pavia university数据集上的超分辨率结果展示；
[0043]
图3是在washington dc mall数据集上的超分辨率结果展示；
[0044]
图4是在urban数据上的超分辨率结果展示；
具体实施方式
[0045]
下面结合实施例对本发明做进一步的详细说明。结合附图对方法步骤进行说明。
[0046]
本发明的基于延迟嵌入转换空间的超分辨率重建模型，包括三项：融合项用于保证观测数据与原始数据的保真性；多路延迟嵌入空间的低秩正则项用于挖掘高光谱数据的低秩特性；加权三维tv正则项用于保持高光谱数据各个维度的局部平滑性。所述模型能够对高光谱图像进行超分辨率重建，解决了高光谱图像分辨率的提高和图像细节恢复等问题。将高光谱图像以张量形式作为输入，通过设置采样率、模糊算子形成lr-hsi,通过光谱矩阵生成hr-msi。对高光谱图像进行多路延迟嵌入空间转换得到延迟空间高阶张量所述图像恢复模型包括：对延迟空间高阶张量进行多路延迟嵌入空间的低秩正则项的张量mcp惩罚，进而挖掘其低秩性；加权三维tv正则项是对高光谱数据不同维度采用不同权重的tv来挖掘数据的局部空间平滑性和波段维度上的平滑性。
[0047]
1.高光谱图像和多光谱图像的观测模型
[0048]
lr-hsi和hr-msi是三维数据，可以视为3d张量。待恢复的hr-hsi表示为w和h代表两种空间模式的维度，b代表光谱模式的维度。表示lr-hsi，被建模为空间模糊和降采样版本，这种关系可以写成：
[0049][0050]
其中，d为降采样算子，s为模糊算子。
[0051]
表示同一场景获得的hr-msi，具有b个谱带。可以建模为的频谱降采样版本，并且该关系可以写为：
[0052][0053]
其中表示沿谱模式的谱响应矩阵。
[0054]
2.基于延迟嵌入转换空间的超分辨率重建模型
[0055]
本发明中所提出的基于基于延迟嵌入转换空间的高光谱超分辨率重建模型如下:
[0056][0057]
其中，λ1，λ2，λ3，λ4，λ5和λ
tv
为正则化参数，采用非凸mcp张量惩罚函数，其根据延迟空间高阶张量的冗余性提高特性，对mdt后形成的延迟空间高阶张量进行低秩性约束；为加权3dtv正则项，可以在抑制噪声的同时保留图像边缘细节。
[0058]
2.1多路延迟嵌入空间转换
[0059]
为了提高hr-hsi的低秩特性，我们采用mdt方式得到hankel结构张量。我们对的所有模态进行hankel处理，得到汉克尔化张量给定一个n维张量给定一个n维张量的mdt定义为
[0060][0061]
其中为延迟因子，操作是将输入的n阶张量构造2n阶张量，是一个重复矩阵。一个汉克尔张量的逆mdt被定义为
[0062][0063]
其中
[0064]
mdt是多线性重复和多路折叠操作的结合。因此，我们可以在mdt张量上执行kbr。基于kronecker基表示的张量稀疏性度量使kbr更适合于利用高阶hankel张量的低阶隐藏信息。给定n维张量的kbr表示为
[0065][0066]
其中是塔克分解的核心张量。t∈[0,1]用来平衡方程中的两项。第一项描述了核张量的非零元素的数目，第二项描述了核张量的非零平方的体积大小。
[0067]
因此，我们对mdt张量采用kbr高阶稀疏性度量来挖掘数据的低秩性，形式如下：
[0068][0069]
由于(7)中涉及的l0范数和核范数都是离散度量，直接对它们建模带来了很大的计算困难，有必要合理地放松它们。许多研究表明，mcp非凸范数是非常合理的，并且很容易放松l0范数和核范数，它可以补偿核范数建模所带来的有偏估计。以mcp惩罚作为稀疏性约束，将上述kbr稀疏模型表述为：
[0070][0071]
其中为的第m个奇异值。mcp是一种典型的折叠-凹惩罚，其形式为：
[0072][0073]
其中γ是一个固定的常数。
[0074]
2.2加权三维tv正则项
[0075]
全变分是常用一种正则项，被广泛应用于挖掘空间域像素级的平滑结构先验。可以在保持图像边缘的同时抑制噪声。考虑高光谱数据可视为一个三维张量，故而可以用一个带权重的3dtv正则项来挖掘高光谱数据的空间域和切片域的局部平滑性，公式如下：
[0076][0077]
其中，x
i,j,k
为的第(i,j,k)个元素，wj(j＝1,2,3)是沿着第j个模式正则项的权重。
[0078]
2.3基于延迟嵌入转换空间的超分辨率模型
[0079]
引入多路延迟嵌入空间的低秩正则项、mcp惩罚项、3dtv正则项、辅助变量和得到如下形式：
[0080][0081]
其中λ1,λ2,λ3,λ4,λ5和λ
tv
是正则化参数。和为高光谱和多光谱图像的退化融合模型，代表观测的lr-hsi图像，z代表观测的hr-msi图像，d是下采样算子，s是模糊算子，代表待恢复的高分辨率高光谱图像hr-hsi；为延迟空间高阶张量。和uj是的tucker分解后得到的核张量和模式矩阵。为加权三维tv正则项，x
i,j,k
为图像张量的第(i,j,k)个元素，wj(j＝1,2,3)是沿着第j个模式正则项的权重；gw(
·
)＝[w1×gh
(
·
)；w2×gv
(
·
)；w3×gt
(
·
)]为加权3dtv算子，gh(
·
)，gv(
·
)和g
t
(
·
)分别为图像数据三个不同维度的一阶差分算子。
[0082]
3.算法优化求解
[0083]
根据admm算法求解出高分辨率张量令l表示第l次迭代，则在第(l+1)次迭代中各个变量更新公式如下：
[0084]
更新
[0085][0086]
其中，分别为s和d的逆操作，g'
ω
是g
ω
的伴随。这种线性系统能通过预条件共轭梯度法进行求解。
[0087]
更新
[0088][0089]
其中，s
τ
(x)为奇异值算子，是x的奇异值分解，wi为权重矩阵。
[0090]
其中，奇异值收缩算子s
ω
(x)定义为其中是矩阵x的奇异值分解，对于给定的x，d
ω
(x)＝sgn(x
mn
)(|x
mn
|-ω)
+
。此外，权重矩阵tk被定义为γ》1为固定参数。
[0091]
更新
[0092][0093]
其中是hankel张量的逆mdt。
[0094]
更新
[0095][0096]
因为对于任何张量都有以下形式:
[0097][0098]
通过模式j在每个模式上相乘，问题(16)变成以下问题：
[0099][0100]
其中，更新如下
[0101][0102]
其中
[0103]
更新uk[0104][0105]
uj(j≠k)与和其他变量固定，则
[0106][0107]
其中结合(16)和我们可以得到
(20)等价于
[0108][0109]
其中，更新uk如下：
[0110][0111]
其中为zk的svd分解。
[0112]
更新
[0113][0114]
其中，soft
△
(x)为软阈值操作。
[0115]
更新
[0116][0117]
其中，θ为具有固定值的参数，即1.05，惩罚参数μ，ν和l，并遵循一定的自适应更新策略，可以提高所提优化算法的收敛性。例如，我们首先用一个较小的值进行初始化μ，即μ＝10-5
，然后更新为：
[0118]
μ
←
c1μ,ifres》c2res
pre
ꢀꢀꢀ
(25)
[0119]
其中c1取1.15，c2取0.95。
[0120]
4.实验结果
[0121]
我们在三个高光谱图像数据集上进行了对比实验，来测试算法的有效性。所用数据分别为：pavia university,washington dc mall和urban。
[0122]
4.1实验环境及参数设置
[0123]
所有实验均在36.0gb内存的intel(r)core(tm)i9-9900k cpu@3.60ghz 3.60ghz处理器下进行。实验中，hr-hsi采用5
×
5高斯空间滤波器，标准差为2，通过平均4
×
4不相交的空间块进行降采样得到lr-hsi。hr-msi由一个类似ikonos的光谱反射响应滤波器构建。
[0124]
我们对每个数据集的每个波段数据归一化到区间[0，255]，这有助于比较不同sr方法的实验结果指标值。正则项中的权重系数ωj设定如下：ω1和ω2设为0.1，ω3设为0.8。多路延迟嵌入转换空间参数设置为[4,4,2]。公式(11)中参数设置为：λ1＝0.001,λ2＝0.1，λ3＝0.1，λ4＝800，λ5＝1.5，λ
tv
＝0.01。公式(9)中固定参数γ设为5。实验终止条件为两次迭代之差θ小于1e-5，其中
[0125]
4.2实验结果展示
[0126]
为了验证算法的有效性，我们将所提出的方法与目前几种最先进的hsi超分方法进行了比较：gs自适应(gsa)方法、耦合谱解混(csu)方法、非负结构稀疏表示(nssr)方法、局部低秩和稀疏表示(lrsr)方法、低张量序列秩(lttr)方法和非局部低秩张量分解和谱分解(lrtd)方法。实验使用5个定量的图像质量指标来评价重建图像的质量，包括峰值信噪比
(psnr)，光谱角度映射器(sam)，通用图像质量指数(uiqi)，相对无量纲全球的误差合成(ergas)和失真程度(dd)。已知，sam、ergas和dd值越小，psnr和uiqi值越高，性能越好。
[0127]
表1高光谱图像复原指标对比
[0128][0129][0130]
在每个数据中选中两个波段进行展示，我们给出了各算法的可视化结果。图2为pavia university数据视觉恢复图和相应的误差图。图3为washington dc mall数据视觉恢复图和相应的误差图。图4为urban的视觉恢复图和相应的误差图。
[0131]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。