一种基于LADMM-Net的压缩光谱图像方法与流程

一种基于ladmm-net的压缩光谱图像方法
技术领域
1.本发明属于压缩光谱图像技术领域，具体涉及一种基于ladmm-net的压缩光谱图像方法。


背景技术：

2.高光谱图像(hs)可以被认为是一个三维(3-d)的数据集,其中包含光反射响应的二维(2-d)现场几十或几百个光谱波段从可见光谱(vis,400-700海里)短波红外区(短波红外成像,700-2400海里)。hs图像提供了场景的详细光谱信息，能够识别覆盖区域中包含的不同材料。这些图像已被考虑用于各种应用，如精度农业、环境监测与医疗诊断。hs成像传感器通常捕捉低空间分辨率数据集，导致目前的方法难以获得高信噪比(snr)的观测数据。
3.现有技术存在的问题或者缺陷：目前的数据融合已成为一项信号处理任务，其重点是将高空间分辨率但低光谱分辨率的多光谱(ms)图像中的信息与hs图像中的信息进行融合。然而，扫描传感器需要大量的观测来捕捉覆盖场景中的相关信息。近年来，人们提出了多种基于多传感器压缩测量的图像融合方法，但这些方法通常需要较高的运行时间。


技术实现要素：

4.本发明提供了一种基于ladmm-net的压缩光谱图像方法，通过收集相关的高分辨率光谱图像公共数据集，构建实验所需的训练集，并利用数字微镜装置(dmd)和一个基于电荷耦合器件(ccd)的相机探测器采集高分辨率光谱图像，完成测试集的构建。完成数据收集后，对数据进行预处理，预处理包括归一化。将预处理后的数据输入搭建好的ladmm-net网络模型中进行网络模型的训练，待到模型损失函数不再下降，保存模型，完成模型构建。包括下列步骤：
5.s1数据采集：采集高分辨率光谱图像公共数据集，并利用相关设备采集用于模型测试的高分辨率光谱图像，完成模型训练和测试所需数据集的构建；
6.s2数据预处理：预处理包括归一化，统一数据尺度，保证模型训练效果；
7.s3、构建模型：采用深度学习相关技术搭建融合模型，输入训练数据，完成参数模型的搭建；
8.s4、模型训练：将训练数据集输入构建的网络模型中，完成模型的训练；
9.s5、模型保存：当模型的损失函数不再降低之后，保存模型；
10.s6、模型测试：将采集获得的测试数据输入保存好的网络模型中，完成模型的测试。
11.进一步的，步骤s1数据采集具体方法为：通过光学装置捕捉获得压缩测量数据，该光学装置实现了基于3d-cassi架构的双臂系统，包括一个100mm物镜，一个100mm中继镜头，一个数字微镜装置(dmd)和一个基于电荷耦合器件(ccd)的相机探测器。为了获得双分辨率压缩测量结果，使用dmd分别对编码孔径的图像进行了仿真，通过将dmd的空间分辨率固定为256
×
256来获取多光谱臂的压缩测量值，将dmd的空间分辨率固定为128
×
128来获取高
光谱臂的压缩样本，完成测试数据集的构建。
12.模型测试：将采集获得的测试数据输入保存好的网络模型中，完成模型的测试。
13.进一步的，s2中，图像缩放：由于数据集中的图像尺寸大小不同，将数据集中的图像进行缩放，以便输入模型，将其按照大小比例全部调整为统一尺寸大小512
×
512。
14.进一步的，s3、模型构建具体方法为：构建基于ladmm-net的深度学习架构，所述结构由两个卷积算子之间的一个整流线性单元(relu)组成，具体来说，第一个卷积算子由m个大小为3
×3×
l的滤波器组成，第二个卷积网络包含l个大小为3
×3×
m的滤波器。
15.进一步的，s3模型构建中，还包括一个网络结构，所述网络结构称为基于网络的逆变换，所述网络结构能反转正变换的效果，形成端到端训练方案的架构，整个网络结构从压缩测量中恢复目标图像。
16.进一步的，s3模型构建中，在训练阶段基于网络的变换函数的对称性，通过将ladmm算法的每次迭代都转换到一个称为ladmm-net层的处理模块中具体为：每个ladmm-net层由一个近似单元和一个基于网络的细化单元组成，其中，近似单元是对目标图像进行估计；而细化单元的目标是对获取的偶变量和拉格朗日乘子进行更新，通过上述模型的构建完成模型的训练和测试过程。
17.进一步的，所述s5模型保存：当模型的损失函数不再降低之后，保存模型,其中损失函数如下：
[0018][0019]
其中fv表示真实标签；对应的hs和ms压缩投影(y
ms
,y
hs
)v为输入数据集；k为ladmm-net层数；b为数据批数量大小；γ为超参数，设置为0.01；θ为可学习参数，g(*)为逆变换操作。
[0020]
本发明与现有技术相比，具有的有益效果是：
[0021]
本发明用于解决hs和ms压缩测量的融合问题。这个架构，称为ladmm-net，将乘法器交替方向方法的线性化版本的每次迭代转换到一个处理层，其连接形成一个深度网络。线性化方法导致估计目标变量不诉诸昂贵的矩阵操作。该方法同时估计了辅助变量和拉格朗日乘子中包含的图像高频分量，在压缩数据融合光谱图像的过程中具有极优的性能。
附图说明
[0022]
图1本发明的主要步骤流程图；
具体实施方式
[0023]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]
一种基于ladmm-net的压缩光谱图像方法，如图1所示，包括下列步骤：
[0025]
s1数据采集：采集高分辨率光谱图像公共数据集，并利用相关设备采集用于模型测试的高分辨率光谱图像，完成模型训练和测试所需数据集的构建；
[0026]
具体的：训练数据采集：为了获得高分辨率光谱图像完成光谱图像融合方法的训练，采集harvard和cave公共数据集。其中harvard数据集由50幅高分辨率的图像组成，展示了自然光照下的室内和室外场景，共31个光谱波段，波长范围从420nm到720nm。该数据集中的hs图像作为跨空间坐标的高分辨率图像的退化版本，具有16:1抽取因子，即p＝4。更准确地说，hs图像的每个光谱特征都是通过对其邻近高分辨率图像的光谱像素进行平均得到的。因此，hs图像由31个光谱波段的数据立方体组成；ms图像是具有2:1抽取因子(q＝2)的高分辨率图像的光谱退化版本。特别地，ms图像的每个波段是通过对相应高分辨率图像的连续光谱波段进行平均获得的。而cave数据集是在控制光照下构建的场景中获得的15幅高分辨率图像，反射率数据范围为400-700nm，多分辨率压缩测量的压缩比为25％。将获取的两个公共数据集进行融合，构建模型训练所需的训练集。
[0027]
测试数据采集：通过光学装置捕捉获得压缩测量数据，该光学装置实现了基于3d-cassi架构的双臂系统，包括一个100mm物镜，一个100mm中继镜头，一个数字微镜装置(dmd)和一个基于电荷耦合器件(ccd)的相机探测器。为了获得双分辨率压缩测量结果，使用dmd分别对编码孔径的图像进行了仿真，通过将dmd的空间分辨率固定为256
×
256来获取多光谱臂的压缩测量值，将dmd的空间分辨率固定为128
×
128来获取高光谱臂的压缩样本，完成测试数据集的构建。
[0028]
s2数据预处理：预处理包括归一化，统一数据尺度，保证模型训练效果；具体的：数据归一化：对每条数据进行min-max归一化。
[0029]
图像缩放：由于数据集中的图像尺寸大小不同，将数据集中的图像进行缩放，以便输入模型，将其按照大小比例全部调整为统一尺寸大小512
×
512。
[0030]
s3、构建模型：采用深度学习相关技术搭建融合模型，输入训练数据，完成参数模型的搭建；模型构建：构建基于ladmm-net的深度学习架构，该架构利用了ladmm优化算法和展开方法的优点，来解决hs和ms压缩测量的光谱图像融合问题。该结构由两个卷积算子之间的一个整流线性单元(relu)组成。具体来说，第一个卷积算子由m个大小为3
×3×
l的滤波器组成，第二个卷积网络包含l个大小为3
×3×
m的滤波器。此外，本文提出的体系结构还包括一个网络结构，可以在其常规域内恢复图像。这种结构称为基于网络的逆变换(network-based inverse transform,nit)，该网络应该能够反转正变换的效果，形成端到端训练方案的架构，整个网络结构从压缩测量中恢复目标图像。此外，在训练阶段考虑基于网络的变换函数的对称性，提出了一种展开算法方法，将ladmm算法的每次迭代都转换到一个称为ladmm-net层的处理模块中。本质上，每个ladmm-net层由一个近似单元(au)和一个基于网络的细化单元(nru)组成。其中，au是对目标图像进行估计；而nru的目标是对获取的偶变量和拉格朗日乘子进行更新。通过上述模型的构建完成模型的训练和测试过程，提高hs和ms的融合性能。
[0031]
s4、模型训练：将训练数据集输入构建的网络模型中，完成模型的训练。
[0032]
s5、模型保存：当模型的损失函数不再降低之后，保存模型；模型保存：当模型的损失函数不再降低之后，保存模型,其中损失函数如下：
[0033]
[0034]
其中fv表示真实标签；对应的hs和ms压缩投影(y
ms
,y
hs
)v为输入数据集；k为ladmm-net层数；b为数据批数量大小；γ为超参数，设置为0.01；θ为可学习参数，g(*)为逆变换操作。
[0035]
s6、模型测试：将采集获得的测试数据输入保存好的网络模型中，完成模型的测试。
[0036]
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。