一种高光谱遥感图像质量等级评估方法

本技术涉及图像处理，具体涉及一种高光谱遥感图像质量等级评估方法。

背景技术：

1、近年来，随着航天技术和遥感技术的快速发展，我国的航天事业进入了高速发展期。各种多功能的卫星以及探测器被送入太空以便对地球进行多角度的观测。遥感成像技术可以在不与物体发生物理接触的情况下，利用其不同的反射特性来感知和识别被观测场景，卫星等航天器设备通过高空鸟瞰的方式采集不同时段、不同谱段以及不同位点的影像图片并结合图像处理、图像增强等技术提供遥感信息供研究者使用。目前的成像光谱仪可以观察到从可见光到短波红外的连续光谱，因此通过成像光谱仪，我们可以获得具有数百个狭窄且近似连续的光谱带的高光谱图像(hsis)。然而由于云层覆盖、设备损耗、传感器噪声等因素会导致实际获取得到的高光谱遥感图像能够应用于研究的可用信息非常少，因此针对于高光谱遥感图像的质量评价研究工作尤为重要。高光谱遥感图像质量评价工作为遥感航天器成像仪的实时监测、维护以及后续高光谱遥感图像处理工作提供了质量保证基础。

2、近年来，国内外学者对单波段遥感图像质量评价做了大量的研究，而对高光谱遥感图像的研究却涉及较少。因此在前人对单波段遥感图像研究的基础上，结合高光谱的特点对高光谱遥感图像质量评价展开研究具有很重要的研究和应用价值。目前为止，针对高光谱遥感图像的质量评价工作，大多采用传统的特征提取手段，即采用人工提取特征，比较典型的方法有结构相似度ssim、峰值信噪比、方差法等。但是这些指标并没有与图像解译能力直接联系起来，且不能很好的挖掘光谱信息，融合图像空谱特征，这样只能提取较为浅层的特征，一定程度上影响了模型质量。其次，现有质量评估方法大多为全参考和半参考方法，由于现实生活中往往得不到完美的原始图像，尤其是在遥感领域，遥感图像几乎是没有参考图像的，因此全参考方法和半参考方法在实际中应用场景较少。

技术实现思路

1、本发明的目的在于，提出一种高光谱遥感图像质量等级评估方法，使用深度学习模型，通过高效便捷的评估算法可以感知高光谱遥感图像的好坏程度，并且能够根据图像的质量等级结果动态地监控、检测和调节高光谱成像仪中图像处理系统输出的图像，为实时高光谱成像仪系统的参数优化提供更加有效的依据；克服了采用传统方法进行质量评估时只能挖掘浅层特征的缺陷，深度学习算法能够自动处理大量数据，从复杂数据中自动学习和提取有用的特征，减少人工干预和主观判断的需要，更准确地评估高光谱遥感图像的质量；并解决了目前遥感领域缺少参考图像的问题，本发明使用无参考方法来进行质量评估，完全减少了对参考图像的依赖。

2、本发明采取的技术方案是：一种高光谱遥感图像质量等级评估方法，包括以下步骤：

3、s1：构建高光谱遥感图像数据集，将所述高光谱遥感图像数据集划分为训练集与测试集；

4、s2：对所述高光谱遥感图像数据集中的高光谱遥感图像执行分割操作，将高光谱遥感图像分割为固定大小的子图像块；

5、s3：构建质量评估模型，所述质量评估模型包括vision transformer模型、空谱注意力模块、频谱集成嵌入模块和跨层融合残差模块；所述vision transformer模型为所述质量评估模型的基础骨架，包括t个编码器，t≥4，每个编码器包括多头自注意力机制和前馈神经网络，用于提取图像特征；所述空谱注意力模块和频谱集成嵌入模块依次设置在vision transformer模型的编码器前端，所述跨层融合残差模块设置在visiontransformer编码器之间；

6、s4：将所有子图像块输入到空谱注意力模块，提取带有光谱权重的特征图；所述空谱注意力模块对输入图像进行最大池化操作和平均池化操作，通过两层全连接层学习通道的权重，并通过gelu激活函数避免梯度消失，最后将gelu函数输出的结果与原始输入相乘，得到带有光谱权重的特征图作为空谱注意力模块的输出；

7、s5：将带有光谱权重的特征图输入到频谱集成嵌入模块，得到局部相邻光谱带分组嵌入特征图；所述频谱集成嵌入模块将通道数为c的带有光谱权重的特征图展平，并按照n个相邻通道进行分组集成，获得个分组后的特征图，即局部相邻光谱带分组嵌入特征图；

8、s6：将局部相邻光谱带分组嵌入特征图进行线性投影，得到线性投影特征图；

9、s7：将线性投影特征图输入到vision transformer模型的t个编码器中，进行多头自注意力和多层感知机操作；

10、s8：通过跨层融合残差模块对编码器进行跨层融合残差操作；所述跨层融合残差模块对第t-1和t+1个编码器的输出z(t-1)以及z(t+1)进行拼接和融合操作，获得融合输出并采用跳跃连接机制将融合输出输入到第t+2个编码器中；

11、s9：将最后一个编码器输出的特征图输入到线性层和激活函数层，得到高光谱遥感图像的质量评估结果；

12、s10：将所述训练集以及对应的主观质量等级输入到所述质量评估模型中进行训练，使用测试集测试所述质量评估模型的模型性能；

13、s11：训练完毕后，将待评估的高光谱遥感图像输入质量评估模型中，获取质量等级。

14、进一步地，所述步骤s2中采用滑窗法裁剪高光谱遥感图像，将高光谱遥感图像分割为固定大小的子图像块，并且不同子图像块之间没有叠盖区域。

15、进一步地，所述步骤s4的具体步骤为：

16、s401：对于输入子图像块y，其向量维度为(c，h，w)，即y∈rc×h×w，其中c表示图片的通道数，h表示图片的高度、w表示图片的宽度，输入子图像块y在像素p处的特征yp，其向量维度为1×1，通道数为c，即yp∈rc×1×1，对特征yp进行平均池化和最大池化操作，具体表达式为：

17、

18、ymax＝max(yp)；

19、其中，yp(m,n)∈rc×1×1，yp(m,n)是yp在位置(m,n)时的表示，yavg表示全局平均池化操作后的特征，ymax表示最大池化操作后的特征，max(·)表示取最大区域；

20、s402：将步骤s401得到的全局平均池化操作后的特征yavg和最大池化操作后的特征ymax输入到两个全连接层，并将全连接层得到的两个结果相加后添加relu激活函数，得到对应的1-d光谱注意力图m(yp)：

21、m(yp)＝frelu(w1(w0(yavg))+w1(w0(ymax)))；

22、其中，1-d光谱注意力图m(yp)的维度为1×1，通道数为c，即m(yp)∈rc×1×1，线性变换w0的维度为即线性变换w1的维度为即r为可自行设置的超参数；第一层全连接层作为以w0参数化的降维层，第二层全连接层是以w1参数化的增维层，线型变换w0和线性变换w1共享权重；frelu表示relu激活函数；

23、s403：将输入子图像块y与对应的1-d光谱注意力图m(yp)相乘得到空谱注意力模块的输出，即输入子图像y对应的带有光谱权重的特征图y'：其向量维度为(c，h，w)，即y'∈rc×h×w，其中，表示乘法元素。

24、进一步地，所述步骤s5的具体步骤为：

25、步骤s501：将所述带有光谱权重的特征图y'的每个波段的2-d平面图像分别展开为相应的1-d向量表示：表示第i通道的1-d向量，i＝1,2…,c，其中，第i通道的1-d向量的维度为wh×1，即1-d向量的维度为wh×c，即

26、s502：将1-d向量中n个相邻波段的向量进行集成输入，获得对应的局部相邻光谱带分组嵌入特征图

27、

28、其中，局部相邻光谱带分组嵌入特征图的维度为wh×n，即g(·)表示分组集成操作，表示向下取整操作。

29、进一步地，所述步骤s6的具体步骤为：将步骤s502中得到的局部相邻光谱带分组嵌入特征图做线性变换，使用全连接层将局部相邻光谱带分组嵌入特征图的维度wh×n降维至d维，得到线性投影特征图x，线性投影特征图x的维度为即d＝w×h×n。

30、进一步地，所述步骤s7的具体步骤为：

31、s701：将步骤s6中得到的线性投影特征图x进行层归一化后，通过线性变换得到查询向量q，键向量k和值向量v：

32、q＝wqx；

33、k＝wkx；

34、v＝wvx；

35、其中，wq为第一可学习的权重矩阵，wk为第二可学习的权重矩阵，wv为第二可学习的权重矩阵；

36、然后进行多头自注意力操作得到第l个head的查询向量ql、第l个head的键向量kl和第l个head的值向量vl：

37、ql＝qwlq；

38、kl＝kwlk；

39、vl＝vwlv；

40、headl＝attention(ql，kl，vl)；

41、msa＝multihead(k,q,v)＝concact(head1，…，headl)wo；

42、其中，l为多头自注意力机制中head的个数，wlq为第四可学习的权重矩阵，wlk为第五可学习的权重矩阵，wlv为第六可学习的权重矩阵，wo为第七可学习的权重矩阵，headl表示多头自注意力机制中第l个头；

43、attention操作为：是缩放因子，dk是查询向量q和键向量k的维度；multihead(·)表示多头自注意力操作，concact(·)表示连接操作，msa表示多头自注意力操作的输出；

44、s702：将步骤s701中多头自注意力操作的输出msa和线性投影特征图x相加得到特征图x′，特征图x′的维度也为将，特征图x′进行层归一化后，输入到多层感知机层得到多层感知机操作的输出x″：x″＝mlp(ln(x′))；其中，ln(·)是层归一化操作，mlp(·)是多层感知机操作；最后将特征图x′与多层感知机操作的输出x″相加，得到第t个编码器的输出zt：zt＝x″+x′。

45、进一步地，所述步骤s8中，分别取第t-1个和第t+1个编码器的输出z(t-1)和z(t+1)，第t-1个编码器的输出z(t-1)和第t+1个编码器的输出z(t+1)的维度均为d×1，即z(t-1)∈rd×1，z(t+1)∈rd×1，d为特征嵌入的维度，d＝c×h×w；对第t-1个编码器的输出z(t-1)和第t+1个编码器的输出z(t+1)进行跨层融合连接操作得到第t+1层跨层融合残差模块的融合输出其中，ω表示可学习的网络参数，维度为1×2，即ω∈r1×2；并将第t+1层跨层融合残差模块的融合输出作为第t+2个编码器的其中一个输入，第t+2个编码器的另一个输入为第t+1个编码器的输出z(t+1)。

46、进一步地，所述步骤s9中，对最后一个编码器的输出zt进行mlp head操作，得到最终高光谱遥感图像的质量等级结果y：y＝fc(gelu(fc(zt)))；其中，gelu(·)是gelu激活函数，fc(·)是全连接层操作。

47、本发明的有益效果在于：

48、(1)本发明使用深度学习算法，采用vision transformer模型，即vit模型作为基础网络模型，相较于传统手工提取特征的方法，本方法有效地提取了高光谱图像空间和局部光谱表示和深层特征，对高光谱遥感图像质量分级进行快速高效的评估；

49、(2)本发明通过光谱注意力模块、频谱集成嵌入模块以及跨层融合残差模块，能够直接从序列的角度捕获高光谱图像全局的光谱顺序信息，增强波段之间的信息传输能力，联合空间特征和光谱特征进行特征融合，进一步提升了图像质量评估的精度；

50、(3)本发明采用无参考的图像质量评估方法，解决了遥感领域缺少参考图像的问题。