基于自监督对比学习的高光谱图像目标检测方法

1.本发明涉及高光谱图像目标检测领域，尤其涉及一种基于自监督对比学习的高光谱图像目标检测方法。


背景技术：

2.高光谱图像是具有丰富光谱信息和空间信息的三维图像，其光谱分辨率高达纳米级，图像中每个像元的光谱是近似连续的曲线。得益于丰富的光谱信息，可以通过光谱对不同地物进行区分。高光谱目标检测由此应运而生并被广泛应用于环境检测、矿产勘测、医疗诊断和军事伪装目标识别等领域，在民用与军事领域发挥着重要的作用。
3.传统的高光谱图像目标检测方法，如基于子空间投影的正交子空间投影(osp)方法在已知目标与背景先验信息的情况下通过将像元光谱投影到背景子空间的正交子空间中以抑制背景并突出目标。基于约束能量最小化(cem)的目标检测器通过构建有限脉冲响应滤波器并以特定增益约束待检测目标光谱的特征同时最小化背景的影响进行目标检测。传统的高光谱目标检测方法对目标光谱固有可变性的适应性弱，导致检测精度下降。近年来，在高光谱图像目标检测领域出现了基于深度学习的方法。从有监督学习的角度出发，为了训练深层的神经网络，针对训练样本不足的情况，出现了基于迁移学习的方法，为了扩充训练样本，将已知有标签高光谱数据集中的同类像元光谱之间相减，不同类像元光谱之间相减，进而扩充了训练样本的数量，但像元光谱之间相减会损失像元精细的光谱特征，对目标检测的精度会产生较大影响。从无监督学习的角度出发，基于目标抑制约束的背景学习高光谱目标检测方法使用cem方法对待检测高光谱图像进行粗略检测以获得背景样本，在将背景样本送入施加目标抑制约束的对抗性自动编码器(aae)中进行训练以重建纯净的背景，通过重建背景图像与待检测图像进行比较以实现目标检测。其使用的粗略检测方法对最终目标检测的结果影响很大。


技术实现要素：

4.根据现有技术存在的问题，本发明公开了一种基于自监督对比学习的高光谱图像目标检测方法，具体包括如下步骤：
5.构建光谱残差通道注意力机制，有选择性的强调有用信息特征并抑制对目标检测任务不重要的特征；
6.构建具有光谱残差通道注意力机制的对抗性卷积自动编码器，用于光谱数据增强；
7.对待检测高光谱图像进行奇偶波段采样，得到奇数波段高光谱图像与偶数波段高光谱图像；
8.分别用奇数波段高光谱图像与偶数波段高光谱图像训练具有光谱残差通道注意力机制的对抗性卷积自动编码器。对待检测高光谱图像进行奇偶波段采样，得到由奇数波段与偶数波段组成的两个高光谱图像，分别表示为与
在分别用x
odd
和x
even
训练具有光谱残差通道注意力机制的对抗性卷积自动编码器。训练分为自编码器网络的训练与对抗网络的训练。在自编码器网络训练阶段，编码器g1(
·
)与解码器g2(
·
)组成自编码器网络。对于给定输入像元光谱xi，自编码器网络通过最小化重构误差损失来优化网络中的参数，重构误差损失被定义为：
[0009][0010]
在对抗网络训练阶段，训练可以看成生成器g1(
·
)(编码器)与鉴别器d(
·
)之间的博弈过程。对抗训练的目标是能够使生成器输出的潜层编码结果越来越接近预设的先验分布p(z)，同时使得鉴别器能够更好地区分特征向量是来自生成器输出的潜层编码还是从先验分布中采样的向量。先验分布预设为多元高斯分布。对抗训练过程的优化目标为：
[0011][0012]
将训练好的两个具有光谱残差通道注意力机制的对抗性卷积自动编码器中编码器的特征提取部分视为起数据增强作用的转换函数，分别表示为g
aae1
(
·
)和g
aae2
(
·
)。然后对奇数波段高光谱图像x
odd
与偶数波段高光谱图像x
even
使用对应的训练好的编码器中的特征提取部分进行特征提取得到两种数据增强样本该过程可以表示为：
[0013]
da＝g
aae1
(x
odd
)
[0014]
db＝g
aae2
(x
even
)
[0015]
其中是从待检测高光谱图像x中采样奇数波段组成的高光谱图像x
odd
通过编码器特征提取部分g
aae1
(
·
)得到的数据增强样本，是采样偶数波段得到的高光谱图像x
even
通过编码器特征提取部分g
aae2
(
·
)得到的数据增强样本。l是编码器特征提取部分输出特征向量的大小；
[0016]
构建具有光谱残差通道注意力机制的主干网络，用于在对比学习阶段进行特征提取；
[0017]
设计光谱对比损失函数，并采用光谱对比损失函数进行光谱级对比学习。从待检测高光谱图像x中随机采样一个批次其中包含n个像元光谱，对其中的每个像元光谱xi执行所设计的数据增强方法，得到2n个数据增强样本对于一个特定像元光谱xi的增强样本其与一个批次的增强样本之间可以构成2n-1对。其中该增强样本与特定像元光谱xi的另一个增强样本之间形成正样本对与剩余的2n-2个样本组成负样本对。使用光谱对比头gs(
·
)将主干提取的表示映射到光谱对比损失空间中，可以表示为
[0018][0019]
样本对之间的相似性通过余弦距离衡量，可以表示为
[0020][0021]
其中c1,c2∈{a,b}并且i,j∈[1,n]。对于给定增强样本的光谱对比损失可以定义为：
[0022][0023]
其中τs是光谱对比学习中的温度参数用于控制柔软度。为了从光谱水平上学习所有正样本对之间的相似性，因此在每个增强样本上计算光谱对比损失，可以形式化如下：
[0024][0025]
设计聚类对比损失函数，并采用聚类对比损失函数进行聚类级对比学习。给定一个批次其中包含n个像元光谱，表示为经过数据增强后得到增强样本和然后增强样本送入主干f(
·
)后得到对应的表示矩阵和使用聚类对比头gc(
·
)将ha和hb投影到聚类对比空间中得到最终的特征矩阵和特征矩阵ya与yb每一列都代表一个对应的簇，每一行都表示对应样本的软标签。更具体地说，特征矩阵ya与yb中的任意行向量与的维度都为2，行向量与中的第j个元素表示该样本属于第j个簇的概率。因此从特征矩阵列的角度出发，令与分别表示特征矩阵ya与yb中的第i列。特征矩阵ya与yb中的第i列都表示同一个簇，因此将与配对形成正簇对与剩余样本配对形成2个负簇对。同样使用余弦距离衡量簇对之间的相似性，即：
[0026][0027]
其中c1,c2∈{a,b}并且i,j∈[1,2]。为了区分正簇对与负簇对，定义聚类对比损失为：
[0028][0029]
其中τc是聚类温度系数用于控制柔软度。遍历所有簇，可以得到最终的聚类对比损失，即：
[0030][0031]
其中j(y)是聚类分配概率的熵，用于避免将大多数样本分配到同一簇，可以形式化如下：
[0032][0033]
其中，与表示聚类分配概率。对于聚类对比头输出的特征矩阵ya与yb，聚类分配概率可以表示为：
[0034][0035]
其中c∈{a,b}；
[0036]
使用数据增强样本在进行光谱级对比学习的同时进行聚类级对比学习，使具有光谱残差通道注意力机制的主干网络在进行光谱相似性与相异性学习的同时，有效地增大对目标与背景提取的表示向量之间的差异；
[0037]
使用训练好的具有光谱残差通道注意力机制的主干网络分别提取待检测高光谱图像中各个像元光谱与先验目标光谱的表示向量，通过余弦相似性衡量待检测像元光谱表示向量与先验目标光谱表示向量之间的相似性，得到仅利用光谱信息的检测结果。
[0038]
结合高光谱图像的空间信息，采用边缘保持滤波器对仅利用光谱信息得到的检测结果滤波，获得联合空间-光谱信息的目标检测结果。
[0039]
由于采用了上述技术方案，本发明提供的一种基于自监督对比学习的高光谱目标检测方法，该方法有效地解决了在高光谱目标检测领域中背景难以抑制的问题，首先通过所述数据增强方法对待检测高光谱图像进行数据增强产生两种增强样本，待检测高光谱图像中的任一像元光谱就存在两个增强样本。同一像元光谱的两个增强样本配对形成正样本对，非同一像元光谱增强样本之间配对形成负样本对。其次，使用主干提取两种增强样本的表示，通过光谱对比头将表示映射到光谱对比空间中学习光谱差异性，通过聚类对比头将表示映射到聚类对比空间中将光谱聚类为目标与背景两个簇，以增强目标与背景的分离度。然后，使用训练好的主干提取先验目标光谱与待检测高光谱图像中每个像元光谱的表示，在根据提取的表示通过余弦相似性来判断待检测高光谱图像中的每个像元光谱与先验目标光谱的相似度，得到仅利用光谱信息进行目标检测的光谱检测结果，最后结合高光谱图像的空间信息，采用边缘保持滤波器对光谱检测结果滤波，得到最终的高光谱图像目标检测结果。
附图说明
[0040]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]
图1为本发明中公开的方法的流程图；
[0042]
图2为光谱残差通道注意力机制(srcam)结构图；
[0043]
图3为具有光谱残差通道注意力机制的对抗性卷积自动编码器结构图；
[0044]
图4为具有光谱残差通道注意力机制的主干网络结构图；
[0045]
图5a-图5b为san diego数据集groundtruth标注图及检测结果图；
[0046]
图6a-图6b为urban数据集groundtruth标注图及检测结果图。
[0047]
图7a-图7b为提出目标检测方法(sclhtd)与对比目标检测方法在san diego数据集上的(pd,pf)与(pf,τ)roc曲线示意图。
[0048]
图8a-图8b为提出目标检测方法(sclhtd)与对比目标检测方法在urban数据集上的(pd,pf)与(pf,τ)roc曲线示意图。
具体实施方式
[0049]
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
[0050]
如图1所示的一种基于自监督对比学习的高光谱图像目标检测方法，具体包括如下步骤：
[0051]
s1：构建光谱残差通道注意力机制，有选择性的强调有用信息特征并抑制对目标检测任务不重要的特征；
[0052]
s1中具体采用如下方式：
[0053]
s11：为了有选择性地强调信息特征并抑制对目标检测任务不太重要的特征，通过设计的光谱残差通道注意力模块(srcam)将不同卷积核对同一像元光谱卷积后得到的特征张量进行自适应的赋予权重，更加关注对于优化目标有利的特征张量。srcam的结构如图2所示。给定一组特征张量其中b,c和l分别是批量大小，通道数和特征张量的深度。依次经过conv1，batch normalization，relu，conv2后得到一组特征张量，表示为conv1与conv2表示一维卷积层，图2卷积层中的参数kn，ks，s和p分别表示卷积核数量，卷积核大小，卷积步长与填充。srcam中两层卷积层的参数相同，batch normalization表示批量归一化；
[0054]
s12：为了获得不同光谱通道之间特征张量的权重，将conv2层输出的特征张量经过自适应全局平均池化压缩光谱深度维度后得到可以描述为：
[0055][0056]
其中k＝{1,2,...,b
×
c}；
[0057]
s13：然后将光谱描述符向量z通过reshape层转换为二维矩阵并将其送入两层全连接层(fc)，得到光谱通道的权重，该过程可以形式化为：
[0058]
si＝δ(w2σ(w1ei))
[0059]
其中是得到的注意力权重向量，i＝[1,2,...b]，σ为
relu激活函数，sigmoid函数δ用于将注意力权重向量的值限定在0到1之间。和分别是fc1和fc2中的参数；
[0060]
s14：将获得的光谱通道注意力权重与conv2层输出的特征张量进行元素相乘，可以描述为：
[0061][0062]
其中u
ij
是u中第i个特征图的第j个特征向量，s
ij
是s中第i行的第j个元素，i＝[1,2,...,b]，j＝[1,2,...,c]；
[0063]
s15：通过残差连接，srcam的最终输出为：
[0064][0065]
s2：构建具有光谱残差通道注意力机制的对抗性卷积自动编码器；
[0066]
s2中具体采用如下方式：其结构如图3所示，由编码器g1(
·
)，解码器g2(
·
)和鉴别器d(
·
)构成。编码器由特征提取与特征映射两个部分组成。特征提取部分g
aae
(
·
)由两个卷积层，两个光谱残差通道注意力模块和一层自适应全局平均池化层组成，其中卷积层与光谱残差通道注意力模块(srcam)中的卷积核数量kn，卷积核大小ks，卷积步长s与填充p的具体数值如图3中所示编码器特征提取部分，自适应全局平均池化层用于将特征张量固定为特定形状，经过reshape操作后可以得到固定维度的特征向量。编码器中的特征映射部分是由全连接层fc1与fc2构成，用于将编码器特征提取部分g
aae
(
·
)提取的特征向量映射到潜层空间中。解码器由两层全连接层fc3与fc4，两个转置卷积层与两个转置光谱残差通道注意力模块(dsrcam)组成。其中dsrcam是将srcam中的卷积层更换为转置卷积层而构成的模块。全连接层fc3与fc4用于将潜层编码映射为特定维数以便解码器后续部分重建该像元光谱。卷积层与dsrcam中的具体参数如图3解码器部分所示。为了减少模型内部斜变量转移，每一层卷积层后都采用批量归一化。除输出层外其余层都与修正线性单元(relu)相结合。判别器由两层全连接层fc5和fc6组成，fc5的激活函数使用relu，fc6使用双曲正切函数(tanh)，将输出特征向量的值限制在[-1,1]的范围内；
[0067]
s3：对待检测高光谱图像进行奇偶波段采样，得到奇数波段高光谱图像与偶数波段高光谱图像，分别表示为与
[0068]
s4：分别用奇数波段高光谱图像与偶数波段高光谱图像训练具有光谱残差通道注意力机制的对抗性卷积自动编码器，训练分为自编码器网络的训练与对抗网络的训练；
[0069]
s4中具体采用如下方式：
[0070]
s41：在自编码器网络训练阶段，编码器g1(
·
)与解码器g2(
·
)组成自编码器网络。对于给定输入像元光谱，自编码器网络的训练通过最小化重构误差损失来优化网络中的参数，重构误差损失被定义为：
[0071][0072]
s42：在对抗网络训练阶段，训练可以看成生成器g1(
·
)(编码器)与鉴别器d(
·
)之间的博弈过程。对抗训练的目标是能够使生成器输出的潜层编码结果越来越接近预设的
先验分布p(z)，同时使得鉴别器能够更好地区分特征向量是来自生成器输出的潜层编码还是从先验分布中采样的向量。先验分布预设为多元高斯分布。对抗训练过程的优化目标为：
[0073][0074]
s5：光谱数据增强；
[0075]
s5中具体采用如下方式：将训练好的两个具有光谱残差通道注意力机制的对抗性卷积自动编码器中编码器的特征提取部分视为起数据增强作用的转换函数，分别表示为g
aae1
(
·
)和g
aae2
(
·
)。然后对奇数波段高光谱图像x
odd
与偶数波段高光谱图像x
even
使用对应的训练好的编码器中的特征提取部分进行特征提取得到两种数据增强样本该过程可以描述为：
[0076]
da＝g
aae1
(x
odd
)
[0077]
db＝g
aae2
(x
even
)
[0078]
其中是从待检测高光谱图像x中采样奇数波段组成的高光谱图像x
odd
通过编码器特征提取部分g
aae1
(
·
)得到的数据增强样本，是采样偶数波段得到的高光谱图像x
even
通过编码器特征提取部分g
aae2
(
·
)得到的数据增强样本。l是编码器特征提取部分输出特征向量的大小；
[0079]
s6：构建具有光谱残差通道注意力机制的主干网络，用于在对比学习阶段进行特征提取，其结构如图4所示；
[0080]
s7：设计光谱对比损失函数，采用光谱对比损失函数进行光谱级对比学习；
[0081]
s7中具体采用如下方式：
[0082]
s71：从待检测高光谱图像x中随机采样一个批次其中包含n个像元光谱，对其中的每个像元光谱xi执行所设计的数据增强方法，得到2n个数据增强样本对于一个特定像元光谱xi的增强样本其与一个批次的增强样本之间可以构成2n-1对。其中该增强样本与特定像元光谱xi的另一个增强样本之间形成正样本对与剩余的2n-2个样本组成负样本对。用光谱对比头gs(
·
)将主干提取的表示映射到光谱对比损失空间中通过样本对之间的相似性通过余弦距离衡量，可以表示为
[0083][0084]
其中c1,c2∈{a,b}并且i,j∈[1,n]。
[0085]
s72：对于给定增强样本的光谱对比损失可以定义为：
[0086][0087]
其中τs是光谱对比学习中的温度参数用于控制柔软度。
[0088]
s73：为了从光谱水平上学习所有正样本对之间的相似性，因此在每个增强样本上计算光谱对比损失，可以形式化如下：
[0089][0090]
s8：设计聚类对比损失函数，采用聚类对比损失函数进行聚类级对比学习；
[0091]
s8中具体采用如下方式：
[0092]
s81：给定一个批次其中包含n个像元光谱，表示为经过数据增强后得到增强样本和然后增强样本送入主干f(
·
)后得到对应的表示矩阵和最后使用聚类对比头gc(
·
)将ha和hb投影到聚类对比空间中得到最终的特征矩阵与分别通过ya＝gc(ha)与yb＝gc(hb)。特征矩阵ya与yb每一列都代表一个对应的簇，每一行都表示对应样本的软标签。更具体地说，特征矩阵ya与yb中的任意行向量与的维度都为2，行向量与中的第j个元素表示该样本属于第j个簇的概率。因此从特征矩阵列的角度出发，令与分别表示特征矩阵ya与yb中的第i列。特征矩阵ya与yb中的第i列都表示同一个簇，因此将与配对形成正簇对与剩余样本配对形成2个负簇对。同样使用余弦距离衡量簇对之间的相似性，即：
[0093][0094]
其中c1,c2∈{a,b}并且i,j∈[1,2]。
[0095]
s82：为了区分正簇对与负簇对，定义聚类对比损失为：
[0096][0097]
其中τc是聚类温度系数用于控制柔软度。
[0098]
s83：遍历所有簇，可以得到最终的聚类对比损失，即：
[0099]
[0100]
其中j(y)是聚类分配概率的熵，用于避免将大多数样本分配到同一簇，可以形式化如下：
[0101][0102]
其中，与表示聚类分配概率。对于聚类对比头输出的特征矩阵ya与yb，聚类分配概率可以表示为：
[0103][0104]
其中c∈{a,b}；
[0105]
s9：联合光谱级对比学习与聚类级对比学习，目标函数由光谱对比损失和聚类对比损失组成，可以表示为：
[0106]
l＝l
spectral
+l
cluster
[0107]
s10：使用训练好的具有光谱残差通道注意力机制的主干网络分别提取待检测高光谱图像中各个像元光谱与先验目标光谱的表示向量，通过余弦相似性衡量待检测像元光谱表示向量与先验目标光谱表示向量之间的相似性，得到仅利用光谱信息的检测结果；
[0108]
s11：结合高光谱图像的空间信息，采用边缘保持滤波器对仅利用光谱信息得到的检测结果滤波，获得联合空间-光谱信息的目标检测结果。
[0109]
下面将在两组公开真实的高光谱图像数据集上对本发明提供的一种基于自监督对比学习的高光谱目标检测方法进行评估与评价。
[0110]
第一组实验数据为san diego真实高光谱图像数据集，是由机载可见光\红外成像光谱仪(aviris)拍摄美国加利福尼亚州圣地亚哥机场区域得到的。原始图像尺寸为400
×
400，波长范围为370到2510nm，图像的空间分辨率为3.5m，光谱分辨率为10nm。实验选取120
×
120大小的部分，其中目标为飞机，共有58个目标像元，去除低信噪比和水吸收波段后，剩余189个波段。
[0111]
第二组实验数据为urban真实高光谱图像数据集，是由aviris传感器在美国德克萨斯州海岸捕获的，每个像元的空间分辨率为17.2米。urban数据集有100
×
100个像元，去除低信噪比波段后剩余204个波段，一共有67个像元被认为是目标用于检测。
[0112]
本发明提供一种基于自监督对比学习的高光谱目标检测方法在两组真实高光谱图像数据上进行检测的检测结果图如图5b，图6b所示。采用接收机工作特性曲线(roc)与曲线下面积(auc)定量分析检测结果。对于san diego数据集，(pd,pf)与(pf,τ)的roc曲线如图7a与7b所示，曲线下面积与的值为别为0.9986与0.0089。对于urban数据集，(pd,pf)与(pf,τ)的roc曲线如图8a与8b所示，曲线下面积与的值为别为0.9947与0.0244。
[0113]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。