本发明涉及地物分类,尤其涉及基于图迁移的高光谱遥感图像地物分类方法、介质、设备。
背景技术:
1、随着遥感卫星数量的持续增长以及重访周期的显著缩短,我们能够获取到丰富的高光谱图像数据。然而,在高光谱图像分类领域,一个显著的挑战浮现:对样本进行标注非常困难,消耗大量的人力、物力和财力。因此,在标注样本稀缺甚至完全缺失的条件下,实现高光谱图像的分类成为了研究的关键方向。为了解决这个问题,一种有效的方法是“借用”已有相关数据的知识。例如,当我们拥有一幅含有丰富标签的高光谱图像时,可以利用这些现有的知识,对缺乏标签信息的新图像进行分类。若是直接使用旧图像的标注数据作为训练集,新图像作为测试数据进行分类,效果欠佳。在不同时间段或不同地理区域采集的高光谱图像,地物的光谱特性可能发生改变。这种现象导致训练数据与测试数据的实际分布存在差异。
2、为了让“借用”知识成为可能,域适应方法进入到大众视野。域适应方法是一种迁移学习算法,主要作用是将已有的知识进行迁移。在域适应中,含有大量标注的数据称为源域数据,缺乏标注的数据称为目标域数据。源域和目标域的地物之间存在联系但不相同。在高光谱图像分类中,基于特征的域适应方法是常用的。这类方法期望寻找到一个新空间进行数据映射,在新空间里,两域数据的特征具有较强的相似性,实现知识迁移的目的。但是大部分基于特征的方法是在闭集条件下提出,没有考虑到更加实际的场景。
3、闭集条件指的是两域数据共享一个标注空间。但是在实际应用中,模型会遇到训练集没有的新类别数据。为了能让模型应对更加灵活的场景,学者提出了基于开集的域适应算法。在开集中,源域和目标域共有的类别叫做已知类,目标域私有的类别叫做未知类。训练完成的模型不仅可以准确地对已知类数据进行分类,还能有效识别未知类数据。然而,目前鲜有开集域适应算法应用在高光谱图像分类领域,绝大部分都是针对自然图像、故障检测等领域。
技术实现思路
1、本发明的目的在于:为了解决闭集条件下的高光谱图像分类不适用于实际场景中会出现新类别数据的问题,提出一种基于图迁移的高光谱遥感图像地物分类方法,包括以下步骤:
2、s1、获取高光谱遥感图像,从中选取源域数据集xs和目标域数据集xt,并获取源域数据标签;
3、s2、使用特征提取器gf对两域数据进行特征提取,得到源域特征zs和目标域特征zt;
4、s3、zs输入重构器gr得到xs的重构数据利用xs的重构误差优化gr,zt输入优化后的gr得到xt的重构数据根据xt的重构误差得到目标域数据的权重;
5、s4、基于目标域数据的权重,使用判别器gd判断zs和zt属于源域还是目标域,判别器gd与特征提取器gf进行域对抗训练;
6、s5、设定目标域数据的权重阈值,挑选权重大于阈值的m1个目标域数据特征zt′,使用分类器gc输出zt′的分类概率p′t;
7、s6、使用zt′、zs、源域数据标签、分类概率p′t计算域间图邻接矩阵,实现循环一致性;
8、s7、通过不断迭代,基于域对抗和循环一致性实现知识迁移,通过分类器gc识别未知类数据,并对已知类数据进行分类。
9、进一步地,xs的重构误差的表达式为:
10、
11、其中,lr表示xs的重构误差,n表示源域数据数量,表示第i个源域数据,表示第i个重构的源域数据。
12、进一步地,目标域数据的权重表示为:
13、
14、其中,wi表示第i个目标域数据的权重,表示第i个目标域数据,表示第i个重构的目标域数据,m表示xt的重构误差中的最小值,m表示目标域数据的数量。
15、进一步地,域对抗损失表示为:
16、
17、其中,lw_domain表示域对抗损失,n表示源域数据特征数量,m表示目标域数据特征数量,表示判别器gd的源域损失,表示判别器gd的目标域损失,表示第i个源域特征经过判别器gd的判别结果,表示第i个源域特征的域标签,表示第j个目标域特征经过判别器gd的判别结果,表示第j个目标域特征的域标签。源域的域标签值为0,目标域的域标签值为1。
18、进一步地,循环一致性的循环连接概率表示为:
19、
20、其中,表示循环连接概率矩阵的第i行第j列元素;表示pst中第i行第k列元素,表示第i个源域数据和第k个目标域数据的连接概率;表示pts中第k行第j列元素,表示第k个目标域数据和第j个源域数据的连接概率;pst和pts表示归一化后的域间图邻接矩阵;
21、pst和pts通过对不同的域间图邻接矩阵wst和wts归一化得到;
22、zs∈n×d与zt′∈m1×d的转置进行点积计算得到wst∈n×m1:
23、
24、由分类器gc得到zt′的分类概率p′t,根据源域数据xs=[xs1,xs2,...,xsn]每个数据的标签,依次从p′t中选取对应类别列值作为对应源域数据所在列的列向量,拼接成矩阵wts,n为源域数据数量。
25、进一步地,循环一致性的约束损失为:
26、lcycle=β1l循环连接约束+β2l同等约束连接
27、其中,lcycle表示循环一致性的约束损失,l循环连接约束表示循环连接约束损失,l同等约束连接表示同等约束连接损失,β1和β2分别表示循环连接约束损失和同等约束连接损失的权重;
28、
29、其中,tij表示指示矩阵中第i行第j列的元素;
30、
31、其中,表示源域数据中属于第c类的个数,表示第i个源域特征,表示第j个源域特征,ωc表示第c个地物类型;
32、
33、其中,表示pst中第i行第j列元素,表示第i个源域数据和第j个目标域数据的连接概率。
34、进一步地,分类器gc使用zs和源域数据标签ys的独热编码训练,提升gc对源域数据的分类能力,分类器gc对源域数据的分类损失为:
35、
36、其中,ls表示分类器gc对源域数据的分类损失,n表示源域数据的数量,表示第i个源域数据标签的独热编码,表示gc对第i个源域数据特征的分类结果;
37、输入zt、w和未知类标签的独热编码,使gc具备有效识别未知类的能力,分类器gc对未知类的识别损失为:
38、
39、其中,lwt表示分类器gc对未知类的识别损失,m表示目标域数据的数量,wi表示第i个目标域数据的权重,yunk-onehot表示未知类标签的独热编码,表示gc对第i个目标域数据特征的识别结果。
40、本发明还提出一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的高光谱遥感图像地物分类方法。
41、本发明还提出一种电子设备,包括处理器和存储器,所述处理器与所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括计算机可读指令,所述处理器被配置用于调用所述计算机可读指令,执行上述的高光谱遥感图像地物分类方法。
42、本发明提供的技术方案带来的有益效果是:
43、本发明通过充分利用源域数据与目标域数据之间的关系,设计基于重构器的权重计算方法,实现已知类与未知类的分离。将循环一致性引入开集场景,并与加权域对抗结合共同缩减两域已知类的分布差异。分离与域适应两者互助,分布差异越小,模型产生的权重更精确,已知类与未知类的分离更明显,更多已知类数据参与域适应,又促进了域间差异的减小。最后,使用两域数据和权重训练分类器,使分类器不仅具备已知类的分类能力,还具备识别未知类的能力。