一种基于深度迁移网络的高光谱图像分类方法

1.本发明涉及一种利用深度迁移网络来实现高光谱图像分类的方法，属于模式识别领域。


背景技术：

2.高光谱图像(hsi)具有丰富的光谱和空间信息，它在农业、气候探测、国防安全等领域具有广阔的应用前景。hsi分类是这些应用的一个共同的任务，其目的是根据地物被探测得到的光谱和空间信息将图像中每个像素分为不同的类别。研究人员提出许多方法以提高hsi分类的精度，包括随机森林、支持向量机以及决策树等。这些传统的高光谱图像分类方法虽模型简单，但大多数不能保证分类精度。
3.近年来，深度学习在许多计算机视觉任务上取得了优异表现，如图像处理、目标检测和自然语言处理等。深度学习可以自动学习特征，这使其能够适用于各种任务情景。且深度学习具有强大的非线性表示能力，可提取数据较为深层、具判别性的特征。以上优点使深度学习被成功应用于高光谱图像分类任务。深度学习强大的特征表达能力往往需要大量有标记的训练样本支撑。大家知道，随着新一代卫星高光谱传感器的发展，我们可以快速获取大量的未标记hsi，然而对这些图像进行标记还需相关专家耗费大量时间完成。因此，标记样本不足严重影响深度学习方法在高光谱分类任务上的应用。为解决上述问题，很多研究者通过将主动学习、数据增强等方法与深度学习将结合，利用少量标记样本完成了高光谱图像分类。虽然以上方法能够在一定程度上缓解因hsi标记困难而带来的训练样本不足的问题，但当训练集和测试集数据来自相似但不相同领域时，即训练集和测试集的数据分布类似但不相同时，以上方法较难获得理想的实验效果。迁移学习能够很好地解决此问题，其通过探索领域不变结构将知识从有标签的某一领域(源域)迁移到相似但分布不相同的领域(目标域)，进而完成跨域分类。将深度网络与迁移学习相结合得到的深度迁移学习模型能够学习到更加深层且更具迁移性的特征，其在高光谱分类任务上取得了突破性成果。这源于深度迁移学习网络可提取数据中具有判别性的特征和不变因子，并根据不变因子的相关性对hsi特征进行有效分组。


技术实现要素：

4.发明目的：为了克服现有技术中存在的不足，本发明提出一种基于深度迁移网络的高光谱图像分类方法，能够仅利用源域标记样本完成对目标域无标签样本的分类。
5.技术方案：一种基于深度迁移网络的高光谱图像分类方法，包括如下步骤：
6.步骤1，用波段选择对原始高光谱图像进行降维：去除波段冗余，得到降维后的高光谱数据x0，高光谱数据x0包括经降维后的源域数据和目标域数据
7.步骤2，利用源域标记样本训练辅助分类器，并使用辅助分类器得到目标域伪标签；
8.步骤3，构建深度迁移神经网络，基于coral损失利用领域适配层适配源域和目标
域减小二阶统计量差异，同时基于lmmd减少源域和目标相关子空间的一阶统计量差异；
9.步骤4，使用训练好的辅助分类器对目标域数据进行分类。
10.进一步的，步骤1中用波段选择对原始高光谱图像进行降维：去除波段冗余，得到降维后的高光谱数据x0，具体包括如下过程：
11.定义原始hsi波段数为nb，以间隔数为和分别选择a和b个波段，降维后的波段数为d，其中表示向下取整运算，可得：
[0012][0013]
定义降维后的高光谱数据x0∈rn×d作为模型的输入，n表示样本数，谱数据x0包括经降维后的源域数据和目标域数据其中，和其中ns表示源域样本数，n
t
表示目标域样本数，ys为源域标签。
[0014]
进一步的，步骤3中构建深度迁移神经网络，基于coral方法利用领域适配层适配源域和目标域减小二阶统计量差异，同时基于lmmd减少源域和目标相关子空间的一阶统计量差异；具体包括如下内容：
[0015]
深度迁移网络dtn包括全连接层、非线性层、领域适配层以及softmax层；将降维后的源域数据和目标域数据输入深度迁移网络dtn中，经由全连接层和非线性层构成的特征提取器提取特征；其中，全连接层输入为：
[0016]
f1＝i
×
w1+b1[0017]
其中，i为全连接层输入，b1为偏置；将全连接层输出作为输入连接到非线性层，非线性层输出为：
[0018][0019]
其中，in为非线性层输入；
[0020]
领域适配层用于适配两域分布差异，后将领域适配层的输出连接到softmax层；深度迁移网络dtn的损失函数定义为：
[0021][0022]
其中，为协方差领域适配项，为子空间适应项，为源域数据分类损失，α1和α2分别为方差领域适应参数和子空间适应参数；协方差领域适配项可表示为：
[0023][0024]
其中，d1为领域适配层输入的维度，cs和c
t
分别表示源域和目标域数据协方差矩阵；
[0025]
子空间适应项可表示为：
[0026][0027]
其中，为经辅助分类器得到的目标域伪标签，c∈{1,2,...,c}为类别索引，和表示和属于c类的权重，则是c类的加权和，可计算为：
[0028][0029]
源域数据分类损失可表示为：
[0030][0031]
其中，c为类别数，y代表类别矩阵，s为深度迁移网络dtn模型预测结果。
[0032]
有益效果：本发明的一种深度迁移网络的跨域高光谱图像分类方法，不仅基于coral从整体上对齐了两域的二阶统计量信息，适配了两域的全局分布。而且基于局部最大均值差异对齐了相关子领域的一阶统计量信息，适配了两域的局部分布。且所提方法能够提取目标域深层、具判别性特征，仅利用源域标记样本完成对目标域无标签样本的分类
附图说明
[0033]
图1为本发明方法的示意图。
具体实施方式
[0034]
下面结合附图对本发明做更进一步的解释。
[0035]
一种基于深度迁移网络的高光谱图像分类方法，能够仅利用源域标记样本完成对目标域无标签样本的分类。
[0036]
技术方案：一种基于深度迁移网络的高光谱图像分类方法，包括如下步骤：
[0037]
步骤1，用波段选择对原始高光谱图像进行降维：去除波段冗余，得到降维后的高光谱数据x0，高光谱数据x0包括经降维后的源域数据和目标域数据
[0038]
原始hsi波段数量多且波段间相关性较强，因而波段之间存在大量冗余信息。直接将原始hsi输入深度迁移网络dtn会造成网络参数增多，模型性能下降。应用波段选择对原始hsi数据进行降维处理。定义原始hsi波段数为nb，以间隔数为和分别选择a和b个波段，降维后的波段数为d，其中表示向下取整运算，可得：
[0039][0040]
定义降维后的高光谱数据x0∈rn×d作为模型的输入，n表示样本数，谱数据x0包括经降维后的源域数据和目标域数据其中，和
其中ns表示源域样本数，n
t
表示目标域样本数，ys为源域标签。
[0041]
步骤2，利用源域标记样本训练辅助分类器，并使用辅助分类器得到目标域伪标签；
[0042]
步骤3，构建深度迁移神经网络，基于coral(correlation alignment，关联对齐)算法，利用领域适配层减小两域二阶统计量差异，同时基于lmmd(local maximum mean discrepancy，局部最大均值度量)减少源域和目标相关子空间的一阶统计量差异。
[0043]
深度神经网络因其强大的深层特征提取能力，被广泛应用于hsi分类。然而当训练集和测试集属于不同数据分布时，深度神经网络难以学习到可迁移知识,从而导致模型分类能力不足。为解决上述问题，提出深度迁移网络dtn，在dnn中加入领域适配层，将经dnn提取的深层、具有判别性的源域和目标域特征同时进行全局二阶统计量和每类相关子空间一阶统计量对齐。
[0044]
深度迁移网络dtn是包括全连接层、非线性层、领域适配层以及softmax层的前馈神经网络。图1中的fc1表示领域适配层，fc2表示softmax层。
[0045]
将降维后的源域数据和目标域数据输入深度迁移网络dtn中，经由全连接层和非线性层构成的特征提取器提取特征。其中，全连接层输入为：
[0046]
f1＝i
×
w1+b1[0047]
其中，i为全连接层输入，b1为偏置。将全连接层输出作为输入连接到非线性层，非线性层输出为：
[0048][0049]
其中，in为非线性层输入。加入领域适配层以适配两域分布差异，后将领域适配层的输出连接到softmax层。深度迁移网络dtn的损失函数定义为：
[0050][0051]
其中，为协方差领域适配项，为子空间适应项，为源域数据分类损失，α1和α2分别为方差领域适应参数和子空间适应参数。
[0052]
协方差领域适配项可表示为：
[0053][0054]
其中，d1为领域适配层输入的维度，cs和c
t
分别表示源域和目标域数据协方差矩阵。
[0055]
子空间适应项可表示为：
[0056][0057]
其中，为经辅助分类器得到的目标域伪标签，c∈{1,2,...,c}为类别索引，
和表示和属于c类的权重，则是c类的加权和，可计算为：
[0058][0059]
源域数据分类损失可表示为：
[0060][0061]
其中，c为类别数，y代表类别矩阵，s为深度迁移网络dtn模型预测结果。
[0062]
步骤4：使用训练好的辅助分类器对目标域数据进行分类。
[0063]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。