一种基于主动深度学习的高光谱图像分类方法

本发明涉及遥感图像处理，具体来说，涉及一种基于主动深度学习的高光谱图像分类方法。

背景技术：

1、目前深度学习模型广泛运用于高光谱图像分类领域。相较于传统的机器学习方法，深度学习有着很强的优势，以深度模型分布式特征表达能力代替传统人工设计的特征提取方式，能够解决高光谱数据结构多样化及复杂噪声所带来的多种问题，但其分类效果很大程度上取决于样本的质量和数量。在遥感图像分类中，训练样本往往是随机选择的样本，并没有经过模型的估计和筛选，这就使得训练样本之间存在很大的信息冗余，而且高光谱数据标注困难，需要耗费大量的时间，人力以及金钱。为了解决这些问题，主动学习就被应用于高光谱图像分类领域中。

2、主动学习是通过合适的策略主动筛选或生成最有价值的样本，然后让该领域专家对这些标记样本进行标注，并将其加入到训练数据集中。最后，模型在更新后的训练集上训练。因此在深度学习中引入主动学习策略能够使用很少的样本完成模型的训练。

3、与深度学习通过使用手工或者自动的方法千方百计地设计具有高性能特征提取能力的模型不同。主动学习是从数据集入手，主要通过设计精妙的查询规则从未标记的数据集中选择最佳样本并查询其标签，试图降低标注代价。因此，查询规则的设计对主动学习的性能是至关重要的。但当前的策略大多考虑的不全面，如常见的贝叶斯主动学习法，利用贝叶斯近似推断求解卷积神经网络的后验概率，以此来单独计算每一个未标记样本的互信息，从而挑选出前b个样本交给专家标注，再加入训练集训练模型，虽然在一定程度上减少了对样本数量的要求。但是通常未标记样本的信息量是单独进行评估的，而单个样本的信息点可能几乎相同，单纯地获取前b个信息量最高的样本可能会导致让专家给b个几乎相同的点加标签，即按照这样的方法挑选出的样本存在很大的样本冗余，不能在每一轮迭代训练时有效地提升模型性能，浪费了数据效率。因此探索更加合适的采样函数，挑选出信息量大，且相似性低的批样本是一个很好的研究方向。

技术实现思路

1、针对相关技术中的上述技术问题，本发明提出了一种基于主动深度学习的高光谱图像分类方法。通过考虑样本的多样性，将采集函数的概念有效地扩展到样本点的集合中。该函数在挑选一批样本时考虑样本之间的相关性，将常用的bald(贝叶斯不一致主动学习)以特定的方式扩展为批bald采集函数，从而挑选出更有价值的样本(信息量高且样本间冗余度低)交给专家标注并将其用于模型训练，从而较快地提升模型的性能，降低相关领域专家的数据标注的工作量，提升数据标注效率。

2、为了解决上述技术问题，本发明通过以下技术方案予以实现：

3、一种基于主动深度学习的高光谱图像分类方法，包括：

4、步骤1：对高光谱图像进行预处理；

5、步骤2：对高光谱图像进行分块处理，将处理后的样本划分为候选集和测试集，建立初始状态下为空集的训练集；

6、步骤3：构建一个混合卷积神经网络的初始模型，所述的混合卷积神经网络模型包括输入层，隐含层和输出层；所述的隐含层包括特征提取层、全连接层和分类层，其中所述特征提取层由依次连接的3d卷积层、2d卷积层构成，所述特征提取层用于同时提取高光谱图像的光谱和空间维度的特征；

7、步骤4：从步骤3中划分的候选集合中，选择一批样本进行标注并加到训练集，作为初始训练数据集，并将剩下的未标记样本随机分为n个batch，每个batch有b个样本；

8、步骤5：使用训练集中的样本训练混合卷积神经网络模型的隐含层，并在训练完成时记录模型的性能；

9、步骤6：在剩余的未标记样本池中，按照所提出的主动学习策略，挑选出其中最有价值的一批样本(不确定性高且冗余度低)，获取标注后加入到训练样本集中；

10、步骤7：重复步骤5和6，直至达到所设定的训练样本数量；

11、步骤8：模型训练结束，根据每一步记录的模型分类精度，得出模型性能随训练样本数量的增多而增长的变化关系。

12、与现有技术相比，本发明所达到的有益效果是：

13、卷积神经网络被广泛运用于高光谱图像分类领域，相较于传统的机器学习算法需要做复杂的特征工程，深度学习可以不需要复杂的特征工程，直接输入原始数据，网络可以通过自动地提取特征，并且直接输入原始数据就可以得到结果，可以实现实际应用中端到端的需求。混合卷积神经网络相较于仅使用2d卷积或仅使用3d卷积，能够充分融合光谱和空间维度特征，且在一定程度上能够减少训练参数从而减少计算量，但这仍然需要大量的标记样本进行训练才能得到高精度的分类模型。因此针对高光谱图像样本标记困难的问题，将主动学习引入深度学习中进行研究很有意义。

14、在本发明中，首先是对高光谱图像进行了pca降维处理，避免了维数灾难的问题。混合3d卷积和2d卷积，以弥补现有方法不能充分利用光谱和空间维度特征，分类精度不佳，网络结构复杂，计算量大等问题。另外改进现有的贝叶斯主动学习采样函数，将采集函数的概念有效地扩展到样本点的集合中，在挑选一批样本时考虑样本之间的相关性，使得所选的样本更有益于模型的性能的提升。

技术特征：

1.一种基于主动深度学习的高光谱图像分类方法，其特征在于，该方法包括如下步骤：

2.根据权利要求1所述的基于主动深度学习的高光谱图像分类的方法，其特征在于：所述的混合卷积网络模型：三个3d卷积层，一个2d卷积层以及两个全连接层和softmax分类器依次串联，为了降低参数量，减少主动学习迭代时训练模型的时间，选择采用一层卷积一层池化的结构。并在两个全连接层中使用mc dropout，以使用贝叶斯近似推断计算不确定性，最后一个全连接层使用softmax分类输出。

3.根据权利要求1所述的基于主动深度学习的高光谱图像分类的方法，其特征在于，步骤6中使用主动学习策略挑选高质量样本，所述的主动学习策略：是在贝叶斯主动学习的基础上进行改进，将采集函数的概念有效地扩展到样本点的集合中。该函数在挑选一批样本时考虑样本之间的相关性，将常用的bald以特定的方式扩展为批bald采集函数。具体来说就是将原来的bald中对单个样本进行不确定性估计，再排序，找出前b个不确定性高的样本，以这b个样本的不确定性之和当作这批样本的信息量，变成直接对包含有b个样本的一个batch的信息量进行估计(即估计多个样本点和模型参数之间的互信息来联合计算)。

技术总结
本发明公开了一种基于主动深度学习的高光谱图像分类方法，将深度学习模型与主动学习结合。所提出的主动深度学习框架，使用混合卷积神经网络充分提取高光谱图像的光谱特征，并对已有的贝叶斯不一致主动学习(BALD)采样函数进行了一些改进。将采集函数的概念有效地扩展到样本点的集合中，从而挑选出更有价值的样本(信息量高且样本间冗余度低的样本)交给专家标注并将其用于模型训练，从而较快地提升模型的性能。在保障深度学习模型适用性的前提下，解决了高光谱影像训练数据少，标注困难的问题。

技术研发人员：张莎莎,王慧斌
受保护的技术使用者：河海大学
技术研发日：
技术公布日：2024/1/15