一种遥感影像场景分类方法

本发明涉及遥感影像场景分类，具体地指基于可控多样性生成对抗网络的一种遥感影像场景分类方法。

背景技术：

1、遥感影像场景分类技术可以将遥感影像块自动划分为不同的类目，在城市规划、环境监测、土地资源管理等方面均有着巨大的应用价值。随着人工智能技术的进步，以卷积神经网为代表的深度模型的分类技术已经成为遥感场景分类方法的标准方法。利用cnn(convolutional neural network,cnn)可以提取出遥感场景中更高层次的属性信息，并获得远超传统浅层模型的分类精度；同时基于cnn结构在场景分类中还可以加入注意力机制、记忆机制来不断提高场景分类精度。

2、cnn等深度模型需要大量的样本来进行训练，然而在实际工作中往往会遇到研究区范围较小或待分类对象数量本身就较少的情况，此时会遇到困难：要么提供极少的样本，分类模型无法得到充分训练，进而无法有效分类；要么将几乎所有需区分的对象加入到样本集，此时已经不需要进行自动分类了。因此，在实际场景分类应用中cnn需要应对小样本的问题。

3、不同于传统模型，cnn参数量较大足够"记住"所有的少量样本中所有细节，所以在样本量较少的情况下cnn易于拟合与场景中的特异差异。为了提高cnn小样本情况下的表现，目前在遥感和图像识别领域主要采取的手段是：利用几何变换方式对样本影像进行一定方向和尺度上的变换来提高样本数量；这种方式在有较大的通用数据集上表现较好，但是在样本较少的情况下可能会引发类目混淆的特征被放大的情况。

4、生成对抗网络(generative adversarial networks，gan)为解决小样本的问题提供了新的思路。生成对抗网络包含生成器g和辨别器d，通过两个模型的对抗训练gan可以识别出样本中的关键特征；gan可以有效的克服过度拟合、噪声和样本交叠等问题的影响，并有效的生成可用于放大(augmentation)样本集的影像数据。在遥感场景分类领域gan得到了较多的关注，在识别关键特征方面，gan可以有效的处理高维度(如使用高光谱影像)和低样本量之间的关系并发现类目的关键特征。在样本集放大方面：xu等构造了线性指数结构来增强传统的gan生成高分辨场景影像的能力；ma等实现了基于gan在线高多样场景样本生成，获得的分类模型精度高于传统几何变换增强的模型。利用gan进行遥感影像生成并提高分类精度的关键是提高空间信息的多样性，通过gan可以提高空间形成更多的空间内容组合而避免出现几何变换中常出现的混淆属性被放大的情况。生成对抗网络制造的遥感样本的空间多样性来自于输入的随机串z，此时对于z可能会遇到两个问题：1)随机性降低：部分随机性可能在g神经网前几层别看做噪声处理掉从而丧失一部分随机内容；2)不可控性：从随机串到随机空间结构完全由权重来控制，而权重的训练具有随机性，难以确定串的特定位置控制了哪些结构。这一问题直接导致了在利用gan生成遥感样本的时候陷入两难境地：为保证单个样本质量许引入更多层次结构，这会显著降低空间多样性；而为提高空间多样性减少网络层数反而会降低单个样本质量。这使得基于gan的场景分类方法生成的样本空间多样性有限，且非常难于控制与实验。

5、在中国专利文献cn111767800a中记载了一种遥感影像场景分类得分融合方法，利用生成对抗网络模型对卫星影像数据集进行训练，并将模型迁移到航拍影像数据集上生成合成波段，通过多种波段组合方式训练场景分类模型，并对分类概率进行融合，从而提高高分辨率遥感影像场景分类的准确率。但该方法未对生全程对抗网络模型进行改进，未实现空间多样性的可控性，这种随机性可能在g神经网的最初几层被吸收，从而使得g生成的影像集中于有限的几种甚至一种空间结构。

技术实现思路

1、本发明的目的就是解决上述背景中空间多样性不足够的问题，提出一种遥感影像场景分类方法，通过cd-gan模型生成具备足够空间多样性的样本来促进cnn的训练过程。cd-gan包含三个组成部分：空间张量生成器(spatial tensor generator,t),生成器(generator,g)和分辨器(discriminator,d)。t用于随机生成一个空间描述z，g接收一个z来生成伪场景图像g(z)。对于输入图像x，d的决策结果为d(x)(图像x是真实的来自于tri或伪造的g(z))。d和g具有对抗性关系。

2、优选的方案中，所述方法整体流程如下：输入训练遥感场景样本集tr；对于每一个类目tri，cd-gan训练并发现样本中的高层次空间特征的组合；t利用tgoa算法生成随机张量，并利用g转换为对应的生成影像集合tgi，此时可以构建构成了一组对应于类别i的增强样本tdi＝{tri,tgi}，在处理完所有类目之后可以获得多样性增强的训练样本集td＝{td1，td2...，tdncategory}；利用td可以训练一个cnn分类模型mcnn，此时mcnn具有更加稳定的空间特征识别能力。

3、优选的方案中，张量生成器t首先构建一组“原子张量”形成原子张量池tatom，然后构建张量输出网络随机选取tatom中的元素加入到输出网络之中，最终对整个输出网络归一化获得输出张量z；每次t调用tgoa将生成一个二维的随机张量z，这个张量将驱动生成器g生成对应的遥感场景影像。

4、优选的方案中，分辨器d负责区分输入的影像来自于真实数据还是模型g的生成数据。

5、优选的方案中，cd-gan模型的目标公式是：

6、

7、其中e是期望算子，真实影像的分布是p(x)，生成器产生的z对应分布为p(z)，描述t、g和d的对抗过程，使得g生成的影像逐步接近于真实的遥感场景。

8、优选的方案中，g的结构采用先编码再反编码两个阶段。

9、优选的方案中，通过逐渐优化公式(1)，g生成的图像越来越逼近真实图像，此时对于一个场景影像类目i对抗模型cd-gan可以表示为一个生成过程：

10、cd-gan(tri)→tgi，     (2)

11、此时cd-gan具备了发现tri中的关键空间特征，并以随机方式生成一系列影像tdi的能力，迭代的应用cd-gan的训练和生成过程就可以实现对原始样本集tr在空间信息上的增强。

12、优选的方案中，编码阶段g采用4组图层，每组包含一个卷积层和一个batchnormalization层，在组和组之间使用lrelu层进行处理。由于引入了带stride的卷积层，所以每经过组feature map均会降为原来的一半大小，通过这种方式使得g逐层的抽取表达z中的空间关系；反编码阶段也采用4组图层：每组图层包含relu、transposed卷积层和batchnormalization层，最终通过tanh层输出生成结果；编码阶段的各组还会将输出直接连接到对应的反编码阶段，这使得在生成的过程中可以兼顾空间关系信息和具体细节信息。

13、与现有技术相比，本发明具有以下有益效果：本发明提出了一种遥感影像场景分类方法，该方法是基于可控多样性生成对抗网络(cd-gan)的遥感场景分类方法；cd-gan的关键特点在于引入了张量生成器t，t主动的构建在空间结构与细节上具有多样性的二维描述张量；生成器g将二维描述张量转换为遥感场景影像；通过控制t的输出cd-gan实现了空间多样性的可控性。