遥感图像语义分割风格不平衡数据集的最远点采样方法

本发明属于遥感图像数据采样，具体涉及一种遥感图像语义分割风格不平衡数据集的最远点采样方法。

背景技术：

1、近年来随着遥感技术的发展，遥感影像在农业管理、环境保护、灾害监测、城市规划等领域得到了越来越广泛的应用。遥感影像的语义分割旨在为栅格格式的地理空间数据中的每个像素标注一组语义标签，如建筑物、裸地、河流和道路等，是许多应用的重要组成部分。随着卷积神经网络的发展和强大的特征提取方法，语义分割算法得到了极大的改进，如今基于全卷积网络的方法如fcn、u-net和deeplab等[yuan x,shi j,gu l.a review ofdeep learning methods for semantic segmentation of remote sensing imagery[j].expert systems with applications,2021,169:114417]，几乎主导了语义分割领域。然而，遥感影像的语义分割仍然是一个难题，原因之一是除了卫星传感器的差异外，大气条件、全色与多光谱融合算法、大气与辐射校正、季节、天气、区域、地貌等的变化使得遥感影像风格多样，这对模型的泛化能力提出了更高的要求。

2、得益于互联网的发展和开源精神，我们可以很容易地获得许多公开的遥感图像数据集。通常为了提高泛化能力，我们会合并多个数据集来训练一个泛化能力更强的模型，但受限于计算资源，我们无法合并尽可能多的数据集进行训练，而真实的大型遥感图像数据集往往冗余且遵循长尾分布[zhang y,kang b,hooi b,et al.deep long-tailedlearning:a survey[j].ieee transactions on pattern analysis and machineintelligence,2023]，即少量的风格样式有大量的训练样本，而大量的风格样式只有少量的训练样本，这使得使用该风格不平衡训练集训练的模型通常仅仅在头部风格表现较好但是却泛化能力不足，很难泛化到其他风格的影像，其实这也是一种对头部风格过拟合问题的体现。一般而言我们期望训练集中样本的风格平衡且多样化，从而避免模型对于单一的头部风格过拟合，从而保证模型的泛化能力，这就涉及到数据集采样技术。

3、在实践中，常见的采样方法是一种广泛应用于类不平衡数据集的技术[haixiangg,yijing l,shang j,et al.learning from class-imbalanced data:review ofmethods and applications[j].expert systems with applications,2017,73:220-239]，其目标是根据标签的类label分布对头部类欠采样，对尾部类过采样，从而平衡类间分布。然而，它并不适用于遥感语义分割数据集的风格不平衡问题，因为风格不平衡不同于类不平衡，关键问题是在实际情况中，当我们处理风格不平衡数据集时，我们无法知道每个样本的风格，因此无法根据样本的风格对其进行过采样或欠采样。

技术实现思路

1、鉴于上述，本发明提供了一种遥感图像语义分割风格不平衡数据集的最远点采样方法，其通过计算每幅图像的颜色分布来区分不同图像的风格，并计算不同图像颜色分布之间的距离作为风格差异，然后使用最远点采样算法对原始数据集进行采样，旨在从大规模数据集中选出风格多样具有代表性的数据子集，从而减小数据集规模和训练深度模型的计算资源消耗的同时提升模型的鲁棒性及泛化能力。

2、一种遥感图像语义分割风格不平衡数据集的最远点采样方法，包括如下步骤：

3、(1)获取原始冗余且风格不平衡的遥感影像数据集，对于该数据集中的图像样本，通过计算其rgb颜色空间分布用以表示样本的风格；

4、(2)对图像样本的rgb颜色空间分布进行高斯平滑处理并将其转换为空间概率分布；

5、(3)计算数据集中两两样本空间概率分布之间的距离，构建距离矩阵，用以量化样本间风格的差异；

6、(4)根据所述距离矩阵利用最远点采样算法对数据集中的图像样本进行采样，得到较小规模且风格平衡的数据子集用以进行下游模型训练任务。

7、进一步地，所述步骤(1)的具体实现方式为：首先对rgb颜色空间进行离散化，即将rgb每个轴0～255的范围均分成32份，每份包含8个灰度级，离散化后的rgb颜色空间每个轴的范围是0～31，然后统计图像样本中所有像素在该离散化rgb颜色空间中的分布频次；对于图像样本的rgb颜色空间分布f(i,j,k)，其表示为图像样本中rgb三通道灰度值对应为i,j,k的像素个数，i,j,k为自然数且0≤i,j,k≤31。

8、进一步地，所述步骤(2)中高斯平滑处理的具体实现方式为：对于图像样本的rgb颜色空间分布f(i,j,k)，首先需要在卷积前对f(i,j,k)使用边缘值填充，然后使用尺寸大小为3×3×3，标准差为1.0的高斯卷积核对f(i,j,k)进行平滑处理，具体表达式如下：

9、

10、其中：g(i,j,k)为平滑后的rgb颜色空间分布。

11、进一步地，所述步骤(2)中对于平滑后的rgb颜色空间分布g(i,j,k)，将其除以图像样本的总像素个数，从而转化为总和为1.0的空间概率分布的形式。

12、进一步地，所述步骤(3)中两两样本空间概率分布之间的距离采用巴氏距离来计算，具体计算表达式如下：

13、

14、其中：p(i,j,k)和q(i,j,k)分别为数据集中任意两个图像样本的空间概率分布，db(p(i,j,k),q(i,j,k))为p(i,j,k)与q(i,j,k)的巴氏距离。

15、进一步地，所述步骤(4)的具体实现方式如下：

16、4.1设定数据子集的规模数量，从数据集中初始化选取一个样本纳入数据子集中；

17、4.2对于数据集中的任一样本，根据距离矩阵查询获取其与数据子集中所有样本的距离，取其中最小的距离为d；

18、4.3根据步骤4.2遍历数据集中所有样本，取对应d值最大的样本纳入数据子集中；

19、4.4重复步骤4.2～4.3直至数据子集达到设定的规模数量。

20、进一步地，所述步骤4.1中的初始化过程为：首先根据距离矩阵从数据集中提取距离值最大的一对样本，然后从这一对样本中任意选取一个样本纳入数据子集中。

21、基于上述技术方案，本发明具有以下有益技术效果：

22、1.本发明将风格这一抽象的事物以颜色空间概率分布来表达，风格之间的差异以颜色分布之间的距离来表达，使得对于风格不平衡的遥感影像数据集的采样有了可行性。

23、2.本发明基于最远点采样算法采样出来的数据子集会兼顾到长尾分布中的尾部(样本量稀少)样本风格，使得基于此数据子集训练出的深度学习模型拥有较强的泛化能力，不会因为风格的长尾分布问题而在头部风格过拟合。

24、3.本发明面对数据规模太大的冗余遥感影像分割数据集和受限的计算资源，可以根据计算资源大小调节采样数量，节省训练模型时计算资源的消耗并尽可能使得训练的模型泛化能力更好。