一种遥感图像的农用地语义分割方法

1.本发明属于遥感技术领域，尤其涉及一种遥感图像的农用地语义分割方法。


背景技术：

2.农用地是直接或间接为农业生产所利用的土地，又称农用地，包括耕地、园地、林地、牧草地、养殖水面、坑塘水面、农田水利设施用地，以及田间道路和其他一切农业生产性建筑物占用的土地等。为保护农业用地，需要遥感卫星采集的图像，对农用地进行识别，防止农用地的用途发生变更。自监督学习作为一种潜在的学习范式，可通过免标签的方式实现遥感影像不变性特征的自主学习。现有的遥感影像自监督对比学习的基本原理建立在以正负样本对为约束学习遥感影像不变性特征。然而，由于遥感影像地物的丰富性和上下文的复杂性，同一个patch存在正负样本共存，且分布不均衡的现象，进而导致对比学习的基本机制：推远负样本，拉近正样本存在严重的偏差：也即推远负样本的同时也推远了正样本，反之亦然。我们称之为样本混淆问题(samples confounding issue(sci))。
3.以监督学习方式训练的深度神经网络模型在遥感图像场景分类，目标检测，语义分割等任务取得了让人印象深刻的进展。这种方法对海量、高质量标注样本的依赖已经成为大范围应用的瓶颈。自监督对比学习的兴起使得从海量无标签遥感数据中自主学习影像的不变性特征成为可能。
4.自监督对比学习方法的核心思想是巧妙的通过旋转，缩放，随机颜色失真，高斯模糊等空间和光谱变换的数据增强方法得到同一张影像地物的副本作为正样本，其他非同类影像作为负样本，通过拉近正样本同时推远负样本来构建监督信号，而不是人工标注作为监督信号，迫使深度神经网络获得空间，光谱和尺度不变性表征。
5.然而，由于遥感影像具有场景复杂性，地物丰富性，分布不均衡性等特点，存在同一个patch(图像块)存在正负样本共存且极不均衡的现象，进而导致对比学习的基本机制：推远负样本，拉近正样本存在严重的偏差：也即推远负样本的同时也推远了正样本，反之亦然。我们称之为样本混淆问题(samples confounding issue(sci))。由sci带来的模型的性能损失，我们称之为(samples confounding effect(sce))，其中包含正样本的负样本影像patch由于给模型错误的反馈信号，因此被称为假负样本(false negative sample)。
6.目前解决自监督对比学习假负样本问题的方法主要从样本的视角进行考虑，可以分为两类：一类从提高负样本构建质量入手，在原始自监督对比学习的基础上附加其他无监督方法，利用附加的无监督结果指导自监督模型构建更高质量的正负样本对(pcl等)。但在遥感影像处理中，采用附加的无监督聚类方法，往往难以更好提升正负样本对的构建质量，反而可能引入相关无监督方法的缺陷，因为遥感影像包含的地物常常存在样本不平衡，类内差异且类间相似等问题，导致无监督聚类方法的效果不佳。
7.第二类方法则考虑放弃构建负样本(如barlow twins等)，这意味着模型的性能将仅依赖于构建得到的正样本。考虑到假负样本本质上是数据集中已存在的正样本，所以这类方法虽然完全避免了产生假负样本，但也意味着模型将无法利用数据集中已存在的正样
本，一定程度上降低了模型提取不变性特征的能力。


技术实现要素：

8.有鉴于此，本发明提出了一种假负样本自区分的遥感影像语义分割的自监督对比学习模型。其核心思想源于如下的观察：深度神经网络模型具有区分正负样本的能力，并且这种能力会潜在地随着模型的训练过程得到不断强化。基于此，我们设计了两个主要步骤实现模型的假负样本近似判定：一是通过假负样本自判定策略，进行假负样本的粗判定；二是设计假负样本置信校准损失函数，进行假负样本的精校准。
9.与上述方法不同，本发明发现遥感影像自监督对比学习模型本身拥有一定区分真假负样本的能力。这种能力来自于真正样本和真负样本给予模型的相对正确的监督信号，而且这种能力会潜在地随着模型地训练过程得到不断强化。本发明称之为假负样本自区分能力(fsd)。该观察激励本发明从模型的角度出发，而不直接从样本的角度来重新思考sce问题。
10.利用fsd判定假负样本的根本难点在于自监督的预训练本质上是一个无监督过程，假负样本缺乏可定义的标准导致了理论上的不可判定性，因而我们只能通过某种策略来近似假负样本.(假负样本的近似判定)从过程来看可以分为两个问题：假负样本粗判定问题和假负样本精校准问题，前者对假负样本进行初步筛选，保证假负样本的査全性；后者在前者的基础上进行精确选择，保证假负样本选择的精确性。
11.本发明提出了一种假负样本自区分的遥感影像自监督对比学习方法(false)，通过假负样本自判定策略，实现假负样本粗判定问题；设计假负样本置信校准损失函数，解决假负样本精校准问题。假负样本自判定策略，特征空间中距离较近的正样本对中的锚样本作为基准，将与该锚样本相似度最高的负样本判定为可能的假负样本；设计假负样本置信校准损失函数，利用假负样本置信校准loss提高可能假负样本对损失函数正样本项的贡献，降低其对损失函数负样本项的贡献，达到缓解样本混淆效应的目的。
12.本发明公开的一种遥感图像的农用地语义分割方法，包括以下步骤：
13.获取多张遥感图像作为样本；
14.选取特征空间中距离较近的正样本对中的锚样本作为基准锚样本o
key
；
15.在特征空间中计算所有负样本与基准锚样本o
key
之间的相似度，将与基准锚样本o
key
相似度最高的负样本判定为可能的假负样本；
16.将可能假负样本n
pf
中的这部分真负样本作为遥感影像自监督对比学习中模型依赖的真难负样本；
17.设计假负样本置信校准loss，通过置信权重α降低可能假负样本n
pf
对模型损失函数负样本项的贡献，增加可能假负样本n
pf
对模型损失函数正样本项的贡献；
18.利用标注的样本、训练神经网络模型，神经网络模型的预测和数据的真实标签产生损失后进行反向传播，计算梯度、更新神经网络模型参数；
19.将新采集的遥感图像输入训练好的神经网络模型，输出农业用地的语义分割结果。
20.进一步的，o
key
满足的条件为：
21.sim(o
key
,p)》t
22.其中，t表示正样本对相似度阈值，用以控制正样本对在特征空间中的接近程度，o
key
为基准的锚样本，其对应的正样本记为p，sim(
·
,
·
)表示计算两个样本的特征相似度。
23.进一步的，在特征空间中计算所有负样本与基准锚样本o
key
之间的相似度，将与基准锚样本o
key
相似度最高的负样本判定为可能的假负样本，判定条件如下式表示：
24.|sim(o
key
,n
pf
)-sim(o
key
,p)|
→
min|sim(o
key
,n)-sim(o
key
,p)|
25.n表示待判定的负样本，n
pf
表示可能的假负样本。
26.进一步的，所述真难负样本满足：
27.n
pf
＝nf+nh28.nf表示假负样本，nh表示模型依赖的真难负样本。
29.进一步的，当判定得到的可能假负样本数量为n
pf
，n
pf
《n时，假负样本置信校准损失函数被定义为：
[0030][0031]
其中，为正样本信号增强项，记为s
ep
，为假负样本信号减弱项，记为s
wn
，二者与原始信号组成了新的正样本信号项s
p
和新的负样本信号项sn，α为置信权重，是第j个可能的假负样本，ni是第i个除可能假负样本以外的负样本，o是锚样本。
[0032]
进一步的，当置信权重α＝0时，意味着模型假负样本自区分的正样本信号增强项和假负样本信号减弱项均为0；当置信权重α＝1时，意味着完全信任模型自区分得到的可能假负样本，并将得到的所有可能假负样本调整为正样本拉近，同时完全消除这部分可能假负样本对原始损失函数负样本项的贡献。
[0033]
进一步的，所述神经网络模型为自监督对比学习神经网络，至少包括cpc、dim，simclr，pcl和barlow twins之一。
[0034]
与现有技术相比，本发明的有益效果如下：
[0035]
(1)从模型的角度而非样本的角度出发考虑解决样本混淆问题(sci)，通过加入假负样本自判定模块，抛弃了引入无监督或放弃构建负样本的办法，利用模型的假负样本自区分能力(fsd)，实现了对假负样本的近似判定和校准。
[0036]
(2)以假负样本置信校准损失函数置信权重的形式量化表征了自监督对比学习模型的假负样本自区分能力强弱。
[0037]
(3)在isprs potsdam,dglc cvpr2018和xiangtan语义分割数据集实验结果表明：本发明在miou上相对于simclr，pcl和barlow twins在isprs potsdams上平均提高了0.7％，最大提高了0.88％；在dglc cvpr2018上平均提高了12.28％，最大提高了28.84％；在xiangtan上平均提高了1.17％，最大提高了2.48％，有效减缓了sce。
附图说明
[0038]
图1自监督对比学习遥感影像语义分割中的假负样本和样本混淆问题示意图；
[0039]
图2本发明的遥感影像自监督对比学习方法框架；
[0040]
图3本发明的遥感影像自监督对比学习方法流程图；
[0041]
图4 potsdam数据集不同置信参数假负样本自区分自监督对比学习模型语义分割平均交并比；
[0042]
图5 cvpr dglc数据集不同置信参数假负样本自区分自监督对比学习模型语义分割平均交并比；
[0043]
图6 xiangtan数据集不同置信参数假负样本自区分自监督对比学习模型语义分割平均交并比。
具体实施方式
[0044]
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
[0045]
自监督学习的方法基于对比约束，它通过学习对两个事物的相似或不相似进行编码来构建表征，在遥感影像自监督对比学习中，真正样本(true positive sample)和负样本中存在的真负样本(true negative sample)将在拉近正样本和推远负样本的约束下给模型反馈一个有关影像地物不变性的正确信号，帮助模型学习影像地物的不变性特征。与之相反，负样本中的假负样本(false negative sample)将在推远负样本的约束下给模型反馈一个有关影像地物不变性的错误信号，产生了样本混淆问题(sci)。
[0046]
由于自监督的预训练本质上是一个无监督过程，假负样本缺乏可定义的标准导致了理论上的不可判定性，因而我们只能通过某种策略来近似假负样本.(假负样本的近似判定)从过程来看可以分为两个问题：假负样本粗判定问题和假负样本精校准问题，前者对假负样本进行初步筛选，保证假负样本的査全性；后者在前者的基础上进行精确选择，保证假负样本选择的精确性。
[0047]
本发明则从上述基本认识出发，分为两个主要部分。一是通过假负样本自判定策略，实现假负样本粗判定问题；二是设计假负样本置信校准损失函数，解决假负样本精校准问题。
[0048]
假负样本自判定策略，特征空间中距离较近的正样本对中的锚样本作为基准，将与该锚样本相似度最高的负样本判定为可能的假负样本；设计假负样本置信校准损失函数，利用假负样本置信校准loss提高可能假负样本对损失函数正样本项的贡献，降低其对损失函数负样本项的贡献，达到缓解样本混淆效应(sce)的目的。
[0049]
假负样本粗判定
[0050]
1)判定基准
[0051]
由于自监督对比学习的基础目标是拉近正样本，推远负样本，所以若模型将某对正样本对投影到特征空间中较近的位置，就意味着模型当前较好地学习到了关于该正样本对的不变性特征。基于此，选取特征空间中距离较近的正样本对中的锚样本作为判定基准，可以最大程度地利用当前模型已学习得到的特征提取信息，从而最大程度地减少模型对可能假负样本的误判。
[0052]
若将作为基准的锚样本记为o
key
，其对应的正样本记为p，sim(
·
,
·
)表示计算两个样本的特征相似度，那么o
key
满足的条件为：
[0053]
sim(o
key
,p)》t
ꢀꢀꢀ
(1)
[0054]
上式中，t表示正样本对相似度阈值，用以控制正样本对在特征空间中的接近程度。
[0055]
2)判定条件
[0056]
在得到满足(1)式的判定基准的基础上，在特征空间中计算所有负样本与基准锚样本o
key
之间的相似度，将与基准锚样本o
key
相似度最高的负样本判定为可能的假负样本。若用n表示待判定的负样本，n
pf
表示可能的假负样本，则判定条件可用下式表示：
[0057]
|sim(o
key
,n
pf
)-sim(o
key
,p)|
→
min|sim(o
key
,n)-sim(o
key
,p)|
ꢀꢀ
(2)
[0058]
3)可能假负样本的分析
[0059]
受到假负样本的影响，模型自判定得到的可能假负样本不全为假负样本，还包含一些真负样本，但由于o
key
实际上代表了当前模型提取影像特征能力的最佳水平，我们难以利用模型的假负样本自区分能力(fsd)将这部分真负样本从可能的假负样本集中剔除。注意到这类负样本的难以区分是对于模型而言的，我们将可能假负样本n
pf
中的这部分真负样本称为遥感影像自监督对比学习中模型依赖的(真)难负样本。若用nf表示假负样本，nh表示模型依赖的难负样本，那么其应满足：
[0060]npf
＝nf+nhꢀꢀꢀꢀꢀꢀꢀ
(3)
[0061]
假负样本精校准
[0062]
1)假负样本置信校准loss
[0063]
为了将得到的可能假负样本校准，并减缓可能假负样本中模型依赖的难负样本对模型性能的影响，不同于传统自监督对比学习的infonce loss(式(4))，我们在将可能假负样本n
pf
校准为正样本时引入置信权重α，设计了假负样本置信校准loss(见式(5))，通过置信权重降低可能假负样本n
pf
对模型损失函数负样本项的贡献，增加可能假负样本n
pf
对模型损失函数正样本项的贡献，达到增强正确信号，减弱错误信号的目的。
[0064]
当一个锚样本所对应的负样本数量为n时，遥感影像自监督对比学习模型对单个锚样本的损失函数被定义为：
[0065][0066]
而当判定得到的可能假负样本数量为n
pf
(n
pf
《n)时，假负样本置信校准损失函数则被定义为：
[0067][0068]
其中，为正样本信号增强项，记为s
ep
。。为假负样本信号减弱项，记为s
wn
。二者与原始信号组成了新的正样本
信号项s
p
和新的负样本信号项sn，α为置信权重，是第j个可能的假负样本，ni是第i个除可能假负样本以外的负样本，o是锚样本。特别的，当数据集中不存在假负样本，即不存在可能假负样本时，n
pf
＝0，(6)式退化为(5)式，变为一般的遥感影像自监督对比学习模型。
[0069]
2)置信权重的物理意义
[0070]
置信权重α代表了对模型假负样本自区分能力(fsd)的信任程度，当置信权重α＝0时，意味着模型假负样本自区分的正样本信号增强项和假负样本信号减弱项均为0，此时模型为传统的自监督对比学习模型，未使用模型假负样本自区分的正负样本构建策略；当置信权重α＝1时，意味着完全信任模型自区分得到的可能假负样本，并将得到的所有可能假负样本调整为正样本拉近，同时完全消除这部分可能假负样本对原始损失函数负样本项的贡献；而当置信权重α取小于1大于0的任意值时，意味着模型将自区分得到的可能假负样本对损失函数正样本项的贡献从0提高至原来对负样本项贡献的α倍，并将其对负样本项的贡献减弱至原来的1-α倍。
[0071]
本发明可应用于各种基于对比约束的自监督框架，包括但不限于cpc、dim，simclr，pcl和barlow twins等。
[0072]
实验选取了公开遥感影像语义分割数据集isprs potsdam，竞赛遥感语义分割数据集cvpr dglc2018和来自高分2号卫星覆盖中国湘潭的遥感语义分割数据集xiangtan。三个数据集的空间分辨率，地物类型数见表1。
[0073]
表1数据集类型及其他参数
[0074]
数据集名字空间分辨率类数量数据集类型isprs potsdam0.05m6公开数据集cvpr dglc20180.5m7竞赛数据集xiangtan2m8实际数据集
[0075]
实验遵照自监督学习模型的通用范式，即在固定自监督预训练得到的影像特征提取器(编码器)网络权重的基础上，利用少量标注数据训练解码器部分。自监督预训练200个周期，batch size＝256，标注数据选取预训练无标注数据中的1％，解码器被用于获取影像语义分割结果。
[0076]
为了定量地探究自监督对比学习模型的假负样本自区分能力(fsd)，我们利用引入的置信权重α进行了多次实验，正样本对相似度阈值t设置为0.9。
[0077]
结果见实验1
[0078]
实验1置信权重实验
[0079]
分别选取了0，0.3，0.5，0.7和1五个置信权重进行了实验，在保持其他参数一致的基础上，每个置信权重实验重复进行了5次。图4-图6展示了假负样本自区分的自监督对比学习模型在选取0，0.3，0.5，0.7和1五个不同置信权重在potsdam，cvpr dglc2018，xiangtan数据集上的miou比较。在置信参数为1时，即完全信任模型自区分得到的假负样本时，模型的性能最佳，其相比传统正负样本构建策略的自监督对比学习模型在potsdam数据集上miou提高了0.72％，在cvpr dglc数据集上miou提高了0.8％，在xiangtan数据集上miou提高了0.56％，。同时我们注意到当置信权重取介于0到1之间的数值，即部分信任模型自区分得到的可疑假负样本时，模型的语义分割性能变得不够稳定，甚至出现离群的精度
统计结果，考虑到这样的置信权重取值实际上同时降低了可能假负样本对于损失函数正样本项和负样本项的贡献，而可能假负样本由假负样本和一部分模型依赖的难负样本组成，所以该现象实际上暗示我们假负样本和模型依赖的难负样本一定程度上影响着模型提取影像特征的稳定性。
[0080]
表2 potsdam数据集不同置信参数各地物语义分割iou(％)
[0081]
αimp.surfacebuildinglow veg.treecarclutter/background047.8747.1541.2227.9428.224.740.347.8747.7242.0727.3724.865.260.548.0846.1542.0630.3126.424.850.747.8247.4242.2228.0527.054.93148.1646.8342.3830.7528.295.26
[0082]
表3 cvpr dglc2018数据集不同置信参数各地物语义分割iou(％)
[0083][0084][0085]
表4 xiangtan数据集不同置信参数各地物语义分割iou(％)
[0086]
αfarmlandurbanrural areaswaterwoodlandgrasslandroadsbackground063.82016.6238.9778.271.9521.5297.560.364.100.3117.1641.3078.491.8621.398.080.563.820.5317.2340.9478.111.9121.0198.090.764.062.7518.2540.4278.121.7021.6898.2164.450.9614.9243.0178.362.2621.5898.23
[0087]
表2-4则展示了模型在potsdam，cvpr dglc2018和xiangtan数据集上选取不同置信权重的各类地物语义分割精度。相比传统自监督对比学习，模型对于potsdam数据集中的树木miou提升了2.81％，对于cvpr dglc2018中的水体miou提升了4.48％，对于xiangtan中的水体提升了4.04％。
[0088]
在此基础上，选取了代表传统正负样本构建策略的自监督对比学习模型simclr,以及代表加入聚类的自监督对比学习模型pcl和代表不构建负样本的自监督学习模型barlow twins作为baseline在potsdam,dglc和xiangtan上进行了测试，与置信权重为1的假负样本自区分的自监督对比学习进行了比较。结果见实验2。
[0089]
实验2 4种不同正负样本构建策略的自监督学习模型比较实验
[0090]
表5四类自监督代表性方法在三个数据集上的语义分割精度比较
[0091][0092][0093]
表5展示了4类不同正负样本策略的自监督学习模型在公开数据集isprs potsdam，cvpr dglc和xiangtan数据集上总体语义分割精度。可以看到，代表加入聚类辅助正负样本构建的pcl和代表放弃构建负样本的barlow twins除在isprs potsdam数据集上相较采用传统正负样本构建的自监督学习方法有所提升外，在公开竞赛数据集cvpr dglc和xiangtan数据集上表现欠佳，甚至差于simclr,表现结果不稳定。而假负样本自区分的自监督对比学习模型相较另外3类方法，即采用传统正负样本构建策略的自监督学习方法，加入聚类辅助的正负样本构建策略的自监督学习方法和放弃构建负样本的正负样本策略的自监督学习方法在isprs potsdam，cvpr dglc和xiangtan三个数据集上提升效果稳定,并取得了4类方法中的最佳结果。
[0094]
本发明提出了一种假负样本自区分的遥感影像自监督对比学习模型(false)，通过假负样本的粗判定和精校准实现了模型的假负样本近似判定。实验表明，假负样本自区分的遥感影像自监督对比学习模型可以有效减缓遥感影像自监督对比学习中的sce，相比代表传统正负样本构建的自监督对比学习simclr，代表引入聚类指导正负样本构建的自监督对比学习pcl和不构建负样本的自监督学习barlow twins，其在isprs potsdams上miou平均提高了0.7％，最大提高了0.88％；在dglc cvpr2018上miou平均提高了12.28％，最大提高了28.84％；在xiangtan上miou平均提高了1.17％，最大提高了2.48％。
[0095]
当前的方法只是对模型假负样本自区分能力的简单实现，虽然充分利用了模型得到的样本相似度信息，但引入了手动设置的置信权重，对于遥感影像语义分割任务而言，不同地物最佳精度所对应的置信权重也不相同，如何自适应地针对数据集中的不同地物样本调整置信权重，更充分地发挥模型的假负样本自区分能力可能是假负样本自区分的自监督对比学习模型今后需要进一步考虑的问题。
[0096]
与现有技术相比，本发明的有益效果如下：
[0097]
(1)从模型的角度而非样本的角度出发考虑解决样本混淆问题(sci)，通过加入假负样本自判定模块，抛弃了引入无监督或放弃构建负样本的办法，利用模型的假负样本自
区分能力(fsd)，实现了对假负样本的近似判定和校准。
[0098]
(2)以假负样本置信校准损失函数置信权重的形式量化表征了自监督对比学习模型的假负样本自区分能力强弱。
[0099]
(3)在isprs potsdam,dglc cvpr2018和xiangtan语义分割数据集实验结果表明：本发明在miou上相对于simclr，pcl和barlow twins在isprs potsdams上平均提高了0.7％，最大提高了0.88％；在dglc cvpr2018上平均提高了12.28％，最大提高了28.84％；在xiangtan上平均提高了1.17％，最大提高了2.48％，有效减缓了sce。
[0100]
本发明所使用的词语“优选的”意指用作实例、示例或例证。本发明描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本技术中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“x使用a或b”意指自然包括排列的任意一个。即，如果x使用a；x使用b；或x使用a和b二者，则“x使用a或b”在前述任一示例中得到满足。
[0101]
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本发明所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
[0102]
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
[0103]
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。