基于可解释深度学习的遥感图像跨域分类方法

1.本发明属于遥感图像分类技术领域，特别涉及基于可解释深度学习的遥感图像跨域分类方法。


背景技术：

2.遥感图像分类在数字图像分类处理中是一个很重要的应用方向，无论是信息的提取、动态变化的监测或是遥感数据库的建立都离不开遥感图像的分类。与普通图像的分类算法有很多相同之处，但也因遥感图像自身的成像特点而有所差异。由于卫星传感设备的多样性，遥感图像采集过程中存在尺度、噪声的差异，加之地表覆盖的复杂性，干扰因素几乎分布在每个样本中，使得不同数据集数据分布的差异性显著，从而导致在分类过程中从一个环境或场景中学习的模型难以泛化到其他环境和场景。遥感图像跨域分类存在的挑战有：1)开放域数据分布不一致，2)类别分布不平衡和类间差异不显著。前者需要构建基于可解释的深度因果推理模型，后者需要针对类别分布不平衡和类间差异不显著的特点进行损失设计。
3.在普通图像目标域分布未知的条件下，针对源域和目标域的样本分布差异，crlr算法中曾提出了一种基于因果关系的全局样本平衡机制，该方法通过联合因果平衡机制和逻辑回归来实现对不可知目标域的分类，其优化目标如下式所示。平衡机制的作用就是识别因果特征，去除跨域分类过程中“混杂因素”对结果的干扰，从而引导模型实现可解释的鲁棒预测。
[0004][0005]
在上述公式中，n为样本数，p为样本特征量，其中i的取值范围为{1，2
…
n}，j的取值范围为{1，2
…
p}，k的取值范围为{1，2
…
n}，x为样本特征向量，x为单个样本特征，y为样本标签，β为衡量样本特征的因果贡献度的参数。w为样本权重向量，i为样本状态向量，其中状态向量取值为0或者1。以j＝1为例，此时将x第1列设置为0，此时的特征向量变为x
‑1。随机设置状态向量值，并根据状态向量值将所有样本随机分为两组。对这两组特征分布分别进行w加权，再进行正则化处理，并最小化两组特征分布的差值，差值越小代表样本分布越平衡。最终依次对所有特征进行加权正则化处理，使得全局样本特征处于平衡分布状态。在全局分布平衡的样本特征空间进行因果特征学习，并使用β来衡量样本特征贡献度，最终基于β值学习不可知鲁棒分类器。
[0006]
将上述方法直接应用存在以下局限：第一，数据规模的局限性，受制于模型计算效率，该方法在规模相对较小的图像分类中有效，然而却不利于大规模图像分类任务。第二，
数据维度的局限性，逻辑回归分类模型不能满足更具表现力的高维语义特征的提取。
[0007]
因此，需要针对因果平衡机制，设计一种适用于大规模图像数据集和深度学习框架的分类模型。


技术实现要素：

[0008]
针对现有技术存在的不足，本发明提供一种基于可解释深度学习的遥感图像跨域分类方法，通过设计深度学习框架下的因果推理方法，构建鲁棒性的遥感图像分类模型，摆脱对目标域数据分布的依赖，满足开放域场景下模型的有效迁移。1)针对开放域数据分布不一致的挑战，通过研究开放域图像分类模型的泛化方法，构建了基于因果平衡的深度学习图像分类鲁棒模型dcbm；2)针对遥感图像类别分布不平衡和类间差异不显著的挑战，通过研究类别平衡和类间扩距机制，设计了融合聚焦损失和间隔损失的目标函数；3)通过融合因果平衡模型和目标函数，提出了面向开放域遥感图像鲁棒分类的深度神经网络模型和训练算法dcbm
‑
fa。
[0009]
为了解决上述技术问题，本发明采用的技术方案是：
[0010]
基于可解释深度学习的遥感图像跨域分类方法，包括深度特征提取的步骤；和构建基于因果平衡的深度因果平衡模型dcbm和平衡损失函数的步骤；
[0011]
其中，所述的深度因果平衡模型dcbm的混杂平衡损失l
b
融合了聚焦损失l
f
、间隔损失l
m
，构成平衡损失函数，由此构建面向开放域遥感图像鲁棒分类的深度神经网络模型和训练算法dcbm
‑
fa。
[0012]
进一步的，所述的深度因果平衡模型dcbm的因果平衡机制为：最小化混杂平衡损失、平衡混杂特征，提升抽取因果特征能力，具体为：
[0013]
基于控制变量法则和样本平衡机制，在高维特征空间进行因果平衡处理，设计基于因果平衡的深度学习批处理训练方法，通过采用批量样本因果平衡加权后的损失代替传统的交叉熵损失，实现深度因果平衡模型dcbm模型参数的升级迭代；具体实现如下：
[0014]
设e(x)为待训练的特征提取器，存在：
[0015]
f
s
＝e(x
s
)
ꢀꢀ
(1)
[0016]
基于控制变量法则，在特征空间中对样本特征向量f
s
进行加权正则化处理，数学模型如下式所示：
[0017][0018]
最初为每个样本都设置一个初始平衡权值w
bi
和一个状态值s
i
，分别构成一组权重向量w
b
和一组状态向量s，并把w
bi
初始化为0，s
i
取0或1；在式(2)中，当f
s
第j个特征设置为处理变量时，f
s
‑
j
为去除处理变量的剩余变量，此时f
s
第j列设置为0；s
j
是f
s
第j列的状态值，并且有s
ij
为第i个样本第j个特征的状态值；w
b
是f
s
第j列的权重值，并且有w
bi
为第i个样本的权重值；
[0019]
所述的混杂平衡损失l
b
公式为：
[0020][0021]
上述公式(3)中，m为样本特征数量，j的取值范围为{1，2
…
m}，f
s
是样本特征向量，s
j
是样本状态向量，w
b
是样本权重向量，λ1是超参数；
[0022]
通过公式(3)求解一组最优样本权重值，对样本损失进行重新加权后进行深度因果平衡模型dcbm模型优化，完成模型训练。
[0023]
对于深度因果平衡模型dcbm的损失函数如式(4)所示，其保留了经典的交叉熵损失函数，在全局分布平衡的样本特征空间进行因果特征学习，并使用β来衡量样本特征贡献度，最终基于β值学习不可知鲁棒分类器，
[0024][0025]
其中n是样本数，c为类别数量，w是网络权重向量，y
i
表示第i个样本的标签，f
si
表示第i个样本的特征向量；是第i个样本的目标逻辑，β为衡量样本特征的因果贡献度的参数，β值越大证明特征的因果贡献值越大。
[0026]
进一步的，所述的聚焦损失l
f
公式如下所示：
[0027][0028]
其中，c为样本类别，
‑
log(p
t
)为初始交叉熵损失函数，p∈[0，1]为正类估计概率，γ为可聚焦参数，作用是增大聚焦困难类别的权值并减小聚焦简单类别的权值，目的是使得学习注意力聚焦在难分类样本上；λ是一个可调节的参数，作用是增加对不同样本分类准确性的可调节性。
[0029]
优选的是，λ＝2。
[0030]
进一步的，所述的间隔损失l
m
公式如下所示：
[0031][0032]
其中，n是样本数，α是可调节的参数，c是样本类别数量，w表示的是权重向量，y
i
表示第i个样本的标签，f
si
是特征向量，是第i个样本的目标逻辑，存在上述公式中假设||w||＝1，||f
s
||＝1；m用来调节分类间隔，s用来调节收敛速度；参数因子m将权重w和f的余弦距离变为cosθ
‑
m，其中||w||＝1，||f
s
||＝1，通过间隔m来调节遥感图像样本分布的距离，m的取值控制了分类边界的大小，m值越大分类间隔越大。
[0033]
优选的是，m＝2，s＝60，α＝0.25。
[0034]
进一步的，所述的平衡损失函数为dcbm
‑
fa算法的整体损失函数，
[0035]
如下式所示：
[0036][0037]
通过联合优化混杂平衡损失、聚焦损失和间隔损失来构建最终分类模型dcbm
‑
fa；优化目标为最小化l
dcbm
‑
fa
，在优化损失函数过程中，dcbm
‑
fa算法采用反向传播和adam优化算法更新模型参数，adam算法将动量与rmsprop优化算法相结合，运用梯度的一阶矩和二阶矩预估平衡过程中每个训练参数的学习率，通过偏置校正后，每一次的迭代学习率都进行范围确定，使得参数更加平稳；
[0038]
在上述公式中，λ1，λ2，为非负参数，n为样本数，m为样本特征数，c为样本类别数，i的取值范围为{1，2
…
n}，j的取值范围为{1，2
…
c}.其中y
i
表示第i个样本的标签，w表示的是网络权重向量，f
s
为经过特征提取器e(x)获取到的样本特征向量，是第i个样本的目标逻辑；β为衡量样本特征的因果贡献度的参数，存在0＜β＜1，w
b
是样本权重向量，w
bi
为单个样本权重值；α为用来平衡类别的权重参数，γ为可聚焦参数，其作用是增大聚焦困难类别的权值并减小聚焦简单类别的权值；s是超参数，其作用是来缩放余弦值保证模型的收敛速度；m用来调节分类间隔，m值越大分类间隔越大。
[0039]
进一步，在优化过程中对于参数样本权重w
b
和因果贡献β采用分别优化的方式，首先固定β来优化w
b
，然后固定w
b
来优化β；在学习过程中，把迭代周期设置为50，批处理大小设置为64，学习率初始化为5e
‑
4。
[0040]
与现有技术相比，本发明优点在于：
[0041]
1.针对遥感图像源域和目标域数据样本分布的显著性差异，首次创新性的构建了面向遥感图像鲁棒分类的深度因果平衡模型。该模型受到可解释机器学习理论中的因果推理方法的启发，以摒弃混杂特征，抽取因果特征为目标，基于控制变量原则，提出了面向因果特征提取的样本分布需求，并基于该需求，提出了基于批量训练和因果平衡样本权重调整的深度神经网络训练方法，确保特征空间能够最大程度的抽取因果特征，提升了分类模型的泛化性。
[0042]
2.设计面向遥感数据类别规模不平衡和类间差异不显著的平衡损失函数模型。针对类别规模不平衡问题，研究大尺度背景和小尺度目标的平衡机制，引入聚焦损失，通过增大复杂样本的类别权重来达到高效定位目标类别的目的，从而确保因果特征的有效学习。针对类间差异不显著问题，研究不同类别特征空间的扩距机制，引入间隔损失通过增大类间间距，减小类内间距来调节类别可分性，从而不断提升模型的分类精度。最终联合优化混
杂平衡损失、聚焦损失以及间隔损失来构建模型整体损失函数。
附图说明
[0043]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1为本发明的的流程示意图。
[0045]
图2为本发明因果平衡机制原理示意图；
具体实施方式
[0046]
下面结合附图及具体实施例对本发明作进一步的说明。
[0047]
本发明提出基于可解释深度学习的遥感图像跨域分类方法，流程图如图1所示，主要包括两部分，上部分为深度特征提取的步骤，采用深度神经网络框架alexnet，主要用来提取高维语义特征。下部分为本发明的创新设计，包括两部分：构建基于因果平衡的深度因果平衡模型dcbm和平衡损失函数的步骤。
[0048]
其中，1)针对遥感图像数据集多样性对分类模型鲁棒性的要求，构建基于因果平衡的深度因果平衡模型dcbm；
[0049]
2)针对遥感图像类别规模不平衡和类间差异不显著的问题，设计了融合聚焦损失l
f
和间隔损失l
m
的目标函数，并通过融合深度因果平衡模型dcbm的混杂平衡损失l
b
和目标函数，构成新的平衡损失函数，提出了面向开放域遥感图像鲁棒分类的深度神经网络模型和训练算法dcbm
‑
fa。
[0050]
下面分两部分介绍本发明的创新：
[0051]
一、深度因果平衡模型dcbm
[0052]
对于图像分类而言，如果特征x是导致标签y的因果关系，那么该关系具有稳定性，即使在数据分布差异的域也能够保持不变。而相关关系中不具备迁移性和稳定性。具有因果关系的特征称为“因果特征”，具有相关关系的特征称为“混杂特征”。因果平衡机制的目的是就是对“混杂特征”平衡化，以提升抽取因果特征的能力，流程如图2所示.
[0053]
深度因果平衡模型dcbm的因果平衡机制为：最小化混杂平衡损失、平衡混杂特征，提升抽取因果特征能力，具体为：
[0054]
基于控制变量法则和样本平衡机制，在高维特征空间进行因果平衡处理，设计基于因果平衡的深度学习批处理训练方法，通过采用批量样本“因果平衡”加权后的损失代替传统的交叉熵损失，实现深度因果平衡模型dcbm模型参数的升级迭代。具体实现如下：
[0055]
设e(x)为待训练的特征提取器，存在：
[0056]
f
s
＝e(x
s
)
ꢀꢀ
(1)
[0057]
基于控制变量法则，在特征空间中对样本特征向量f
s
进行加权正则化处理，数学模型如下式所示：
[0058][0059]
最初为每个样本都设置一个初始平衡权值w
bi
和一个状态值s
i
，分别构成一组权重向量w
b
和一组状态向量s，并把w
bi
初始化为0，s
i
取0或1。在式(2)中，当f
s
第j个特征设置为处理变量时，f
s
‑
j
为去除处理变量的剩余变量，此时f
s
第j列设置为0。s
j
是f
s
第j列的状态值，并且有s
ij
为第i个样本第j个特征的状态值。w
b
是f
s
第j列的权重值，并且有w
bi
为第i个样本的权重值。
[0060]
所述的混杂平衡损失l
b
公式为：
[0061][0062]
上述公式(3)中，m为样本特征数量，j的取值范围为{1，2
…
m}，f
s
是样本特征向量，s
j
是样本状态向量，取值为0或1，w
b
是样本权重向量，λ1是超参数，取值为1。
[0063]
以j＝1为例，此时将f
s
第1列设置为0，此时的特征向量变为f
s
‑1。随机设置状态向量值，并根据状态向量值将所有样本随机分为两组。对这两组特征分布分别进行w加权，再进行正则化处理，并最小化两组特征分布的差值，l
b
损失函数越小，表示“混杂因素”的影响越小，样本分布越平衡。最终依次对所有特征进行加权正则化处理，使得全局样本特征处于平衡分布状态。
[0064]
通过公式(3)求解一组最优样本权重值，对样本损失进行重新加权后进行深度因果平衡模型dcbm模型优化，完成模型训练。混杂平衡损失的公式形式中加入了log函数，这项改变的目的是使模型收敛速度更快。
[0065]
对于深度因果平衡模型dcbm的损失函数如式(4)所示，其保留了经典的交叉熵损失函数，在全局分布平衡的样本特征空间进行因果特征学习，并使用β来衡量样本特征贡献度，最终基于β值学习不可知鲁棒分类器。
[0066][0067]
其中n是样本数，c为类别数量，w是网络权重向量，y
i
表示第i个样本的标签，f
si
表示第i个样本的特征向量。是第i个样本的目标逻辑，β为衡量样本特征的因果贡献度的参数，β值越大证明特征的因果贡献值越大。该模型的目标是最小化l
dcbm
，采用反向传播和adam优化算法更新模型参数，以求得最优样本权值、因果贡献值以及网络参数，并基于网络参数和因果贡献值学习鲁棒分类器。
[0068]
二、平衡损失函数
[0069]
平衡损失函数为dcbm
‑
fa算法的整体损失函数，主要包括三个部分，1)混杂平衡损失，已在上部分进行说明；2)聚焦损失，旨在解决类别不平衡问题；3)间隔损失，旨在解决类
间差异不显著问题。
[0070]
1.混杂平衡损失l
b
[0071]
该损失是为了更好的约束“混杂特征”，从而使源域和目标域保持分布平衡状态。具体见上部分，此处不再赘述。
[0072]
2.聚焦损失l
f
[0073]
针对遥感图像类别分布不平衡的问题，研究大尺度背景和小尺度目标的平衡机制，通过设计聚焦损失来实现目标类别精准定位，从而确保分类模型对因果特征的有效学习。
[0074]
聚焦损失l
f
公式如下所示：
[0075][0076]
其中，c为样本类别，
‑
log(p
t
)为初始交叉熵损失函数，p∈[0，1]为正类估计概率，γ为可聚焦参数，作用是增大聚焦困难类别的权值并减小聚焦简单类别的权值，目的是使得学习注意力聚焦在难分类样本上。
[0077]
λ是一个可调节的参数，作用是增加对不同样本分类准确性的可调节性。事实上对于聚焦困难的复杂样本来说，此时p
t
值较小，增大聚焦困难类别的权值需要适当增大λ，这样才会提升训练过程中贡献度，进而提高良性样本的分类准确率。因此，针对不同的遥感图像分布数据，选择合适的λ值，可以在复杂样本和容易样本直接找到一个良性的平衡，进而提高整体样本分类准确性。
[0078]
参数设置：对于超参数γ，聚焦因子能够减少简单样本对损失的贡献，通过统计实验发现随着γ值的增加，聚焦因子的对结果的影响也会更显著，当取值为2时，效果最佳。对于超参数λ，对于小尺度样本，当λ＝2时，在复杂样本和容易样本中可以直接找到一个良性的平衡。
[0079]
3.间隔损失l
m
[0080]
针对遥感图像类间差异不显著的问题，研究不同类别特征空间的扩距机制，通过设计间隔损失来提升样本类内紧凑、类间可分离性，从而提高分类模型的分类精度。
[0081]
对于传统的交叉熵损失l
s
，其显著性特点在于优化类间差异，即分离不同的类，但是不善于减小类内的变化，即让相同类的特征更为紧凑。对于非均衡遥感图像而言，其内容复杂，不同类别特征之间具有相似性且同一类别特征之间具有差异性，而交叉熵损失仅仅考虑了样本与标签的关系问题，其缺少对类间信息和类内信息的考虑。
[0082]
基于此，本发明设计一个间隔损失来增大类间间距同时减小类内间距。对于间隔损失l
m
的目标公式如下所示，在最终整体函数中会将传统的交叉熵损失l
s
替换为间隔损失l
m
。
[0083]
间隔损失l
m
公式如下所示：
[0084][0085]
其中，n是样本数，c是样本类别数量，w表示的是权重向量，y
i
表示第i个样本的标
签，f
si
是特征向量，是第i个样本的目标逻辑，存在上述公式中假设||w||＝1，||f
s
||＝1；m用来调节分类间隔，s用来调节收敛速度。参数因子m将权重w和f的余弦距离变为cosθ
‑
m，其中||w||＝1，||f
s
||＝1，通过间隔m来调节遥感图像样本分布的距离，m的取值控制了分类边界的大小，m值越大分类间隔越大。例如对于二分类来说，对于0类的样本，对于softmax存在即cos(θ0)＞cos(θ1)，而对于am
‑
softmax则存在在这里给出规定m为正整数且范围大于1，并且存在余弦函数在该范围内单调递减，则存在cos(θ0)＞cos(θ0)
‑
m＞cos(θ1)，由此证明对于类别相似的遥感图像样本来说该损失约束力更强，对于分类边界条件要求更加严格。s用来调节收敛速度，通过缩放余弦值以加速和稳定优化过程。根据统计实验的方法来选择最优参数，在本专利中m＝2，s＝60时dcbm
‑
fa模型效果最好。
[0086]
此处需要说明的是，α是一个可调节的参数，考虑到遥感图像相似目标尺度不均衡，通过引入一个权重参数用来平衡目标，适应于相似类别的特征分布，通过设置不同的取值来改善特征空间正负类别的不均衡现象。尤其是当目标尺度过小时，分类器容易聚焦于背景，此时α取值变目的是让分类器关注于目标类别，从而保证在正确聚焦的前提下增强类间可分性。
[0087]
参数设置：根据统计实验方法来选择最优参数，在本专利中α取0.25时模型效果最好。对于超参数s，其用来调节收敛速度，通过缩放余弦值以加速和稳定优化过程，如果通过训练过程对其进行学习，则会造成网络收敛速度非常慢，所以本专利中将其设置为足够大的固定值，s值取为60。对于超参数m，依然不使用递减训练策略，最初固定为2，此时能保证网络很好的收敛。
[0088]
4.整体损失l
dcdm
‑
fa
与算法优化
[0089]
本发明的dcbm
‑
fa算法的整体损失函数，如下式所示：
[0090][0091]
通过联合优化混杂平衡损失、聚焦损失和间隔损失来构建最终分类模型dcbm
‑
fa。
[0092]
优化目标为最小化l
dcbm
‑
fa
，在优化损失函数过程中，dcbm
‑
fa算法采用反向传播和adam优化算法更新模型参数，adam算法将动量与rmsprop优化算法相结合，运用梯度的一阶矩和二阶矩预估平衡过程中每个训练参数的学习率，通过偏置校正后，每一次的迭代学习率都进行范围确定，使得参数更加平稳。
[0093]
在上述公式中，λ1，λ2，为非负参数，n为样本数，m为样本特征数，c为样本类别数，i
的取值范围为{1，2
…
n}，j的取值范围为{1，2
…
c}.其中y
i
表示第i个样本的标签，w表示的是网络权重向量，f
s
为经过特征提取器e(x)获取到的样本特征向量，是第i个样本的目标逻辑；β用来衡量特征因果贡献，存在0＜β＜1，w
b
是样本权重向量，w
bi
为单个样本权重值。α为用来平衡类别的权重参数，用来改善遥感图像相似目标不平衡的问题。γ为可聚焦参数，其作用是增大聚焦困难类别的权值并减小聚焦简单类别的权值，目的是使得学习注意力聚焦在难分类样本上。s是超参数，其作用是来缩放余弦值保证模型的收敛速度；m用来调节分类间隔，m值越大分类间隔越大。
[0094]
在优化过程中对于参数样本权重w
b
和因果贡献β采用分别优化的方式，首先固定β来优化w
b
，然后固定w
b
来优化β；在学习过程中，把迭代周期设置为50，批处理大小设置为64，学习率初始化为5e
‑
4(参数为固定值)。
[0095]
5.结果验证分析
[0096]
通过丰富的对比实验和消融实验，在遥感公开数据集aid、nwpu和whu
‑
rs19上验证所提模型dcbm和dcbm
‑
fa的有效性。大量实验证明，在目标域分布未知的条件下，本专利所提的dcbm模型在开放域上的表现性能优于现有的经典方法，且在目标域分布未知和开放域场景下更具有鲁棒性。引入聚焦损失和间隔损失后，dcbm
‑
fa算法表现性能更加优越，尤其对小目标样本分类性能更强，针对相似样本的分类准确性更高。
[0097]
综上所述，本发明针对遥感领域跨域分类问题，首次应用因果平衡机制来获取因果知识，该方法不需要事先知悉目标域数据分布，且在开放域场景下具有鲁棒性。而且深度框架的引入便于高维数据的分析处理，有助于进行大规模图像数据分类。
[0098]
遥感图像较之普通图像内容更为复杂，分辨率、尺度更加多样化。通过引入聚焦损失和间隔损失解决类别不平衡问题和类间差异不显著问题，使得分类模型对小目标样本分类性能更强，针对相似样本的分类准确性更高。最终联合优化混杂平衡损失、聚焦损失以及间隔损失来构建模型整体损失函数。
[0099]
当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。