联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法与流程

文档序号:21547871发布日期:2020-07-17 18:00阅读:来源:国知局

技术特征:

1.一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法,其特征在于,包括以下步骤:

步骤1,离线建立遥感解译本体rsontology,所述遥感解译本体rsontology作为对地物的本体表达,用于描述地物类别、地物属性,以及地物之间的相互关系;

步骤2,以图像原始数据i和额外通道信息e组合作为深度语义分割网络的输入数据,基于交叉熵损失函数,通过后向传播算法优化深度语义分割网络,利用训练好的深度语义分割网络对遥感影像进行分类,得到分类结果图r以及各像素点p的预测类别c和分类置信度d,其中额外通道信息的初始值为0;

步骤3,使用超像素分割方法对图像原始数据i进行分割,得到分割图g,图中包含k个超像素s;根据分类结果图r统计超像素s的类别c,利用类别信息c对超像素s进行聚类合并,得到推理单元s′,计算推理单元s'的分类类别的置信度并判别其正误;

步骤4,利用推理单元s'及其相关信息将遥感解译本体rsontology中定义的类别实例化,形成知识图谱;

步骤5,以s′作为推理单元,根据地物之间的相互关系,查找步骤2中分类结果图r中的分类错误的类别并进行改正,得到分类改正结果图r′;

步骤6,提取分类改正结果图r′中的阴影和相对高程信息;

步骤7,将提取得到的阴影和相对高程信息作为深度语义分割网络的额外通道信息e;

步骤8,不断重复步骤2~7进行迭代,直到步骤2中得到最优的地物分类精度,最后输出步骤5中地物分类改正结果。

2.根据权利要求1所述的一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法,其特征在于:步骤1建立遥感解译本体rsontology具体内容包括,

遥感解译本体rsontology用于描述地物本体,用于定义根类地物对象类,包括推理单元类、植被、裸地、道路、建筑、水体、飞机、车辆和船;定义推理单元类的直接父类,包含子类正确分类的正分单元类和错误分类的误分单元类,定义地物的类别和核心属性,包括相邻、环绕和方位空间关系属性以及多数类统计属性。

3.根据权利要求1所述的一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法,其特征在于:步骤5中通过以s′作为推理单元,通过以下本体内推理规则得到分类改正结果图r′,具体实现方式如下,

本体内推理规则1,给定地物类别误分为植被的推理单元,假如其被裸地、道路、建筑或水体围绕,则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别;

本体内推理规则2,给定地物类别误分为裸地的推理单元,假如其被道路、建筑或水体围绕,则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别;

本体内推理规则3,给定地物类别误分为建筑的推理单元,假如其被裸地或水体围绕,则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别;

本体内推理规则4,给定地物类别误分为水体的推理单元,假如其被植被、建筑或道路围绕,则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别;

本体内推理规则5,给定地物类别误分为飞机的推理单元,假如其被植被、建筑或水体围绕,则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别;

本体内推理规则6,给定地物类别误分为车辆的推理单元,假如其被植被或水体围绕,则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别;

本体内推理规则7,误分地物的分类类别为飞机,与其相邻的所有正确分类的地物中没有一个类别为道路,则其分类类别改正为邻域内占多数的正确分类地物类的类别;

本体内推理规则8,误分地物的分类类别为车辆,与其相邻的所有正确分类的地物中没有一个类别为道路,则其分类类别改正为邻域内占多数的正确分类地物类的类别;

本体内推理规则9,误分地物的分类类别为船,其邻域内不存在正确分类的水体,则其分类类别改正为邻域内占多数的正确分类地物类的类别。

4.根据权利要求1所述的一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法,其特征在于:步骤6中通过以下本体外推理规则提取分类改正结果图r′中的阴影和相对高程信息,具体实现方式如下,

本体外推理规则1,误分地物的分类类别为道路、裸地、水体或车辆,若其邻域内存在正确分类的建筑,则其对应区域存在阴影;

本体外推理规则2,误分地物的分类类别为植被、车辆、船或飞机,若其邻域内不存在正确分类的建筑,则其对应区域不存在阴影;

本体外推理规则3,正确分类地物的分类类别为裸地,若其邻域内不存在正确分类的建筑物和植被类的,则其对应区域不存在阴影;

本体外推理规则4,正确分类地物的分类类别为建筑物,则其对应区域不存在阴影;

本体外推理规则5,正确分类地物的分类类别为植被、裸地、道路或水体时,则其具有低高程;

本体外推理规则6,正确分类地物的分类类别为飞机、车辆或船时,则其具有中高程;

本体外推理规则7,正确分类地物的分类类别为建筑时,则其具有高高程。

5.根据权利要求1所述的一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法,其特征在于:步骤2所述深度语义分割网络为u-net网络,u-net是一个基于全卷积神经网络的图像分割网络,其中编码器和解码器由卷积层conv、最大池化层maxpooling、反卷积层up-conv以及修正线性单元relu激活函数组成;在编码过程中,经过2次3x3卷积,每次卷积紧接一个relu操作,2次卷积后进行1次2x2步长为2的最大池化,按照上述过程重复进行4次;在解码过程中,首先进行2x2的反卷积操作,然后对对应最大池化层之前的图像的复制和剪裁,与反卷积得到的图像拼接起来,再进行2次3x3卷积,每次卷积紧接一个relu操作,按照上述过程重复进行4次,在每进行一次拼接之后的第一个3x3卷积操作,3x3卷积核数量成倍减少。

6.根据权利要求1所述的一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法,其特征在于:利用输入影像及其对应的人工标注结果来训练u-net网络,假设遥感影像原始数据为i和其对应的额外通道信息为e,第一个迭代步中e置为0,令θ为深度语义分割网络的超参数,如式肆所示,对于观测样本i的给定某个像素属于类别c的预测概率为pc;

其中,代表深度语义分割网络的层次化映射函数;

基于经典的交叉熵损失函数(式伍),通过后向传播算法自适应矩估计adaptivemomentestimation,adam优化深度语义分割网络;

其中,n为分类类别的数量;yc为指示变量,如果该类别与样本的类别相同,yc为1,否则为0。

7.根据权利要求1所述的一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法,其特征在于:步骤3中使用简单线性迭代聚类slic超像素分割方法对影像进行超像素分割,得到分割图g中k个超像素s,如式陆;影像中每一个超像素s的预测类别c由s内的像素点确定,统计各类别包含的像素数量,具有最多像素的类别即为s的预测类别;

g={s1,s2,...,sk|si=slic(i),1≤i<k}(式陆)

按照类别和相邻关系,对预测类别的超像素s进行聚类,得到超像素聚类图g′,类别相同且相邻的超像素聚成一类,得到新的超像素s′,其预测类别不变,如式柒,将超像素s′作为后续本体推理的推理单元,

s′={si|ci=c,siadjacenttos,1≤i<k}(式柒)

计算每个推理单元s’内所有像素点置信度的平均值作为该推理单元的分类置信度ds;设置置信度阈值,若分类置信度高于阈值,则推理单元为分类正确区块,其实际类别ct与分类类别cs相同,即ct=cs;反之,则为分类错误的区块,其实际类别ct与分类类别cs不相同,即ct≠cs。


技术总结
本发明公开了一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法。本发明中的本体推理与深度语义分割网络进行耦合交互,深度语义分割方法提取低层次知识完成对高分辨率遥感影像的初始分类,给本体推理提供推理所需的属性信息;本体推理可以像领域解译专家一样依据高层次的分类知识从基于深度语义分割网络的遥感影像分类结果中查找错误并纠正,然后提取额外的类别信息作为深度语义分割网络的额外通道信息。两者地输出互为对方的输入,相互促进,能够有效提高地物分类的精度和可解释性。

技术研发人员:李彦胜;欧阳松;张永军
受保护的技术使用者:武汉大学
技术研发日:2020.03.12
技术公布日:2020.07.17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1