联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法与流程

本发明属于遥感解译与人工智能的交叉领域，涉及一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法，具体包含一种数据驱动的深度学习和知识引导的本体推理协同进化的新一代可解释性遥感影像分类方法。

背景技术：

随着遥感对地观测技术的不断进步，遥感影像的空间分辨率不断提高。光学高分辨率遥感影像因其丰富的纹理和空间结构信息以及获取方式的愈加便捷，逐渐成为了遥感地物信息解译的重要数据支撑。作为遥感信息解译的基础性工作，高分辨率遥感影像地物分类受到科研技术人员的广泛关注，在交通运输、农林保护、环境评估、灾害救援和国防军事等领域都具有重要应用价值。尽管高分辨率遥感影像有助于显示更多地物细节，但高分辨率遥感影像数据的“同谱异物、同物异谱”现象显著，给遥感影像分类带来了巨大的挑战。

高分辨率遥感影像地物分类方法可以大致分为两大类：传统的基于人工设计特征和浅层分类器的方法；基于特征与分类一体化的深度语义分割网络方法。传统分类方法一般先根据专家设定的特征描述子提取遥感影像的光谱、纹理和结构特征，然后进行特征分类(特征分类方法包括最大似然法、决策树和支持向量机等基于浅层特征判别的有监督分类方法)；基于特征与分类一体化的深度语义分割网络方法包括全卷积网络(fcn)、分割网络(segnet)、u型网络(u-net)、深度分割网络(deeplab)和掩模区域卷积网络(maskr-cnn)等方法。传统方法一般需要人工设计特征描述算子，很难跨越底层图像数据与高层逻辑信息的语义鸿沟，分类精度往往较差；基于深度语义分割网络的方法能够通过端到端地学习机制从数据中自动学习特征提取与特征分类模型，从而自适应地提取遥感影像的特征并进行分类。在具有充足有标记训练样本保障的前提下，深度语义分割网络往往可以取得比较好的分类精度。然而，深度语义分割网络是数据驱动的方法，高度依赖数据学习，缺乏像人一样的认知能力，无法充分利用地物之间丰富的逻辑信息(如空间关系)进行自我纠错，其结果的可解释性较差(深度网络的黑盒特性仍然十分显著)及可信度有待提高(微弱噪声的干扰常引起深度网络产生莫名其妙的预测错误)。

技术实现要素：

本发明主要是解决现有技术在高分辨率遥感影像地物分类过程中所存在的分类结果精度低和可解释性差等问题，提供了一种联合深度数据学习和本体知识推理的方法及系统，可以有效地提高高分辨率遥感影像地物分类的精度和可解释性。

遥感专家之所以能从复杂的遥感影像中快速准确地对地物进行分类，是因为遥感专家具有必要的地学先验知识以及通过知识推理获得新知识的能力。由于地学先验知识都是基本常识并且推理结果都是可以预见的，将遥感专家的地学先验知识通过形式化语言进行表示并形成推理能力可以建立知识驱动的可解释性遥感影像目标识别方法。然而，并不是所有地学先验知识都可以被轻易地形式化建模，这极大限制了基于知识驱动的方法的实际性能。相比之下，知识驱动的遥感影像解译方法的解释性强，但迫于完备知识建模的技术挑战，该类方法的精度比较有限。本体(ontology)作为相关领域中概念及其相互关系的形式化表达，具有很强的知识表示能力、基于认知语义学的推理能力和共享知识的能力。基于本体的语义推理可以很好地利用专家知识及地物的空间关系等信息识别错误的地物分类并直接改正分类结果，同时也可以从遥感影像数据中自动推理出额外信息(如阴影和高程等信息)以解决仅仅依靠遥感图像的光谱、纹理和几何特征所难以克服的分类问题。

基于以上分析，联合数据驱动的深度学习与知识驱动的本体推理是实现真正智能化遥感地物信息解译的必由之路。联合本体知识推理与深度数据学习能够充分发挥两者的优势，既利用了深度学习方法善于学习难以准确表达的底层知识且分类精度高的优点，又结合了本体推理的分类结果可解释性和可信度强的特点。深度语义分割方法提取低层次知识完成对高分辨率遥感影像的初始分类，给本体推理提供推理所需的属性信息；本体推理可以像领域解译专家一样依据高层次的分类知识从基于深度语义分割网络的遥感影像分类结果中识别分类错误并纠正，然后提取额外的类别信息反馈给深度语义分割网络以增强遥感影像中某些地物类别之间的可区分性。整个过程不断迭代进化，不仅可以在深度语义分割方法的基础上进一步提高地物分类的精度，又能通过本体推理来增强分类的可解释性和可信度。

本发明所采用的技术方案是：联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法，包括以下步骤：

步骤1，离线建立遥感解译本体rsontology，所述遥感解译本体rsontology作为对地物的本体表达，用于描述地物类别、地物属性，以及地物之间的相互关系；

步骤2，以图像原始数据i和额外通道信息e组合作为深度语义分割网络的输入数据，基于损失函数，通过后向传播算法优化深度语义分割网络，利用训练好的深度语义分割网络对遥感影像进行分类，得到分类结果图r以及各像素点p的预测类别c和分类置信度d，其中额外通道信息的初始值为0；

步骤3，使用超像素分割方法对图像原始数据i进行分割，得到分割图g，图中包含k个超像素s；根据分类结果图r统计超像素s的类别c，利用类别信息c对超像素s进行聚类合并，得到推理单元s′，计算推理单元s′的分类类别的置信度并判别其正误；

步骤4，利用推理单元s吸其相关信息将遥感解译本体rsontology中定义的类别实例化，形成知识图谱；

步骤5，以s作为推理单元，根据地物之间的相互关系，查找步骤2中分类结果图r中的分类错误的类别并进行改正，得到分类改正结果图r′；

步骤6，提取分类改正结果图r′中的阴影和相对高程信息；

步骤7，将提取得到的阴影和相对高程信息作为深度语义分割网络的额外通道信息e；

步骤8，不断重复步骤2～7进行迭代，直到步骤2中得到最优的地物分类精度，最后输出步骤5中地物分类改正结果。

进一步的，步骤1建立遥感解译本体rsontology具体内容包括，

遥感解译本体rsontology用于描述地物本体，用于定义根类地物对象类，包括推理单元类、植被、裸地、道路、建筑、水体、飞机、车辆和船；定义推理单元类的直接父类，包含子类正确分类的正分单元类和错误分类的误分单元类，定义地物的类别和核心属性，包括相邻、环绕和方位空间关系属性以及多数类统计属性。

进一步的，步骤5中通过以s′作为推理单元，通过以下本体内推理规则得到分类改正结果图r′，具体实现方式如下，

本体内推理规则1，给定地物类别误分为植被的推理单元，假如其被裸地、道路、建筑或水体围绕，则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别；

本体内推理规则2，给定地物类别误分为裸地的推理单元，假如其被道路、建筑或水体围绕，则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别；

本体内推理规则3，给定地物类别误分为建筑的推理单元，假如其被裸地或水体围绕，则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别；

本体内推理规则4，给定地物类别误分为水体的推理单元，假如其被植被、建筑或道路围绕，则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别；

本体内推理规则5，给定地物类别误分为飞机的推理单元，假如其被植被、建筑或水体围绕，则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别；

本体内推理规则6，给定地物类别误分为车辆的推理单元，假如其被植被或水体围绕，则该推理单元的地物类别应该改正为环绕该推理单元的地物的类别；

本体内推理规则7，误分地物的分类类别为飞机，与其相邻的所有正确分类的地物中没有一个类别为道路，则其分类类别改正为邻域内占多数的正确分类地物类的类别；

本体内推理规则8，误分地物的分类类别为车辆，与其相邻的所有正确分类的地物中没有一个类别为道路，则其分类类别改正为邻域内占多数的正确分类地物类的类别；

本体内推理规则9，误分地物的分类类别为船，其邻域内不存在正确分类的水体，则其分类类别改正为邻域内占多数的正确分类地物类的类别。

进一步的，步骤6中通过以下本体外推理规则提取分类改正结果图r′中的阴影和相对高程信息，具体实现方式如下，

本体外推理规则1，误分地物的分类类别为道路、裸地、水体或车辆，若其邻域内存在正确分类的建筑，则其对应区域存在阴影；

本体外推理规则2，误分地物的分类类别为植被、车辆、船或飞机，若其邻域内不存在正确分类的建筑，则其对应区域不存在阴影；

本体外推理规则3，正确分类地物的分类类别为裸地，若其邻域内不存在正确分类的建筑物和植被类的，则其对应区域不存在阴影；

本体外推理规则4，正确分类地物的分类类别为建筑物，则其对应区域不存在阴影；

本体外推理规则5，正确分类地物的分类类别为植被、裸地、道路或水体时，则其具有低高程；

本体外推理规则6，正确分类地物的分类类别为飞机、车辆或船时，则其具有中高程；

本体外推理规则7，正确分类地物的分类类别为建筑时，则其具有高高程。

进一步的，步骤2所述深度语义分割网络为u-net网络，u-net是一个基于全卷积神经网络的图像分割网络，其中编码器和解码器由卷积层conv、最大池化层maxpooling、反卷积层up-conv以及修正线性单元(rectifiedlinearunit，relu)激活函数组成；在编码过程中，经过2次3x3卷积，每次卷积紧接一个relu操作，2次卷积后进行1次2x2步长为2的最大池化，按照上述过程重复进行4次；在解码过程中，首先进行2x2的反卷积操作，然后对对应最大池化层之前的图像的复制和剪裁，与反卷积得到的图像拼接起来，再进行2次3x3卷积，每次卷积紧接一个relu操作，按照上述过程重复进行4次，在每进行一次拼接之后的第一个3x3卷积操作，3x3卷积核数量成倍减少。

进一步的，利用输入影像及其对应的人工标注结果来训练u-net网络，假设遥感影像原始数据为i和其对应的额外通道信息为e，第一个迭代步中e置为0，令θ为深度语义分割网络的超参数，如式肆所示，对于观测样本i的给定某个像素属于类别c的预测概率为pc；

其中，代表深度语义分割网络的层次化映射函数；

基于经典的交叉熵损失函数(式伍)，通过后向传播算法自适应矩估计(adaptivemomentestimation，adam)优化深度语义分割网络；

其中，n为分类类别的数量；yc为指示变量，如果该类别与样本的类别相同，yc为1，否则为0。

进一步的，步骤3中使用简单线性迭代聚类(simplelineariterativecluster，slic)超像素分割方法对影像进行超像素分割，得到分割图g中k个超像素s，如式陆；影像中每一个超像素s的预测类别c由s内的像素点确定，统计各类别包含的像素数量，具有最多像素的类别即为s的预测类别；

g＝{s1，s2，...，sk|si＝slic(i)，1≤i＜k}(式陆)

按照类别和相邻关系，对预测类别的超像素s进行聚类，得到超像素聚类图g′，类别相同且相邻的超像素聚成一类，得到新的超像素s’，其预测类别不变，如式柒，将超像素s’作为后续本体推理的推理单元，

s’＝{si|ci＝c，siadjacenttos，1≤i＜k}(式柒)

计算每个推理单元s’内所有像素点置信度的平均值作为该推理单元的分类置信度ds；设置置信度阈值，若分类置信度高于阈值，则推理单元为分类正确区块，其实际类别ct与分类类别cs相同，即ct＝cs；反之，则为分类错误的区块，其实际类别ct与分类类别cs不相同，即ct≠cs。

本发明具有以下优点：通过引入的本体推理技术充分利用了遥感影像中地物之间丰富的空间关系等信息以及相关邻域专家知识。体系内本体推理直接纠正地物分类结果，体系外本体推理从分类改正结果中提取阴影和相对高程等额外的类别信息以间接辅助分类，既提高了分类结果的精度，又增强了分类的可解释性；本体推理与深度语义分割网络进行耦合交互，深度语义分割方法提取低层次知识完成对高分辨率遥感影像的初始分类，给本体推理提供推理所需的属性信息；本体推理可以像领域解译专家一样依据高层次的分类知识从基于深度语义分割网络的遥感影像分类结果中查找错误并纠正，然后提取额外的类别信息作为深度语义分割网络的额外通道信息。两者地输出互为对方的输入，相互促进，能够有效提高地物分类的精度和可解释性。

附图说明

图1：为本发明实施例的总体流程图(需要说明的是，由于展示空间的限制，体系内本体推理和体系外本体推理仅采用了一条推理规则进行展示)。

图2：为本发明实施例的地理本体示意图。

图3：本发明实施例的深度语义分割网络结构图。

图4：为本发明实施例的超像素分割结果示意图。

图5：为本发明实施例的体系内本体推理结果示意图(以第一轮迭代为例，进行结果展示)。

图6：为本发明实施例的体系外本体语义推理示意图(以第一轮迭代为例，进行结果展示)。

图7：为本发明实施例的地物分类结果示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种联合深度数据学习和本体知识推理的可解释性遥感影像地物分类方法，包括以下步骤：

步骤1：离线建立遥感解译本体rsontology，所述遥感解译本体rsontology作为对地物的本体表达，用于描述地物类别、地物属性，以及地物之间的相互关系；在遥感解译本体的基础上建立本体推理规则，并将创建好的推理规则加入到本体推理规则库中，具体实现包括以下子步骤：

步骤1.1：建立遥感解译本体rsontology，使用网络本体语言(webontologylanguage，owl)描述本体。定义根类地物对象类(oc：geoobject)。oc：geoobject主要子类包括推理单元类(oc：segment)、植被(oc：vegetation)、裸地(oc：ground)、道路(oc：pavement)、建筑(oc：building)、水体(oc：water)、飞机(oc：airplane)、车辆(oc：car)和船(oc：ship)等。oc：segment用于定义推理单元类的直接父类，包含子类正确分类的正分单元类(oc：classifiedsegment)和错误分类的误分单元类(oc：misclassifiedsegment)。oc：geoclass为分类类别本体类，即地物的类别，如a为车辆，其广义类别为oc：geoclass，则定义核心属性，主要包括从属(oc：isa)等上下层属性，相邻(geo：adjacentto)、环绕(geo：surroundedby)和方位(geo：hasdirectionof)等空间关系属性以及多数类(geo：maxclass)等统计属性，其中方位指两个目标之间的方位关系，如a在b的东方向。

步骤1.2：离线创建体系内本体推理规则，用于改正地物分类结果。使用描述逻辑(descriptionlogic，dl)符号化表示本体推理规则，如表1，其中oe：entity和oe：entity1为正确分类的推理单元本体实例，oe：misentity为错误分类的推理单元本体实例，满足式壹、式贰和式叁。

oc：classifiedsegment(oe：entity).........................(式壹)；

oc：classifiedsegment(oe：entity1).........................(式贰)；

oc：misclassifiedsegment(oe：misentity).....................(式叁)；

表1体系内本体推理规则

步骤1.3：离线创建体系外本体推理规则，用于提取额外信息。规则如表2，其中规则1～4用于提取阴影信息，规则5～7用于提取相对高程信息：

表2体系外本体推理规则

步骤1.4：将体系内外本体推理规则加入到本体推理规则库中。

步骤2：深度语义分割网络训练和地物分类。以图像原始数据i和额外通道信息e(第一个迭代步，额外通道信息置零，后续迭代步内可以自适应生成)组合作为深度语义分割网络的输入数据，基于经典的交叉熵损失函数(crossentropylossfunction)，通过后向传播算法自适应矩估计(adaptivemomentestimation，adam)优化深度语义分割网络。本发明以公开的ucm遥感地物分类数据集为例，该数据集的地物类别包括8类，分别为植被(vegetation)、裸地(ground)、道路(pavement)、建筑(building)、水体(water)、飞机(airplane)、车辆(car)和船(ship)。训练集、验证集与测试集图像数量之比为8∶1∶1。利用训练后的深度语义分割网络对遥感影像进行分类，得到分类结果图r以及各像素点p的预测类别c和分类置信度d。深度语义分割网络的输出为本发明方法的第i阶段结果。

本发明以深度语义分割网络u-net为例进行阐述，u-net是一个基于全卷积神经网络的图像分割网络，其中编码器和解码器由卷积层(conv)、最大池化层(maxpooling)、反卷积层(up-conv)以及修正线性单元(rectifiedlinearunit，relu)激活函数组成。在编码过程中，经过2次3x3卷积，每次卷积紧接一个relu操作，2次卷积后进行1次2x2步长为2的最大池化，按照上述过程重复进行4次；在解码过程中，首先进行2x2的反卷积操作，然后对对应最大池化层之前的图像的复制和剪裁，与反卷积得到的图像拼接起来，再进行2次3x3卷积，每次卷积紧接一个relu操作，按照上述过程重复进行4次，在每进行一次拼接之后的第一个3x3卷积操作，3x3卷积核数量成倍减少。

利用输入影像及其对应的人工标注结果来训练深度语义分割网络。假设遥感影像原始数据为i和其对应的额外通道信息为e(第一个迭代步中e置为0)，令θ为深度语义分割网络的超参数。如式肆所示，对于观测样本i的给定某个像素属于类别c的预测概率为pc。

其中，代表深度语义分割网络的层次化映射函数。

基于经典的交叉熵损失函数(式伍)，通过后向传播算法自适应矩估计(adaptivemomentestimation，adam)优化深度语义分割网络。

其中，n为分类类别的数量；yc为指示变量，如果该类别与样本的类别相同，yc为1，否则为0。

步骤3：请见图4，生成推理单元。使用slic超像素分割方法对图像原始数据i进行分割，得到分割图g，图中包含k个超像素s；根据分类结果图r统计s的类别c；利用类别信息c对s进行聚类合并，得到推理单元s′；计算推理单元s′的分类类别的置信度与判别的正误性；具体实现包括以下子步骤：

步骤3.1：slic超像素分割方法基于颜色和距离相似性进行分割，可以分割出大小基本一致、形状趋于规则的超像素。使用slic超像素分割方法对影像进行超像素分割，得到分割图g中k个超像素s(k一般设置为1000)，如式陆；影像中每一个超像素s的预测类别c由s内的像素点确定，统计各类别包含的像素数量，具有最多像素的类别即为s的预测类别。

g＝{s1，s2，...，sk|si＝slic(i)，1≤i＜k}........................(式陆)；

步骤3.2：按照类别和相邻关系，对预测类别的超像素s进行聚类，得到超像素聚类图g′。类别相同且相邻的超像素聚成一类，得到新的超像素s’，其预测类别不变，如式柒。将超像素s’作为后续本体推理的推理单元。

s’＝{si|ci＝c，siadjacenttos，1≤i＜k}...........................(式柒)；

步骤3.3：计算每个推理单元s’内所有像素点置信度的平均值作为该推理单元的分类置信度ds；设置置信度阈值(一般令ds＝0.7)，若分类置信度高于阈值，则推理单元为分类正确区块，其实际类别ct与分类类别cs相同，即ct＝cs；反之，则为分类错误的区块，其实际类别ct与分类类别cs不相同，即ct≠cs。

步骤4：建立知识图谱。利用推理单元s′及其相关属性信息将遥感解译本体rsontology中的类实例化，形成知识图谱，用于本体推理。

步骤5：请见图5，体系内本体推理。根据本体推理规则库中体系内推理规则，以s′作为推理单元，对步骤2中分类结果图r进行本体推理，查找错误分类并改正，得到改进结果图r′。体系内本体推理的输出为本发明方法的第ii阶段结果。

步骤6：请见图6，体系外本体推理。根据本体推理规则库中体系外推理规则，对步骤5所得分类改进结果r＇进行本体推理，提取阴影和相对高程信息。具体实现包括以下子步骤：

步骤6.1：阴影信息提取。阴影图初始化值为0，判别为阴影的超像素区域赋值为1，非阴影超像素区域赋值为-1，判别过程由本体推理执行。

步骤6.2：相对高程信息提取。高程图初始化值为0，低高程区域赋值为0，中高程区域赋值为1，高高程区域赋值为2，判别过程由本体推理执行。

步骤7：将提取得到的阴影和相对高程信息作为步骤2中深度语义分割网络的额外通道信息e。

步骤8：不断重复步骤2～7进行迭代，不同迭代次数下的发明方法的分类结果如图7所示。

本发明方法由深度语义分割网络与本体知识推理技术在线迭代完成，在线迭代之前，离线建立遥感解译本体、体系内本体推理规则和体系外本体推理规则，并将规则加入到本体推理规则库中。在线迭代过程中，首先利用样本数据训练深度语义分割网络，并完成遥感影像的地物分类；接下来，使用超像素分割方法对图像进行超像素分割，得到超像素集合。结合类别与空间相邻关系对超像素进行聚类，将聚类后的超像素作为推理单元。推理单元内所有像素点置信度的平均值作为该推理单元的分类置信度，分类置信度低的推理单元作为错误分类单元；随后计算相邻推理单元之间的空间关系(如相邻、方位、包含等)，结合推理单元属性信息和体系内本体推理规则进行体系内的本体推理，从而改正错误分类，得到改正后的地物分类图；随后根据体系外本体推理规则对已改正的分类图进行体系外本体推理，提取相应的阴影和相对高程信息；最后将阴影和相对高程信息作为深度语义分割网络的额外通道信息，进行下一次的迭代，直到网络分割精度收敛。本发明将数据驱动的深度语义分割网络和知识引导的本体推理有机结合在一个统一的框架内，有效提高了遥感影像地物分类方法的可解释性以及分类精度。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。