联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法及系统与流程

本发明属于遥感影像数据的信息提取领域，涉及联合深度学习和语义概率的高分辨率遥感影像不透水面提取技术方案。

背景技术

不透水面(impervioussurface)是指地面阻止水分向土壤渗透的人工地表,常见的有建筑、道路、广场、停车场等，是评价城市生态系统健康及人居环境质量的关键指标之一。深度学习，特别是卷积神经网络，通过模拟人脑的认知过程，对外部输入信号进行从低级到高级的特征提取与识别，已经在自然图像的分类、分割和内容理解等领域取得了一系列突破性应用成果。但是，对于空间分辨率较低、地物类型更加复杂的遥感影像，卷积神经网络难以有效建立不同地物间的空间关系，从而导致分类结果的破碎或不合理。因此，本领域亟待更符合实际需求的新技术方案出现。

技术实现要素：

为了能够从遥感影像上准确地挖掘特征并用于不透水面提取，本发明的目的在于提供一种基于深度学习的不透水面遥感提取技术方案。

本发明的技术方案提供一种联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法，包括以下步骤：

步骤一、获取目标区域的高分辨率遥感影像，进行影像数据归一化，并将所得归一化后的目标区域影像分为样本影像和测试影像两部分；

步骤二、构建用于高分辨率遥感影像特征提取的深度卷积网络，提取各样本影像的影像特征；所述深度卷积网络由多层卷积层、池化层以及对应的反池化和反卷积层构成；

步骤三、利用提取所得的影像特征，对各样本影像分别进行逐像素类别预测；

步骤四、利用样本影像的预测值与真值之间的误差构建损失函数，并对深度卷积网络的网络参数和类别预测相关网络参数进行更新训练；

步骤五、利用步骤四的训练结果，对测试影像通过深度卷积网络提取影像特征，利用提取所得的影像特征进行逐像素类别预测，然后利用像素点之间的语义关联信息构建影像的条件随机场模型，对测试影像预测结果进行全局优化，得到分类结果，实现提取不透水面。

而且，步骤一中，通过进行影像数据归一化，使得目标区域影像具有平稳的性质，消除奇异数据对模型学习的不良影响。

而且，所述深度卷积网络的前半段由多个卷积和池化层交叉堆叠构成，此过程实现遥感影像的多尺度特征提取，后半段则由对应的反池化和反卷积层堆叠而成，用于在于将网络前半段所提取的特征重新映射到每个像素点，最终实现逐像素的特征提取及类别概率预测，得到各目标区域影像的影像特征。

而且，利用提取所得的影像特征，进行逐像素类别预测，实现方式为，采用softmax回归对像素点属于每一类的概率进行预测，得到每个像素点对应各个地物类别的概率。

而且，步骤四中，对深度卷积网络的网络参数和类别预测相关网络参数进行更新训练时，采用梯度下降法实现迭代更新，直至损失函数降低至满足预设条件。

而且，所述条件随机场模型的能量函数由数据项和光滑项组合而成，数据项惩罚预测类别与真实类别标签间的不一致性，光滑项惩罚相邻像素类别标签的不一致性，通过平衡二者关系，最终实现不透水面的准确提取。

而且，设xi表示第i个像素的标签变量，xi为0-1向量，当其对应像素属于第k个地物类别时，则xi的第k个元素xi,k为1，其余为零，为标签变量集合，条件随机场模型表达为能量函数e(x)如下，

其中，(i,j)∈e表示第i个像素和第j个像素是邻接的顶点；

数据项ψu(xi)对标签与预测概率间的距离进行约束，

其中，预测概率表示预测得到的第i个像素属于第k个类别的概率；

光滑项ψp(xi,xj)则对相邻像素间标签的不一致性进行惩罚，

ψp(xi,xj)＝μ(xi,xj)(k⁽¹⁾(ii,ij)+λk⁽²⁾(ii,ii))

其中，为标签变量xi和xj的示性函数，k⁽¹⁾(ii,ij)和k⁽²⁾(ii,ij)分别要求空间相邻像素的标签应该一致、相邻且光谱一致的像素类别应该一致，ii表示第i个像素点的光谱特征，ij表示第j个像素点的光谱特征，λ为可调控参数。

本发明提供一种联合深度学习和语义概率的高分辨率遥感影像不透水面提取系统，包括以下模块：

第一模块，用于获取目标区域的高分辨率遥感影像，进行影像数据归一化，并将所得归一化后的目标区域影像分为样本影像和测试影像两部分；

第二模块，用于构建用于高分辨率遥感影像特征提取的深度卷积网络，提取各样本影像的影像特征；所述深度卷积网络由多层卷积层、池化层以及对应的反池化和反卷积层构成；

第三模块，用于利用提取所得的影像特征，对各样本影像分别进行逐像素类别预测；

第四模块，用于利用样本影像的预测值与真值之间的误差构建损失函数，并对深度卷积网络的网络参数和类别预测相关网络参数进行更新训练；

第五模块，用于利用第四模块的训练结果，对测试影像通过深度卷积网络提取影像特征，利用提取所得的影像特征进行逐像素类别预测，然后利用像素点之间的语义关联信息构建影像的条件随机场模型，对测试影像预测结果进行全局优化，得到分类结果，实现提取不透水面。

而且，所述深度卷积网络的前半段由多个卷积和池化层交叉堆叠构成，此过程实现遥感影像的多尺度特征提取，后半段则由对应的反池化和反卷积层堆叠而成，用于在于将网络前半段所提取的特征重新映射到每个像素点，最终实现逐像素的特征提取及类别概率预测，得到各目标区域影像的影像特征。

而且，所述条件随机场模型的能量函数由数据项和光滑项组合而成，数据项惩罚预测类别与真实类别标签间的不一致性，光滑项惩罚相邻像素类别标签的不一致性，通过平衡二者关系，最终实现不透水面的准确提取。

综上所述，本发明提出了一种不透水面遥感提取技术方案，针对高分辨率遥感影像构建深度卷积网络进行自动的特征提取，并创新性地将其与概率模型进行结合对其预测结果进行语义层面的优化，从而得到更为合理的不透水面提取结果。本发明能从数据出发进行自动特征提取，并将其与像素点的邻域语义关系进行关联，对遥感影像进行精确地不透水面提取，并且数据源便于获取，操作步骤明确可重复，该发明非常符合实际的城市规划应用需求。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的条件随机场概率模型。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。

本发明为针对现有技术缺陷，提出利用深度卷积网络，将整个影像作为输入，引入全局优化和类别空间关系信息作为约束，训练深度学习模型对不透水面精确提取。

参见图1，本发明实施例提供的一种联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法，包括以下步骤：

步骤一、获取目标区域的高分辨率遥感影像，进行影像数据归一化，并将归一化后的目标区域影像分为样本影像和测试影像两部分：

所述影像归一化预处理目的在于使得影像具有平稳的性质，消除奇异数据对模型学习的不良影响。

高分辨率遥感影像一般是指分辨率在米级和亚米级的遥感影像，即空间分辨率在10m以内。具体实施时，本领域技术人员可自行预先设定目标区域，获取目标区域的多幅高分辨率遥感影像，如实施例采用高分2号卫星。实施例采用的归一化方法是特征标准化。特征标准化的目的是使影像数据中所有特征都具有零均值和单位方差，即数据的每一个维度具有零均值和单位方差，对影像数据进行归一化，使影像具有平稳的性质。特征标准化的具体做法是：首先计算每一个波段上数据的均值(使用全体影像计算)，之后在每一个波段上都减去该均值，然后在影像每一波段上除以该波段的标准差。

步骤二、利用多层卷积、池化、以及对应的反池化和反卷积层模块构建用于高分辨率遥感影像特征提取的深度卷积网络，提取各样本影像的影像特征：

本步骤对在步骤一中归一化后的目标区域影像中样本影像部分进行处理，对各样本影像提取影像特征。

步骤二中构建的深度卷积网络前半段由多个卷积和池化层交叉堆叠构成，此过程实现遥感影像的多尺度特征提取。而后半段则由对应的反池化和反卷积层堆叠而成，目的在于将网络前半段所提取的特征重新映射到每个像素点，最终实现逐像素的特征提取。

具体实施时，采用的深度卷积网络f包含2l+m个网络层，其中l层为卷积+池化层，中间m层为空洞卷积层，后l层为反池化+反卷积层，如表1所示。对于遥感影像i，首先将其通过前l层得到影像的多尺度特征

fl＝p(δ(…p(δ((p(δ(i*w1+b1)))*w2+b2))…+bl))(1)

其中，*为卷积运算，p(·)和δ(·)分别表示池化函数和非线性激活函数，wl和bl分别为卷积核和偏置项，l＝1,2,…2l+m。在此过程中，网络逐步提取影像的多尺度特征，但同时也会造成特征空间的分辨率下降。

接着，将特征fl进一步通过m层空洞卷积，得到特征

其中，为sl步长的空洞卷积，此处l＝l+1,l+2,…l+m。利用空洞卷积的目的是在不降低特征空间分辨率的情况下进一步提取影像的多尺度金字塔特征。

最后，将提取得到的多尺度特征fl+m经过对应的反池化或反卷积层，将其映射到和原输入影像等大的特征空间，输出得到影像对应的特征

其中表示与池化函数p(·)对应的反池化函数，表示反卷积运算。

表1面向高分影像不透水面提取的深度卷积网络结构表

步骤三、利用步骤二中提取所得的影像特征，对样本影像进行逐像素类别预测：

具体实施时，本发明针对提取得到图像的逐像素特征f(i)后，进一步采用softmax回归对像素点属于每一类的概率进行预测，得到每个像素点对应各个地物类别的概率：

其中，表示预测得到的第i个像素属于第k个类别的概率，k取值1、2、3时分别对应遥感影像上的不透水面、透水面和水体。fi(i)表示提取得到的影像i上第i个像素点的特征，n表示影像i上的像素点总个数，为可训练的网络参数。e为自然对数的底，t表示矩阵的转置。即表示预测得到的第i个像素点的类别概率。

步骤四、利用样本影像的预测值与真值之间的误差构建损失函数，并对深度卷积网络的网络参数和类别预测相关网络参数进行更新训练，即通过训练确定步骤二和三中的参数：

步骤四中所述的损失函数需要能够准确描述预测结果与样本真值间的误差，然后通过梯度下降法对待训练参数进行学习更新。待训练参数包括深度卷积网络的网络参数w1,w2,...,w2l+m,,b1,b2,...,b2l+m和类别预测相关网络参数

具体实施时，记影像对应的类别真值为yi为类别标签0-1向量(yi为0-1向量，当其对应像素属于第k(k＝1,2,3)个地物类别时，则yi的第k个元素(即yi,k)等于1，其余为零)，可利用交叉熵构建损失函数如下，

然后，对损失函数loss关于参数集中的各个参数求偏导数，并利用梯度下降法迭代更新训练参数，具体实施时，参数的迭代初始值可由计算机随机产生，直至损失函数loss降低至满足预设条件，例如预设阈值范围或趋向稳定。训练完成后，则进入步骤五。

步骤五、利用步骤四已训练好的模型参数(即深度卷积网络的网络参数和类别预测相关网络参数)对测试影像通过深度卷积网络提取影像特征，利用提取所得的影像特征进行逐像素类别预测(采用与步骤二和三一致的方式)，然后利用像素点之间的语义关联信息构建影像的条件随机场模型，对预测结果进行全局优化，得到分类结果。

实施例中，

所述条件随机场模型的能量函数由数据项和光滑项组合而成，数据项惩罚预测类别与真实类别标签间的不一致性，光滑项惩罚相邻像素类别标签的不一致性，通过平衡二者关系，最终实现不透水面的准确提取。

具体实施时，根据邻接关系将影像构建成图g(v,e)，其中v∈v和e∈e分别为图g的顶点和边，v为顶点集合，v表示其中的顶点，e为边集合，e表示其中的边。每个顶点对应影像上的一个像素，相邻顶点i,j间由边ei,j相连，如图2所示。顶点i,j分别对于第i个像素和第j个像素。

以xi表示第i个像素的标签变量(xi为0-1向量，当其对应像素属于第k(k＝1,2,3)个地物类别时，则xi的第k个元素xi,k为1，其余为零)，同理xj表示第j个像素的标签变量，为标签变量集合，本发明可构建相应的条件随机场模型，表达为能量函数e(x)如下，

e(x)＝∑iψu(xi)+∑(i,j)∈eψp(xi,xj)(6)

其中，(i,j)∈e表示顶点i,j是邻接的，即第i个像素和第j个像素是邻接的顶点。

其中数据项

对标签与预测概率间的距离进行约束。

光滑项

则对相邻像素间标签的不一致性进行惩罚，其中为标签变量xi和xj的示性函数。结合高分影像不透水面提取的实际应用，本发明主要考虑以下两种核函数

对相邻像素间标签的不一致性进行惩罚，其中，k⁽¹⁾(ii,ij)和k⁽²⁾(ii,ij)分别要求空间相邻像素的标签应该一致、相邻且光谱一致的像素类别应该一致，ii表示第i个像素点的光谱特征，ij表示第j个像素点的光谱特征，d²(i,j)表示第i和第j个像素点空间距离的平方，λ、θα、θβ和θγ为可调控参数，具体实施时可根据影像情况预先设定。实际应用中，针对空间分辨率2米的遥感影像建议采用默认参数λ＝1、θα＝2、θβ＝2和θγ＝1，其中参数θα、θβ和θγ可随所处理影像空间分辨率的升高而适当减小。最后，通过选取使得能量函数e(x)最小化的标签变量组合，即为每个像素点对应的最终地物类别。

本发明中，深度卷积网络和概率图模型可视为构成一个端到端的不透水面提取模型，输入为整个遥感影像，输出将遥感影像划分为不透水面(房屋、道路等)、透水面(裸土、植被)和水体三部分。具体实施时，可利用训练的深度卷积网络对其他待提取影像进行特征提取及类别预测，然后结合条件随机场模型对预测结果进行全局优化，最终实现不透水面提取，将遥感影像划分为不透水面(房屋、道路等)、透水面(裸土、植被)和水体。

实施例选取武汉市黄陂和东西湖区的四幅分辨率为2米的高分一号遥感影像作为试验数据进行不透水面提取实验。第一幅影像大小为3750×2610,第二幅影像大小为2821×3127，第三幅影像大小为2939×1999，第四幅影像大小为1406×1539。影像包含了植被、裸土、道路、建筑物、水体等多种复杂地物，地面真值将影像分为不透水面(道路、建筑物等)、透水面(裸土、植被)和水体三大类。第一和第二幅影像作为训练样本进行模型训练，第三和第四幅影像用来测试。

综上所述，本发明提出了一种联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法，针对高分辨率遥感影像构建深度卷积网络进行自动的特征提取，并创新性地将其与概率模型进行结合对所提取特征进行语义层面的优化，从而得到更为合理的不透水面提取结果。本发明能从数据出发进行自动的特征提取，并将其与像素点的邻域语义关系进行关联，对遥感影像进行精确地不透水面提取，并且数据源便于获取，操作步骤明确可重复，该发明非常符合实际的城市规划应用需求。

具体实施时，该方法可采用计算机软件技术实现自动运行流程，也可以采用模块化方式提供相应系统。本发明实施例还相应提供一种联合深度学习和语义概率的高分辨率遥感影像不透水面提取系统，包括以下模块：

第一模块，用于获取目标区域的高分辨率遥感影像，进行影像数据归一化，并将所得归一化后的目标区域影像分为样本影像和测试影像两部分；

第二模块，用于构建用于高分辨率遥感影像特征提取的深度卷积网络，提取各样本影像的影像特征；所述深度卷积网络由多层卷积层、池化层以及对应的反池化和反卷积层构成；

第三模块，用于利用提取所得的影像特征，对各样本影像分别进行逐像素类别预测；

第四模块，用于利用样本影像的预测值与真值之间的误差构建损失函数，并对深度卷积网络的网络参数和类别预测相关网络参数进行更新训练；

第五模块，用于利用第四模块的训练结果，对测试影像通过深度卷积网络提取影像特征，利用提取所得的影像特征进行逐像素类别预测，然后利用像素点之间的语义关联信息构建影像的条件随机场模型，对测试影像预测结果进行全局优化，得到分类结果，实现提取不透水面。

各模块具体实现参见相应步骤，本发明不予赘述。

本发明中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。