一种耦合多标签分类网络和YOLO的城市功能分区方法与流程

本发明属于城市规划和城市管理领域，特别涉及一种耦合多标签分类网络和yolo的城市功能分区方法。

背景技术：

遥感影像是城市规划和监测重要的数据之一。随着遥感技术的快速发展，多源遥感数据在lulc监测等方面得到了广泛的应用。如基于landsat8监测土地利用变化，基于luojia-1和nppviirs提取城市建城区。随着人工智能的发展，遥感图像分析的方法得到了扩充，基于卷积神经网络及其变种算法的遥感地物提取因精度高、鲁棒性强等优点逐步代替了传统的研究。因此如何使用人工智能算法结合高精度遥感影像识别城市功能类型成为亟需解决的问题。

技术实现要素：

本发明的目的是提供一种耦合多标签分类网络和yolo的城市功能分区方法，更准确、更高效地识别城市区域功能类型，从而监测城市规划状态和空间分布格局。

为达到上述目的，本发明提供了一种耦合多标签分类网络和yolo的城市功能分区方法，包括如下步骤：

s1.样本采集与标注：采集遥感影像样本，标记遥感影像样本中的各遥感影像的地物类型，得到具有地物类型标签的遥感影像数据库，将所述遥感影像数据库分为第一训练集和第二训练集，并标记所述第二训练集中的遥感影像的功能类型；

s2.多标签分类网络模型训练：根据所述第一训练集中的遥感影像的地物类型确定非典型地物遥感数据集和典型地物遥感数据集；采用所述非典型地物遥感数据集对构建好的多标签分类网络模型进行训练，得到训练后的多标签分类网络模型；

其中，所述非典型地物遥感数据集中的遥感影像含非典型地物，所述非典型地物为所述遥感影像数据中空间纹理特征不明显的地物，所述典型地物遥感数据集中的遥感影像含典型地物，所述典型地物为所述遥感影像数据中空间纹理特征明显的地物；

s3.yolo目标检测算法模型训练：将所述典型地物遥感数据集中的遥感影像添加典型地物的尺寸和空间位置信息后，得到具有空间信息标签的典型地物遥感数据集，采用所述具有空间信息标签的典型地物遥感数据集对构建好的yolo目标检测算法模型进行训练，得到训练后的yolo目标检测算法模型；

s4.决策树模型训练：将所述第二训练集中的遥感影像数据作为训练后的多标签分类网络模型的输入，获取所述训练后的多标签分类网络模型输出的遥感影像非典型地物类型置信度；将所述第二训练集中的遥感影像数据作为训练后的yolo目标检测算法模型的输入，获取所述训练后的yolo目标检测算法模型输出的遥感影像典型地物类型置信度、典型地物尺寸和典型地物空间位置信息，根据所述典型地物尺寸计算得到典型地物面积占比率；根据所述第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物面积占比率和地物类型标签，采用所述第二训练集对构建好的决策树模型进行训练，得到训练后的决策树模型；

s5.目标城市功能分区：将目标城市划分为若干个目标街区，并获取各个所述目标街区的遥感影像数据；

将各个所述目标街区的遥感影像数据作为训练后的多标签分类网络模型的输入，获取所述训练后的多标签分类网络模型输出的各个所述目标街区遥感影像非典型地物类型置信度；

将各个所述目标街区的遥感影像数据作为训练后的yolo目标检测算法模型的输入，获取所述训练后的yolo目标检测算法模型输出的各个所述目标街区遥感影像典型地物类型置信度、典型地物尺寸和典型地物空间位置信息，根据所述典型地物尺寸计算得到典型地物面积占比率；

将各个所述目标街区遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率作为所述训练后的决策树模型的输入，获取所述决策树模型输出的所述目标城市的功能分区结果。

进一步的，步骤s2中，所述采用所述非典型地物遥感数据集对多标签分类网络模型进行训练，得到训练后的多标签分类网络模型，具体为：

s21.将所述非典型地物遥感数据集中遥感影像的尺寸统一变换为m*m像素，并将变换后的遥感影像及其对应的地物类型标记数据输入多标签分类网络模型中，前向传播获得多标签分类网络模型输出的所述变换后的遥感影像地物的类型置信度；

s22.利用二元交叉熵为损失函数，将损失函数值按极小化误差的方法进行反向传播，调整所述多标签分类网络模型的权重，得到训练后的多标签分类网络模型，其中，损失函数计算公式如下：

上式中，j(θ)为二元交叉熵，n代表样本数，x⁽ⁱ⁾代表第i个变换后的遥感影像，hθ()代表激活函数，y⁽ⁱ⁾代表第i个变换后的遥感影像的标签，w为多标签分类网络模型的权重。

进一步的，步骤s3中，所述采用所述具有空间信息标签的典型地物遥感数据集对构建好的yolo目标检测算法模型进行训练，得到训练后的yolo目标检测算法模型，具体包括：

s31.将所述典型地物遥感数据集中遥感影像的尺寸统一为n*n像素后下采样32倍、16倍和8倍，得到多尺度典型地物特征图集；

s32.将所述多尺度典型地物特征图集中的特征图及其对应的地物类型标注数据和空间信息标注数据输入构建好的yolo目标检测算法模型中，前向传播获得yolo目标检测算法模型输出的遥感影像的地物类型置信度、地物尺寸和地物空间位置信息；

s33.将损失函数值按极小化误差的方法进行反向传播，调整yolo目标检测算法模型的权重，得到训练后的yolo目标检测算法模型，所述损失函数的计算公式如下：

loss＝loss1+loss2+loss3+loss4+loss5，

上式中，loss1,loss2,loss3,loss4,loss5分别代表空间位置误差、尺寸误差、有地物时的置信度误差，没有地物时的置信度误差以及分类误差，代表示性函数，其中，如果第i个网格中的第j个先验框中有物体时，反之为0，s代表特征图的网格数量，b代表先验框的数量。代表第i个网格中的第j个先验框中的识别精度。

进一步的，步骤s4中，所述根据所述第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物面积占比率和功能类型标签，采用所述第二训练集对构建好的决策树模型进行训练，得到训练后的决策树模型，具体包括：

s41.将所述第二训练集中的各个遥感影像设定为所述决策树模型的当前叶节点；

s42.针对遥感影像的每一属性，以多个互不相同的特征阈值分别对所述当前叶节点进行划分，并求取每次划分后所对应的基尼系数；其中，所述特征阈值在对应于所述属性的所有遥感影像的特征值的范围内任意取值；

其中，所述属性包括遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率；

所述基尼系数的计算公式为：

上式中，gini_index为基尼系数，prob²(j|h)指第二训练集中所述属性特征值为h的遥感影像属于第j类功能的概率，nj(h)为第二训练集中所述属性的特征值为h且属于第j类功能的遥感影像个数，n(h)为第二训练集中所述属性特征值为h的遥感影像的个数，j为功能类型数；

s43.以与最小所述基尼系数所对应的划分来分裂该当前叶节点，以形成所述决策树的下一层叶节点；

s44.将所述下一层叶节点设为所述当前叶节点，重复所述步骤s42、s43，直至满足预设树高时停止。

进一步的，所述典型地物面积占比率的计算公式如下：

其中，i为遥感影像的序号，aⁱsch为第i个遥感影像的典型地物面积占比率，为第i个遥感影像的典型地物的宽度，为第i个遥感影像的典型地物的长度。

进一步的，所述非典型地物包括居民区地物、工业区地物和裸地/农田地物，所述典型地物包括操场地物。

与现有技术相比，本发明充分利用多标签分类网络对非典型地物(大面积地物，如居民区、工厂、裸地/农田)高效识别以及yolo目标检测算法对典型地物(如操场)精确定位进而可快速识别非典型和典型地物类型的优点，采用训练集对这两个模型进行训练，得到训练后的多标签分类网络模型和yolo目标检测算法，然后采用验证集(第二训练集)基于两个训练好的模型对决策树模型进行训练，实现了两种深度学习模型的耦合使用，提高城市功能分区的准确率和可解释性。

附图说明

图1是本发明提供的一种耦合多标签分类网络和yolo的城市功能分区方法流程图；

图2是本发明实施例中构建的多标签分类网络和yolo目标检测算法模型的结构图；

图3是本发明实施例中采集的部分遥感影像示意图；

图4是本发明实施例中训练多标签分类网络模型和yolo目标检测算法模型时的网络学习损失示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示，本申请实施例提供的耦合多标签分类网络和yolo目标检测算法的城市功能区分类方法，具体包括以下步骤：

s1：样本采集与标注：采集遥感影像样本，标记遥感影像样本中的各遥感影像的地物类型，得到具有地物类型标签的遥感影像数据库，将所述遥感影像数据库分为第一训练集和第二训练集，并对所述第二训练集中的遥感影像进行功能类型标记；

s11：采集遥感影像样本。

本申请从地理空间数据云和开放网络地图接口获取城市遥感影像。

对于获得的城市遥感影像进行大气校正和地理配准后得到遥感影像样本，具体过程为：

大气校正。在遥感影像处理软件中对城市遥感影像进行大气校正，减小云和雾对城市遥感影像清晰度的影响；

地理配准。路网数据的空间参考与其他步骤中的数据空间参考不一致，导致空间分析时其位置无法相互匹配，因此需在arcgis软件中将数据转换为相应的地理坐标系，并进行几何校正。

s12：标记遥感影像样本中的各遥感影像的地物类型，得到具有地物类型标签的遥感影像数据库；

本发明实施例中，地物类型选择为居民区、工厂、裸地/农田和操场。以独热编码方式对遥感影像进行居民区、工厂、裸地/农田和操场等地物类型标记，若遥感影像为居民区，则编码为(1,0,0,0)，若遥感影像为工厂则编码为(0,1,0,0)，若遥感影像为裸地/农田则编码为(0,0,1,0)，若遥感影像为操场则编码为操场则编码为(0,0,0,1)，若遥感影像包含全部地物则编码为(1,1,1,1)其他情况同理；

s13：将遥感影像数据库分为第一训练集和第二训练集，并对第二训练集中的遥感影像进行功能类型标记。

s2.多标签分类网络模型训练：根据所述第一训练集中的遥感影像的地物类型确定非典型地物遥感数据集和典型地物遥感数据集；采用所述非典型地物遥感数据集对构建好的多标签分类网络模型进行训练，得到训练后的多标签分类网络模型；

s21.根据所述第一训练集中的遥感影像的地物类型确定非典型地物遥感数据集和典型地物遥感数据集；

其中，所述非典型地物遥感数据集中的遥感影像含非典型地物，所述非典型地物为所述遥感影像数据中空间纹理特征不明显的地物，所述典型地物遥感数据集中的遥感影像含典型地物，所述典型地物为所述遥感影像数据中空间纹理特征明显的地物；若遥感影像包含的地物类型为非典型地物，则将该遥感影像归为非典型地物遥感数据集；若遥感影像包含的地物类型为典型地物，则将该遥感影像归为典型地物遥感数据集；若遥感影像既包含非典型地物又包含典型地物，则将该遥感影像归为典型地物遥感数据集同时归为典型地物遥感数据集和非典型地物遥感数据集；本发明实施例中，居民区、工厂、裸地/农田为非典型地物，操场为典型地物。

s22.构建多标签分类网络，具体如图2(a)所示。

基于geforcertx2080tigpu硬件平台，利用pythonkeras模块，以残差神经网络为基础架构，构建多标签分类网络。该多标签分类网络中输入图像的尺寸确定为m*m像素。本发明实施例中m取值为300。

s23.将非典型地物遥感数据集中的遥感影像的尺寸统一变换为300*300像素后，将其与对应的地物类型标记数据输入多标签分类网络模型中，前向传播获得多标签分类网络模型输出的所述变换后的遥感影像样本地物的类型置信度；

s24.利用二元交叉熵为损失函数，将损失函数值按极小化误差的方法进行反向传播，调整所述多标签分类网络模型的权重，得到训练后的多标签分类网络模型，其中，损失函数计算公式如下：

上式中，j(θ)为二元交叉熵，n代表样本数，x⁽ⁱ⁾代表第i个变换后的遥感影像样本，hθ()代表激活函数，y⁽ⁱ⁾代表第i个变换后的遥感影像的标签，w为多标签分类网络模型的权重。

s3.yolo目标检测算法模型训练：将所述典型地物遥感数据集中的遥感影像样本添加典型地物的尺寸和空间位置信息后，得到具有空间信息标签的典型地物遥感数据集，采用具有空间信息标签的典型地物遥感数据集对构建好的yolo目标检测算法模型进行训练，得到训练后的yolo目标检测算法模型。

s31.将典型地物遥感数据集中的遥感影像添加典型地物的尺寸和空间位置信息。

利用labelimg工具，为典型地物遥感数据集中的遥感影像添加典型地物的尺寸和空间位置信息，如(w,h,x,y,c)，其中w和h分别代表操场的宽和长，x和y分别代表操场的中心点坐标，c代表该遥感影像含有操场的置信度。

s32.构建yolo目标检测算法模型，具体如图2(b)所示。

使用yolov3开源程序，基于geforcertx2080tigpu硬件平台，利用pythonkeras模块，构建yolo目标检测算法模型。

s33.将典型地物遥感数据集中遥感影像的尺寸统一为n*n像素，本发明实施例中n取值为256。对统一尺寸后的遥感影像下采样32倍、16倍和8倍，得到下采样32倍的特征图、下采样16倍的特征图和下采样8倍的特征图，构建多尺度典型地物特征图集。

s34.将步骤s33得到的多尺度典型地物特征图集中的特征图及其对应的地物类型和空间信息的标注数据输入构建好的yolo目标检测算法模型中，前向传播获得yolo目标检测算法模型输出的遥感影像的地物类型置信度、地物尺寸和地物空间位置信息；

s35.将损失函数值按极小化误差的方法进行反向传播，调整yolo目标检测算法模型的权重以调整先验框的大小和类别置信度(c)，得到训练后的yolo目标检测算法模型。本发明实施例中，先验框的大小包括宽度(w)，长度(h)和中心点坐标(x，y)，其中损失函数计算公式如下：

上式中，loss1,loss2,loss3,loss4,loss5分别代表空间位置误差、尺寸误差、有地物时的置信度误差，没有地物时的置信度误差以及分类误差，代表示性函数，其中，如果第i个网格中的第j个先验框中有物体时，反之为0，s代表特征图的网格数量，b代表先验框的数量。代表第i个网格中的第j个先验框中的识别精度。

s4.决策树模型训练。

s41.将第二训练集中的遥感影像数据作为训练后的多标签分类网络模型的输入，获取训练后的多标签分类网络模型输出的遥感影像非典型地物类型置信度；

本发明实施例中，输出的遥感影像非典型地物类型置信度为其中，pⁱres为第二训练集中第i个遥感影像为居民地的置信度，pⁱind为第二训练集中第i个遥感影像为工厂的置信度，pⁱbar为第二训练集中第i个遥感影像为裸地/农田的置信度；

s42.将第二训练集中的遥感影像数据作为训练后的yolo目标检测算法模型的输入，获取训练后的yolo目标检测算法模型输出的遥感影像典型地物类型置信度、典型地物尺寸和典型地物空间位置信息；

本发明实施例中，典型地物为操场，输出的遥感影像典型地物类型置信度为{pⁱsch}，其中，pⁱsch为第二训练集中第i个遥感影像操场的置信度；输出的典型地物尺寸为宽度长度典型地物位置信息为中心点坐标(xⁱ,yⁱ)。

s43.根据典型地物面积占比率公式计算操场的面积占比率。

其中，aⁱsch为典型地物面积占比，为典型地物的宽度，为典型地物的长度。

s44.根据第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物面积占比率和地物类型标签，采用所述第二训练集对构建好的决策树模型进行训练，得到训练后的决策树模型；

s441.将第二训练集中的各个遥感影像设定为决策树模型的当前叶节点；

s442.针对遥感影像的每一属性，以多个互不相同的特征阈值分别对所述当前叶节点进行划分，并求取每次划分后所对应的基尼系数；其中，所述特征阈值在对应于所述属性的所有遥感影像的特征值的范围内任意取值；

在本发明实施例中，属性包括遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率；针对每一个属性，即分别针对非典型地物类型置信度属性、典型地物类型置信度属性和典型地物面积占比率属性，以多个互不相同的特征阈值分别对所述当前叶节点进行划分，并求取每次划分后所对应的基尼系数；

本发明实施例中，基尼系数的计算公式为：

上式中，gini_index为基尼系数，prob²(j|h)指第二训练集中所述属性特征值为h的遥感影像属于第j类功能的概率，nj(h)为第二训练集中所述属性的特征值为h且属于第j类功能的遥感影像个数，n(h)为第二训练集中所述属性特征值为h的遥感影像的个数，j为功能类型数；

本发明实施例中，j＝4，功能类型包括居民区、工业区、裸地/农田和学校。

s443.以与最小所述基尼系数所对应的划分来分裂该当前叶节点，以形成所述决策树的下一层叶节点；

s444.将所述下一层叶节点设为所述当前叶节点，重复所述步骤s442、s443，直至满足预设树高时停止。

本发明实施例中，树高设为4。

s5.目标城市功能分区。

s51.将目标城市划分为若干个目标街区；

s511.使用百度地图提供的开放路网获取接口，利用网络爬虫技术，基于地理方位爬取目标城市中的路网数据和河网数据。

s512.对于获得的路网、河网数据，还需要进行数据清洗，具体过程为：

地理范围筛选。因路网数据通过网络地图接口获取，部分数据存在地理范围越界问题，需在地理信息系统软件中对该部分数据进行编辑剔除。

文件格式转换。原始路网数据为文本格式，不易于在地理信息系统软件中进行空间分析，需将该类文件转换为图形文件(shapefile)，便于空间分析和可视化操作。

地图匹配。路网数据的空间参考与其他步骤中的数据空间参考不一致，导致空间分析时其位置无法相互匹配，因此需在arcgis软件中将数据转换为相应的地理坐标系，并进行几何校正。

s513.使用路网数据和河网数据分割目标城市，形成若干目标街区，具体过程为：

使用arcgis软件从路网数据和河网数据中筛选三级以上的道路数据和主要河流数据，将其转为面状数据，并合并；

使用合并的道路和河流数据，分割城市，形成若干个目标街区。

s52.获取各个目标街区的遥感影像数据

本申请实施例从地理空间数据云和开放网络地图接口下载目标城市的遥感影像数据。用各个目标街区对目标城市的遥感影像数据进行裁剪，得到各个目标街区的遥感影像数据。

s53.将各个目标街区的遥感影像数据作为训练后的多标签分类网络模型的输入，获取所述训练后的多标签分类网络模型输出的各个所述目标街区遥感影像非典型地物类型置信度；

s54.将各个目标街区的遥感影像数据作为训练后的yolo目标检测算法模型的输入，获取所述训练后的yolo目标检测算法模型输出的各个目标街区遥感影像典型地物类型置信度、典型地物尺寸和典型地物空间位置信息，根据所述典型地物尺寸计算得到典型地物面积占比率；

s55.将各个目标街区遥感影像的非典型地物类型置信度、典型地物类型置信度和典型地物面积占比率作为所述训练后的决策树模型的输入，获取所述决策树模型输出的所述目标城市的功能分区结果。

下面结合实际应用场景对本发明实施例提供的技术方案进行详细说明。

本发明实施例中所采集的遥感影像样本中第一训练集包括从江浙沪一带和南通市除港闸区、崇川区以外的其他区域选取的一系列遥感影像，其中，非典型地物遥感数据集包括工业区地物200张，居民区地物200张，裸地/农田地物200张，这些地物类型的混合图像400张，典型地物遥感数据集包括操场地物400张。本发明实施例中所采集的遥感影像样本中第二训练集包括从南通市崇川区选取的420张遥感影像，其中，居民区232张，学校18张、工业区109张、裸地/农田61张。其中，部分遥感影像样本如图3所示，图3(a)为从南通市崇川区采集的部分遥感影像，图3(b)为非典型地物遥感数据集中的部分遥感影像，图3(c)为典型地物遥感数据集中的部分遥感影像。目标城市为南通市港闸区。具体环境为：jupyternotebook和arcgis软件平台以及geforcertx2080tigpu等硬件平台，利用python及其相关库进行开发实验，如numpy、pandas、keras、matplotlib等。其中，路网数据利用网络爬虫通过百度地图api获取；遥感影像数据为2018年百度遥感影像，分辨率为0.5米；其他数据分别从相关平台获取。

图4为训练多标签分类网络模型和yolo目标检测算法模型时的网络学习损失示意图，其中，图4(a)为多标签分类网络的学习状况，虽然曲线波动较大，但趋势已基本收敛，当训练到第50个epoch(迭代次数)时达到较好结果。图4(b)展示了yolo的学习状况，当训练达到第90个epoch时损失值已基本收敛，可达到较好结果。

根据第二训练集中遥感影像的非典型地物类型置信度、典型地物类型置信度、典型地物面积占比率和功能类型标签构建结构化表，部分数据如表1所示，使用结构化表训练决策树模型，当决策树模型树高为4时，模型的平均精度、平均kappa系数分别可达83.9％和75.4％。

表1

采用训练好的多标签分类网络、yolo目标检测算法模型和决策树模型对港闸区进行城市功能分区，精度和kappa系数分别可达78.9％和71.1％。

本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。