基于遥感图像的建筑物体块模型构建方法及相关设备与流程

本申请涉及遥感图像处理技术领域，特别是涉及一种基于遥感图像的建筑物体块模型构建方法及相关设备。

背景技术：

随着卫星遥感技术的普及应用，卫星对地访问周期缩短，高分辨率遥感图像获取不断增多。采用高分辨率遥感卫星影像进行城市建筑物提取，获取城市建筑物分布、面积及高度等信息，对评估城市建筑物容积率、城市三维重建及城市国土环境评估等都具有重要作用。

现有技术中，通常采用提取建筑物阴影信息来计算建筑物高度，并采用图像处理提取建筑物轮廓，从而构建建筑物模型。但上述方法受地形起伏影响，若地形起伏较大，在利用建筑物阴影信息计算建筑物高度时，会增大建筑物高度的提取误差，导致所构建模型精确度极低。

技术实现要素：

本申请至少提供一种基于遥感图像的建筑物体块模型构建方法及相关设备，能够提高建筑物体块模型的构建精确度。

本申请第一方面提供了一种基于遥感图像的建筑物体块模型构建方法，所述基于遥感图像的建筑物体块模型构建方法包括：

获取可见光遥感图像，所述可见光遥感图像包括多个建筑物；

将所述可见光遥感图像输入网络模型中，得到分割后的多个建筑物顶面、侧面、所述可见光遥感图像中建筑物的像素点对应的相对高度及所述可见光遥感图像的拍摄方向；

利用所述相对高度和所述可见光遥感图像的拍摄方向将所述建筑物顶面映射至所述建筑物的底部位置，得到所述建筑物底面，其中，所述建筑物的顶面与所述建筑物底面形状相同；

利用所述分割后的建筑物顶面像素点对应的相对高度计算所述可见光遥感图像中每个建筑物的平均高度；

基于所述平均高度和所述建筑物底面构建所述建筑物体块模型。

本申请第二方面提供了一种建筑物体块模型构建装置，所述装置包括：

获取模块，用于获取可见光遥感图像，所述可见光遥感图像包括多个建筑物；

分割提取模型，用于将所述可见光遥感图像输入网络模型中，得到分割后的多个建筑物顶面、侧面、所述可见光遥感图像中建筑物的像素点对应的相对高度及所述可见光遥感图像的拍摄方向；

映射模块，用于利用所述相对高度和所述可见光遥感图像的拍摄方向将所述建筑物顶面映射至所述建筑物的底部位置，得到所述建筑物底面，其中，所述建筑物的顶面与所述建筑物底面形状相同；

计算模块，利用所述分割后的建筑物顶面像素点对应的相对高度计算所述可见光遥感图像中每个建筑物的平均高度；

模型构建模块，基于所述平均高度和所述建筑物底面构建所述建筑物体块模型。

本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的基于遥感图像的建筑物体块模型构建方法。

本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的基于遥感图像的建筑物体块模型构建方法。

上述方案，获取可见光遥感图像，可见光遥感图像包括多个建筑物；将可见光遥感图像输入网络模型中，得到分割后的多个建筑物顶面、侧面、可见光遥感图像中建筑物的像素点对应的相对高度及可见光遥感图像的拍摄方向；利用相对高度和可见光遥感图像的拍摄方向将建筑物顶面映射至建筑物的底部位置，得到建筑物底面，其中，建筑物的顶面与建筑物底面形状相同；利用分割后的建筑物顶面像素点对应的相对高度计算可见光遥感图像中每个建筑物的平均高度；基于平均高度和建筑物底面构建建筑物体块模型。本申请仅利用可见光遥感图像即可实现对建筑物相对高度的提取，无需借助其他外部文件；利用神经网络对输入其中的可见光遥感图像进行处理，得到建筑物的顶面、侧面、相对高度及拍摄方向，相比于传统方法进行建筑物提取和手工方法进行建筑物选点以计算高度来说，提高了提取精确度及效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请提供的基于遥感图像的建筑物体块模型构建方法第一实施例的流程示意图；

图2是图1所示的基于遥感图像的建筑物体块模型构建方法中的可见光遥感图像的示意图；

图3是图1所示的基于遥感图像的建筑物体块模型构建方法中的建筑物分割结果的示意图；

图4是图1所示的基于遥感图像的建筑物体块模型构建方法中的建筑物相对高度提取结果的示意图；

图5是图1所示的基于遥感图像的建筑物体块模型构建方法中的建筑物矢量化结果的示意图；

图6是本申请提供的基于遥感图像的建筑物体块模型构建方法中建筑物体块模型的示意图；

图7是本申请提供的基于遥感图像的建筑物体块模型构建方法第二实施例的流程示意图；

图8是本申请提供的基于遥感图像的建筑物体块模型构建方法中网络模型的结构示意图；

图9是本申请提供的基于遥感图像的建筑物体块模型构建方法中建筑物底面的提取结果示意图；

图10是本申请提供的建筑物体块模型构建装置一实施例的框架示意图；

图11是本申请提供的电子设备一实施例的框架示意图；

图12是本申请提供的计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。

本申请提出了一种基于遥感图像的建筑物体块模型构建方法，可应用于获取城市建筑物分布、面积及高度等信息，对评估城市建筑物容积率、城市三维重建及城市国土环境评估等都具有重要作用，具体采用网络模型对输入其中的可见光遥感图像进行建筑物顶面、侧面和相对高度的预测，从而构建高精确度的建筑物体块模型。请参阅图1，图1是本申请提供的基于遥感图像的建筑物体块模型构建方法第一实施例的流程示意图。本实施例的基于遥感图像的建筑物体块模型构建方法可应用于建筑物体块模型构建装置，也可应用于具有数据处理能力的服务器。

具体而言，本实施例的基于遥感图像的建筑物体块模型构建方法包括如下步骤：

s101：获取可见光遥感图像。

可参阅图2，图2是图1所示的基于遥感图像的建筑物体块模型构建方法中的可见光遥感图像的示意图。为了获取高分辨率的可见光遥感图像，一方面，本申请中的建筑物体块模型构建装置可通过与卫星建立通讯，利用卫星在其轨道上运行时拍摄的可见光遥感图像，得到用于构建建筑物体块模型的可见光遥感图像。另一方面，本申请中的建筑物体块模型构建装置可通过与遥感飞机建立通讯，利用遥感飞机获取可见光遥感图像，并传送至建筑物体块模型构建装置，以得到用于构建建筑物体块模型的可见光遥感图像。本实施例对可见光遥感图像的获取方式不作限定。

s102：将可见光遥感图像输入网络模型中，得到分割后的多个建筑物顶面、侧面、可见光遥感图像中建筑物的像素点对应的相对高度及可见光遥感图像的拍摄方向。

考虑到利用传统方法进行建筑物提取和手工方法进行建筑物选点，以计算建筑物高度，得到建筑物模型的情况下，会导致建筑物体块模型的提取精确度不高，效率低下及人力成本高等问题。为了避免上述问题，本实施例的建筑物体块模型构建装置利用训练好的网络模型对输入其中的可见光遥感图像进行建筑物顶面和侧面，以及相对高度和拍摄方向的预测，得到分割后的多个建筑物顶面和侧面以及提取的相对高度和拍摄方向，提高了建筑物分割精确及提取准确性。其中，建筑物的分割结果可参阅图3和图4，图3是图1所示的基于遥感图像的建筑物体块模型构建方法中的建筑物分割结果的示意图，图4是图1所示的基于遥感图像的建筑物体块模型构建方法中的建筑物提取结果的示意图。

s103：利用相对高度和可见光遥感图像的拍摄方向将建筑物顶面映射至建筑物的底部位置，得到建筑物底面。

由于建筑物的顶面和底面形状相同，为了获知建筑物底面，便于根据建筑物底面及建筑物高度构建建筑物体块模型，本实施例的建筑物体块模型构建装置可利用相对高度和可见光遥感图像的拍摄方向将建筑物顶面映射至建筑物的底部位置，以得到建筑物底面。

具体可参阅图5，图5是图1所示的基于遥感图像的建筑物体块模型构建方法中的建筑物矢量化结果的示意图。考虑到在将建筑物顶面映射至建筑物底部位置后，多个建筑物的底面并排，难以区分出每一建筑物底面，对此，本实施例的建筑物体块模型构建装置在获取到建筑物底面后，需对建筑物底面进行矢量化。具体地，建筑物体块模型构建装置利用建筑物的底面轮廓，对建筑物底面进行连通区域划分，以矢量化每个连通区域，得到建筑物底面轮廓的矢量化表示。其中，连通区域是指相邻两个建筑物相连的区域。

s104：利用分割后的建筑物顶面像素点对应的相对高度计算可见光遥感图像中每个建筑物的平均高度。

考虑到网络模型输出的建筑物顶面像素点对应的相对高度可能存在预测误差，导致即便处于同一建筑物顶面的像素点，其对应的相对高度也不一致，为了提高建筑物的提取精确度，本实施例的建筑物体块模型构建装置将每个建筑物顶面像素点对应的相对高度进行平均化，得到每个建筑物的平均高度。

s105：基于平均高度和建筑物底面构建建筑物体块模型。

基于s103中获取的建筑物底面和s104中获取的平均高度，构建建筑物体块模型。其中，建筑物体块模块的示意图可参阅图6。

上述方案中，获取可见光遥感图像，可见光遥感图像包括多个建筑物；将可见光遥感图像输入网络模型中，得到分割后的多个建筑物顶面、侧面、可见光遥感图像中建筑物的像素点对应的相对高度及可见光遥感图像的拍摄方向；利用相对高度和可见光遥感图像的拍摄方向将建筑物顶面映射至建筑物的底部位置，得到建筑物底面，其中，建筑物的顶面与建筑物底面形状相同；利用分割后的建筑物顶面像素点对应的相对高度计算可见光遥感图像中每个建筑物的平均高度；基于平均高度和建筑物底面构建建筑物体块模型。本申请仅利用可见光遥感图像即可实现对建筑物相对高度的提取，无需借助其他外部文件；利用神经网络对输入其中的可见光遥感图像进行处理，预测建筑物的顶面、侧面、相对高度及拍摄方向，相比于传统方法进行建筑物提取和手工方法进行建筑物选点以计算高度来说，提高了提取精确度及效率。

请继续参阅图7，图7是本申请提供的基于遥感图像的建筑物体块模型构建方法第二实施例的流程示意图。为了提高建筑物体块模型的构建精确度。在上述实施例的基础上，本实施例的基于遥感图像的建筑物体块模型构建方法还包括如下步骤：

s201：获取可见光遥感图像。

本实施例s201的详细描述可参阅上述实施例的s101，在此不进行重复赘述。

s202：将可见光遥感图像输入网络模型中，得到分割后的多个建筑物顶面、侧面、可见光遥感图像中建筑物的像素点对应的相对高度及可见光遥感图像的拍摄方向。

请继续参阅图8，图8是本申请提供的基于遥感图像的建筑物体块模型构建方法中网络模型的结构示意图。本实施例中的网络模型包括依次连接的特征提取模块、输出模块。其中，输出模块包括第一输出模块和第二输出模块，第一输出模块包括第一卷积降维层和第二卷积降维层，第二输出模块包括反卷积子模块和卷积残差子模块。

具体地，特征提取模块的输出为第一输出模块的输入，第一输出模块的输出为网络模型预测的建筑物的顶面、侧面及可见光遥感图像背景；第二输出模块中反卷积子模块的输入为第一输出模块中第一卷积降维层和第二卷积降维层堆叠级联的结果，反卷积子模块的输出为卷积残差子模块的输入；卷积残差子模块的输出为相对高度及可见光遥感图像的拍摄方向。本实施例在建筑物相对高度预测过程中利用建筑物顶面及侧面分割结果对相对高度的提取进行约束，优化了建筑物相对高度的预测结果，提高了网络模型预测的精度。

进一步地，网络模型的特征提取模块对输入其中的可见光遥感图像进行处理，以使多个分支分别输出不同维度的特征层；并利用双线性插值和级联技术对每一分支输出的特征层进行处理，得到与多个分支对应的相同大小的特征层；利用堆叠级联技术对多个分支对应的相同大小的特征层进行处理，得到特征提取模块的输出，即维度为480的特征层。

第一输出模块包括第一卷积降维层和第二卷积降维层，具体可通过对特征提取模块输出的特征层进行卷积降维得到第一卷积降维层，对第一卷积降维层进行卷积降维得到第二卷积降维层，并将第二卷积降维层的输出结果作为可见光遥感图像中建筑物顶面、侧面及背景的分割结果。

s203：基于可见光遥感图像的拍摄方向，计算可见光遥感图像拍摄方向的第一单位分量和第二单位分量。

为了避免网络模型直接预测角度方向，本实施例的建筑物体块模型构建装置可利用可见光遥感图像中拍摄方向获取可见光遥感图像的第一单位分量和第二单位分量，也就是拍摄方向垂直方向的分量和水平方向的分量。

s204：基于第一单位分量、第二单位分量及建筑物的相对高度，确定建筑物的高度流矢量。

为了表示建筑物高度流矢量，本实施例的建筑物体块模型构建装置可采用密集的像素级编码heightflow（sinθ，cosθ，magnitude）来表示高度流矢量。由于图像包括三个通道，建筑物体块模型构建装置具体可利用第一单位分量、第二单位分量及建筑物的相对高度表示建筑物的高度流矢量。其中θ∈[0,2π]，magnitude表示为相对高度，sinθ，cosθ分别为第一单位分量和第二单位分量。

需要说明的是，高度流矢量也即建筑物顶面任一点到该点在建筑物底面的投影点之间的矢量。

s205：基于建筑物的高度流矢量及建筑物的侧面，将建筑物顶面映射至建筑物的底部位置，得到建筑物底面。

请继续参阅图9，图9是本申请提供的基于遥感图像的建筑物体块模型构建方法中建筑物底面的提取结果示意图。图中左上为可见光遥感图像，右上为建筑物顶面、侧面及高度流矢量，左下为映射过程，右下为建筑物底面提取结果。在实际应用中，建筑物顶面依据高度流矢量及侧面进行映射，得到建筑物底面。

s206：利用分割后的建筑物顶面像素点对应的相对高度计算可见光遥感图像中每个建筑物的平均高度。

s207：基于平均高度和建筑物底面构建建筑物体块模型。

本实施例s206~s207的详细描述可参阅上述实施例的s104~s105，在此不进行重复赘述。

进一步地，本实施例的建筑物体块构建装置还可通过获取可见光遥感图像中部分建筑物的真实高度；并根据部分建筑物的真实高度和相对高度，获取可见光遥感图像中建筑物的全局比例因子；以根据全局比例因子计算可见光遥感图像中每个建筑物的真实高度，并基于真实高度构建建筑物体块模型。

上述方案中，可见光遥感图像构建装置在网络模型进行建筑物相对高度预测过程中利用建筑物顶面及侧面分割结果对相对高度的提取进行约束，优化了建筑物相对高度的预测结果，提高了网络模型预测的精度；利用像素级编码表示建筑物高度流矢量，避免了网络模型直接预测角度方向；利用少量标定信息，例如部分建筑物的真实高度，即可提取可见光遥感图像中建筑物的真实高度。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

请参阅图10，图10是本申请提供的建筑物体块模型构建装置一实施例的框架示意图。建筑物体块模型构建装置100包括：

获取模块101，用于获取可见光遥感图像，可见光遥感图像包括多个建筑物。

分割提取模型102，用于将可见光遥感图像输入网络模型中，得到分割后的多个建筑物顶面、侧面、可见光遥感图像中建筑物的像素点对应的相对高度及可见光遥感图像的拍摄方向。

映射模块103，用于利用相对高度和可见光遥感图像的拍摄方向将建筑物顶面映射至建筑物的底部位置，得到建筑物底面，其中，建筑物的顶面与建筑物底面形状相同。

计算模块104，利用分割后的建筑物顶面像素点对应的相对高度计算可见光遥感图像中每个建筑物的平均高度。

模型构建模块105，基于平均高度和建筑物底面构建建筑物体块模型。

请参阅图11，图11是本申请提供的电子设备一实施例的框架示意图。电子设备110包括相互耦接的存储器111和处理器112，处理器112用于执行存储器111中存储的程序指令，以实现上述任一基于遥感图像的建筑物体块模型构建方法实施例的步骤。在一个具体的实施场景中，电子设备110可以包括但不限于：微型计算机、服务器，此外，电子设备110还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器112用于控制其自身以及存储器111以实现上述任一基于遥感图像的建筑物体块模型构建方法实施例的步骤。处理器112还可以称为cpu（centralprocessingunit，中央处理单元）。处理器112可能是一种集成电路芯片，具有信号的处理能力。处理器112还可以是通用处理器、数字信号处理器（digitalsignalprocessor,dsp）、专用集成电路（applicationspecificintegratedcircuit,asic）、现场可编程门阵列（field-programmablegatearray,fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者是任何常规的处理器等。另外，处理器112可以由集成电路芯片共同实现。

请参阅图12，图12是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质120存储有能够被处理器运行的程序指令1201，程序指令1201用于实现上述任一基于遥感图像的建筑物体块模型构建方法实施例的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。