一种遥感影像目标检测基准库的构建方法及装置与流程

本发明涉及图像视觉智能识别领域，更具体地，涉及一种遥感影像目标检测基准库的构建方法及装置。

背景技术：

数据库是视觉智能识别中最重要的因素之一。近年来随着大数据的兴起以及深度神经网络在图像识别领域中的应用，使得如何高效地构建数据库来辅助模型或算法达到更好的视觉识别效果已成为研究热点。

相比于自然图像数据库，由于遥感影像自身地物的复杂性、来源的限制性、空间分辨率低、目标辨识难度大，以及缺乏地物位置和地物属性标注信息，而且易受成像角度和天气等诸多因素影响，使得遥感影像数据库的构建难度相对更大。目前对遥感影像数据库构建的研究相对缺乏，对遥感影像目标检测基准库的研究更少。目前，常见的遥感影像目标检测基准库为spacenet遥感影像目标检测基准库。spacenet由digitalglobe，cosmiqworks和nvidia等联合构建的一个用于目标检测的空间数据库。该数据库目前包含里约热内卢，巴黎，拉斯维加斯，上海和喀土穆地区的建筑目标地物，该建筑目标地物由人工标记完成，每一幅影像块对应一个建筑物标签信息。

目前遥感影像目标检测基准库的构建通常基于手工标记，需要大量的人力，效率低。因此缺乏一种有效的基准库构建方式是目前遥感影像目标检测基准库构建的困难所在。

技术实现要素：

为克服上述构建遥感影像目标检测基准库需要大量手工标记，效率低的问题，本发明提供了一种遥感影像目标检测基准库的构建方法及装置。

根据本发明的一个方面，提供一种遥感影像目标检测基准库的构建方法，包括：

获取第一影像数据和所述第一影像数据对应的第一面状数据；

对所述第一影像数据进行分块，生成第二影像块；

获取所述第一面状数据的最小包络矩形，生成第二面状数据；

根据所述第二影像块和所述最小包络矩形的经纬度坐标，将坐标范围位于所述第二影像块的坐标范围内的第二面状数据集成为第三面状数据；

根据所述第二影像块和所述第三面状数据，生成标签文件；

根据所述第二影像块和所述标签文件，构建数据库。

具体地，在获取所述第一面状数据的最小包络矩形，生成第二面状数据之前，还包括：

对所述第一面状数据进行筛选。

具体地，所述最小包络矩形的经纬度坐标包括：所述最小包络矩形的左上角和右下角的经纬度坐标。

具体地，根据所述第二影像块和所述第三面状数据，生成标签文件，包括：

将所述第三面状数据和述第三面状数据对应的第二影像块的名称，存储为第一txt文件；

对所述第一txt文件中所述最小包络矩形的经纬度坐标进行转换，生成第二txt文件；

以所述第二影像块和所述第二txt文件为模板，生成xml标签文件。

具体地，所述第一txt文件包括：所述第二影像块的名称，以及所述第三面状数据中的地物名称和最小包络矩形的经纬度坐标。

具体地，所述第二txt文件包括：所述第二影像块的名称，以及所述第三面状数据中的地物名称和最小包络矩形的像素坐标。

具体地，所述xml标签文件包括：所述第二影像块的名称、所述第二影像块的尺寸以及所述第三面状数据中的地物名称和最小包络矩形的像素坐标。

根据本发明的另一方面，提供一种遥感影像目标检测基准库的构建装置，包括：

第一获取模块，用于获取第一影像数据和所述第一影像数据对应的第一面状数据；

分块模块，用于对所述第一影像数据进行分块，生成第二影像块；

第二获取模块，用于获取所述第一面状数据的最小包络矩形，生成第二面状数据；

集成模块，用于根据所述第二影像块和所述最小包络矩形的经纬度坐标，将坐标范围位于所述第二影像块的坐标范围内的第二面状数据集成为第三面状数据；

生成模块，用于根据所述第二影像块和所述第三面状数据，生成标签文件；

构建模块，用于根据所述第二影像块和所述标签文件，构建数据库。

具体地，还包括：

筛选模块，用于对所述第一面状数据进行筛选。

具体地，所述生成模块包括：

存储子模块，用于将所述第三面状数据和所述第三面状数据对应的第二影像块的名称，存储为第一txt文件；

转换子模块，用于对所述第一txt文件中所述最小包络矩形的经纬度坐标进行转换，生成第二txt文件；

生成子模块，用于以所述第二影像块和所述第二txt文件为模板，生成xml标签文件。

本发明提出一种遥感影像目标检测基准库的构建方法及装置，本发明使用现有的影像数据和影像数据对应的面状数据构建数据库，通过将所述影像数据进行分块，并获取面状数据的最小包络矩形，根据影像块和最小包络矩形的坐标，将对应于同一影像块的面状数据进行集成，根据影像块和影像块对应的集成后的面状数据生成标签文件，根据所述影像块和所述影像块对应的标签文件构建数据库，从而实现数据库的快速构建。

附图说明

图1为本发明实施例提供的遥感影像目标检测基准库的构建方法流程图；

图2为所述第一面状数据的最小包络矩形示意图；

图3为所述第二影像和所述第三面状数据之间的对应关系示意图；

图4为形状不规则地物，以及与背景区分度不高的地物样本图；

图5为筛选后的结果示意图；

图6为本发明又一实施例提供的遥感影像目标检测基准库的构建方法流程图；

图7为坐标转换前的txt文件示意图；

图8为坐标转换后的txt文件示意图；

图9为xml文件示意图；

图10为本发明实施例提供的遥感影像目标检测基准库的构建装置结构图；

图11为本发明又一实施例提供的遥感影像目标检测基准库的构建装置结构图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为本发明实施例提供的遥感影像目标检测基准库的构建方法流程图，包括：s1，获取第一影像数据和所述第一影像数据对应的第一面状数据；s2，对所述第一影像数据进行分块，生成第二影像块；s3，获取所述第一面状数据的最小包络矩形，生成第二面状数据；s4，根据所述第二影像块和所述最小包络矩形的经纬度坐标，将坐标范围位于所述第二影像块的坐标范围内的第二面状数据集成为第三面状数据；s5，根据所述第二影像块和所述第三面状数据，生成标签文件；s6，根据所述第二影像块和所述标签文件，构建数据库。

其中，s1中，所述第一影像数据可以为谷歌影像，谷歌影像的空间分辨率可以达到0.23m。所述第一面状数据为osm(openstreetmap，维基世界地图)面状数据，所述osm面状数据为人工标注的矢量数据。选取所述第一面状数据较为密集的区域对应的谷歌影像，通过选取的谷歌影像的kml文件获取对应的第一面状数据。s2中，将所述第一影像数据切分成大小相同的影像块，并保留所述影像块的经纬度坐标。将所述影像块作为第二影像块，可以以滑动窗口的方式进行切块。

s3中，由于所述第一面状数据中，轮廓的形状完全依赖于地物的轮廓，因此大都为不规则的多边形边框。由于现有的目标检测模型要求地物的轮廓为矩形，因此需要求取所述第一面状数据的最小包络矩形，从而将不规则的形状转换为规则的矩形。将含有所述最小包络矩形的第一面状数据作为第二面状数据。

s4中，遍历每个所述第二影像块，根据所述第二影像块的经纬度坐标和所述第二面状数据中的最小包络矩形的经纬度坐标，若判断所述最小包络矩形的坐标范围位于所述第二影像块的坐标范围内，则将所述最小包络矩形对应的第二面状数据集成为第三面状数据，即将对应于同一所述第二影像块的所述第二面状数据分为一类。每个所述第二影像块对应一个所述第二面状数据的集和，即所述第三面状数据。

s5中，根据所述第二影像块和所述第二影像块对应的第三面状数据，生成标签文件。每个所述标签文件包含了该标签文件对应的第二影像块的名称和所述第二影像块对应的第三面状数据。

s6中，每个所述第二影像块都有一个对应的标签文件，根据所述第二影像块和所述标签文件构建的数据库包括：所述第二影像块和所述第二影像块对应的标签文件。

例如，选取面状数据的密度较大的区域的第一影像数据和对应的第一面状数据，如选取华盛顿、伦敦、东京、阿姆斯特丹、巴黎、柏林、哥伦布、洛杉矶和莫斯科城市区域的第一影像数据和对应的第一面状数据，获取将所述第一影像数据分块成800*800像素固定大小的第二影像块。获取所述第一面状数据的最小包络矩形，生成第二面状数据。图2为所述第一面状数据的最小保面矩形示意图，里面的白色边框为原始边框，外面的白色边框为最小包络矩形的边框。遍历每一个800*800的第二影像块，根据所述第二影像块的经纬度坐标和所述第二面状数据中的最小包络矩形的经纬度坐标，将坐标范围位于所述第二影像块的坐标范围内的第二面状数据集成为第三面状数据。图3为所述第二影像和所述第三面状数据之间的对应关系示意图，如图3所示，该第二影像块中集成了第二面状数据中地物名称为parking、building和basketball的第二面状数据，所述第二面状数据含有最小包络矩形。根据所述第二影像块和所述最小包络矩形的经纬度坐标，将坐标范围位于所述第二影像块的坐标范围内的第二面状数据集成为第三面状数据。根据所述第二影像块和所述第二影像块对应的第三面状数据生成标签文件。根据所述第二影像块和所述标签文件构建数据库。

本实施例使用现有的影像数据及其对应的面状数据构建数据库，通过将所述影像数据进行分块，并获取面状数据的最小包络矩形，根据影像块和最小包络矩形的坐标，将对应于同一影像块的面状数据进行集成，根据所述影像块和所述影像块对应的面状数据生成标签文件，根据所述影像块和所述影像块对应的标签文件构建数据库，从而实现数据库的快速构建。

在上述实施例的基础上，本实施例中在获取所述第一面状数据的最小包络矩形，生成第二面状数据之前，还包括：对所述第一面状数据进行筛选。

其中，所述筛选可以包括：使用算法进行筛选和/或人工筛选。使用算法进行筛选包括去除斜长且跨度较大的地物、去除形状不规则的地物和去除小面积的地物中的一种或多种。人工筛选包括：将相似类的地物合并为同一类地物、去除出现频率不高的地物、去除与背景区分度不高的地物、去除或校正与影像数据中的地物有偏移的地物、更正错标的地物、去除对应的影像中很模糊的地物。其中，去除斜长且跨度相对较大的地物将纬度之差与面积之比或经度之差与面积之比大于预设阈值的地物去除。去除形状不规则的地物可以将地物的面积与该地物的最小外接矩形的面积的差值与地物的面积的比值大于预设阈值或地物的面积与地物的周长的比值小于预设阈值的地物去除。去除小面积的地物可以根据影像数据的空间分辨率，将面积小于预设阈值的地物去除。图4为形状不规则地物，以及与背景区分度不高的地物样本图。如图4所示，前两幅图中白色线框内的地物为不规则地物，后两幅图中的白色线框内的地物为与背景区分度不高的地物。图5为筛选后的结果示意图，如图5所示，其中白色线框为保留的面状数据，灰色线框为去除的面状数据。

具体地，在去除斜长且跨度较大的地物时，纬度相差1°约等于地面实际距离111千米；经度相差1°约等于111cosα千米，其中α为计算经度处的纬度值。根据经纬度与地面实际距离的关系，定义纬度之差与面积之比以及经度之差与面积比值分别为dlon2area与dlat2area。若dlon2area或dlat2area超过预设阈值，则视为跨度相对较大，将该地物去除。在去除地物形状不规则的地物时，定义地物的最小外接矩形的面积为area2bbox，地物的面积为area，地物的周长为circle。计算area2bbox＝(bboxarea–area)/area或shapeindex＝area/circle，若area2bbox大于预设阈值或shapeindex小于预设阈值，则将该地物去除。在将相似类的地物合并为同一类地物时，将大类中的子类统一合并为大类。如将building类中命名为hotel/hospital的子类地物统一合并为building类；将landuse/amenity类中命名为forest/scrub的子类统一命名为wood类。

本实施例中对所述面状数据进行筛选，一方面，去掉了部分地物，简化了地物的分类，使数据库更加精简，另一方面，去掉或校正有偏移的地物、与背景区分度不高的地物、过度模糊的地物等，使得对影像数据中地物的标记更加准确。

图6为本发明又一实施例提供的遥感影像目标检测基准库的构建方法流程图，如图6所述，在上述各实施例的基础上，本实施例中s5，根据所述第二影像块和所述第二影像块对应的第二面状数据，生成标签文件，包括：s51，将所述第三面状数据和所述第三面状数据对应的第二影像块的名称，存储为第一txt文件；s52，对所述第一txt文件中所述最小包络矩形的经纬度坐标进行转换，生成第二txt文件；s53，以所述第二影像块和所述第二txt文件为模板，生成xml标签文件。

具体地，s51中，每个所述第三面状数据对应一个第二影像块，将所述第三面状数据和所述第三面状数据对应的第二影像块的名称，存储为第一txt文件。所述第三面状数据包括：地物名称和最小包络矩形的经纬度坐标。所述第一txt文件包括：所述第二影像块的名称，以及所述第三面状数据中的地物名称和最小包络矩形的经纬度坐标。s52中，由于所述第三面状数据中的最小包络矩形的坐标为经纬度坐标，而图像处理中使用的是像素坐标，因此，需要将所述第一txt文件中所述最小包络矩形的经纬度坐标转换为像素坐标，生成第二txt文件。所述最小包络矩形的经纬度坐标包括：所述最小包络矩形的左上角和右下角的经纬度坐标。s53中，以所述第二影像块和所述第二txt文件为模板，生成xml标签文件。所述xml标签文件包括：所述第二影像块的名称、所述第二影像块的尺寸以及所述第三面状数据中的地物名称和最小包络矩形的像素坐标。

图7为坐标转换前的txt文件示意图，图8为坐标转换后的txt文件示意图。图7和图8中，第一列为第二影像块的名称、第二列为第二面状数据中的地物名称。图7中的第三列和第四列表示第三面状数据中最小包络矩形的左上角的经纬度坐标，图7中的第五列和第六列表示第三面状数据中最小包络矩形的右下角的经纬度坐标。图8中的第三列和第四列表示第三面状数据中所述最小包络矩形的左上角的像素坐标，图8中的第五列和第六列表示第三面状数据中所述最小包络矩形的右下角的像素坐标。图9为xml标签文件示意图。

本实施例影像块和影像块对应的面状数据生成标签文件，标签文件中的坐标为像素坐标，与图像处理中使用的坐标一致，方便直接使用。根据所述影像块和所述影像块对应的标签文件构建数据库，所述数据库包括影像块和标签文件，从而实现数据库的快速构建。

图10为本发明实施例提供的遥感影像目标检测基准库的构建装置结构图，如图10所示，包括第一获取模块1、分块模块2、第二获取模块3、集成模块4、生成模块5和构建模块6，其中：

所述第一获取模块1用于获取第一影像数据和所述第一影像数据对应的第一面状数据；所述分块模块2用于对所述第一影像数据进行分块，生成第二影像块；所述第二获取模块3，用于获取所述第一面状数据的最小包络矩形，生成第二面状数据；所述集成模块4用于根据所述第二影像块和所述最小包络矩形的经纬度坐标，将坐标范围位于所述第二影像块的坐标范围内的第二面状数据集成为第三面状数据；所述生成模块5用于根据所述第二影像块和所述第三面状数据，生成标签文件；所述构建模块6用于根据所述第二影像块和所述标签文件，构建数据库。

具体地，所述第一影像数据可以为谷歌影像，谷歌影像的空间分辨率可以达到0.23m。所述第一面状数据为osm(openstreetmap，维基世界地图)面状数据，所述osm面状数据为人工标注的矢量数据。所述第一获取模块1获取所述第一面状数据较为密集的区域对应的谷歌影像，通过选取的谷歌影像的kml文件获取对应的第一面状数据。所述分块模块2将所述第一影像数据切分成大小相同的影像块。，并保留所述影像块的经纬度坐标。将所述影像块作为第二影像块，可以以滑动窗口的方式进行切块。

由于所述第一面状数据中的轮廓大都为不规则的多边形边框，而现有的目标检测模型要求地物的轮廓为矩形，因此所述第二获取模块3获取所述第一面状数据的最小包络矩形，从而将不规则的形状转换为规则的矩形。将含有所述最小包络矩形的第一面状数据作为第二面状数据。

所述集成模块4遍历每个所述第二影像块，根据所述第二影像块的经纬度坐标和所述第二面状数据中的最小包络矩形的经纬度坐标，将坐标范围位于所述第二影像块的坐标范围内的第二面状数据集成为第三面状数据，即将对应于同一所述第二影像块的所述第二面状数据分为一类。每个所述第二影像块对应一个所述第二面状数据的集和，及所述第三面状数据。

所述生成模块5根据所述第二影像块和所述第二影像块对应的第三面状数据，生成标签文件。每个所述标签文件包含了该标签文件对应的第二影像块的名称和所述第二影像块对应的第三面状数据。

每个所述第二影像块都有一个对应的标签文件，所述构建模块6根据所述第二影像块和所述标签文件构建的数据库包括：所述第二影像块和所述第二影像块对应的标签文件。

本实施例使用现有的影像数据及其对应的面状数据构建数据库，本发明使用现有的影像数据和影像数据对应的面状数据构建数据库，通过将所述影像数据进行分块，并获取面状数据的最小包络矩形，根据影像块和最小包络矩形的坐标，将对应于同一影像块的面状数据进行集成，根据所述影像块和所述影像块对应的面状数据生成标签文件，根据所述影像块和所述影像块对应的标签文件构建数据库，从而实现数据库的快速构建。

在上述实施例的基础上，还包括：筛选模块，用于对所述第一面状数据进行筛选。

具体地，所述筛选可以包括：使用算法进行筛选和/或人工筛选。使用算法进行筛选包括去除斜长且跨度较大的地物、去除形状不规则的地物和去除小面积的地物中的一种或多种。人工筛选包括：将相似类的地物合并为同一类地物、去除出现频率不高的地物、去除与背景区分度不高的地物、去除或矫正与影像数据中的地物有偏移的地物、更正错标的地物、去除对应的影像中的地物很模糊的地物。其中，所述筛选模块通过将纬度之差与面积之比或经度之差与面积之比大于预设阈值的地物去除，去除斜长且跨度相对较大的地物。所述筛选模块5去除形状不规则的地物可以通过将地物的面积与该地物的最小外接矩形的面积的差值与地物的面积的比值大于预设阈值或地物的面积与地物的周长的比值小于预设阈值的地物去除，去除形状不规则的地物。所述筛选模块5可以根据影像数据的空间分辨率去除小面积的地物，将面积小于预设阈值的地物去除。

本实施例中对所述面状数据进行筛选，一方面，去掉了部分地物，简化了地物的分类，使数据库更加精简，另一方面，去掉的有偏移的地物、与背景区分度不高的地物、过度模糊的地物等，使得对影像数据中地物的标记更加准确。

图11为本发明实施例提供的遥感影像目标检测基准库的构建装置结构图，如图11所示，在上述各实施例的基础上，所述生成模块5包括存储子模块51、转换子模块52和生成子模块53，其中：

所述存储子模块51用于将所述第三面状数据和所述第三面状数据对应的第二影像块的名称，存储为第一txt文件；所述转换子模块52用于对所述第一txt文件中所述最小包络矩形的经纬度坐标进行转换，生成第二txt文件；所述生成子模块53用于以所述第二影像块和所述第二txt文件为模板，生成xml标签文件。

具体地，所述存储子模块51将所述第三面状数据和所述第三面状数据对应的第二影像块的名称，存储为第一txt文件。所述第三面状数据包括：地物名称和最小包络矩形的经纬度坐标。所述第一txt文件包括：所述第二影像块的名称，以及所述第三面状数据中的地物名称和最小包络矩形的经纬度坐标。由于所述第三面状数据中的最小包络矩形的坐标为经纬度坐标，而图像处理中使用的是像素坐标，因此，所述转换子模块52将所述所述第一txt文件中最小包络矩形的经纬度坐标转换为像素坐标，生成第二txt文件。所述最小包络矩形的经纬度坐标包括：所述最小包络矩形的左上角和右下角的经纬度坐标。所述生成子模块52以所述第二影像块和所述第二txt文件为模板，生成xml标签文件。所述xml标签文件包括：所述第二影像块的名称、所述第二影像块的尺寸以及所述第三面状数据中的地物名称和最小包络矩形的像素坐标。

本实施例根据影像块和影像块对应的面状数据生成标签文件，标签文件中的坐标为像素坐标，与图像处理中使用的坐标一致，方便直接使用。根据所述影像块和所述影像块对应的标签文件构建数据库，所述数据库包括影像块和标签文件，从而实现数据库的快速构建。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。