一种影像数据的分布式存储方法、分析方法及装置与流程

本发明涉及影像数据存储技术领域，更具体的，涉及一种大规模影像数据的分布式存储方法、分析方法及装置。

背景技术：

随着卫星遥感、航测等遥测技术的大规模应用，来自于各行业的多源遥感影像数据的数据量呈几何式激增。对于影像数据，几百gb乃至tb级的数据量非常常见，这给影像数据管理、分析和应用的软件系统带来很大压力。面对海量遥感影像数据和丰富的应用场景，如何高效地实现影像数据的管理与分析已成为遥感数据应用领域研究的重点。

目前在影像数据的存储方面，镶嵌数据集所能管理的影像数据是以传统的单机存储模式为主，即镶嵌数据集所管理的影像数据存储在本地，由于本地存储空闲有限，无法满足海量影像数据的存储需求。此外，采用单机计算的模式进行镶嵌数据集的计算，在影像数据量逐渐增大的情况下，存在计算资源不足、计算效率低下的问题。

技术实现要素：

有鉴于此，本发明提供了一种影像数据的分布式存储方法、分析方法及装置，实现对海量影像数据的有效存储和分析。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种影像数据的分布式存储方法，包括：

在接收到影像数据存储请求的情况下，解析所述影像数据存储请求得到待存储影像数据；

对所述待存储影像数据进行分块处理，并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储；

将多个所述影像数据块在所述分布式计算集群中的存储路径添加到所述待存储影像数据的元数据中；

根据所述待存储影像数据的元数据创建镶嵌数据集。

可选的，所述方法还包括：

创建所述待存储影像数据对应的影像金字塔；

将所述影像金字塔的存储路径添加到所述镶嵌数据集中。

可选的，所述方法还包括：

在所述待存储影像数据为单波段影像的情况下，在所述镶嵌数据集中设置所述待存储影像数据的无效值，并根据所述镶嵌数据集中每个所述影像数据块的存储路径，采用无效值透明方式批量去除每个所述影像数据块中的无效值；

在所述待存储影像数据为多波段影像的情况下，在所述镶嵌数据集中设置所述待存储影像数据的rgb无效值，确定每个所述影像数据块的裁剪区，得到裁剪子数据集，并采用裁剪显示方式批量读取并裁剪每个所述影像数据块中的裁剪区。

可选的，所述方法还包括：

设置概视图的属性，所述概视图的属性包括：最大宽度、最大高度、相邻两层概视图的分辨率比例、存储路径以及是否去除无效值；

根据所述概视图的属性，构建所述待存储影像数据的概视图；

将所述概视图的属性添加到所述镶嵌数据集中。

可选的，所述方法还包括：

根据所述待存储影像数据的显示范围，计算所述镶嵌数据集中的边界子数据集；

在所述镶嵌数据集对应的待存储影像数据存在新增、删除、更新的情况下，对所述镶嵌数据集中的边界子数据集、裁剪子数据集和轮廓子数据集进行更新，所述轮廓子数据集存储所述影像数据块的存储路径。

一种影像数据的分布式分析方法，所述方法包括：

在接收到影像数据分析请求的情况下，解析所述影像数据分析请求得到待分析影像数据的配置参数和分析方式，所述待分析影像数据预先根据上述实施例公开的影像数据的分布式存储方法存储在分布式计算集群中；

根据所述配置参数中所述待分析影像数据的镶嵌数据集的存储路径，读取所述镶嵌数据集，获取所述镶嵌数据集中的元数据中各个影像数据块在所述分布式计算集群中的存储路径；

根据各个所述影像数据块在所述分布式计算集群中的存储路径，从所述分布式计算集群中以弹性分布式数据集的形式读取各个所述影像数据块；

根据所述配置参数，以弹性分布式数据集的形式在所述分布式计算集群中对各个所述影像数据块进行与所述分析方式相对应的分布式分析，得到所述待分析影像数据的分析结果。

可选的，所述分析方式包括：栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计。

可选的，所述方法还包括：

对所述分析结果进行本地存储或分布式存储。

一种影像数据的分布式存储装置，包括：

存储请求解析单元，用于在接收到影像数据存储请求的情况下，解析所述影像数据存储请求得到待存储影像数据；

分布式存储单元，用于对所述待存储影像数据进行分块处理，并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储；

存储路径添加单元，用于将多个所述影像数据块在所述分布式计算集群中的存储路径添加到所述待存储影像数据的元数据中；

镶嵌数据集创建单元，用于根据所述待存储影像数据的元数据创建镶嵌数据集。

可选的，所述存储装置还包括：

影像金字塔创建单元，用于创建所述待存储影像数据对应的影像金字塔；将所述影像金字塔的存储路径添加到所述镶嵌数据集中。

可选的，所述存储装置还包括：

单波段无效值去除单元，用于在所述待存储影像数据为单波段影像的情况下，在所述镶嵌数据集中设置所述待存储影像数据的无效值，并根据所述镶嵌数据集中每个所述影像数据块的存储路径，采用无效值透明方式批量去除每个所述影像数据块中的无效值；

多波段无效值去除单元，用于在所述待存储影像数据为多波段影像的情况下，在所述镶嵌数据集中设置所述待存储影像数据的rgb无效值，确定每个所述影像数据块的裁剪区，得到裁剪子数据集，并采用裁剪显示方式批量读取并裁剪每个所述影像数据块中的裁剪区。

可选的，所述装置还包括：

镶嵌数据集维护单元，用于根据所述待存储影像数据的显示范围，计算所述镶嵌数据集中的边界子数据集；在所述镶嵌数据集对应的待存储影像数据存在新增、删除、更新的情况下，对所述镶嵌数据集中的边界子数据集、裁剪子数据集和轮廓子数据集进行更新，所述轮廓子数据集存储所述影像数据块的存储路径。

一种影像数据的分布式分析装置，所述装置包括：

分析请求解析单元，用于在接收到影像数据分析请求的情况下，解析所述影像数据分析请求得到待分析影像数据的配置参数和分析方式，所述待分析影像数据预先根据上述实施例公开的影像数据的分布式存储方法存储在分布式计算集群中；

存储路径读取单元，用于根据所述配置参数中所述待分析影像数据的镶嵌数据集的存储路径，读取所述镶嵌数据集，获取所述镶嵌数据集中的元数据中各个影像数据块在所述分布式计算集群中的存储路径；

影像数据块读取单元，用于根据各个所述影像数据块在所述分布式计算集群中的存储路径，从所述分布式计算集群中以弹性分布式数据集的形式读取各个所述影像数据块；

影像数据分析单元，用于根据所述配置参数，以弹性分布式数据集的形式在所述分布式计算集群中对各个所述影像数据块进行与所述分析方式相对应的分布式分析，得到所述待分析影像数据的分析结果。

可选的，所述分析方式包括：栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计。

可选的，所述分析装置还包括：

分析结果存储单元，用于对所述分析结果进行本地存储或分布式存储。

相对于现有技术，本发明的有益效果如下：

本发明公开的一种影像数据的分布式存储方法和分析方法，将待存储影像数据进行分块处理，并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储，镶嵌数据集的元数据通过记录影像数据块在分布式计算集群中的存储路径，实现对分布式存储的影像数据的有效管理，由于影像数据在分布式计算集群中进行分布式存储，存储空间可以灵活扩展，能满足海量影像数据的存储需求。同时，利用分布式计算集群的分布式计算能力，能实现以弹性分布式数据集的形式在分布式计算集群中对影像数据进行分布式分析，提高了对影像数据的分析性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种影像数据的分布式存储方法的流程示意图；

图2为本发明实施例公开的一种影像数据的分布式分析方法的流程示意图；

图3为本发明实施例公开的一种影像数据的分布式存储装置的结构示意图；

图4为本发明实施例公开的一种影像数据的分布式分析装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种影像数据的分布式存储方法，可以应用于分布式计算集群中的处理器，请参阅图1，该分布式存储方法具体包括以下步骤：

s101：在接收到影像数据存储请求的情况下，解析影像数据存储请求得到待存储影像数据；

s102：对待存储影像数据进行分块处理，并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储；

其中，对待存储影像数据进行分块处理还包括格式转换，即将原始影像格式转换为预设格式，以提升影像的显示效率。

s103：将多个影像数据块在分布式计算集群中的存储路径添加到待存储影像数据的元数据中；

s104：根据待存储影像数据的元数据创建镶嵌数据集。

其中，创建镶嵌数据集时，需要指定镶嵌数据集的坐标系，用于影像拼接显示时的坐标系，还需要将待存储影像数据的元数据添加到镶嵌数据集，在添加影像的元数据时，可以同时选择多个影像数据块的元数据批量添加，或指定一个目录，自动将目录下的所有.gif、.img影像的元数据添加进来，添加时，还可以选择是否需要读取影像裁剪区的.shp文件，用于限定影像的有效范围。

进一步，将待存储影像数据进行分布式存储之后，可以进行云优化，为提升影像的显示效率做准备，其中，影像云优化包括创建待存储影像数据对应的影像金字塔。

创建影像金字塔，可以直接对影像创建影像金字塔，也可以通过镶嵌数据集批量对所管理的影像创建影像金字塔。

创建影像金字塔时需要确定影像金字塔的重采样方法，重采样方法可以为最临近法、平均值法、高斯内核法、平均联合数据法。

进一步，还可以分布式优化镶嵌数据集，如去除影像无效值、构建概视图等。

影像中的无效值呈现出黑边或白边，严重影响影像的显示效果。对于去除影像无效值，根据待存储影像数据的类型可以采用不同的去除影像无效值的方法，在待存储影像数据为单波段影像数据的情况下，采用无效值透明方式去除影像无效值，在待存储影像数据为多波段影像数据的情况下，采用裁剪显示方式去除影像无效值。

具体的，对于单波段影像来说，通过在镶嵌数据集中设置待存储影像数据的无效值，并根据镶嵌数据集中每个影像数据块的存储路径，采用无效值透明方式批量去除每个影像数据块中的无效值。

对于多波段影像来说，无效值的值为多波段合成后的rgb值，影像有效值区域中存在与无效值相等的像素值时，需要使用裁剪显示方式去除无效值，通过在镶嵌数据集中设置待存储影像数据的rgb无效值，确定每个影像数据块的裁剪区。默认情况下，裁剪子数据集使用影像轮廓作为其裁剪区，也可以根据影像数据的有效区域自动构建其裁剪区，并更新到裁剪子数据集。对于单幅影像的裁剪区已具有单独的shapefile格式的矢量裁剪数据文件时，通过读取影像的裁剪区，并更新到裁剪子数据集中，可以进行文件裁剪。

在去除影像无效值之后，还可以构建概视图，实现在小比例尺下显示拼接影像，达到全局概览影像的目的。

构建概视图时，需要预先设置概视图的属性，概视图的属性包括：最大宽度、最大高度、相邻两层概视图的分辨率比例、存储路径以及是否去除无效值。然后根据概视图的属性，构建待存储影像数据的概视图。在构建了概视图之后，在概视图输出路径下将产生影像文件，并且在镶嵌数据集中的轮廓子数据集的属性表中添加概视图相关记录，包括概视图的属性、文件名、存储路径、影像文件分辨率等。

进一步，在完成对待存储影像数据的分布式存储之后，还可以对分布式计算集群中的镶嵌数据集进行灵活维护，维护镶嵌数据集包括：重建范围、修复镶嵌数据集路径和新增和移除镶嵌数据集所管理的影像文件。

其中，重建范围是指：在需要展示局部范围的影像时，可以使用镶嵌数据集的边界子数据集快速实现范围重建，镶嵌数据集中的边界子数据集是根据影像数据的显示范围预先计算得到的，边界子数据集控制镶嵌数据集的显示范围，默认基于轮廓构建。

修复镶嵌数据集路径是指：当影像数据存储位置发生变化时，需要用户将发生变化的路径进行重新指定，即可更新轮廓数据集中的影像文件路径。

新增和移除镶嵌数据集所管理的影像文件是指：通过选择影像数据文件或者选择文件夹的方式添加镶嵌数据集所管理的新的影像，影像添加完成后，新添加影像的轮廓、路径、分辨率等数据将自动更新到镶嵌数据集的轮廓子数据集中，同时，边界、裁剪子数据集也会进行自动更新。通过编辑镶嵌数据集的轮廓子数据集实现删除部分影像的操作，支持指定轮廓的方式来移除特定影像，或者构建查询表达式，删除筛选出满足条件的影像轮廓，移除指定影像。

本实施例还支持数据导出功能，通过对镶嵌数据集属性表的属性字段进行筛选，例如影像采集时间、影像层级、影像编号等，得到符合查询条件的目标影像，通过输入具体数值指定空间范围，绘制矩形确定范围或者选择已有的几何对象确定范围，获取与查询范围相交的目标影像。然后指定一个目标影像输出路径，将指定范围内的目标影像文件另存到该输出路径下，实现数据导出。

基于上述实施例公开的一种影像数据的分布式存储方法，本实施例对应公开了一种影像数据的分布式分析方法，用于对采用上述实施例公开的影像数据的分布式存储方法存储的镶嵌数据集进行分析，请参阅图2，该方法具体包括以下步骤：

s201：在接收到影像数据分析请求的情况下，解析影像数据分析请求得到待分析影像数据的配置参数和分析方式。

待分析影像数据的配置参数至少包括镶嵌数据集的存储路径。

分析方式包括栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计等。

s202：根据配置参数中待分析影像数据的镶嵌数据集的存储路径，读取镶嵌数据集，获取镶嵌数据集中的元数据中各个影像数据块在分布式计算集群中的存储路径。

s203：根据各个影像数据块在分布式计算集群中的存储路径，从分布式计算集群中以弹性分布式数据集的形式读取各个影像数据块。

具体的，将各个影像数据块读取到内存中，成为弹性分布式数据集。

s204：根据配置参数，以弹性分布式数据集的形式在分布式计算集群中对各个影像数据块进行与分析方式相对应的分布式分析，得到待分析影像数据的分析结果。

即在内存中以弹性分布式数据集的形式对各个影像数据块进行与分析方式相对应的分布式分析，如栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计等。

分析结果可以存储在本地，也可以分布式存储，可以选择写出成cog格斯或avro格式。

本实施例公开的一种影像数据的分布式存储方法和分析方法，将待存储影像数据进行分块处理，并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储，镶嵌数据集通过存储包括影像数据块在分布式计算集群中的存储路径的元数据，实现对分布式存储的影像数据的有效管理，由于影像数据在分布式计算集群中进行分布式存储，存储空间可以灵活扩展，能满足海量影像数据的存储需求。同时，利用分布式计算集群的分布式计算能力，能实现以弹性分布式数据集的形式在分布式计算集群中对影像数据进行分布式分析，提高了对影像数据的分析性能。

基于上述实施例公开的一种影像数据的分布式存储方法，本实施例对应公开了一种影像数据的分布式存储装置，请参阅图3，该装置包括：

存储请求解析单元101，用于在接收到影像数据存储请求的情况下，解析所述影像数据存储请求得到待存储影像数据；

分布式存储单元102，用于对所述待存储影像数据进行分块处理，并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储；

存储路径添加单元103，用于将多个所述影像数据块在所述分布式计算集群中的存储路径添加到所述待存储影像数据的元数据中；

镶嵌数据集创建单元104，用于根据所述待存储影像数据的元数据创建镶嵌数据集。

可选的，所述存储装置还包括：

影像金字塔创建单元，用于创建所述待存储影像数据对应的影像金字塔；将所述影像金字塔的存储路径添加到所述镶嵌数据集中。

可选的，所述存储装置还包括：

单波段无效值去除单元，用于在所述待存储影像数据为单波段影像的情况下，在所述镶嵌数据集中设置所述待存储影像数据的无效值，并根据所述镶嵌数据集中每个所述影像数据块的存储路径，采用无效值透明方式批量去除每个所述影像数据块中的无效值；

多波段无效值去除单元，用于在所述待存储影像数据为多波段影像的情况下，在所述镶嵌数据集中设置所述待存储影像数据的rgb无效值，确定每个所述影像数据块的裁剪区，得到裁剪子数据集，并采用裁剪显示方式批量读取并裁剪每个所述影像数据块中的裁剪区。

可选的，所述装置还包括：

镶嵌数据集维护单元，用于根据所述待存储影像数据的显示范围，计算所述镶嵌数据集中的边界子数据集；在所述镶嵌数据集对应的待存储影像数据存在新增、删除、更新的情况下，对所述镶嵌数据集中的边界子数据集、裁剪子数据集和轮廓子数据集进行更新，所述轮廓子数据集存储所述影像数据块的存储路径。

基于上述实施例公开的一种影像数据的分布式分析方法，本实施例对应公开了一种影像数据的分布式分析装置，请参阅图4，所述装置包括：

分析请求解析单元201，用于在接收到影像数据分析请求的情况下，解析所述影像数据分析请求得到待分析影像数据的配置参数和分析方式，所述待分析影像数据预先根据上述实施例公开的影像数据的分布式存储方法存储在分布式计算集群中；

存储路径读取单元202，用于根据所述配置参数中所述待分析影像数据的镶嵌数据集的存储路径，读取所述镶嵌数据集，获取所述镶嵌数据集中的元数据中各个影像数据块在所述分布式计算集群中的存储路径；

影像数据块读取单元203，用于根据各个所述影像数据块在所述分布式计算集群中的存储路径，从所述分布式计算集群中以弹性分布式数据集的形式读取各个所述影像数据块；

影像数据分析单元204，用于根据所述配置参数，以弹性分布式数据集的形式在所述分布式计算集群中对各个所述影像数据块进行与所述分析方式相对应的分布式分析，得到所述待分析影像数据的分析结果。

可选的，所述分析方式包括：栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计。

可选的，所述分析装置还包括：

分析结果存储单元，用于对所述分析结果进行本地存储或分布式存储。

本实施例公开的一种影像数据的分布式存储装置和分析装置，将待存储影像数据进行分块处理，并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储，镶嵌数据集通过存储包括影像数据块在分布式计算集群中的存储路径的元数据，实现对分布式存储的影像数据的有效管理，由于影像数据在分布式计算集群中进行分布式存储，存储空间可以灵活扩展，能满足海量影像数据的存储需求。同时，利用分布式计算集群的分布式计算能力，能实现以弹性分布式数据集的形式在分布式计算集群中对影像数据进行分布式分析，提高了对影像数据的分析性能。

上述各个实施例之间可任意组合，对所公开的实施例的上述说明，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。