本发明涉及卫星遥感大数据存储与管理技术领域，特别是涉及一种异构遥感大数据应用平台。
背景技术
近年来，随着全球卫星遥感技术的快速发展以及信息基础设施的不断完善，遥感影像数据量显著增加，呈现指数级增长态势。特别是自2015年以来，微小型卫星技术迎来了井喷式高速发展时期，国产遥感卫星数量呈爆发式增长，但是，目前我国现有的遥感数据平台不仅不支持多系列遥感产品的管理，而且存在大数据存储架构方面的挑战，即磁盘读写性能差，与主存的速度差距正在逐渐增大，使得传统的主存－磁盘存储架构越来越无法适应大数据管理的要求，传统盘阵的使用费用高，可拓展性差，目前对于遥感影像产品的海量数据仍无法做到高效检索、快速定位，因此，遥感数据平台存在的这些问题都使得现有的遥感数据平台愈来愈难以满足卫星遥感大数据时代所带来的新的挑战。
技术实现要素：
基于此，有必要针对现有的遥感数据平台存在的不支持多系列遥感产品的管理以及存在大数据存储架构方面的挑战的问题，提供一种异构遥感大数据应用平台。
为解决上述问题，本发明采取如下的技术方案：
一种异构遥感大数据应用平台，包括应用层、系统层和硬件层，所述应用层通过所述系统层与所述硬件层连接；
所述应用层用于对卫星遥感影像产品进行存档和管理，所述卫星遥感影像产品为经过数据格式转换后得到的卫星遥感影像图片或者卫星遥感影像视频；
所述系统层用于利用基于计算的对象寻址机制对所述应用层写入的所述卫星遥感影像产品处理后对应的文件进行分片存储；
所述硬件层包括若干个存储设备节点，每一所述存储设备节点均对应有硬件资源，所述存储设备节点用于存储所述文件对应的分片文件。
上述异构遥感大数据应用平台是一种遥感大数据的存储与管理统一性平台，该平台能够支持对多种类遥感卫星的卫星遥感影像产品数据的存储与管理，并基于计算的对象寻址机制，突破解决了卫星遥感影像产品的分片存储，在查找时，可快速定位卫星遥感影像产品每一个分片的存储位置，实现卫星资源和数据资源的一体化管理，实现资源共享与服务，同时本发明所提出的异构遥感大数据应用平台具有高稳定性和高可靠性，其运行不受单点故障的影像，技术框架的支撑，可以实现数据库的持久、稳定连接，确保事务处理的连续和完整，保证业务数据准确完全。
附图说明
图1为本发明其中一个实施例中异构遥感大数据应用平台的结构示意图；
图2为本发明其中一个具体实施方式中异构遥感大数据应用平台的结构示意图。
具体实施方式
下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
在其中一个实施例中，如图1所示，异构遥感大数据应用平台包括应用层100、系统层200和硬件层300，应用层100通过系统层200与硬件层300连接；应用层100用于对卫星遥感影像产品进行存档和管理，卫星遥感影像产品为经过数据格式转换后得到的卫星遥感影像图片或者卫星遥感影像视频；系统层200用于利用基于计算的对象寻址机制对应用层100写入的卫星遥感影像产品处理后对应的文件进行分片存储；硬件层300包括若干个存储设备节点，每一存储设备节点均对应有硬件资源，存储设备节点用于存储文件对应的分片文件。
具体地，在本实施例中，异构遥感大数据应用平台为三层结构模型，分别为应用层100、系统层200和硬件层300，其中，应用层100操作的是产品对象，集成所有业务接口，是用户交互平台，应用层100写入文件时，对所有数据整合存档，并交给系统层200存储并归档；读取文件时，访问系统层200进行读取。为解决由于不同卫星(例如“吉林一号”系列卫星、高分系列卫星、高景卫星、worldview卫星以及landsat卫星等)的影像数据格式差异较大，导致应用层100进行数据管理时难度较大的问题，应用层100自定义一个卫星遥感数据格式，并将其他卫星的数据进行格式转换，以达到格式统一，因此本发明中的卫星遥感影像产品为经过数据格式转换后得到的卫星遥感影像图片或者卫星遥感影像视频。卫星遥感影像产品包括卫星的视频产品、推扫影像产品、基础地理信息产品、控制点数据、辅助数据以及增值产品等。
系统层200操作的是文件块，本层最为核心的技术就是基于计算的对象寻址机制，系统层200在利用基于计算的对象寻址机制对应用层100写入的卫星遥感影像产品处理后对应的文件进行分片存储时，系统层200按规则将应用层100写入的卫星遥感影像产品处理后对应的文件划分成若干个文件块，并将文件块经过多层映射后存储至存储设备节点，这里的多层映射包括文件块至配置组的一对多映射和配置组至存储设备节点的多对多映射。具体地，应用层100将处理后的数据处理后交给系统层200，读取时应用层100直接对系统层200进行关键字检索，系统层200对卫星遥感影像产品处理后对应的文件的存取的工作流程如下：对于一个文件要存储到集群中需要经历三次映射，在映射之前该文件会按规则被划分成多个文件块，然后系统层200对文件块进行多层映射操作，首先是文件块到配置组的一对多映射，即一个文件块只能被唯一的映射到一个配置组中，但一个配置组同时可以承接多个文件块；其次是配置组和实际物理设备的一个多对多的映射，即一个配置组会同时映射到n个物理设备中，其中n就是副本的数量，一个物理设备可以承接多个配置组，并且映射位置主要靠crush(controlledreplicationunderscalablehashing)算法计算得出。这个过程的核心在于摆脱静态映射的弊端，静态映射会限制集群的自动化存储，在出现问题时无法快速有效的进行数据的迁移和重构，而本发明采用三层映射而不是直接的两层动态映射的重要原因在于这种映射方式有效避免了本地元数据量爆增，简化了计算复杂度和维护的工作量。系统层200作为一个分布式的存储系统，所有数据在底层以对象的方式存储在集群中的各个物理节点。
硬件层300包括大量的存储设备节点，并且每一个存储设备节点拥有自己的硬件资源(包括cpu、内存、硬盘和网络等)，可以不需要大型的盘阵，从而节约资源。系统层200写入硬件层300时，会将文件映射到具体的物理地址；读取硬件层300时，可以通过计算找到存储位置。
本实施例所提出的异构遥感大数据应用平台是一种遥感大数据的存储与管理统一性平台，该平台能够支持对多种类遥感卫星的卫星遥感影像产品数据的存储与管理，并基于计算的对象寻址机制，突破解决了卫星遥感影像产品的分片存储，在查找时，可快速定位卫星遥感影像产品每一个分片的存储位置，实现卫星资源和数据资源的一体化管理，实现资源共享与服务，同时本发明所提出的异构遥感大数据应用平台具有高稳定性和高可靠性，其运行不受单点故障的影像，技术框架的支撑，可以实现数据库的持久、稳定连接，确保事务处理的连续和完整，保证业务数据准确完全。
作为一种具体的实施方式，应用层100在接收到数据存档请求时，检查存档数据是否存在；若是，则依据卫星产品规范对存档数据的完备性进行校验，当存档数据满足卫星产品规范时，应用层100进行存档操作。在本实施方式中，应用层100在接收到数据存档请求时，要检查存档数据是否存在，在存档数据存在的情况下要依据卫星产品规范对存档数据的完备性进行校验，若存档数据不满足产品规范，则不予进行存档操作。应用层100交给系统层200的数据也同样应该符合卫星产品规范，对于存档数据中的冗余数据不予进行归档操作。
作为一种具体的实施方式，如图2所示，应用层100包括数据归档模块110、数据检索模块120、数据提取模块130、产品展示模块140和统计分析模块150；数据归档模块110用于对卫星遥感影像产品进行归档存储；数据检索模块120用于对卫星遥感影像产品进行检索，检索包括基于元数据的检索、目录检索、空间位置检索和类别检索；数据提取模块130用于向用户和地面段的分系统提供数据；产品展示模块140用于对高级卫星遥感影像产品进行展示，同时还用于实现对卫星专题产品数据信息的提取、统计以及分类展示；统计分析模块150用于对平台信息进行统计与分析，并生成统计报表，平台信息包括卫星遥感影像产品、卫星专题产品数据信息、产品生命周期、日常归档信息、用户访问信息和数据下载信息。
在本实施方式中，异构遥感大数据应用平台的应用层100包括数据归档模块110、数据检索模块120、数据提取模块130、产品展示模块140和统计分析模块150，分别用于完成对卫星遥感影像产品的归档、检索、提取等功能。
数据归档模块110主要用于对卫星遥感影像产品进行归档存储，例如对卫星的视频产品、推扫影像产品、基础地理信息产品、控制点数据、辅助数据以及增值产品等各类数据进行归档存储。
数据检索模块120用于实现基于元数据的检索、目录检索、空间位置检索、类别检索等多种数据检索功能，实现对卫星遥感影像产品(包括卫星的视频产品、推扫影像产品、基础地理信息产品、控制点数据、辅助数据以及增值产品等各类数据)的检索。
数据提取模块130负责向用户提供数据，将数据通过不同的方式提供给用户，供用户浏览选择及下载，同时数据提取模块130也负责向其它地面段的分系统提供数据。
产品展示模块140负责高级产品的展示，使用户可以快捷浏览卫星高级产品，同时产品展示模块140提供对卫星专题产品数据信息的提取、统计以及分类展示的功能。
统计分析模块150主要用于对平台信息进行统计与分析，并生成统计报表，平台信息包括卫星遥感影像产品、卫星遥感影像产品、用户访问信息、日常归档信息、产品生命周期和数据下载信息等，统计分析模块150对卫星遥感影像产品、卫星遥感影像产品、用户访问信息、日常归档信息、产品生命周期和数据下载信息等数据进行统计与分析，同时生成并打印相关统计报表。
作为一种具体的实施方式，系统层200可以划分为三部分，分别是元数据服务器、对象存储集群和集群监视器，其中，元数据服务器用于复制和分配系统层200的名称空间；对象存储集群用于以对象存储的方式存储卫星遥感影像产品对应的数据和元数据；集群监视器用于管理对象存储集群的映射。
元数据服务器(主要用于缓存和同步分布式元数据)的工作就是管理文件系统的名称空间，虽然元数据和数据两者都存储在对象存储集群，但两者分别管理，支持可扩展性。事实上，元数据在一个元数据服务器集群上被进一步拆分，元数据服务器能够自适应地复制和分配名称空间，避免出现热点。如图2所示，元数据服务器管理名称空间部分，可以(为冗余和性能)进行重叠。元数据服务器到名称空间的映射在ceph中使用动态子树逻辑分区执行，它允许ceph对变化的工作负载进行调整(在元数据服务器之间迁移名称空间)同时保留性能的位置。
对象存储集群(主要用于将数据和元数据作为对象存储，并执行其他关键职能)不仅包括存储，还包括智能。传统的驱动是只响应来自启动者的命令的简单目标，但是对象存储设备是智能设备，它能作为目标和启动者，支持与其他对象存储设备的通信和合作。
集群监视器(主要用于执行监视功能)实施集群映射的管理，但是故障管理的一些要素是在对象存储本身中执行的，当对象存储设备发生故障或者新设备添加时，集群监视器就检测和维护一个有效的集群映射。这个功能按一种分布的方式执行，这种方式中映射升级可以和当前的流量通信。
如图2所示，系统层200包括rados、librados、rados块设备(rbd)、rados网关接口(rgw)和cephfs，其中，rados是ceph存储集群的基础，在本系统中所有数据都以对象的形式存储，rados负责保存所有对象；librados为各种编程语言提供了方便地访问rados接口的方式，同时也为rbd、rgw、cephfs这些组件提供了原生的接口；rbd是ceph块设备，提供持久性块存储，它是自动精简配置并可调整大小的；rgw提供对象存储服务，允许应用程序和本系统的对象存储建立连接；cephfs是ceph文件系统提供的一个使用本系统存储用户数据并且与posix兼容的文件系统。系统层200的一个文件会分配到一个来自元数据服务器的inodenumber(索引节点编号，简称ino)，对于文件这是一个唯一的标识符，然后文件被推入一些对象中(根据文件的大小)。使用ino和objectnumber(对象编号，简称ono)，每个对象都分配到一个对象id(简称oid)，在oid上使用一个简单的hash(又称为哈希)，每个对象都被分配到一个放置组，放置组(标识为pgid)是一个对象的概念容器。最后，放置组到对象存储设备的映射是一个伪随机映射，使用crush算法，这样一来，放置组(以及副本)到对象存储设备的映射就不用依赖任何元数据，而是依赖一个伪随机的映射函数。这种操作把存储的开销最小化，简化了分配和数据查询。
本发明具有以下技术效果：
(1)实现卫星资源和数据资源的一体化管理，实现资源共享与服务,实现光学高分辨率卫星数据、高分辨率卫星视频数据、多/高光谱遥感数据、夜光遥感数据、基础地理信息产品等各类遥感数据的数据接入与归档；
(2)综合吉林系列卫星、国内卫星、国外卫星等多种类遥感卫星资源；以数据获取整合为基础，综合航天数据、航空数据和地面数据，形成天空地一体化的数据中心；以海量遥感数据智能信息提取算法技术为核心，为行业用户、民众用户和政府部门提供专业的遥感信息；并在平台上根据用户的特殊需求，提供行业专题软件开发、民众应用开发和综合咨询等开放服务；
(3)平台结构化设计，灵活可拆分，具有灵活的可扩充接口，易于修改调整、二次开发和扩充，最大限度降低因上游技术升级带来的系统实施风险，保证投资的有效性和延续性；
(4)平台具有高稳定性、高可靠性，系统采用b/s(browser/server，浏览器/服务器)结构应用模式，集中安装部署，所以系统的运行不受单点故障的影响，技术框架的支撑，可以实现数据库的持久、稳定连接，确保事务处理的连续和完整，保证业务数据准确完全。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。