一种气象数据和卫星遥感数据处理方法及装置与流程

本发明实施例涉及数据处理技术领域，具体涉及一种气象数据和卫星遥感数据处理方法及装置。

背景技术

由于在生产、建设和设备运营过程中受环境气象因素影响极大，因此目前对气象数据和卫星遥感数据的运用越来越广泛。同时随着社会的不断进步，计算机技术的不断发展，人们对气象服务的质量要求不断提高。

然而，由于气象数据和卫星遥感数据来源较多，且根据不同尺度和不同形态得到的气象数据和卫星遥感数据也是完全不同的，如何对多源、多尺度、多形态的气象数据和卫星遥感数据进行有效管理和访问是急需解决的问题。

技术实现要素：

由于现有方法存在上述问题，本发明实施例提出一种气象数据和卫星遥感数据处理方法及装置。

第一方面，本发明实施例提出一种气象数据和卫星遥感数据处理方法，包括：

根据预设数据格式对接收的气象数据和卫星遥感数据进行标准化处理，生成标准化数据；

根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，并采用文件系统与关系型数据库对所述影像数据、矢量数据和高程数据进行统一存储、管理与访问；

接收客户端通过标准化接口发送的访问请求，根据开放地理空间信息联盟ogc标准和所述访问请求在所述关系型数据库中进行查询，并根据发布策略对查询得到的结果进行自动发布。

可选地，所述根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，并采用文件系统与关系型数据库对所述影像数据、矢量数据和高程数据进行统一存储、管理与访问，具体包括：

根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，根据数据类型、数据资源路径、调色板资源路径和数据时间轴资源路径将所述影像数据、矢量数据和高程数据抽象为各个产品对象，并采用文件系统与关系型数据库对各个产品对象进行统一存储、管理与访问。

可选地，所述根据发布策略对查询得到的结果进行自动发布，具体包括：

根据影像金字塔技术对查询得到的结果构建影像金字塔，并根据当前的分辨率、所述影像金字塔和发布策略对查询得到的结果进行自动发布。

可选地，所述根据发布策略对查询得到的结果进行自动发布，具体包括：

获取查询得到的结果对应的统一资源定位符url，根据发布策略和所述url对查询得到的结果进行自动发布。

可选地，所述标准化数据包括云图影像数据、云检测数据、云相态数据、云顶高度数据、降水估计数据、水体监测数据、火点监测数据、地表温度数据和对流初生数据。

第二方面，本发明实施例还提出一种气象数据和卫星遥感数据处理装置，包括：

数据标准化模块，用于根据预设数据格式对接收的气象数据和卫星遥感数据进行标准化处理，生成标准化数据；

数据存储模块，用于根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，并采用文件系统与关系型数据库对所述影像数据、矢量数据和高程数据进行统一存储、管理与访问；

数据查询模块，用于接收客户端通过标准化接口发送的访问请求，根据开放地理空间信息联盟ogc标准和所述访问请求在所述关系型数据库中进行查询，并根据发布策略对查询得到的结果进行自动发布。

可选地，所述数据存储模块具体用于根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，根据数据类型、数据资源路径、调色板资源路径和数据时间轴资源路径将所述影像数据、矢量数据和高程数据抽象为各个产品对象，并采用文件系统与关系型数据库对各个产品对象进行统一存储、管理与访问。

可选地，所述数据查询模块具体用于根据影像金字塔技术对查询得到的结果构建影像金字塔，并根据当前的分辨率、所述影像金字塔和发布策略对查询得到的结果进行自动发布。

第三方面，本发明实施例还提出一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。

由上述技术方案可知，本发明实施例通过对多源、多尺度、多形态的气象数据和卫星遥感数据进行标准化处理后划分为不同类型的数据，并进行统一存储、管理与访问，并采用ogc标准进行查询，能够有效管理和访问气象数据和卫星遥感数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种气象数据和卫星遥感数据处理方法的流程示意图；

图2为本发明另一实施例提供的一种气象数据和卫星遥感数据处理方法的流程示意图；

图3为本发明一实施例提供的气象数据和卫星遥感数据标准化处理后的文件结构示意图；

图4为本发明一实施例提供的一种气象数据和卫星遥感数据处理装置的结构示意图；

图5为本发明一实施例提供的电子设备的逻辑框图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种气象数据和卫星遥感数据处理方法的流程示意图，包括：

s101、根据预设数据格式对接收的气象数据和卫星遥感数据进行标准化处理，生成标准化数据。

其中，所述标准化数据包括云图影像数据、云检测数据、云相态数据、云顶高度数据、降水估计数据、水体监测数据、火点监测数据、地表温度数据和对流初生数据。

所述预设数据格式为预先设置的数据格式。

具体地，在数据处理上，首先为了保证系统的可扩展性和一致性，要对输入的气象数据和卫星遥感数据进行标准化处理，包括对数据的文件名、文件格式、存储方式和数据管理等方面，生成系统内部定义的统一数据格式。

s102、根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，并采用文件系统与关系型数据库对所述影像数据、矢量数据和高程数据进行统一存储、管理与访问。

具体地，得到标准化数据后，需要将标准化后的气象数据和卫星遥感数据根据类型的不同处理成影像、矢量、高程三种数据类型。目前支持对风云系列卫星遥感数据、碳卫星遥感数据以及数值天气预报数据的处理。在数据的管理上，采用文件系统与关系型数据库的统一管理模式，通过关系型数据库与文件系统对各类型数据统一存储、管理与访问，通过在存储、数据库服务器、数据库、中间件、应用系统等多个方面的优化设计来保证系统在存储、管理与访问上的效率。

s103、接收客户端通过标准化接口发送的访问请求，根据开放地理空间信息联盟ogc标准和所述访问请求在所述关系型数据库中进行查询，并根据发布策略对查询得到的结果进行自动发布。

具体地，在产品发布上，采用标准、开放的ogc服务(包括wms、wfs以及wcs)，矢量、栅格及影像数据都可以在客户端通过标准化的接口进行访问。同时可以根据需要定制发布策略，实现无人工干预的全自动化气象及卫星遥感产品的实时发布，支持多源、多尺度、多形态的气象数据和卫星遥感数据自动化生成及发布。

本实施例通过对多源、多尺度、多形态的气象数据和卫星遥感数据进行标准化处理后划分为不同类型的数据，并进行统一存储、管理与访问，并采用ogc标准进行查询，能够有效管理和访问气象数据和卫星遥感数据。

进一步地，在上述方法实施例的基础上，s102具体包括：

根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，根据数据类型、数据资源路径、调色板资源路径和数据时间轴资源路径将所述影像数据、矢量数据和高程数据抽象为各个产品对象，并采用文件系统与关系型数据库对各个产品对象进行统一存储、管理与访问。

具体地，在数据管理上，将所有气象数据及卫星遥感数据抽象成一个具有数据类型、数据资源路径、调色板资源路径、数据时间轴资源路径等属性的产品对象，并且通过配置后对各个产品对象进行管理，能够进行更有效的管理。

进一步地，在上述方法实施例的基础上，s103中所述根据发布策略对查询得到的结果进行自动发布，具体包括：

根据影像金字塔技术对查询得到的结果构建影像金字塔，并根据当前的分辨率、所述影像金字塔和发布策略对查询得到的结果进行自动发布。

举例来说，对生成的遥感影像产品，通过影像金字塔技术，根据一定的分辨率，建立影像金字塔。影像金字塔的构建方法有两种：一种是多分辨率的数据源自动构建金字塔，另一种是除了金字塔最底层数据是原始影像数据之外，其他层的影像数据是从底层数据通过采样抽取出来构建。

通过采用影像金字塔技术，能够加快遥感影像产品在发布时的显示速度。

进一步地，在上述方法实施例的基础上，s103中所述根据发布策略对查询得到的结果进行自动发布，具体包括：

获取查询得到的结果对应的统一资源定位符url，根据发布策略和所述url对查询得到的结果进行自动发布。

具体地，数据访问方案可以采用面向资源的restful架构形式，及任何数据资源(包括图像、文件等)在该架构中都有一个对应的url来标识，用户想要获取数据就必须通过资源所对应的url来操作，而这些操作中数据是以他们的某种表现形式来传输的，比如html、json、jpeg等。除了上述对影像产品分块数据资源的获取形式外，还可通过restfulapi对数据进行加工处理，为用户提供诸如geojson、kml等多种数据类型。

举例来说，如图2所示，结合气象数据和卫星遥感数据的自动化生产与发布系统架构图，本实施例主要分为三个部分：多源数据标准化处理，通用数据访问服务，以及一个基于互联网的支持多层次、多形态、全分辨率的交互式产品展示程序。

如图2所示，本系统的输入数据包括风云系列卫星遥感产品数据(风云3c、风云3d、风云4a等)、多种数值预报产品数据(t639数据、ncep数据、ec数据等)、其他卫星遥感产品数据(npp、noa、葵花8等)。产品涉及的地理空间数据具有多层次、多专题、多尺度、多形态海量等特点，包括云图影像、云检测、云相态、云顶高度、降水估计、水体监测、火点监测、地表温度、对流初生，基础地理信息数据等多种数据类型。本系统的建设充分考虑了数据的多样性、复杂性以及庞大的数据量，同时通过多种优化手段提高了对数据处理、数据存储、数据检索、数据加载以及数据浏览的效率。实现对多层次、多专题、多尺度、多形态海量产品的自动化发布。

具体执行步骤如下：

首先根据业务处理环节将产品数据按级别划分为一级数据(质检、定标、定位后的云图影像产品)、二级数据和三级数据，对输出数据的文件名进行规范化设计，统一命名规则。例如：

fy4a_agrix_l1_nom_20171225_2220_2000m_evb0730.jpg

fy4a_agrix_l3_gll_20171225_poad_1000m_vwi.jpg

卫星名称_仪器名称_数据级别_投影类型_观测起始日期时间_空间分辨率_产品名.jpg。

然后通过统一的目录结构对已生成的产品进行管理，例如：

～/fy4a/l2/image/lda/aod1/20171226234500

～/卫星名称/数据级别/数据类型/产品名称/数据集名称/时间/

例如，如图3所示为fy4卫星的部分遥感数据产品目录。

对生成的遥感影像产品，通过影像金字塔技术，根据一定的分辨率，建立影像金字塔。影像金字塔的构建方法有两种：一种是多分辨率的数据源自动构建金字塔；另一种是除了金字塔最底层数据是原始影像数据之外，其他层的影像数据是从底层数据通过采样抽取出来构建的，本实施例采用的是后一种方法。目前根据卫星遥感数据的分辨率共建立8层金字塔影像。其中切片坐标与经纬度的关系为：

x＝(int)((templong-tilefullminlong)/(resolution*tilesize))

y＝(int)((templat-tilefullminlat)/(resolution*tilesize))

其中resolution为每层的分辨率(度)，由下表所示；tilefullminlong为切片影像的起始经度-180；tilefullminlat为切片影像的起始纬度-90；tilesize为切片的像素宽度(或高度)256；templong为某点的经度；templat为某点的纬度。下表给出的就是各层级的分辨率列表：

层数据分块大小再考虑了网络传输效率及数据加载效率后目前采用的是256*256的分块尺寸。

将切片后的数据按照～/z/y/x.jpg(～/层级编号/行编号/列编号.jpg)的形式进行存储。并且通过apache服务器将此文件路径映射到documentroot。在数据访问时，通过解析url路径可快速检索数据。例如：将/comm映射为根目录，通过http://10.24.10.95/fy4a/l2/image/prj/500m/0064/20171227023834/4/28/10.jpg获取数据时可通过根路径+相对路径的方式直接检索出数据，/comm/fy4a/l2/image/prj/500m/0064/20171227023834/4/28/10.jpg数据访问方案采用面向资源的restful架构形式，及任何数据资源(包括图像、文件等)在该架构中都有一个对应的url来标识，用户想要获取数据就必须通过资源所对应的url来操作，而这些操作中数据是以他们的某种表现形式来传输的，比如html、json、jpeg等。除了上例中描述的对影像产品分块数据资源的获取形式外，还可通过restfulapi对数据进行加工处理，为用户提供诸如geojson、kml等多种数据类型。

在数据管理上，将所有气象及卫星遥感产品抽象成一个具有数据类型、数据资源路径、调色板资源路径、数据时间轴资源路径等属性的产品对象，并且通过配置进行管理。产品展示程序在获取到以上配置信息后，即可根据产品属性的定义为用户提供交互操作。

本实施例通过上述多种手段的合理综合应用，可以很好的实现多层次，多专题、多形态海量气象及卫星遥感数据的高校组织与管理。使得整个系统具备开放、易扩展、易维护等优点。

图4示出了本实施例提供的一种气象数据和卫星遥感数据处理装置的结构示意图，所述装置包括：数据标准化模块401、数据存储模块402和数据查询模块403，其中：

所述数据标准化模块401用于根据预设数据格式对接收的气象数据和卫星遥感数据进行标准化处理，生成标准化数据；

所述数据存储模块402用于根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，并采用文件系统与关系型数据库对所述影像数据、矢量数据和高程数据进行统一存储、管理与访问；

所述数据查询模块403用于接收客户端通过标准化接口发送的访问请求，根据开放地理空间信息联盟ogc标准和所述访问请求在所述关系型数据库中进行查询，并根据发布策略对查询得到的结果进行自动发布。

具体地，所述数据标准化模块401根据预设数据格式对接收的气象数据和卫星遥感数据进行标准化处理，生成标准化数据；所述数据存储模块402根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，并采用文件系统与关系型数据库对所述影像数据、矢量数据和高程数据进行统一存储、管理与访问；所述数据查询模块403接收客户端通过标准化接口发送的访问请求，根据开放地理空间信息联盟ogc标准和所述访问请求在所述关系型数据库中进行查询，并根据发布策略对查询得到的结果进行自动发布。

本实施例通过对多源、多尺度、多形态的气象数据和卫星遥感数据进行标准化处理后划分为不同类型的数据，并进行统一存储、管理与访问，并采用ogc标准进行查询，能够有效管理和访问气象数据和卫星遥感数据。

进一步地，在上述装置实施例的基础上，所述数据存储模块402具体用于根据数据类型将所述标准化数据划分成影像数据、矢量数据和高程数据，根据数据类型、数据资源路径、调色板资源路径和数据时间轴资源路径将所述影像数据、矢量数据和高程数据抽象为各个产品对象，并采用文件系统与关系型数据库对各个产品对象进行统一存储、管理与访问。

进一步地，在上述装置实施例的基础上，所述数据查询模块403具体用于根据影像金字塔技术对查询得到的结果构建影像金字塔，并根据当前的分辨率、所述影像金字塔和发布策略对查询得到的结果进行自动发布。

本实施例所述的气象数据和卫星遥感数据处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

参照图5，所述电子设备，包括：处理器(processor)501、存储器(memory)502和总线503；

其中，

所述处理器501和存储器502通过所述总线503完成相互间的通信；

所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。