一种海洋数据采集以及元数据管理方法与流程

本发明涉及计算机技术领域，具体涉及海洋数据的采集与元数据生成、存储和查询的方法。

背景技术：

为了了解海洋，合理利用海洋，促进海洋经济的健康、可持续性发展，需要获得大量的海洋数据。在“数字海洋”及国家海洋公益项目建设成果基础上，海洋信息化水平有了长足的发展，涉及到海洋物理、海洋生物、海洋化学、海洋气象、海洋经济、海岸带等多个研究领域。然而，不同领域数据采集的方法与设备各异，并且数据存储与处理也形式多样，主要体现在：（１）海洋数据格式多样，存在很多海洋行业专业文件格式标准；（２）不同海洋观测平台的观测设备、通信协议、数据质控及预处理方法各不相同；（３）用户需求的复杂多样性，包括海洋数据管理、海洋业务管理、海洋科学研究及海洋管理决策等；（４）已有各类海洋信息应用系统存在异构性：在国家海洋局等相关涉海业务部门，已经存在多个海洋数据管理及业务应用信息系统，这些系统面向不同业务，各自相对独立、结构各异，互操作困难。面对复杂时空网络环境下的海洋大数据，需要分析大数据处理所面对的挑战，解决大数据智能分析与挖掘面临的关键科学与工程问题，为复杂多变的信息资源服务需求提供新思路和方法依据。

技术实现要素：

本发明提供一种数据采集、处理和元数据管理方法，利用开源地理信息系统框架GeoNetwork对元数据进行管理。在使用Java程序获得海洋网站的数据后，对数据进行解析、存储至FTP并生成对应的、符合ISO19139标准的XML元数据描述文件。使用用户认证Credentials后台登陆管理员账户和XML元数据插入方法完成元数据的管理，当用户在GeoNetwork框架中查询元数据并获得其XML描述文件之后，系统通过解析XML文件在FTP服务器查询数据并返回给用户。本发明主要解决大数据智能分析与挖掘面临的关键科学与工程问题，为复杂多变的信息资源服务需求提供新思路和方法依据。

附图说明

图1为本发明的网络模型图。

图2为本发明中GeoNetwork的结构示意图。

具体实施方式

在此给出一个实施例，便于详细了解本发明的技术方案。如图1所示，展示了整个系统的数据采集、处理和元数据存储、查询过程。数据下载模块对原始数据进行采集，为数据解析模块提供有效的原数据；数据解析模块对原始数据进行切分并生成符合ISO19139标准的XML元数据描述文件；数据存储模块将XML插入GeoNetwork模块中生成元数据，将数据插入mysql进行持久化存储；数据查询模块读入用户查询到的元数据描述XML，分析XML属性生成sql语句对mysql进行查询得到数据，最后返回给用户。

主要的步骤如下：

（1）从海洋网站（如ftp.nodc.noaa.gov）上获取原始数据，使用对应文件格式的java API进行解析。

（2）根据所得到的数据的相关信息（如经纬度等），生成符合ISO19139标准的XML元数据描述文件。所述XML元数据描述文件的生成方法已有公开，本发明在此给出一个优选的方案，主要包括：分析ISO19139标准得到其树结构，生成XML标准文件，得到数据的相关信息（如经纬度，数据来源），根据XML标准文件生成指定数据的元数据。

（3）将XML文件插入GeoNetwork框架中完成对元数据的存储。GeoNetwork元数据存储方法已有公开，本发明在此给出一个优选的方案，主要包括：使用用户认证Credentials后台登陆管理员账户，得到返回结果以完成登陆；使用GeoNetwork的XML元数据插入方法完成元数据存储。

（4）将元数据对应的数据存入FTP服务器中进行持久化存储。

（5）GeoNetwork根据请求返回元数据查询结果。

（6）系统对元数据对应的数据进行FTP服务器查询并返回结果。