海量气候模式输出数据的分布式协同分析系统及方法
【技术领域】
[0001]本发明涉及数据分析处理技术领域，具体涉及一种海量气候模式输出数据的分布式协同分析系统及方法。
【背景技术】
[0002]地球系统模式是进行全球变化研宄最重要的科学工具之一。它采用数值模拟方法研宄地球各个圈层之间联系及其演变规律，理解过去气候演变过程并预测未来可能的全球气候变化。模式模拟不同的地球系统过程会产生大量的输出数据。据统计，在政府间气候变化专门委员会(Intergovernmental Panel on Climate Change，简称 IPCC)第五次评估报告(the Fifth Assessment Report，简称 AR5)的親合模式比较计划(The Program forClimate Model Diagnosis and Intercomparison，简称 CMIP)中，各模式数据中心共贡献了超过1.5PB的输出数据。研宄者需要通过对不同模式的输出数据进行定性与定量的对比分析研宄，了解不同模式模拟结果的差异与优劣，为更好地模拟地球系统过程提供依据。
[0003]親合模式对比计划第五阶段(thefifth phase of the Coupled ModelIntercomparison Project，简称CMIP5)目前通过采用分布式存储构架的地球系统网格联盟(Earth System Grid Federat1n，简称ESGF)站点存储并发布模式数据。这些数据节点分布在全球各地，而我国在清华大学和中科院均有数据节点。这些数据为Net⑶F格式的空间数据，数据内部包含了格网数值，时间信息，格网空间信息等。气候模式诊断与对比项目(The Program for Climate Model Diagnosis and Intercomparison，简称PCMDI)的网站(http://pcmdi9.llnl.gov/esgf_Web_fe/)提供了集中查询和检索下载等功能。通过传统方式，研宄人员需要通过数据查询，下载等步骤，而后在本地完成分析工作。由于需要将大量的模式输出数据下载到本地，再完成一系列的对比分析，目前模式数据的对比分析工作费时费力，不仅耗费了大量的网络资源，而且有大量的数据冗余。
【发明内容】
[0004]针对现有技术中需要将大量的模式输出数据下载到本地造成时间过长以及容易造成大量数据冗余的缺陷，本发明提供了一种海量气候模式输出数据的分布式协同分析系统及方法。
[0005]—方面，本发明提供的一种海量气候模式输出数据的分布式协同分析系统，包括:
[0006]中心服务器、多个节点服务器和至少一个Web前端服务设备；
[0007]所述中心服务器用于存储全局数据信息以及节点服务器信息；
[0008]所述节点服务器用于节点数据信息的存储和管理、任务分析调度管理以及进行数据分析处理；
[0009]所述Web前端服务设备用于用户信息维护、数据信息检索、任务提交、分析任务状态查询以及分析结果查看与下载；
[0010]其中，任意两个所述节点服务器之间进行P2P通信，并且与所述中心服务器连接，每一个所述Web前端服务设备与距离最近的任一个所述节点服务器连接。
[0011]进一步地，所述中心服务器包括:全局数据信息库和节点服务器信息库；
[0012]所述全局数据信息库用于存储所有节点服务器中的所有数据信息；所述节点服务器信息库用于存储所述节点服务器信息。
[0013]进一步地，所述节点服务器包括:候选项获取单元、数据集查询单元、数据信息管理单元、任务解析调度单元、数据分析处理单元、分析结果查看单元以及存储单元；
[0014]所述候选项获取单元，用于从中心服务器获取全部可选的模式数据的属性项形成可选的候选项并发送给所述Web前端服务设备；
[0015]所述数据集查询单元，用于查询所述中心服务器获取每个节点服务器对应的数据集?目息;
[0016]所述数据信息管理单元，用于定期更新该节点服务器上的节点数据信息，并且当该节点服务器有节点数据信息更新时向所述中心服务器发送更新请求，对所述中心服务器中的全局数据信息进行同步更新；
[0017]所述任务解析调度单元，用于将所述Web前端服务设备提交到该节点服务器的任务信息根据所述任务信息中包含的数据集信息划分为多个子任务，并将各个子任务分配给所对应的节点服务器；
[0018]所述数据分析处理单元，用于调用分析工具包根据针对分配给本节点服务器对应的子任务进行数据分析处理；
[0019]所述分析结果查询查看单元，用于获取每一个节点服务器的数据分析结果对应的URL或JSON格式文本，并进行合并后发送给所述Web前端服务设备；
[0020]所述存储单元，用于存储本节点服务器上的节点数据信息、所述Web前端服务设备提交本节点服务器的任务信息、各个子任务与节点服务器的对应信息、在本节点服务器执行的子任务的状态信息以及分析工具包信息。
[0021]进一步地，所述存储单元包括:
[0022]节点数据信息库，用于存储本节点服务器上的节点数据信息；
[0023]任务库，用于存储所述Web前端服务设备提交本节点服务器的任务信息；
[0024]任务分配信息库，用于存储各个子任务与节点服务器的对应信息；
[0025]子任务状态信息库，用于存储在本节点服务器执行的子任务的状态信息；
[0026]分析工具库，用于存储本节点服务器进行数据分析所调用的分析工具包信息，所述分析工具包具有可扩展性。
[0027]另一方面，本发明还提供了一种海量气候模式输出数据的分布式协同分析方法，包括:
[0028]Web前端服务设备根据用户输入的指令将任务信息提交到与所述Web前端服务设备连接的节点服务器上；
[0029]所述与所述Web前端服务设备连接的节点服务器将接收到的任务信息进行分解得到子任务信息，并将所述子任务信息分配给对应的节点服务器；
[0030]每一个节点服务器执行接收到的子任务得到分析结果；
[0031]Web前端服务设备通过与该Web前端服务设备连接的节点服务器从各个节点服务器上获取数据分析结果。
[0032]进一步地，所述Web前端服务设备根据用户输入的指令将任务信息提交到与所述Web前端服务设备连接的节点服务器上的步骤之前，还包括:
[0033]所述Web前端服务设备获取候选项，以及根据用户选取的候选项查询所述中心服务器的全局数据信息库获得数据集，并且根据所述数据集以及用户输入的指令生成任务信息，所述用户输入的指令包括用户选取的分析工具包信息和分析参数。
[0034]进一步地，所述与所述Web前端服务设备连接的节点服务器将接收到的任务信息进行分解得到子任务信息的步骤，包括:
[0035]所述节点服务器根据所述任务信息中的各个数据集将对接收到的所述任务信息进行分解得到多个子任务信息。
[0036]进一步地，所述将所述子任务信息分配给对应的节点服务器的步骤，包括:
[0037]所述与所述Web前端服务设备连接的节点服务器查询所述中心服务器的全局数据信息库，得到每个子任务信息所对应的数据集所在的节点服务器，并将所述子任务信息分配给对应的所述节点服务器。
[0038]进一步地，所述每一个节点服务器执行接收到的子任务得到分析结果的步骤，包括:
[0039]每一个节点服务器通过调用预先存储的分析工具包执行接收到的子任务，得到分析结果。
[0040]进一