提高气象模型系统中数据下载可靠性和速度的系统及方法
【技术领域】
[0001]本发明涉及气象模型，特别涉及气象模型系统中气象数据下载。
【背景技术】
[0002]在当前的天气预报与空气质量预测预报等业务中，普遍采用了 WRF、MM5等气象模型，这些气象模型的运行均需要输入与模拟时间相匹配的气象数据，作为模型的初始条件与边界条件。在业务化运行的天气预报、空气质量预测预报系统中，在模型运行之前，需要下载最新的气象数据，此类系统一般是无人值守、自动运行的，气象数据也是由程序控制自动下载的。
[0003]以目前在气象预报与空气质量预测预报业务中最常用的中尺度大气数值模式WRF，为例，如图1所示，在每次模型运行之前，均需要下载网格化的气象场数据，最常用的是美国国家环境预报中心(NCEP)提供的GFS气象数据。此类系统一般要求自动化运行，NCEP GFS气象数据的自动下载是系统运行的第一步。气象数据的正常、快速下载，是系统能否正常运行的重要因素。
[0004]目前的气象模型系统(如前所述的WRF模型)的气象数据下载，最常见的是在一台linux下载服务器上，通过程序(如C shell脚本)调用下载工具(如wget)将气象数据下载至服务器，再输入气象模型。发明人发现，该种技术方案存在以下缺陷:
[0005]1、下载速度慢。以72小时空间分辨率0.5度的NCEP GFS数据为例，数据集大小约1.5G，下载时间需2-3小时。
[0006]2、下载可靠性差。如遇网络故障或网络不稳定，经常导致系统卡在数据下载环节，模型无法运行。
[0007]气象数据下载故障是业务化运行的气象模型系统最主要的故障。据某个空气质量预测预报系统运行统计，每月出故障、无法准时输出预报结果的频率，少则三四天，多则七八天甚至十天，而故障原因几乎都是气象数据未能正常下载。
【发明内容】
[0008]本发明所要解决的技术问题，针对气象模型系统中气象数据下载存在的下载速度慢、可靠性差的问题，本发明提出了一种提高气象模型系统中气象数据下载可靠性和速度的系统，确保了气象数据下载主服务器和从属服务器在任一网络完好的基础上均可得到完整的气象数据集，大大提高了气象数据下载的可靠性；多个下载服务器同时下载不同的内容，并且在每个服务器上采用多线程下载工具进行下载，大大加快了下载速度。
[0009]本发明解决所述技术问题，采用的技术方案是，提高气象模型系统中气象数据下载可靠性和速度的系统，包括气象数据下载主服务器，还包括至少一台从属服务器；
[0010]所述气象数据下载主服务器，用于接收下载任务并将下载任务分解为若干份分别发送至从属服务器及气象数据下载主服务器，所述任务份数为从属服务器与气象数据下载主服务器的数量总和，气象数据下载主服务器按照接收到的下载任务进行数据下载，并将下载数据与从属服务器传输数据进行整合；
[0011]所述从属服务器，用于按照接收到的下载任务进行数据下载，并将下载数据传输给气象数据下载主服务器。
[0012]具体的，所述气象数据下载主服务器与从属服务器分别处于不同网络环境中。
[0013]具体的，所述气象数据下载主服务器中设置有数据检测模块一；
[0014]所述数据检测模块一，用于检测从属服务器传输至气象数据下载主服务器中的下载数据，若检测有误，气象数据下载主服务器调取该从属服务器对应的分解后的下载任务进行任务下载，否则不动作。
[0015]进一步的，所述从属服务器中设置有数据检测模块二 ；
[0016]所述数据检测模块二，用于远程检测气象数据下载主服务器的下载数据，若检测有误，从属服务器调取气象数据下载主服务器对应的分解后的下载任务进行任务下载并将下载数据传输给气象数据下载主服务器，否则不动作。
[0017]进一步的，从属服务器通过FTP传输方式传输下载数据至气象数据下载主服务器。
[0018]进一步的，所述从属服务器及气象数据下载主服务器中分别采用多线程下载工具进行数据下载。
[0019]进一步的，所述从属服务器及气象数据下载主服务器中分别设置有下载文件校验丰吴块；
[0020]所述下载文件校验模块，用于实时检测已下载的文件，若已下载的文件有误则进行重新下载，否则不动作。
[0021]提高气象模型系统中气象数据下载可靠性和速度的方法，包括以下步骤:
[0022]步骤1、系统下发气象数据下载任务至气象数据下载主服务器，气象数据下载主服务器将接收的下载任务分解为若干份分别发送至从属服务器及气象数据下载主服务器，所述任务份数为从属服务器与气象数据下载主服务器的数量总和；
[0023]步骤2、气象数据下载主服务器及其从属服务器分别按照接收到的下载任务进行数据下载；
[0024]步骤3、从属服务器将下载数据传输给气象数据下载主服务器，气象数据下载主服务器将自身下载数据与从属服务器传输数据进行整合。
[0025]具体的，所述步骤1中，气象数据下载主服务器与从属服务器分别处于不同网络环境中。
[0026]具体的，还包括以下步骤:
[0027]步骤4、系统实时检测从属服务器传输至气象数据下载主服务器中的下载数据，若检测有误，气象数据下载主服务器调取该从属服务器对应的下载任务进行数据下载，否则不动作。
[0028]具体的，还包括以下步骤:
[0029]步骤5、系统控制从属服务器远程检测气象数据下载主服务器的下载数据，若检测有误，从属服务器调取气象数据下载主服务器对应的下载任务进行数据下载并将所下载的数据传输给气象数据下载主服务器，否则不动作。
[0030]具体的，所述步骤3中，从属服务器通过FTP传输方式传输下载数据至气象数据下载主服务器。
[0031]具体的，所述从属服务器及气象数据下载主服务器中分别采用多线程下载工具进行数据下载。
[0032]具体的，还包括以下步骤:
[0033]从属服务器及气象数据下载主服务器进行数据下载的同时，系统实时检测已下载的文件，若已下载文件有误则进行重新下载，否则不动作。
[0034]本发明的有益效果是:通过增加至少一台从属下载服务器并将下载任务分解为若干份分别由若干个从属下载服务器及主服务器分别进行下载，服务器同时下载不同的内容，同时从属服务器及气象数据下载主服务器中分别采用多线程下载工具进行数据下载，大大加快了下载速度；
[0035]从属下载服务器及主服务器处于不同网络环境中，确保了主服务器和从属服务器在任一网络完好的基础上均可得到完整的气象数据集；同时，从属服务器及主服务器相互检测对方的下载数据是否完整正确，正确则不动作，否则调取对方的下载任务进行重新下载，保证了数据下载的完整性，大大提高了气象数据下载的可靠性。
【附图说明】
[0036]图1为本发明【背景技术】中的基于WRF模型的气象模型系统结构图；
[0037]图2为本发明实施例中网络拓扑图；
[0038]图3为本发明实施例中系统工作流程图。
[0039]以下结合实施例的【具体实施方式】，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，按照本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
【具体实施方式】
[0040]下面结合附图及实施例详细描述本发明的技术方案:
[0041]本发明针对现有技术中气象模型系统中气象数据下载存在的下载速度慢、可靠性差的问题，提供一种提高气象模型系统中气象数据下载可靠性和速度的系统，包括气象数据下载主服务器，还包括至少一台从属服务器；所述气象数据下载主服务器，用于接收下载任务并将下载任务分解为若干份分别发送至从属服务器及气象数据下载主服务器，所述任务份数为从属服务器与气象数据下载主服务器的数量总和，气象数据下载主服务器按照接收到的下载任务进行数据下载；所述从属服务器，用于按照接收到的下载任务进行数据下载，并将下载数据传输给气象数据下载主服务器。提高气象模型系统中气象数据下载可靠性和速度的方法，首先，系统下发气象数据下载任务至气象数据下载主服务器，气象数据下载主服务器将接收的下载任务分解为若干份分别发送至从属服务器及气象数据下载主服务器，所述任务份数为从属服务器与气象数据下载主服务器的数量总和；其次，气象数据下载主服务器及其从属服务器分别按照接收到的下载任务进行数据下载；最后，从属服务器将下载数据传输给气象数据下载主服务器。通过增加至少一台从属下载服务器并将下载任务分解为若干份分别由若干个从属下载服务器及主服务器分别进行下载，服务器同时下载不同的内容，同时从属服务器及气象数据下载主服务器中分别采用多线程下载工具进行数据下载，大大加快了下载速度；从属下载服务器及主服务器处于不同网络环境中，确保了主服务器和从属服务器在任一网络完好的基础上均可得到完整的气象数据集；同时，从属服务器及主服务器相互检测对方的下载数据是否完整正确，正确则不动作，否则调取对方的下载任务进行重新下载，保证了数据下载的完整性，大大提高了气象数据下载的可靠性。
[0042]实施例
[0043]本例的提高气象模型系统中气象数据下载可靠性和速度的系统，包括气象数据下载主服务器，还包括至少一台从属服务器。其中，气象数据下载主服务器，用于接收下载任务