一种基于分布式技术的气象大数据共享服务系统的制作方法

本发明涉及气象数据，具体而言，涉及一种基于分布式技术的气象大数据共享服务系统。

背景技术：

1、随着气象业务的不断拓展以及数据量的不断增加，且由于gpfs（general pagesfederation of streets 城市气象数据分布式存储系统）动态扩展能力较弱、oracle rac（redundant configuration of carbon substitute 实时应用集群）数据库节点较少、硬件设备陈旧等诸多原因，导致现有cimiss（china integrated meteorologicalinformation service system 全国综合气象信息共享平台）无法较好满足气象服务对数据的敏捷性要求，特别是在长序列历史资料的影响上面。因此，对气象业务，诸如天气过程回溯分析、气候预测等支撑能力不足，数据的响应速度和存储能力，已无法满足现有的数据服务要求。

2、因此，需要一种基于分布式技术的气象大数据共享服务系统用以解决传统气象系统中敏捷性低，无法快速响应以及无法有效对数据进行存储的问题。

技术实现思路

1、鉴于此，本发明提出了一种基于分布式技术的气象大数据共享服务系统，旨在解决当前气象系统中敏捷性低，无法快速响应以及无法有效对数据进行存储的问题。

2、本发明提出了一种基于分布式技术的气象大数据共享服务系统，包括：

3、收集模块，用于收集传感器中获取的气象数据；

4、处理模块，用于对收集的气象数据进行处理，获取高质量气象数据，所述高质量气象数据包括基础数据、重点数据和受限数据；

5、管理模块，用于对所述高质量气象数据进行入库以及确认用户后分发数据，在气象数据入库时将所述基础数据采用hbase分布式数据库和分块压缩技术进行存储，将所述重点数据和受限数据采用关系数据库进行存储；

6、监控模块，用于对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息。

7、进一步的，所述对收集的气象数据进行处理，获取高质量气象数据，包括：

8、所述处理模块还用于剔除所述气象数据中重复数据；

9、所述处理模块还用于将剔除重复数据后的数据与预先设定的第一规则进行对比；

10、若满足所述第一规则，则将数据划分为重点数据；

11、若不满足所述第一规则，则将数据与预先设定的第二规则进行对比；

12、若满足所述第二规则，则将数据划分为受限数据；

13、若不满足所述第二规则，则将数据划分为基础数据。

14、进一步的，对所述高质量气象数据进行入库以及确认用户后分发数据，包括：

15、预先设定第一数据库集群、第二数据库集群、第三数据库集群；

16、所述管理模块用于将所述基础数据存储在所述第一数据库集群，将所述重点数据存储在所述第二数据库集群，将受限数据存储在所述第三数据库集群；

17、所述管理模块还用于预先设定用户访问等级为第一等级、第二等级和第三等级，并且所述第一等级只能获取所述第一数据库集群中信息，所述第二等级只能获取所述第一数据库集群和第二数据库集群中的信息，所述第三等级能够获取第一数据库集群、第二数据库集群和第三数据库集群中信息。

18、进一步的，所述管理模块还用于气象数据分发时对用户进行验证，包括：

19、获取用户登录信息并与存留信息进行对比；

20、若一致，同意用户访问并验证所述用户访问等级；

21、若不一致，拒绝用户访问；

22、所述同意用户访问并验证所述用户访问等级包括：

23、所述第一等级、第二等级和第三等级分别对应权限密码，所述管理模块用于验证所述权限密码；

24、当首次验证权限密码通过时，允许用户以原用户访问等级访问对应数据库集群中100%的信息；

25、当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道。

26、进一步的，当首次验证权限密码不通过时，拒绝用户访问数据库中内容，临时降低用户访问等级并启动二次验证通道，包括：

27、首次验证权限密码不通过时，若用户原用户访问等级为第二等级和第三等级，则将用户访问等级分别临时降低为第一等级和第二等级，且只能访问对应数据库集群中50%的信息，并开启二次验证通道；若用户原用户访问等级为第一等级，则临时限制只能访问对应数据库集群中50%的信息，并开启二次验证通道；

28、当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；

29、当二次验证不通过，拒绝用户访问数据库中内容，并拒绝用户在第一预设时间内再次登录。

30、进一步的，当二次验证通过，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道；若用户原用户访问等级为第一等级，则允许用户以原用户访问等级访问对应数据库集群中50%的信息，并启动安全验证通道，包括：

31、当安全验证通过时，则允许用户以原用户访问等级访问对应数据库集群中100%的信息；

32、当验证不通过时，若用户原用户访问等级为第二等级和第三等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息；若用户原用户访问等级为第一等级，允许用户以原用户访问等级访问对应数据库集群中20%的信息。

33、进一步的，对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，包括：

34、所述监控模块还用于预先设定第一预设阈值a1、第二预设阈值a2、第三预设阈值a3和第四预设阈值a4，且a1＜a2＜a3＜a4；

35、所述监控模块还用于将实时高质量气象数据△a与各预设阈值进行对比，根据对比结果生成警示信息；

36、当a1≤△a＜a2时，所述监控模块发出蓝色警示；

37、当a2≤△a＜a3时，所述监控模块发出橙色警示；

38、当a3≤△a＜a4时，所述监控模块发出黄色警示；

39、当a4≤△a时，所述监控模块发出红色警示。

40、进一步的，对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，还包括：

41、所述监控模块还用于统计同一地区过去第二预设时间内的气象数据a0，并预先设定第一预设调整系数b1、第二调整系数b2、第三调整系数b3和第四调整系数b4，且b1＜b2＜b3＜b4；所述监控模块还用于将同一地区过去第二预设时间内的气象数据a0与各预设阈值进行对比，根据对比结果选取调整系数对实时高质量气象数据△a进行调整生成第一预测信息；

42、当a1≤a0＜a2时，选取第一预设调整系数b1对a0进行调整，获取第一预测信息为△a×b1；

43、当a2≤a0＜a3时，选取第二预设调整系数b2对a0进行调整，获取第一预测信息为△a×b2；

44、当a3≤a0＜a4时，选取第三预设调整系数b3对a0进行调整，获取第一预测信息为△a×b3；

45、当a4≤a0时，选取第四预设调整系数b4对a0进行调整，获取第一预测信息为△a×b4。

46、进一步的，对所述高质量气象数据进行记录与统计，并根据记录与统计结果生成预报信息，还包括：

47、在选定第i调整系数bi（i=1，2，3，4）对实时高质量气象数据△a进行调整，获取第一预测信息为△a×bi后，所述监控模块还用于统计其余地区过去第三预设时间内的气象数据a5，并预先设定第一修正系数c1、第二修正系数c2、第三修正系数c3和第四修正系数c4，且c1＜c2＜c3＜c4，将其余地区过去第三预设时间内的气象数据a5与各预设阈值进行对比，根据对比结果选取修正系数对第一预测信息△a×bi进行修正生成第二预测信息。

48、进一步的，所述将其余地区过去第三预设时间内的气象数据a5与各预设阈值进行对比，根据对比结果选取修正系数对第一预测信息△a×bi进行修正生成第二预测信息，包括：

49、当a1≤a5＜a2时，选取第一预设修正系数c1对△a×bi进行修正，获取第二预测信息为△a×bi×c1；

50、当a2≤a0＜a3时，选取第二预设修正系数c2对△a×bi进行修正，获取第二预测信息为△a×bi×c2；

51、当a3≤a0＜a4时，选取第三预设修正系数c3对△a×bi进行修正，获取第二预测信息为△a×bi×c3；

52、当a4≤a0时，选取第四预设修正系数c4对△a×bi进行修正，获取第二预测信息为△a×bi×c4。

53、与现有技术相比，本发明的有益效果在于：

54、1.提高了数据存储和处理效率：通过将数据分散在多个服务器上进行存储，减少了数据存储的压力；通过对数据进行分布式处理，提高了数据处理的效率，能够快速地处理海量的气象数据。

55、2.提高了数据查询和计算效率：通过提供多种查询接口，可以方便地查询和计算多个节点上的气象数据；通过对多个节点上的气象数据进行分布式查询，可以提高对气象数据的计算效率，通过管理模块增强了数据安全性，避免了气象数据乱用的情况。

56、3.增强了数据共享和交换能力：通过提供多种共享服务接口，可以方便地实现对气象数据的共享和交换。

57、4.提高了对气象数据的分析和应用能力：通过对气象数据进行分布式处理，增强了对气象大数据的分析和应用能力。