本发明涉及气象观测技术领域,特别是涉及一种收集气象观测数据的处理方法、系统及计算机设备。
背景技术:
自动气象站用于对地面环境中的气象要素变化数据进行实时数据采集和数据传输以及统计,通过对这些数据的采集和统计,能够知道监测环境中的气候温度、湿度、风速以及风向,还有降雨量和气压等变化的过程。
目前通过分布在各地的气象台站的采集器采集气象观测数据,气象观测数据的传输流程为:气象台站的采集器采集气象观测数据,再将气象观测数据存入数据库中,最后将入库的气象观测数据上报给国家气象局。由于各地的气象台站的设备运行状态和采集到的数据是否正常难以及时了解,会出现数据延误以及数据错误的现象。传统的做法为了解决数据异常的问题,每个气象台站需要靠人工定时检查设备状态以及数据库中是否有数据,会耗费许多的人力资源。
技术实现要素:
本发明的目的在于提出一种收集气象观测数据的处理方法、系统及计算机设备,解决目前无法及时了解采集器采集到的气象观测数据是否正常,导致数据延误或错误上报的问题。
本发明提供一种收集气象观测数据的处理方法,包括以下步骤:
获取气象台站各个数据传感器的设备标识信息以及各个所述数据传感器对应采集到的气象要素观测数据;
监测在预设入库时间内所述气象要素观测数据的个数是否等于预设数量;
若是,则根据各个所述数据传感器的设备标识信息在本地数据库中查询具有相同所述数据传感器的设备标识信息匹配的预设阈值;
判断所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据是否落入同一所述数据传感器的设备标识信息对应的所述预设阈值;
若否,则判定所述气象要素观测数据异常,在本地诊断库中查询所述气象要素观测数据异常匹配的诊断方法,以通过所述诊断方法对异常的所述气象要素观测数据进行修复。
根据本发明提出的收集气象观测数据的处理方法,具有以下有益效果:本发明可以自动检测气象要素观测数据传输、入库情况,先在预设的入库时间监测气象要素观测数据是否等于预设数量来判定数据是否缺失,无缺失然后再本地数据库中查询各个数据传感器的设备标识信息对应的预设阈值,通过将采集到的气象要素观测数据和对应的预设阈值进行对比来判定气象要素观测数据是否错误,对气象要素观测数据出现异常的情况匹配本地诊断库预先设置的诊断方法进行自动化处理,及时修复异常的气象要素观测数据,提高处理效率。基于上述方式还可以实现除气象要素观测数据外的其他数据监控,异常处理,为气象观测业务的通用化运维模型提供了一种参考方案。
另外,根据本发明提供的收集气象观测数据的处理方法,还可以具有如下附加的技术特征:
进一步地,所述诊断方法包括以下步骤:
调取异常的所述气象要素观测数据对应的数据传感器的通电状态信息;
判断所述通电状态信息是否异常;
若是,则对异常的所述气象要素观测数据对应的数据传感器发送重启指令,以重新启动异常的所述气象要素观测数据对应的数据传感器;
若否,则控制异常的所述气象要素观测数据对应的数据传感器重新发送气象要素观测数据。
进一步地,所述处理方法还包括:
若监测在预设入库时间内所述气象要素观测数据的个数小于预设数量,则在本地诊断库中查询在预设入库时间内所述气象要素观测数据的个数为零匹配的诊断方法;
所述诊断方法包括以下步骤:
发送第一ping命令到所述气象台站,判断是否接收到所述气象台站返回的第一ping回应消息;
当接收到所述气象台站返回的第一ping回应消息,则控制所述气象台站重新发送气象要素观测数据;
当未接收到所述气象台站返回的第一ping回应消息,则进入告警人工介入流程。
进一步地,所述处理方法还包括:
若监测在预设入库时间之前或之后所述气象要素观测数据的个数等于预设数量,则发送时间校准指令至所述气象台站,所述时间校准指令用于校准使所述气象台站在预设入库时间内将所述气象要素观测数据发送至第一服务器的气象数据库中。
进一步地,所述处理方法还包括:
若所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据落入同一所述数据传感器的设备标识信息对应的所述预设阈值,则将所述气象要素观测数据上报至第二服务器;
监测在预设上报时间内所述第二服务器是否接收到所述气象要素观测数据;
若在预设上报时间内所述第二服务器未接收到所述气象要素观测数据,则发送第二ping命令到数据网关;
判断是否接收到第一服务器返回的第二ping回应消息;
若接收到所述第一服务器返回的第二ping回应消息,则控制所述第一服务器重新发送气象要素观测数据。
进一步地,所述处理方法还包括:
若未接收到所述第一服务器返回的第二ping回应消息,则进入告警人工介入流程。
本发明的还提供一种气象要素观测数据的处理系统,包括:
获取模块,用于获取气象台站各个数据传感器的设备标识信息以及各个所述数据传感器对应采集到的气象要素观测数据;
第一判断模块,监测在预设入库时间内所述气象要素观测数据的个数是否等于预设数量;
第一监测模块,用于若在预设入库时间内所述气象要素观测数据的个数等于预设数量,则根据各个所述数据传感器的设备标识信息在本地数据库中查询具有相同所述数据传感器的设备标识信息匹配的预设阈值;
第二判断模块,用于判断所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据是否落入同一所述数据传感器的设备标识信息对应的所述预设阈值;
处理模块,用于若所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据没有落入同一所述数据传感器的设备标识信息对应的所述预设阈值,则判定所述气象要素观测数据异常,在本地诊断库中查询所述气象要素观测数据异常匹配的诊断方法,以通过所述诊断方法对异常的所述气象要素观测数据进行修复。
进一步地,所述处理模块具体用于:
调取异常的所述气象要素观测数据对应的数据传感器的通电状态信息;
判断所述通电状态信息是否异常;
若是,则对异常的所述气象要素观测数据对应的数据传感器发送重启指令,以重新启动异常的所述气象要素观测数据对应的数据传感器;
若否,则控制异常的所述气象要素观测数据对应的数据传感器重新发送气象要素观测数据。
本发明还提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述所述的处理方法。
本发明还提供一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述的处理方法。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明第一实施例的收集气象观测数据的处理方法的流程图;
图2是本发明第一实施例的诊断方法的流程图;
图3是本发明第三实施例的收集气象观测数据的处理方法的流程图;
图4是本发明第五实施例的气象要素观测数据的处理系统的结构框图;
附图标号:10、获取模块;20、第一判断模块;30、第一监测模块;40、第二判断模块;50、处理模块。
具体实施方式
为使本发明的目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
请参照图1,本发明的第一实施例提供一种收集气象观测数据的处理方法,应用在气象数据监测平台中,包括以下步骤:
步骤s101、获取气象台站各个数据传感器的设备标识信息以及各个所述数据传感器对应采集到的气象要素观测数据;
具体的,我国各省各个地区大量布设有气象台站,气象台站的采集器用来采集气象观测数据,气象观测数据包括温度、雨量、风速、风向、气压等气象要素的数据,其中,采集器包括温度传感器,雨量传感器,风速传感器等等,温度测量采用温度传感器,雨量测量采用雨量传感器,风速测量采用风速传感器,不同的气象要素采集的频率不同,像温度、风速、风向、气压采集的频率是每分钟一次。
每个数据传感器都对应设有唯一的设备标识信息,举例来说,温度传感器具有唯一的设备标识信息,温度传感器的预设阈值为-10~50℃,也就是说温度传感器采集到的温度观测数据在这个范围内属于正常,预先将温度传感器的设备标识信息和预设阈值相互关联地存储在第一服务器的气象数据库中,同理,将雨量传感器、风速传感器等其他传感器的设备标识信息和对应的预设阈值存储在气象数据库中。
步骤s102、监测在预设入库时间内所述气象要素观测数据的个数是否等于预设数量;
以采集气温数据为例,气温数据采集的频率是每分钟一次,而气温数据入库的时间是每小时一次,设定气象数据监测平台每个整点检查气象要素观测数据是否有进入第一服务器的气象数据库中,即一天监测24次,以整点12点为例,预设入库时间为在12点的前3分钟或后4分钟,如果气象要素观测数据的个数等于预设数量,说明气象要素观测数据完整,并在该预设入库时间内入库则说明入库成功。
步骤s103、若是,则根据各个所述数据传感器的设备标识信息在本地数据库中查询具有相同所述数据传感器的设备标识信息匹配的预设阈值;
以温度观测数据为例,根据温度传感器的设备标识信息在本地数据库中查询相匹配的预设阈值,即温度传感器的预设阈值-10~50℃。
步骤s104、判断所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据是否落入同一所述数据传感器的设备标识信息对应的所述预设阈值;
以气温数据为例,当气温数据大于预设的温度值(50℃),或小于-10℃,则说明该气温数据错误,需要进行诊断修复后再上报。
步骤s105、若否,则判定所述气象要素观测数据异常,在本地诊断库中查询所述气象要素观测数据异常匹配的诊断方法,以通过所述诊断方法对异常的所述气象要素观测数据进行修复。
具体的,在本地诊断库中预先存储有异常原因和异常原因对应的处理方法,处理方法例如数据重发、指令发送等,通过该处理方法对异常的气象要素观测数据进行更新修复。
从上述描述可知,本实施例提供的一种象观测数据的处理方法,有益效果在于:本发明可以自动检测气象要素观测数据传输、入库情况,在本地数据库中查询各个数据传感器的设备标识信息对应的预设阈值,通过将采集到的气象要素观测数据和对应的预设阈值进行对比来判定气象要素观测数据异常,对气象要素观测数据出现异常的情况匹配本地诊断库预先设置的诊断方法进行自动化处理,及时修复异常的气象要素观测数据,提高工作效率。基于上述方式还可以实现除气象要素观测数据外的其他数据监控,异常处理,为气象观测业务的通用化运维模型提供了一种参考方案。
参照图2,作为一个具体实施例,所述诊断方法包括以下步骤:
步骤s1051、调取异常的所述气象要素观测数据对应的数据传感器的通电状态信息;
假设温度观测数据异常,则有针对性的调取温度传感器的通电状态信息,判断温度传感器是否正常运行,无需调取所有传感器的通电状态信息,从而提高处理效率。
步骤s1052、判断所述通电状态信息是否异常;
步骤s1053、若是,则对异常的所述气象要素观测数据对应的数据传感器发送重启指令,以重新启动异常的所述气象要素观测数据对应的数据传感器;
可以理解的,通电状态异常包括短路和断路,该种通电状态下会导致数据缺失或者错误的情况出现,假设温度观测数据缺失或者错误,那么此时向温度传感器发送重启指令,重启之后再次发送温度观测数据。
步骤s1054、若否,则控制异常的所述气象要素观测数据对应的数据传感器重新发送气象要素观测数据。
若判断所述通电状态信息为正常通电状态,则说明温度传感器的运行正常,数据错误可能是网络延迟的原因,则重新发送温度观测数据。
本发明的第二实施例提出的一种气象要素观测数据处理方法,所述处理方法包括:
若监测在预设入库时间内所述气象要素观测数据的个数为零,则在本地诊断库中查询在预设入库时间内所述气象要素观测数据的个数为零匹配的诊断方法;
所述诊断方法包括以下步骤:
步骤s201、发送第一ping命令到所述气象台站,判断是否接收到所述气象台站返回的第一ping回应消息;
步骤s202、当接收到所述气象台站返回的第一ping回应消息,则控制所述气象台站重新发送气象要素观测数据。
其中,有返回第一ping回应消息,则表明网络正常,然后自动发送数据重发指令给气象台站,气象台站重新发送气象要素观测数据给第一服务器,然后成功入库。本发明能对上述的异常问题进行自动化处理,从而减轻人工监控的负担。当没有返回第一ping回应消息,则表明网络异常,进入告警人工介入流程,启动人工处理异常问题。
请参照图3本发明的第三实施例提出一种气象要素观测数据处理方法,所述处理方法还包括以下步骤:
步骤s301、获取气象台站各个数据传感器的设备标识信息以及各个所述数据传感器对应采集到的气象要素观测数据;
步骤s302、监测在预设入库时间内所述气象要素观测数据的个数是否等于预设数量;
步骤s303、若监测在预设入库时间之前或之后所述气象要素观测数据的个数等于预设数量,则发送时间校准指令至所述气象台站,所述时间校准指令用于校准使所述气象台站在预设入库时间内将所述气象要素观测数据发送至第一服务器的气象数据库中。
气象要素观测数据提前发送到气象数据库和延迟发送到气象数据库都属于异常现象,发送时间校准指令对气象台站发送气象要素观测数据的时间进行校准,从而使采集器采集的气象要素观测数据能够在预设入库时间内入库。
本发明的第四实施例提出的一种气象要素观测数据处理方法,所述方法包括以下步骤:
步骤s401、获取气象台站各个数据传感器的设备标识信息以及各个所述数据传感器对应采集到的气象要素观测数据;
步骤s402、监测在预设入库时间内所述气象要素观测数据的个数是否等于预设数量;
步骤s403、若是,则根据各个所述数据传感器的设备标识信息在本地数据库中查询具有相同所述数据传感器的设备标识信息匹配的预设阈值;
步骤s404、判断所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据是否落入同一所述数据传感器的设备标识信息对应的所述预设阈值;
步骤s405、若是,则将所述气象要素观测数据上报至第二服务器;
其中,第二服务器为国家气象局服务器,若气象要素观测数据正常,则把该气象要素观测数据上报给国家气象局服务器。
步骤s406、监测在预设上报时间内所述第二服务器是否接收到所述气象要素观测数据;
步骤s407、若在预设上报时间内所述第二服务器未接收到所述气象要素观测数据,则发送第二ping命令到数据网关;
其中,预设上报时间也是每小时一次,第二服务器在预设上报时间内未接收到气象要素观测数据,则说明上报失败,发送第二ping命令到数据网关以监测网络数据是否正常。
步骤s408、判断是否接收到第一服务器返回的第二ping回应消息;
步骤s409、若接收到所述第一服务器返回的第二ping回应消息,则控制所述第一服务器重新发送气象要素观测数据。
其中,有返回第二ping回应消息,则重新发送气象要素观测数据到第二服务器,若上报还是失败,再次进入数据重发流程,多次失败后进入告警人工介入流程。若未接收到所述第一服务器返回的第二ping回应消息,则表明网络数据异常,进入告警人工介入流程。
本实施例提出一种收集气象观测数据的处理方法,可以自动检测气象数据的传输、入库、上报情况,当出现数据异常问题可以自动化处理,减轻人工监控气象要素观测数据的传输、入库、上报情况,降低人工成本。基于该种方式还可以实现除气象要素观测数据外的其他数据监控,异常处理,为气象观测业务的通用化运维模型提供了一种参考方案。
请参阅图4,基于同一发明构思,本发明的第五实施例提出一种气象要素观测数据的处理系统,所述处理系统包括:
获取模块10,用于获取气象台站各个数据传感器的设备标识信息以及各个所述数据传感器对应采集到的气象要素观测数据;
第一判断模块20,监测在预设入库时间内所述气象要素观测数据的个数是否等于预设数量;
第一监测模块30,用于若在预设入库时间内所述气象要素观测数据的个数等于预设数量,则根据各个所述数据传感器的设备标识信息在本地数据库中查询具有相同所述数据传感器的设备标识信息匹配的预设阈值;
第二判断模块40,用于判断所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据是否落入同一所述数据传感器的设备标识信息对应的所述预设阈值;
处理模块50,用于若所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据没有落入同一所述数据传感器的设备标识信息对应的所述预设阈值,则判定所述气象要素观测数据异常,在本地诊断库中查询所述气象要素观测数据异常匹配的诊断方法,以通过所述诊断方法对异常的所述气象要素观测数据进行修复。
在本实施例中,所述处理模块50具体用于:
调取异常的所述气象要素观测数据对应的数据传感器的通电状态信息;
判断所述通电状态信息是否异常;
若是,则对异常的所述气象要素观测数据对应的数据传感器发送重启指令,以重新启动异常的所述气象要素观测数据对应的数据传感器;
若否,则控制异常的所述气象要素观测数据对应的数据传感器重新发送气象要素观测数据。
在本实施例中,所述处理模块50具体用于:
若监测在预设入库时间内所述气象要素观测数据的个数为零,则在本地诊断库中查询在预设入库时间内所述气象要素观测数据的个数为零匹配的诊断方法;
所述诊断方法包括以下步骤:
发送第一ping命令到所述气象台站,判断是否接收到所述气象台站返回的第一ping回应消息;
当接收到所述气象台站返回的第一ping回应消息,则控制所述气象台站重新发送气象要素观测数据。
在本实施例中,所述处理模块50具体用于:
若监测在预设入库时间之前或之后所述气象要素观测数据的个数等于预设数量,则发送时间校准指令至所述气象台站,所述时间校准指令用于校准使所述气象台站在预设入库时间内将所述气象要素观测数据发送至第一服务器的气象数据库中。
在本实施例中,所述处理系统还包括:
上报模块,用于若所述数据传感器的设备标识信息对应采集到的所述气象要素观测数据落入同一所述数据传感器的设备标识信息对应的所述预设阈值,则将所述气象要素观测数据上报至第二服务器;
第二监测模块,用于在预设上报时间内所述第二服务器是否接收到所述气象要素观测数据;
命令模块,若在预设上报时间内所述第二服务器未接收到所述气象要素观测数据,则发送第二ping命令到数据网关;
第三判断模块,用于判断是否接收到第一服务器返回的第二ping回应消息;
发送模块,用于若接收到所述第一服务器返回的第二ping回应消息,则控制所述第一服务器重新发送气象要素观测数据。
操作模块,用于若未接收到所述第一服务器返回的第二ping回应消息,则进入告警人工介入流程。
此外,本发明的实施例还提出一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例的处理方法的步骤。
此外,本发明的实施例还提出一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述实施例的处理方法的步骤。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。