本发明涉及批量数据处理,尤其涉及一种批量作业监控预警方法及装置。
背景技术:
1、本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、通常,银行批量作业中涉及的金额、笔数等数据指标、核心参数文件等十分重要,且批量产生的数据量具有一定的规律性,即数据在可预知的一定范围内,而当生产中数据出现较大偏离、数据加载不全导致参数数据缺失通常会导致较为严重影响,造成较大损失。因此,需要有效的技术手段提前介入对批量作业中重要指标进行监控。
3、然而,现有的银行批量作业监控预警方法中监控效率较低,原因在于,现有银行批量作业通常多种作业方式、多个作业系统并行,不同的批量作业存在较大差异,目前缺少有效的技术手段能够实现同时监控不同系统的批量作业。
技术实现思路
1、本发明实施例提供一种批量作业监控预警方法,用以解决同时监控不同系统的批量作业困难的技术问题,提升批量作业监控效率,该方法包括:
2、接收每个异构批处理系统发送的监控数据,所述监控数据包括受监控字段、受监控文件、用于解析受监控文件的配置信息;
3、按预设筛选规则,对每个异构批处理系统的受监控字段进行筛选,得到每个异构批处理系统的第一有效字段信息;
4、对每个异构批处理系统的受监控文件:利用所述用于解析受监控文件的配置信息解析受监控文件,得到每个异构批处理系统的受监控文件大小、受监控文件记录数、受监控文件中第二有效字段信息;受监控文件记录数反映受监控文件的行数、字符个数;
5、分别将每个异构批处理系统的第一有效字段信息、受监控文件大小、受监控文件记录数、受监控文件中第二有效字段信息,与对应的预先设定的监控阈值进行比较,根据比较结果生成每个异构批处理系统的预警信息。
6、本发明实施例还提供一种批量作业监控预警装置,用以解决同时监控不同系统的批量作业困难的技术问题,提升批量作业监控效率,该装置包括:
7、数据接收模块,用于接收每个异构批处理系统发送的监控数据,所述监控数据包括受监控字段、受监控文件、用于解析受监控文件的配置信息;
8、偏离度计算模块,用于按预设筛选规则,对每个异构批处理系统的受监控字段进行筛选,得到每个异构批处理系统的第一有效字段信息;对每个异构批处理系统的受监控文件:利用所述用于解析受监控文件的配置信息解析受监控文件,得到每个异构批处理系统的受监控文件大小、受监控文件记录数、受监控文件中第二有效字段信息;受监控文件记录数反映受监控文件的行数、字符个数;分别将每个异构批处理系统的第一有效字段信息、受监控文件大小、受监控文件记录数、受监控文件中第二有效字段信息,与对应的预先设定的监控阈值进行比较;
9、告警模块,用于根据比较结果生成每个异构批处理系统的预警信息。
10、本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述批量作业监控预警方法。
11、本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述批量作业监控预警方法。
12、本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述批量作业监控预警方法。
13、本发明实施例中,接收每个异构批处理系统发送的监控数据,所述监控数据包括受监控字段、受监控文件、用于解析受监控文件的配置信息;按预设筛选规则,对每个异构批处理系统的受监控字段进行筛选,得到每个异构批处理系统的第一有效字段信息;对每个异构批处理系统的受监控文件:利用所述用于解析受监控文件的配置信息解析受监控文件,得到每个异构批处理系统的受监控文件大小、受监控文件记录数、受监控文件中第二有效字段信息;受监控文件记录数反映受监控文件的行数、字符个数;分别将每个异构批处理系统的第一有效字段信息、受监控文件大小、受监控文件记录数、受监控文件中第二有效字段信息,与对应的预先设定的监控阈值进行比较,根据比较结果生成每个异构批处理系统的预警信息。本发明实施例中实现了对多个异构批处理系统批量作业的同时监控,解决同时监控不同系统的批量作业困难的技术问题,对于不同的异构批处理系统采集受监控字段、受监控文件、用于解析受监控文件的配置信息,进行集中处理分析,包括分别对每个异构批处理系统的受监控字段、受监控文件进行解析处理,生成每个异构批处理系统的预警信息,提升了批量作业监控效率。
1.一种批量作业监控预警方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,在接收每个异构批处理系统发送的监控数据前,还包括:
3.如权利要求2所述的方法,其特征在于,所述受监控字段包括按数据采集要求信息组装后的报文,所述报文符合分布式发布订阅消息系统格式要求;所述分布式发布订阅消息系统用于实时处理监控数据;
4.如权利要求1所述的方法,其特征在于,所述用于解析受监控文件的配置信息包括:指定分隔符、受监控文件中受监控字段的位信息;
5.如权利要求1所述的方法,其特征在于,得到每个异构批处理系统的受监控文件大小、受监控文件记录数、受监控文件中第二有效字段信息后,还包括:
6.如权利要求5所述的方法,其特征在于,所述文件监控规则包括如下其中之一或任意组合:
7.如权利要求1所述的方法,其特征在于,还包括:
8.如权利要求1所述的方法,其特征在于,生成每个异构批处理系统的预警信息后,还包括:
9.一种批量作业监控预警装置,其特征在于,包括:
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8任一所述方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8任一所述方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至8任一所述方法。