数据监控方法、装置、计算机设备和存储介质与流程

文档序号:28954932发布日期:2022-02-19 11:33阅读:51来源:国知局
数据监控方法、装置、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域,具体涉及一种数据监控方法、装置、计算机设备和存储介质。


背景技术:

2.目前在产品的跨系统传输的业务场景中,对数据同步有校验要求,因此需要在进行数据同步的多个数据库中对数据库内的重要数据进行监控,来监控数据在各数据库中是否成功传输。现有对数据库进行数据监控的方式,通常是通过一些监控工具对每个数据库进行查询来获取同步的数据,再对比各个数据库中的数据是否一致。但这种采用监控工具对数据进行数据查询监控的方式,是通过查询语句对数据库内的数据进行全量查询,数据的查询范围大,如果需要比对的数据量较大,则需要消耗较长时间才能返回相应的比对结果,工作量大且效率低下。


技术实现要素:

3.本技术的主要目的为提供一种数据监控方法、装置、计算机设备和存储介质,旨在解决现有对数据库进行监控的方式需要消耗较长时间才能返回相应的比对结果,存在工作量大且效率低下的技术问题。
4.本技术提出一种数据监控方法,所述方法包括步骤:
5.当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步,并在各所述数据库完成数据同步后,获取各所述数据库上一次的探针扫描结束时间;其中,所述数据库至少包括第一数据库与第二数据库;
6.基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描,并获取第一数据的第一存储时间;其中,所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间,所述第一数据为所有所述第一目标数据中的任意一个数据;
7.基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描;其中,所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间;
8.对于每一个所述第一数据,若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据,且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。
9.可选地,所述当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步的步骤之前,包括:
10.按照预设的长度划分值将一天的时间划分为多个单位时间段;
11.基于预设的处理高峰时间段从所有所述单位时间段中筛选出符合预设条件的指
定时间段;其中,所述指定时间段的数量为多个;
12.基于预存储的历史数据处理量记录,统计出各所述数据库在预设时间周期内的每一个所述指定时间段的数据处理量;
13.基于所述数据处理量,按照第一预设规则生成各所述数据库的业务空闲时间段;
14.对所有所述业务空闲时间段进行取交集处理,得到所述目标业务空闲时间段。
15.可选地,所述基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描的步骤之后,包括:
16.对于所述第一数据,若所述第二数据库内不存在与所述第一数据相同的第三数据,则生成数据同步失败的第二结果;
17.若所述第二数据库内存在与所述第一数据相同的第三数据,计算所述第一数据的第一存储时间与所述第三数据的第三存储时间之间的指定差值绝对值;
18.若所述指定差值绝对值大于所述时间长度阈值,则生成数据同步失败的第三结果。
19.可选地,所述数据监控方法还包括:
20.获取各所述数据库在进行数据同步过程中的资源消耗信息;
21.获取基于预设的第一数量的不同的训练样本集以及第二数量的不同的机器学习模型训练生成的多个状态识别模型,并从所有所述状态识别模型中确定出目标状态识别模型;其中,将每一个所述训练样本集分别与每一个所述机器学习模型进行一一组合得到对应的多个训练组合,并基于所述训练组合训练生成与所述训练组合的数量相同的所述状态识别模型;所述目标状态识别模型的数量大于1;
22.基于所述目标状态识别模型与所述资源消耗信息,生成与各所述数据库分别对应的运行状态;
23.若在所有所述运行状态中存在异常状态,获取与所述异常状态对应的目标数据库,生成与所述目标数据库对应的警报信息并展示;
24.若在所有所述运行状态中不存在异常状态,生成数据库运行正常的提醒信息并展示。
25.可选地,所述从所有所述状态识别模型中确定出目标状态识别模型的步骤,包括:
26.获取预设的测试样本集,将所述测试样本集分别输入至各所述状态识别模型内,按照与第一评价指标对应的第一计算规则生成各所述状态识别模型的第一评价分值;
27.从所有所述状态识别模型中筛选出第一评价分值大于预设的第一评价分值阈值的第一状态识别模型;
28.将所述测试样本集分别输入至各所述第一状态识别模型内,按照与第二评价指标对应的第二预设计算规则生成各所述第一状态识别模型的第二评价分值;
29.从所有所述第一状态识别模型中筛选出第二评价分值大于预设的第二评价分值阈值的第二状态识别模型;
30.基于各所述第二状态识别模型的第一评价分值与第二评价分值,按照第二预设规则生成各所述第二状态识别模型的综合评价分值;
31.将所述综合评价分值按照从大到小的顺序进行排序,得到对应的排序结果;
32.从所述排序结果中排序第一的综合评价分值开始,依次获取目标数量的目标综合
评价分值;
33.从所述第二状态识别模型中获取与所述目标综合评价分值对应的模型,得到所述目标状态识别模型。
34.可选地,所述基于各所述第二状态识别模型的第一评价分值与第二评价分值,按照第二预设规则生成各所述第二状态识别模型的综合评价分值的步骤,包括:
35.获取与所述第一评价指标对应的第一重要程度值;以及,
36.获取与所述第二评价指标对应的第二重要程度值;
37.基于各所述第二状态识别模型的第一评价分值与第二评价分值、所述第一重要程度值以及所述第二重要程度值,调用预设的计算公式生成各所述第二状态识别模型的综合评价分值。
38.可选地,所述基于所述目标状态识别模型与所述资源消耗信息,生成与各所述数据库分别对应的运行状态的步骤,包括:
39.将指定数据库的资源消耗信息分别输入至各所述目标状态识别模型内;其中,所述指定数据库为所有所述数据库中的任意一个数据库;
40.接收各所述目标状态识别模型分别生成的与所述指定数据库的资源消耗信息对应的指定运行状态;
41.若所有所述指定运行状态均为正常状态,判定所述指定数据库的运行状态为正常状态,否则判定所述指定数据库的运行状态为异常状态。
42.本技术还提供一种数据监控装置,包括:
43.第一获取模块,用于当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步,并在各所述数据库完成数据同步后,获取各所述数据库上一次的探针扫描结束时间;其中,所述数据库至少包括第一数据库与第二数据库;
44.第一扫描模块,用于基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描,并获取第一数据的第一存储时间;其中,所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间,所述第一数据为所有所述第一目标数据中的任意一个数据;
45.第二扫描模块,用于基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描;其中,所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间;
46.第一生成模块,用于对于每一个所述第一数据,若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据,且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。
47.本技术还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
48.本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
49.本技术中提供的数据监控方法、装置、计算机设备和存储介质,具有以下有益效果:
50.本技术中提供的数据监控方法、装置、计算机设备和存储介质,当在多个数据库之间完成数据同步后,会先获取各所述数据库上一次的探针扫描结束时间,然后基于预设的第一探针对第一数据库内与第一扫描结束时间对应的所有数据进行扫描,并获取第一数据的第一存储时间,以及基于预设的第二探针对第二数据库内与第二扫描结束时间对应的所有数据进行扫描,对于每一个第一数据,若在第二数据库内均存在与每一个第一数据相同的第二数据,且每一个第二数据的第二存储时间与对应的每一个第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。本技术通过使用探针来进行数据库内与各数据库上一次的扫描结束时间对应的同步数据的扫描处理,并对数据库中扫描得到的数据进行监控处理,即判别同一数据是否均在各数据库间完成数据同步以及统计在各数据库中完成同步的同一数据之间的延迟时间,进而根据得到的监控数据来自动快速且准确的生成此次数据同步的结果,以完成数据库在进行数据同步后的数据校验流程,使得不再需要对数据库内的数据进行全量查询,有效减少了对于数据库汇总数据的处理量与工作量,提高了数据同步的结果的生成效率,提高了对于数据库中数据监控的处理效率。
附图说明
51.图1是本技术一实施例的数据监控方法的流程示意图;
52.图2是本技术一实施例的数据监控装置的结构示意图;
53.图3是本技术一实施例的计算机设备的结构示意图。
54.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
55.应当理解,此处所描述的具体实施例仅仅用于解释本技术,并不用于限定本技术。
56.本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
57.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
58.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
59.参照图1,本技术一实施例的数据监控方法,包括:
60.s10:当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步,并在各所述数据库完成数据同步后,获取各所述数据库上一次的探针扫描结束时间;其中,所
述数据库至少包括第一数据库与第二数据库;
61.s20:基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描,并获取第一数据的第一存储时间;其中,所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间,所述第一数据为所有所述第一目标数据中的任意一个数据;
62.s30:基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描;其中,所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间;
63.s40:对于每一个所述第一数据,若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据,且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。
64.如上述步骤s10至s40所述,本方法实施例的执行主体为一种数据监控装置。在实际应用中,上述数据监控装置可以通过虚拟装置,例如软件代码实现,也可以通过写入或集成有相关执行代码的实体装置实现,且可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。本实施例中的数据监控装置,能够智能快速地完成数据库在进行数据同步后的数据校验流程,不再需要对数据库内的数据进行全量查询,有效减少了数据的处理量与工作量,提高了数据监控的处理效率。具体地,当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步,并在各所述数据库完成数据同步后,首先获取各所述数据库上一次的探针扫描结束时间。其中,所述数据库至少包括第一数据库与第二数据库。所述第二数据库可还表示为除第一数据库外的任意一个数据库。数据同步是指将目标数据进行跨系统传输,即将该目标数据同时传输至多个相关的目标数据库。另外,各所述数据库上一次的探针扫描结束时间是指距离当前相邻的上一次各数据库在使用探针进行数据监控的结束时间点,即完成对数据库内本次接收到的所有同步数据的监控分析后的时间点。
65.然后基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描,并获取第一数据的第一存储时间。其中,所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间,所述第一数据为所有所述第一目标数据中的任意一个数据。另外,所述第一数据库内与第一扫描结束时间对应的所有数据是指,第一数据库在该第一扫描结束时间后接收到的同步数据,也即第一数据库在此次数据同步过程中所接收到的数据。数据的存储时间是指数据存入至数据库内的时间。具体的,对于每个数据库都会各自建立一个对应的探针,每一个探针用于扫描对应的数据库内的消息情况。探针也可称为采集探针,可基于字节码增强技术生成采集探针,并利用采集探针对数据库进行埋点,通过利用采集探针收集数据库中的数据信息,从而可以得到数据库中所需的数据。此外,也可设置采集探针只用于扫描采集数据库中的某些重要数据,即可以自定义采集探针需要检测的数据类型或多种类型。利用字节码增强技术进行埋点的方式无需修改代码,不同的编程语言通过不同的技术直接在语言运行环境或基础库上植入即可,无需日志等辅助手段即可快速完成数据采集,从而可以提高数据扫描的处理效率。
66.之后基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有
第二目标数据进行扫描。其中,所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间。同理,所述第二数据库内与第二扫描结束时间对应的所有数据是指,第二数据库在该第二扫描结束时间后接收到的同步数据,也即第二数据库在此次数据同步过程中所接收到的数据。通过只对各数据库在此次数据同步过程中所接收到的数据进行数据计算分析处理,从而不需要对各数据库进行全量查询,有效的缩小了数据查询范围,有利于提高数据处理效率。其中,第二数据的第二存储时间是指该第二数据存入至第二数据库内的时间。另外,如果使用所述第二探针对第二数据库内与第二扫描结束时间对应的所有数据进行扫描时发现第二数据库内不存在与所述第一数据相同的第二数据,后续还可进一步对第二数据库内与第二扫描结束时间对应的所有数据进行预设次数的扫描,如果在该预设次数的扫描中均没有检测到与所述第一数据相同的第二数据,则最终判定不存在与所述第一数据相同的第二数据。另外,对于该预设次数的具体取值不作限定,可根据实际需求进行设置,例如可设置为5次。
67.最后对于每一个所述第一数据,若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据,且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。其中,第二数据的第二存储时间是指该第二数据存入至第二数据库内的时间。如果使用所述第二探针对第二数据库内与第二扫描结束时间对应的所有数据进行扫描时发现第二数据库内不存在与所述第一数据相同的第二数据,后续还可进一步对第二数据库内与第二扫描结束时间对应的所有数据进行预设次数的扫描,如果在该预设次数的扫描中均没有检测到与所述第一数据相同的第二数据,则最终判定不存在与所述第一数据相同的第二数据。对于该预设次数的具体取值不作限定,可根据实际需求进行设置,例如可设置为5次。另外,第一数据与第二数据之间的存储时间的差值绝对值还可称为第一数据的延迟时间,该延迟时间是指,在第一数据同步到第一数据库,在经过了该延迟时间对应的时长后才将与第一数据相同的第二数据同步到第二数据库。此外,所述时间长度阈值为用于判别计算得到的第一数据与第二数据之间的延迟时间是否处于合理范围内的数值,对于所述时间长度阈值的具体取值不做限定,可根据实际需求进行设置。由于数据同步过程中,通常是会同时将同一个数据分别发送到不同的数据库,所以如果同一个数据在不同的数据库内的存储时间相差很大则可判定该数据可能出现了异常。因此,如果第一数据的延迟时间大于该时间长度阈值,则可判定该第一数据属于异常数据,只有第一数据的延迟时间不大于该时间长度阈值时,才会判定该第一数据属于正常数据。
68.本实施例当在多个数据库之间完成数据同步后,会先获取各所述数据库上一次的探针扫描结束时间,然后基于预设的第一探针对第一数据库内与第一扫描结束时间对应的所有数据进行扫描,并获取第一数据的第一存储时间,以及基于预设的第二探针对第二数据库内与第二扫描结束时间对应的所有数据进行扫描,对于每一个第一数据,若在第二数据库内均存在与每一个第一数据相同的第二数据,且每一个第二数据的第二存储时间与对应的每一个第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。本实施例通过使用探针来进行数据库内与各数据库上一次的扫描结束时间对应的同步数据的扫描处理,并对数据库中扫描得到的数据进行监控处理,即判别同一数据是否均在各数据库间完成数据同步以及统计在各数据库中完成同步的同
一数据之间的延迟时间,进而根据得到的监控数据来自动快速且准确的生成此次数据同步的结果,以完成数据库在进行数据同步后的数据校验流程,使得不再需要对数据库内的数据进行全量查询,有效减少了对于数据库汇总数据的处理量与工作量,提高了数据同步的结果的生成效率,提高了对于数据库中数据监控的处理效率。
69.进一步地,本技术一实施例中,上述步骤s10之前,包括:
70.s100:按照预设的长度划分值将一天的时间划分为多个单位时间段;
71.s101:基于预设的处理高峰时间段从所有所述单位时间段中筛选出符合预设条件的指定时间段;其中,所述指定时间段的数量为多个;
72.s102:基于预存储的历史数据处理量记录,统计出各所述数据库在预设时间周期内的每一个所述指定时间段的数据处理量;
73.s103:基于所述数据处理量,按照第一预设规则生成各所述数据库的业务空闲时间段;
74.s104:对所有所述业务空闲时间段进行取交集处理,得到所述目标业务空闲时间段。
75.如上述步骤s100至s104所述,在执行所述当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步的步骤之前,还可包括所述目标业务空闲时间段的确定过程。具体地,首先按照预设的长度划分值将一天的时间划分为多个单位时间段。其中,对于所述处理时间段的划分方式不作具体限定,且划分得到的每个时间段包含的时间长度也可根据实际需求进行设定,例如可以使用1小时作为所述长度划分值,即一个单位时间段所包含的时间长度,则从0时开始可将一天(24小时)划分为24个时间段,即0:00,1:00,2:00,

,24:00。然后基于预设的处理高峰时间段从所有所述单位时间段中筛选出符合预设条件的指定时间段。其中,所述指定时间段的数量为多个。另外,所述处理高峰时间段可为预先初步生成的数据库的业务繁忙的时间段,预设条件是指从得到的所有单位时间段中剔除掉所述业务繁忙的时间段,进而得到相应的指定时间段。举例地,假如处理高峰时间段包括有8:00-12:00与12:00-16:00的时间段,则可筛选出指定时间段为0:00-8:00,16:00-24:00。通过利用处理高峰时间段对所有单位时间段进行初步筛选,使得后续只需对预设时间周期内各所述指定时间段的数据处理量进行统计,而不用对所有时间段的数据处理量进行统计,有效的减少了数据统计量,降低了装置的统计损耗,提高了装置的处理智能性。之后基于预存储的历史数据处理量记录,统计出各所述数据库在预设时间周期内的每一个所述指定时间段的数据处理量。在得到了所述指定时间段后,基于预存储的历史数据处理量记录,统计各所述数据库在预设时间周期内的各所述第一时间段的数据处理量。其中,对于所述预设时间周期不作具体限定,可根据实际需求进行设置。举例地,所述预设时间周期可为与当前时间相邻的上一个星期。如果单位时间段为16:00-20:00,则该单位时间段16:00-20:00在该一个星期内的数据处理量即是该星期内单位时间段16:00-20:00包含的所有数据处理量的和值。后续基于所述数据处理量,按照第一预设规则生成各所述数据库的业务空闲时间段。具体的,按照第一预设规则生成各所述数据库的业务空闲时间段的过程可包括:对于任意一个数据库,从所有所述数据处理量中筛选出大于预设的数据处理量阈值的第一数据处理量。其中,对于上述数据处理量阈值的取值不作具体限定,可根据实际需求进行设置。在得到了所述第一数据处理量后,将所述第一数据处理量从所有所述数据处理量中剔除得到
对应的第二数据处理量。后续从所有所述第一时间段中筛选出与所述第二数据处理量对应的特定时间段。并将所述特定时间段作为该数据库的业务空闲时间段。最后对所有所述业务空闲时间段进行取交集处理,得到所述目标业务空闲时间段。其中,通过对得到的各数据库的业务空闲时间段进行取交集处理,可以使得最终得到的目标业务空闲时间段为适用于所有数据库的空闲时间段。本实施例在将一天的时间划分为多个单位时间段后,会先基于预设的处理高峰时间段从所有所述单位时间段筛选出第一时间段,再通过获取预设时间周期内的各个指定时间段的数据处理量进行分析处理,并基于分析结果来智能地确定出各数据库的业务空闲时间段,进而根据各数据库的业务空闲时间段确定出最终的目标业务空闲时间段,有效地提高了生成的目标业务空闲时间段的准确性。且后续会在该目标业务空闲时间段内进行将各数据库之间的数据同步的数据处理流程,而不会在各数据库处于业务处理高峰时间段内进行数据同步处理,从而不会影响用户的正常使用,也不会对数据同步处理的正常运作造成影响,保证了数据库资源的合理利用,有效地提高了在数据库内进行数据同步的处理速度与处理效率。
76.进一步地,本技术一实施例中,上述步骤s40之后,包括:
77.s400:对于所述第一数据,若所述第二数据库内不存在与所述第一数据相同的第三数据,则生成数据同步失败的第二结果;
78.s401:若所述第二数据库内存在与所述第一数据相同的第三数据,计算所述第一数据的第一存储时间与所述第三数据的第三存储时间之间的指定差值绝对值;
79.s402:若所述指定差值绝对值大于所述时间长度阈值,则生成数据同步失败的第三结果。
80.如上述步骤s400至s402所述,在执行完所述基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描的步骤之后,还可以包括根据得到的扫描结果生成相应的数据同步失败的结果的过程。具体地,对于所述第一数据,若所述第二数据库内不存在与所述第一数据相同的第三数据,则生成数据同步失败的第二结果。而若所述第二数据库内存在与所述第一数据相同的第三数据,计算所述第一数据的第一存储时间与所述第三数据的第三存储时间之间的指定差值绝对值。其中,所述指定差值绝对值表示第一数据的延迟时间。在得到了该指定差值绝对值后,若所述指定差值绝对值大于所述时间长度阈值,则生成数据同步失败的第三结果。其中,当出现了数据同步失败的第三结果后,还可以将数据同步过程中出现的异常数据,如只存在于第一数据库而不存在于第二数据库内的数据,或者虽然同时存在于第一数据库与第二数据库,但在第一数据库与第二数据库内的存储时间之间差值超过了时间长度阈值的数据,加入至预设的异常消息队列内,从而实现准确地完成对于第一数据在数据同步处理中的异常监控处理。所述异常消息队列为用于存放同步处理异常的消息队列。另外,在完成了对于异常消息队列的数据放置后,还可基于所述异常消息队列进行预警提醒处理,例如可生成携带所述异常消息队列中的数据的预警信息,并展示所述预警信息。具体可将异常消息队列中的数据填充至预设的信息模板内的相应位置处,从而生成所述预警信息,对所述信息模板的具体内容不作限定。通过对异常消息队列进行预警提醒处理,从而可将该异常消息队列中包含的异常数据发送给相关的运维人员,以供运维人员及时对这些数据同步过程中出现的异常数据进行问题分析以及优化处理,以便解决当前存在的同步问题。另外,还可以将数据同步过程中的
正常数据加入至预设的正常消息队列。所述正常消息队列为用于存放同步处理正常的数据的消息队列。通过使用不同的消息队列来存放相应的数据,可以提高异常数据与正常数据的区分准确性。本实施例中,对于第一数据库中的任意一个第一数据,如果在第二数据库中检测出不存在与所述第一数据相同的第三数据,则会生成数据同步失败的结果。以及,如果在第二数据库中检测出存在与所述第一数据相同的第三数据,但所述第一数据的第一存储时间与所述第三数据的第三存储时间之间的指定差值绝对值大于所述时间长度阈值,则同样生成数据同步失败的结果。本实施例通过使用探针来进行数据库内与各数据库上一次的扫描结束时间对应的同步数据的扫描处理,并对数据库中扫描得到的数据进行监控处理,即判别同一数据是否均在各数据库间完成数据同步以及统计在各数据库中完成同步的同一数据之间的延迟时间,进而根据得到的监控数据来自动快速且准确的生成此次数据同步的结果,以完成数据库在进行数据同步后的数据校验流程,使得不再需要对数据库内的数据进行全量查询,有效减少了对于数据库汇总数据的处理量与工作量,提高了对于数据库中数据监控的处理效率。并在得到了数据同步的结果后,有利于后续相关人员可以根据该数据同步的结果及时对数据同步过程中出现的异常数据进行问题分析以及优化处理,以便解决当前存在的数据同步问题。
81.进一步地,本技术一实施例中,上述数据监控方法还包括:
82.s500:获取各所述数据库在进行数据同步过程中的资源消耗信息;
83.s501:获取基于预设的第一数量的不同的训练样本集以及第二数量的不同的机器学习模型训练生成的多个状态识别模型,并从所有所述状态识别模型中确定出目标状态识别模型;其中,将每一个所述训练样本集分别与每一个所述机器学习模型进行一一组合得到对应的多个训练组合,并基于所述训练组合训练生成与所述训练组合的数量相同的所述状态识别模型;所述目标状态识别模型的数量大于1;
84.s502:基于所述目标状态识别模型与所述资源消耗信息,生成与各所述数据库分别对应的运行状态;
85.s503:若在所有所述运行状态中存在异常状态,获取与所述异常状态对应的目标数据库,生成与所述目标数据库对应的警报信息并展示;
86.s504:若在所有所述运行状态中不存在异常状态,生成数据库运行正常的提醒信息并展示。
87.如上述步骤s500至s504所述,所述数据监控方法还包括各所述数据库在进行数据同步过程中的运行状态进行异常分析的处理过程。具体地,首先获取各所述数据库在进行数据同步过程中的资源消耗信息。其中,所述资源消耗信息至少包括以下一种信息:cpu使用率、io使用率、网络流量使用情况、内存使用情况。然后获取基于预设的第一数量的不同的训练样本集以及第二数量的不同的机器学习模型训练生成的多个状态识别模型,并从所有所述状态识别模型中确定出目标状态识别模型。其中,将每一个所述训练样本集分别与每一个所述机器学习模型进行一一组合得到对应的多个训练组合,并基于所述训练组合训练生成与所述训练组合的数量相同的所述状态识别模型。所述目标状态识别模型的数量大于1。另外,训练生成的多个状态识别模型之间具有以下差别:训练所采用的训练样本集不同,以及所采用的机器学习模型不同,因此生成的各个状态识别模型的模型识别的准确性与稳定性会有所不同,从而后续步骤可以根据各个状态识别模型的模型识别的准确性与稳
定性进行考量,进而从所有所述状态识别模型筛选出用于对数据库的资源消耗信息进行状态识别处理的或目标状态识别模型,以起到有效提高最终生成的与所述资源消耗信息对应的数据库的运行状态的结果准确性。之后基于所述目标状态识别模型与所述资源消耗信息,生成与各所述数据库分别对应的运行状态。其中,所述运行状态包括异常状态或正常状态。最后若判断出在所有所述运行状态中存在异常状态,获取与所述异常状态对应的目标数据库,生成与所述目标数据库对应的警报信息并展示。其中,所述警报信息携带所述目标数据库的名称信息。而若判断出在所有所述运行状态中不存在异常状态,生成数据库运行正常的提醒信息并展示。本实施例中,在各所述数据库进行数据同步的过程中,还可获取各数据库的资源消耗信息,并利用预先训练好的目标状态识别模型对各数据库的资源消耗信息进行状态识别,来快速准确的得到各数据库的运行状态,以及会根据得到的运行状态生成相应的警报信息或提醒信息并展示出来,使得用户可以根据展示的信息清楚的了解各数据库当前的运行状态,并能够根据该运行状态及时采取相应的处理措施,从而可以有效确保数据库的安全运作以及数据同步的正确处理,提高了用户的使用体验。
88.进一步地,每一个训练样本集包括若干资源消耗信息样本,以及与资源消耗信息样本对应的运行状态标签。具体的状态识别模型的训练过程可包括:对于任意一个指定训练组合中的指定训练样本集与指定机器学习模型,使用该指定训练样本集中的指定资源消耗信息样本以及相应的指定运行状态标签对该指定机器学习模型进行训练,得到对应的初始模型,再获取预设的验证样本集,并基于所述验证样本集对所述初始模型进行准确度测试,得到对应的预测准确率;判断所述预测准确率是否大于预设的准确率阈值;若是,将所述初始异常预测模型作为与所述指定训练组合对应的状态识别模型。另外,所述准确度测试,即是指将验证样本集中的若干验证样本输入到初始模型中,初始模型预测得到每一个验证样本的识别标签结果,并将每一验证样本的识别标签结果与对该验证样本所对应的运行状态标签进行对比,如果一致,则该初始模型对该验证样本的预测准确,如果不一致,则该初始模型对该验证样本的预测错误,从而统计得到初始模型的预测准确率(预测准确率=预测准确的验证样本的数量/验证样本的总数量),如果所得到的预测准确率满足设定的准确率要求,即大于预设的准确率阈值,则该初始模型收敛,从而结束该初始的训练,并将结束训练的初始模型作为与所述指定训练组合对应的状态识别模型,并用于对后续获取的数据库的资源消耗信息进行状态识别处理。
89.进一步地,本技术一实施例中,上述步骤s501的从所有所述状态识别模型中确定出目标状态识别模型,包括:
90.s5010:获取预设的测试样本集,将所述测试样本集分别输入至各所述状态识别模型内,按照与第一评价指标对应的第一计算规则生成各所述状态识别模型的第一评价分值;
91.s5011:从所有所述状态识别模型中筛选出第一评价分值大于预设的第一评价分值阈值的第一状态识别模型;
92.s5012:将所述测试样本集分别输入至各所述第一状态识别模型内,按照与第二评价指标对应的第二预设计算规则生成各所述第一状态识别模型的第二评价分值;
93.s5013:从所有所述第一状态识别模型中筛选出第二评价分值大于预设的第二评价分值阈值的第二状态识别模型;
94.s5014:基于各所述第二状态识别模型的第一评价分值与第二评价分值,按照第二预设规则生成各所述第二状态识别模型的综合评价分值;
95.s5015:将所述综合评价分值按照从大到小的顺序进行排序,得到对应的排序结果;
96.s5016:从所述排序结果中排序第一的综合评价分值开始,依次获取目标数量的目标综合评价分值;
97.s5017:从所述第二状态识别模型中获取与所述目标综合评价分值对应的模型,得到所述目标状态识别模型。
98.如上述步骤s5010至s5017所述,所述从所有所述状态识别模型中确定出目标状态识别模型的步骤,具体可包括:首先获取预设的测试样本集,将所述测试样本集分别输入至各所述状态识别模型内,按照与第一评价指标对应的第一计算规则生成各所述状态识别模型的第一评价分值。其中,所述测试样本集可基于任意一个所述训练样本集生成,如可随机从该训练样本集中取出预设数值比例的数据作为该测试样本集,且该预设数值比例可根据实际需求进行设置,例如可设为40%。另外,所述第一评价指标为精确率或召回率,同理所述第二评价指标为精确率或召回率,所述第一评价指标与所述第二评价指标不同。具体的,当第一评价指标为精确率时,第二评价指标为召回率;当第一评价指标为召回率时,第二评价指标为精确率。然后从所有所述状态识别模型中筛选出第一评价分值大于预设的第一评价分值阈值的第一状态识别模型。其中,对于所述第一评价分值阈值的取值不作具体限定,可根据实际需求进行设置。在得到第一状态识别模型后,将所述测试样本集分别输入至各所述第一状态识别模型内,按照与第二评价指标对应的第二预设计算规则生成各所述第一状态识别模型的第二评价分值。具体的,可通过混淆矩阵来计算生成所述第一评价分值与第二评价分值,即精确率与召回率。混淆矩阵用于衡量一个分类器的准确程度。对于二分类问题,将其样例根据真实类别和分类器的预测类别的组合划分为真正例(truepositive)、假正例(falsepositive)、真反例(truenegative)、假反例(falsenegative)四种情形。对应混淆矩阵(confusionmatrix)如下表:
[0099][0100]
基于混淆矩阵,我们可以根据以下公式计算精确率(precision)与召回率(recall):精确率(precision)p=tp/(tp+fp),表示真实情况和预测结果皆为真/预测结果为真;召回率(recall)r=tp/(tp+fn),表示真实情况和预测结果皆为真/真实情况为真。之后从所有所述第一状态识别模型中筛选出第二评价分值大于预设的第二评价分值阈值的第二状态识别模型。其中,对于所述第二评价分值阈值的取值不作具体限定,可根据实际需
求进行设置。在得到第二状态识别模型后,基于各所述第二状态识别模型的第一评价分值与第二评价分值,按照第二预设规则生成各所述第二状态识别模型的综合评价分值。其中,对于所述按照第二预设规则生成各所述第二状态识别模型的综合评价分值的具体实现过程,本技术将在后续的具体实施例中对此作进一步的描述,在此不予赘述。后续将所述综合评价分值按照从大到小的顺序进行排序,得到对应的排序结果。在得到排序结果后,从所述排序结果中排序第一的综合评价分值开始,依次获取目标数量的目标综合评价分值。其中,对于所述目标数量的取值不作具体限定,可根据实际需求进行设置。最后从所述第二状态识别模型中获取与所述目标综合评价分值对应的模型,得到所述目标状态识别模型。本实施例中,通过使用预设的测试样本集生成状态识别模型的第一评价分值,并基于第一评价分值筛选出第一状态识别模型,再使用测试样本集生成第一状态识别模型的第二评价分值,并基于第二评价分值筛选出第二状态识别模型,后续再基于各第二状态识别模型的第一评价分值与第二评价分值生成相应的综合评价分值,并从所有第二状态识别模型中筛选出综合评价分值最大的多个模型作为目标状态识别模型,由于得到的目标状态识别模型具有较高的数据综合处理能力,使得后续在利用目标状态识别模型对数据库的资源消耗信息进行状态识别时,能够在保证目标状态识别模型输出的运行状态结果的准确性的基础上,有效地提高对数据库的资源消耗信息的运行状态分析的处理效率。
[0101]
进一步地,本技术一实施例中,上述步骤s5014,包括:
[0102]
s50140:获取与所述第一评价指标对应的第一重要程度值;以及,
[0103]
s50141:获取与所述第二评价指标对应的第二重要程度值;
[0104]
s50142:基于各所述第二状态识别模型的第一评价分值与第二评价分值、所述第一重要程度值以及所述第二重要程度值,调用预设的计算公式生成各所述第二状态识别模型的综合评价分值。
[0105]
如上述步骤s50140至s50142所述,所述基于各所述第二状态识别模型的第一评价分值与第二评价分值,按照第二预设规则生成各所述第二状态识别模型的综合评价分值的步骤,具体可包括:首先获取与所述第一评价指标对应的第一重要程度值。其中,对于第一重要程度值的取值不作具体限定,可根据实际需求进行设置,例如可设为0.5,1等。以及获取与所述第二评价指标对应的第二重要程度值。同理,对于第二重要程度值的取值不作具体限定,可根据实际需求进行设置,例如可设为0.5,1等。后续基于各所述第二状态识别模型的第一评价分值与第二评价分值、所述第一重要程度值以及所述第二重要程度值,调用预设的计算公式生成各所述第二状态识别模型的综合评价分值。具体的,所述计算公式具体为:其中,p为精确率,r为召回率,β为召回率的重要程度值与精确率的重要程度值之间的商值。本实施例中,通过获取第一评价分值对应的第一重要程度值以及第二评价分值对应的第二重要程度值,进而调用相应的计算公式可以快速准确的生成各所述第二状态识别模型的综合评价分值,有利于后续可以基于得到的第二状态识别模型的综合评价分值来快速准确地从所有状态识别模型中确定出目标状态识别模型。综合评价分值对应着模型的数据综合处理能力的评价值,因而最终确定的目标状态识别模型具有较高的数据综合处理能力与处理效率,使得后续在利用目标状态识别模型对数据库的资源消耗信息进行状态识别时,能够在保证目标状态识别模型输出的运行状态结果的准确性的
基础上,有效地提高对数据库的资源消耗信息的运行状态分析的处理效率。
[0106]
进一步地,本技术一实施例中,上述步骤s502,包括:
[0107]
s5020:将指定数据库的资源消耗信息分别输入至各所述目标状态识别模型内;其中,所述指定数据库为所有所述数据库中的任意一个数据库;
[0108]
s5021:接收各所述目标状态识别模型分别生成的与所述指定数据库的资源消耗信息对应的指定运行状态;
[0109]
s5022:若所有所述指定运行状态均为正常状态,判定所述指定数据库的运行状态为正常状态,否则判定所述指定数据库的运行状态为异常状态。
[0110]
如上述步骤s5020至s5022所述,所述基于所述目标状态识别模型与所述资源消耗信息,生成与各所述数据库分别对应的运行状态的步骤,具体可包括:首先将指定数据库的资源消耗信息分别输入至各所述目标状态识别模型内。其中,所述指定数据库为所有所述数据库中的任意一个数据库。然后接收各所述目标状态识别模型分别生成的与所述指定数据库的资源消耗信息对应的指定运行状态。最后若判断出所有所述指定运行状态均为正常状态,判定所述指定数据库的运行状态为正常状态,否则判定所述指定数据库的运行状态为异常状态。本实施例中,在对预先训练好的多个状态识别模型种筛选出综合处理能力最强的多个模型来作为最终的目标状态识别模型后,使得通过使用该多个目标状态识别模型来对数据库的资源消耗信息进行状态识别,并基于得到的所有所述指定运行状态来确定出作为最终的运行状态,即只有所有所述指定运行状态均为正常状态时才会判定数据库最终的运行状态为正常状态,保证了最终生成的运行状态的全面性与准确性,并且可以避免仅使用一个状态识别模型对数据库的资源消耗信息进行状态识别而导致识别结果不准确,从而有效地提高了对于数据库的资源消耗信息进行状态识别的识别准确率。
[0111]
本技术实施例中的数据监控方法还可以应用于区块链领域,如将上述延迟时间等数据存储于区块链上。通过使用区块链来对上述延迟时间进行存储和管理,能够有效地保证上述延迟时间的安全性与不可篡改性。
[0112]
上述区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0113]
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提
供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
[0114]
参照图2,本技术一实施例中还提供了一种数据监控装置,包括:
[0115]
第一获取模块1,用于当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步,并在各所述数据库完成数据同步后,获取各所述数据库上一次的探针扫描结束时间;其中,所述数据库至少包括第一数据库与第二数据库;
[0116]
第一扫描模块2,用于基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描,并获取第一数据的第一存储时间;其中,所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间,所述第一数据为所有所述第一目标数据中的任意一个数据;
[0117]
第二扫描模块3,用于基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描;其中,所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间;
[0118]
第一生成模块4,用于对于每一个所述第一数据,若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据,且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。
[0119]
本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的数据监控方法的步骤一一对应,在此不再赘述。
[0120]
进一步地,本技术一实施例中,上述数据监控装置,包括:
[0121]
划分模块,用于按照预设的长度划分值将一天的时间划分为多个单位时间段;
[0122]
筛选模块,用于基于预设的处理高峰时间段从所有所述单位时间段中筛选出符合预设条件的指定时间段;其中,所述指定时间段的数量为多个;
[0123]
统计模块,用于基于预存储的历史数据处理量记录,统计出各所述数据库在预设时间周期内的每一个所述指定时间段的数据处理量;
[0124]
第二生成模块,用于基于所述数据处理量,按照第一预设规则生成各所述数据库的业务空闲时间段;
[0125]
第三生成模块,用于对所有所述业务空闲时间段进行取交集处理,得到所述目标业务空闲时间段。
[0126]
本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的数据监控方法的步骤一一对应,在此不再赘述。
[0127]
进一步地,本技术一实施例中,上述数据监控装置,包括:
[0128]
第四生成模块,用于对于所述第一数据,若所述第二数据库内不存在与所述第一数据相同的第三数据,则生成数据同步失败的第二结果;
[0129]
计算模块,用于若所述第二数据库内存在与所述第一数据相同的第三数据,计算所述第一数据的第一存储时间与所述第三数据的第三存储时间之间的指定差值绝对值;
[0130]
第五生成模块,用于若所述指定差值绝对值大于所述时间长度阈值,则生成数据同步失败的第三结果。
[0131]
本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的数据监控方法的步骤一一对应,在此不再赘述。
[0132]
进一步地,本技术一实施例中,上述数据监控装置,包括:
[0133]
第二获取模块,用于获取各所述数据库在进行数据同步过程中的资源消耗信息;
[0134]
确定模块,用于获取基于预设的第一数量的不同的训练样本集以及第二数量的不同的机器学习模型训练生成的多个状态识别模型,并从所有所述状态识别模型中确定出目标状态识别模型;其中,将每一个所述训练样本集分别与每一个所述机器学习模型进行一一组合得到对应的多个训练组合,并基于所述训练组合训练生成与所述训练组合的数量相同的所述状态识别模型;所述目标状态识别模型的数量大于1;
[0135]
第六生成模块,用于基于所述目标状态识别模型与所述资源消耗信息,生成与各所述数据库分别对应的运行状态;
[0136]
第一展示模块,用于若在所有所述运行状态中存在异常状态,获取与所述异常状态对应的目标数据库,生成与所述目标数据库对应的警报信息并展示;
[0137]
第二展示模块,用于若在所有所述运行状态中不存在异常状态,生成数据库运行正常的提醒信息并展示。
[0138]
本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的数据监控方法的步骤一一对应,在此不再赘述。
[0139]
进一步地,本技术一实施例中,上述确定模块,包括:
[0140]
第一生成单元,用于获取预设的测试样本集,将所述测试样本集分别输入至各所述状态识别模型内,按照与第一评价指标对应的第一计算规则生成各所述状态识别模型的第一评价分值;
[0141]
第一筛选单元,用于从所有所述状态识别模型中筛选出第一评价分值大于预设的第一评价分值阈值的第一状态识别模型;
[0142]
第二生成单元,用于将所述测试样本集分别输入至各所述第一状态识别模型内,按照与第二评价指标对应的第二预设计算规则生成各所述第一状态识别模型的第二评价分值;
[0143]
第二筛选单元,用于从所有所述第一状态识别模型中筛选出第二评价分值大于预设的第二评价分值阈值的第二状态识别模型;
[0144]
第三生成单元,用于基于各所述第二状态识别模型的第一评价分值与第二评价分值,按照第二预设规则生成各所述第二状态识别模型的综合评价分值;
[0145]
排序单元,用于将所述综合评价分值按照从大到小的顺序进行排序,得到对应的排序结果;
[0146]
获取单元,用于从所述排序结果中排序第一的综合评价分值开始,依次获取目标数量的目标综合评价分值;
[0147]
确定单元,用于从所述第二状态识别模型中获取与所述目标综合评价分值对应的模型,得到所述目标状态识别模型。
[0148]
本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的数据监控方法的步骤一一对应,在此不再赘述。
[0149]
进一步地,本技术一实施例中,上述第三生成单元,包括:
[0150]
第一获取子单元,用于获取与所述第一评价指标对应的第一重要程度值;以及,
[0151]
第二获取子单元,用于获取与所述第二评价指标对应的第二重要程度值;
[0152]
计算子单元,用于基于各所述第二状态识别模型的第一评价分值与第二评价分值、所述第一重要程度值以及所述第二重要程度值,调用预设的计算公式生成各所述第二状态识别模型的综合评价分值。
[0153]
本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的数据监控方法的步骤一一对应,在此不再赘述。
[0154]
进一步地,本技术一实施例中,上述第六生成模块,包括:
[0155]
输入单元,用于将指定数据库的资源消耗信息分别输入至各所述目标状态识别模型内;其中,所述指定数据库为所有所述数据库中的任意一个数据库;
[0156]
接收单元,用于接收各所述目标状态识别模型分别生成的与所述指定数据库的资源消耗信息对应的指定运行状态;
[0157]
判定单元,用于若所有所述指定运行状态均为正常状态,判定所述指定数据库的运行状态为正常状态,否则判定所述指定数据库的运行状态为异常状态。
[0158]
本实施例中,上述模块或单元分别用于执行的操作与前述实施方式的数据监控方法的步骤一一对应,在此不再赘述。
[0159]
参照图3,本技术实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、输入装置和数据库。其中,该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质存储有操作系统、计算机程序和数据库。该内存储器为存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标业务空闲时间段、探针扫描结束时间、第一目标数据、第二目标数据、第一存储时间、第二存储时间以及延迟时间。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机设备的显示屏是计算机中必不可少的一种图文输出设备,用于将数字信号转换为光信号,使文字与图形在显示屏的屏幕上显示出来。该计算机设备的输入装置是计算机与用户或其他设备之间进行信息交换的主要装置,用于把数据、指令及某些标志信息等输送到计算机中去。该计算机程序被处理器执行时以实现一种数据监控方法。
[0160]
上述处理器执行上述数据监控方法的步骤:
[0161]
当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步,并在各所述数据库完成数据同步后,获取各所述数据库上一次的探针扫描结束时间;其中,所述数据库至少包括第一数据库与第二数据库;
[0162]
基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描,并获取第一数据的第一存储时间;其中,所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间,所述第一数据为所有所述第一目标数据中的任意一个数据;
[0163]
基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描;其中,所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间;
[0164]
对于每一个所述第一数据,若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据,且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。
[0165]
本领域技术人员可以理解,图3中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的装置、计算机设备的限定。
[0166]
本技术一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种数据监控方法,具体为:
[0167]
当处于目标业务空闲时间段内,在预设的多个数据库之间进行数据同步,并在各所述数据库完成数据同步后,获取各所述数据库上一次的探针扫描结束时间;其中,所述数据库至少包括第一数据库与第二数据库;
[0168]
基于预设的第一探针对所述第一数据库内与第一扫描结束时间对应的所有第一目标数据进行扫描,并获取第一数据的第一存储时间;其中,所述第一扫描结束时间为所述第一数据库上一次的探针扫描结束时间,所述第一数据为所有所述第一目标数据中的任意一个数据;
[0169]
基于预设的第二探针对所述第二数据库内与第二扫描结束时间对应的所有第二目标数据进行扫描;其中,所述第二扫描结束时间为所述第二数据库上一次的探针扫描结束时间;
[0170]
对于每一个所述第一数据,若在所述第二数据库内均存在与每一个所述第一数据相同的第二数据,且每一个所述第二数据的第二存储时间与对应的每一个所述第一数据的第一存储时间之间的差值绝对值均小于预设的时间长度阈值,则生成数据同步成功的第一结果。
[0171]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram通过多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0172]
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0173]
以上所述仅为本技术的优选实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关
的技术领域,均同理包括在本技术的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1