一种用于数据同步中的异常检测的方法与设备的制造方法_4

文档序号:9579331阅读:来源:国知局
的获取与该目标范围相对应的基准数据的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
[0052]在步骤S3中,设备10在获取与所述目标范围相对应的基准数据之后,根据该基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。在步骤S2中获得的基准数据是备份数据库30中与所述目标范围所对应的一条或者多条数据库记录,因此,在一个优选实施例中,设备10可以通过比较所述基准数据所对应的数据库主键在所述备份数据库30与所述主数据库20中的赋值,来检测所述备份数据库30中待检测的同步数据是否与所述主数据库20中的对应数据相一致。具体地,设备10首先获取所述基准数据的关键字段,在本实施例中也就是获取所述基准数据的数据库主键。然后设备10利用所述数据库主键分别在主数据库20和备份数据库30中进行查询,相应获得该数据库主键在主数据库20和备份数据库30中的赋值,下文中分别用第一数据和第二数据表示。例如,主数据库20和备份数据库30均是SQL数据库,可以采用SQL语句(例如select*fromtable where key =数据库主键)进行查询;又例如,主数据库20和备份数据库30均是列存数据库,可以采用Rowkey的方式进行查询。为了简明起见,在此不再针对于不同数据库的不同查询方法进行一一列举。接着,设备10对该第一数据和第二数据进行对比。如果对比结果显示第一数据与第二数据相同,设备10则判断主数据库20和备份数据库30之间的同步数据是一致的;如果对比结果显示第一数据与第二数据不同,设备10则判断主数据库20和备份数据库30之间的同步数据不一致,也就是说,主数据库20和备份数据库30之间的数据同步过程存在问题。
[0053]在主数据库20和备份数据库30进行数据同步的过程中,由于数据复制延迟、数据频繁变更等现象的影响,设备10针对于主数据库20和备份数据库30之间每一次数据同步过程的首次检测中可能出现同步数据不一致的检测结果,但实际上,在数据复制延迟、数据频繁变更等现象发生的一段时间之后,主数据库20和备份数据库30最终的同步数据是一致的。因此,为了避免上述误检的发生,在另一优选实施例中,在步骤S3中,当设备10检测得所述备份数据库30中待检测的同步数据与所述主数据库20中的对应数据不一致时,设备10将延时后再检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。其中,延时后设备10再次检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致所采用的方法,和步骤S3中针对所述待检测的同步数据的首次检测所采用的方法是相同的,为了简明起见,在此不再赘述。需要说明的是,数据一致性的检测实时性和检测误检率之间是存在负相关的关系,即,检测实时性越高则检测误检率越低,而检测实时性越低则检测误检率越高。因此,在设定两次检测之间延时的具体延迟时长时需要根据实际情况在检测实时性和检测误检率两者之间做出平衡。此外,在设定两次检测之间延时的具体延迟时长时也需要考虑主数据库20中数据变化的频度。因此,综上所述,两次检测之间延时的具体延迟时长可以根据检测同步数据的实时性指标信息(用于反映检测实时性)、检测同步数据的误检指标信息(用于反映检测误检率)、所述主数据库的数据操作频度信息(用于反映主数据库中数据变化的频度)中的一项或者多项进行确定。
[0054]设备10的各步骤之间是持续不断工作的。具体地,在步骤S1中,设备10持续在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围;在步骤S2中,设备10持续获取与所述目标范围相对应的基准数据;在步骤S3中,设备10持续根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。在此,本领域技术人员应能理解“持续”是指设备10的各步骤之间分别不断地根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致,直至设备10在较长时间内停止在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围。
[0055]图5示出根据本申请一个优选实施例的一种用于数据同步中的异常检测的方法流程图。
[0056]该方法包括步骤S1’、步骤S2’、步骤S3’和步骤S4’。具体地,在步骤S1’中,设备10在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围;在步骤S2’中,设备10获取与所述目标范围相对应的基准数据;在步骤S3’中,设备10根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致;在步骤S4’中,设备10存储经检测与所述主数据库中的对应数据不一致的同步数据。在此,步骤S1’、步骤S2’和步骤S3’分别与图4中步骤S1、步骤S2和步骤S3的内容相同或基本相同,为简明起见,故在此不再赘述,并以引用的方式包含于此。
[0057]具体地,如果在步骤S3’中设备10检测到备份数据库30中的待检测的同步数据与主数据库20中的对应数据不一致,则在步骤S4’中,设备10对经检测与所述主数据库20中的对应数据不一致的同步数据的进行存储,形成同步数据检测历史记录。其中,存储后的所述不一致的同步数据可以通过WEB页面的方式提供给数据库管理人员进行查询,数据库管理人员可以根据该不一致的同步数据对同步过程中所产生问题进行定位以及对备份数据库30中的同步数据进行修复等后续操作。
[0058]本领域技术人员应能理解上述通过WEB页面的方式将该不一致的同步数据提供给数据库管理人员进行查询的方式仅为举例,其他现有的或今后可能出现的将该不一致的同步数据提供给数据库管理人员进行查询的方式如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
[0059]基于同步数据检测历史记录,在步骤S1’中,设备10除了根据对所述备份数据库30的数据写操作,还可以结合对应的同步数据检测历史记录,确定所述备份数据库30中待检测的同步数据所对应的目标范围。也就是说,设备10在根据对设备30的数据写操作获得实时同步数据所对应的目标范围之外,还对同步数据检测历史记录进行检测,如果同步数据检测历史记录中记载了主数据库20和备份数据库30在历史数据同步过程中存在数据不一致的情况,此时,将所述不一致数据和所述实时同步数据一起作为待检测的同步数据,并将所述不一致数据所对应的目标范围与所述实时同步数据所对应的目标范围一起作为待检测的同步数据的目标范围。
[0060]图6示出根据本申请另一个优选实施例的一种用于数据同步中的异常检测的方法流程图。
[0061]该方法包括步骤S1”、步骤S2”、步骤S3”、步骤S4”和步骤S5”。具体地,在步骤S1”中,设备10在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围;在步骤S2”中,设备10获取与所述目标范围相对应的基准数据;在步骤S3”中,设备10根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致;在步骤S4”中,设备10存储经检测与所述主数据库中的对应数据不一致的同步数据;在步骤S5”中,设备10根据所述不一致的同步数据进行对应的报警处理或对所述备份数据库的修复处理。在此,步骤S1”、步骤S2”和步骤S3”分别与图4中步骤S1、步骤S2和步骤S3的内容相同或基本相同,步骤S4”与图5中步骤S4’的内容相同或基本相同,为简明起见,故在此不再赘述,并以引用的方式包含于此。
[0062]具体地,在步骤S5”中,在一个实施例中,设备10根据检测到的不一致的同步数据直接产生报警信号,并将该报警信号通过例如弹出提示窗口、发送邮件、发送短信等方式提供给数据库管理人员,提示数据库管理人员主数据库20和备份数据库30在数据同步过程中出现了数据不一致的问题,数据库管理人员收到报警信号后即可访问设备10中存储的不一致的同步数据来对数据同步过程中所产生的问题进行定位,进而对备份数据库30中的同步数据进行修复;在另一个实施例中,设备10可以进一步地对检测到的不一致的同步数据进行分析,并根据分析结果对数据同步过程中所产生的问题进行定位,然后将定位结果通过例如弹出提示窗口
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1