数据复制的监控方法及装置与流程

本发明涉及数据处理技术领域，特别涉及一种数据复制的监控方法及装置。

背景技术：

as/400服务器是当今世界最流行的中小型、多用户商业计算机系统，在多用户服务器领域里，始终保持最畅销的地位。广泛应用于流通、金融证券、制造、运输、安防等各个行业。为了方便用户能够更好的对as/400服务器中产生的数据进行应用，as/400服务器中安装了跨平台数据复制软件，用于将as/400服务器产生的数据实时复制到开放平台。

发明人经过研究发现，现有的，在应用跨平台数据复制软件将as/400服务器产生的数据复制到开放平台的过程中，由于as/400服务器中各个处理设备之间的差异，会导致跨平台复制软件对as/400服务器产生数据的复制延迟，使得用户不能及时获得as/400产生的数据，降低了工作效率。因此，亟需一种对数据复制过程的监控方法，对跨平台数据复制软件对数据的复制过程进行监控，以便在复制发生延迟时，及时处理延迟，提升工作效率。

技术实现要素：

本发明所要解决的技术问题是提供一种数据复制的监控方法，能够有效对跨平台数据复制软件对数据的复制过程进行监控，及时发现延迟，提升用户的工作效率。

本发明还提供一种数据复制的监控装置，用以保证上述方法在实际中的实现及应用。

一种数据复制的监控方法，包括：

确定当前执行数据复制操作的目标软件；

所述目标软件为第一复制软件时，执行第一监控操作，所述第一监控操作包括：

确定第一id集合和第二id集合；所述第一id集合包括：当前已解析至备份数据库中的各个数据的id，所述第二id集合包括：所述第一复制软件从所述备份数据库复制到开放平台的各个数据的id；

将所述第一id集合和第二id集合进行匹配，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟。

上述的方法，可选的，还包括：

所述目标软件为第二复制软件时，执行第二监控操作，所述第二监控操作包括：

获取服务器中生产数据库产生目标数据的第一时间戳，及所述目标数据解析至服务器中本地数据库的第二时间戳；

计算所述第一时间戳与所述第二时间戳之间的差值，当所述差值超过预设时间值时，确定所述第二复制软件将所述服务器产生的数据复制至开放平台的过程发生延迟。

上述的方法，可选的，所述确定第一id集合和第二id集合，包括：

读取预建立的复制状态控制表中的数据记录；

对所述数据记录进行分析，以获取所述第一id集合和第二id集合。

上述的方法，可选的，还包括：

向用户客户端及服务器分别发送第一报警信息，以提示用户及服务器数据复制过程发生延迟。

上述的方法，可选的，还包括：

将确定的第一id集合、第二id集合及计算得出的匹配度信息进行保存，以生成性能分析报表。

上述的方法，可选的，还包括：

读取所述复制状态控制表中各个已完成复制的数据的复制状态，并判断所述各个复制状态是否正常，当存在复制状态不正常的数据时，针对该数据发送第二报警信息至服务器及用户客户端。

上述的方法，可选的，还包括：

发送警告信息至监控报警平台，以提示数据复制过程发生延迟。

一种数据复制的监控装置，包括：

确定单元，用于确定当前执行数据复制操作的目标软件；

执行单元，用于所述目标软件为第一复制软件时，执行第一监控操作，所述第一监控操作包括：

确定第一id集合和第二id集合；所述第一id集合包括：当前已解析至备份数据库中的各个数据的id，所述第二id集合包括：所述第一复制软件从所述备份数据库复制到开放平台的各个数据的id；

将所述第一id集合和第二id集合进行匹配，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟。

一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行上述的数据复制的监控方法。

一种电子设备，包括存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

确定当前执行数据复制操作的目标软件；

所述目标软件为第一复制软件时，执行第一监控操作，所述第一监控操作包括：

确定第一id集合和第二id集合；所述第一id集合包括：当前已解析至备份数据库中的各个数据的id，所述第二id集合包括：所述第一复制软件从所述备份数据库复制到开放平台的各个数据的id；

将所述第一id集合和第二id集合进行匹配，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟。

与现有技术相比，本发明包括以下优点：

本发明提供了一种数据复制的监控方法，首先确定当前执行数据复制操作的执行软件，当执行数据复制操作的执行软件为第一复制软件时，确定第一id集合和第二id集合；所述第一id集合包括：当前已解析至备份数据库中的各个数据的id，所述第二id集合包括：所述第一复制软件从所述备份数据库复制到开放平台的各个数据的id；将所述第一id集合和第二id集合进行匹配，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟。本发明提供的方法，通过监控已完成解析的各个数据的id及已完成数据复制的各个数据的id，对其进行匹配操作，即比较第一id集合和第二id集合之间的差异，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟，从而可以及时发现数据复制过程中的复制延迟，并及时处理延迟，提升工作效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种数据复制的监控方法的方法流程图；

图2为本发明提供的一种数据复制的监控方法的又一方法流程图；

图3为本发明提供的第一复制软件执行复制过程的架构图；

图4为本发明提供的第二复制软件执行复制过程的架构图；

图5为本发明提供的第二复制软件执行复制过程的方法流程图；

图6为本发明提供的一种数据复制的监控装置的结构示意图；

图7为本发明提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本发明实施例提供了一种数据复制的监控方法，该方法可以应用在计算机或终端的处理器中，由所述处理器执行本发明提供的数据复制的监控方法的监控过程，本发明实施例中，所述处理器可以为as400服务器，图1示出了本发明实施例提供的数据复制的监控方法的方法流程图，包括：

s101：确定当前执行数据复制操作的目标软件；

本发明实施例提供的监控方法中，在服务器中执行数据复制过程的执行软件可以有多种，可以是复制软件dp4(datapropagator/400)，也可以为复制软件cdc(ibminfospheredatareplication)，本发明实施例中优选针对复制软件cdc及dp4进行监控，本发明实施例中，首先确定当前执行复制操作的目标软件。

s102：当前执行数据复制操作的目标软件是第一复制软件时，执行s103；

当判断当前执行数据复制操作的目标软件是第一复制软件时，跳转执行s103；本发明实施例中，第一复制软件可以是复制软件cdc。

s103：确定第一id集合和第二id集合；所述第一id集合包括：当前已解析至备份数据库中的各个数据的id，所述第二id集合包括：所述第一复制软件从所述备份数据库复制到开放平台的各个数据的id；

本发明实施例中，将当前已解析至备份数据库中的各个数据id组成第一id集合，将当前第一复制软件从所述备份数据复制到开放平台的各个数据id组成第二id集合。

s104：将所述第一id集合和第二id集合进行匹配，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟。

本发明实施例中，对第一id集合和第二id集合进行匹配，当匹配度小于预设的匹配值时，表明第一复制软件从备份数据库中复制出数据的过程发生延迟。

本发明实施例提供的数据复制的监控方法，通过监控已完成解析的各个数据的id及已完成数据复制的各个数据的id，对其进行匹配操作，即比较第一id集合和第二id集合之间的差异，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟，从而可以及时发现数据复制过程中的复制延迟，并及时处理延迟，提升工作效率。

本发明实施例对第一id集合和第二id集合进行匹配的过程，可以为确定第一id集合中数据id的数量，并确定第二id集合中数据id的数量，对第一id集合和第二id集合进行差值比较，当差值超过一定数值时，表明第一id集合和第二id集合的匹配度小于预设的匹配值。

也可以为对第一id集合和第二id集合中各个数据id进行匹配，即存在于第一id集合中的数据id是否存在于第二id集合中，当不存在于第二id集合中的数量超过一定数值时，表明第一id集合和第二id集合的匹配度小于预设的匹配值。

参考图2，在图1的基础上，示出了本发明实施例提供的数据复制的监控方法的又一方法流程图，在图1的基础上，还包括：

s105：当目标软件为第二复制软件时，执行步骤s106；

本发明实施例中，所述第二复制软件可以为dp4复制软件。

s106：获取服务器中生产数据库产生目标数据的第一时间戳，及所述目标数据解析至服务器中本地数据库的第二时间戳；

本发明实施例中，服务器中的生产数据库在产生数据时，将每个产生的数据均记录为目标数据，记录该数据产生时的第一时间戳，然后跟踪记录该数据，记录该数据被解析至服务器中本地数据库时的第二时间戳。

s107：计算所述第一时间戳与所述第二时间戳之间的差值，当所述差值超过预设时间值时，确定所述第二复制软件将所述服务器产生的数据复制至开放平台的过程发生延迟。

本发明实施例中，计算第一时间戳和第二时间戳之间的差值，将差值超过预设时间值是，表明第二复制软件再将服务器产生的数据复制到开放平台时发生延迟。

本发明实施例提供的数据复制的监控方法，对于当前执行数据复制操作的目标软件为第二复制软件时，记录数据产生及完成解析时的两个时间戳，当两个时间戳的差值超过一定数值时，确定当前复制过程会产生延迟。从而可以及时发现延迟并及时处理延迟，提升工作效率。

本发明实施例中，当执行数据复制的软件为第一复制软件时，所述确定第一id集合和第二id集合，包括：

读取预建立的复制状态控制表中的数据记录；

对所述数据记录进行分析，以获取所述第一id集合和第二id集合。

本发明实施例中，设置有复制状态控制表，对于每一个解析到备份数据库的数据的id都会记录在所述复制状态控制表中，对于第一复制软件从所述备份数据库中复制出的每一个数据的id，也会记录在所述复制状态控制表中，因此，读取所述复制状态控制表中的数据记录并进行分析，即可获取第一id集合和第二id集合。

本发明实施例中，当执行数据复制的软件为第一复制软件时，在复制过程发生延迟的情况下，会向用户客户端及服务器分别发送第一报警信息，以提示用户及服务器数据复制过程发生延迟。

本发明实施例中，当执行数据复制的软件为第一复制软件时，会将数据复制的整个监控过程中获得数据进行存储，包括将将确定的第一id集合、第二id集合及计算得出的匹配度信息进行保存，以生成性能分析报表。

本发明实施例中，当执行数据复制的软件为第一复制软件时，数据复制的监控过程中，还包括：

读取所述复制状态控制表中各个已完成复制的数据的复制状态，并判断所述各个复制状态是否正常，当存在复制状态不正常的数据时，针对该数据发送第二报警信息至服务器及用户客户端。

本发明实施例中，当执行数据复制的软件为第二复制软件时，在数据复制的过程发生延迟时，发送警告信息至监控报警平台，以提示数据复制过程发生延迟。并保存监控过程中获得的所有数据，以生成性能分析报表。

参考图3，示出了本发明实施例提供的第一复制软件执行复制过程的架构图，所述第一复制软件可以为cdc软件。

服务器中的生产数据库在产生数据后，将数据以日志文件的形式解析至备份日志中，所述备份日志即相当于备份数据库，第一复制软件将备份数据库中的数据复制到开放平台的时，会产生延迟，本发明提供的监控方法，主要对该复制过程进行监控。对于cdc软件，本发明可以提供cdc复制监控模块对整个复制过程进行监控。

生产数据库解析至备份数据库中的每一个数据的数据id均保存在复制状态控制表中，第一复制软件从所述备份数据库中复制到开放平台的每一个数据的数据id也同样保存在复制状态控制表中，因此，本发明实施例提供的监控方法中，将生产数据库解析至备份数据库中的各个数据id作为第一id集合，当第一复制软件从所述备份数据中复制到开放平台的各个数据id作为第二id集合，比较第一id集合和第二id集合之间的差异，当差异达到报警要求时，监控模块可以同时向本机及生产机各发送一条报警信息。

本发明实施例提供的监控方法中，还可以从所述复制状态控制表中，读取每一个已完成复制的数据的复制状态，判断复制的每个数据的复制状态是否正常，对于复制状态不正常的数据，同时向本机和生产机发送报警信息。

本发明实施例中，第一复制软件为cdc软件时，cdc复制监控模块实时读取cdc的复制状态控制表，通过计算控制表中的复制状态，与监控报警阀值比较，如果超过报警阀值，则向本地及生产报警数据发送一条报警信息，再由监控报警平台将该报警消息统一发送。另外，所有的复制状态信息也统一保存，用以做性能分析报告。

参考图4，示出了本发明实施例提供的第二复制软件执行复制过程的架构图，所述第二复制软件可以为dp4软件。

服务器中的生产数据库在产生数据后，将产生的数据解析到本地数据库中，然后由第二复制软件将本地数据库中的数据复制到开放平台中。

一般的，认为第二复制软件对于本地数据库中数据的复制过程不存在明显延迟，生产数据库中的数据解析到本地数据库的过程会产生延迟，从而也导致了，生产数据库中产生的数据复制到开发平台的过程发生了延迟。

结合图5示出的针对第二复制软件dp4的监控流程图，具体包括：

在具体的监控周期内，例如每15分钟一个监控周期，记录生产数据库产生数据时的第一时间戳，和数据解析到本地数据库时的第二时间戳，判断第一时间戳和第二时间戳之间的差异，当差异大于报警阈值时，发送延迟报警到监控报警平台，并将监控过程中获得的数据进行存储，存储到监控历史库中，以便生成性能监控分析报告。

若在该监控周期内，未发生延迟，再进入下一个监控周期。

本发明实施例提供的数据复制的监控方法，实现了对商业软件的复制状态实现了自动化监控，通过对监控数据的整理并生成报告，对软件的复制效率有了直观的了解。当复制延迟发生时，系统管理人员能够第一时间获得报警信息，从而降低了管理及沟通成本，提升运维效率。

与图1所示的一种数据复制的监控方法相对应的，本发明实施例还提供了一种数据复制的监控装置，用于对图1中数据复制的监控方法的具体实现，本发明实施例的数据复制的监控方法可以应用在计算机或终端的处理器中，其结构示意图如图6所示，具体包括：

确定单元201，用于确定当前执行数据复制操作的目标软件；

执行单元202，用于所述目标软件为第一复制软件时，执行第一监控操作，所述第一监控操作包括：

确定第一id集合和第二id集合；所述第一id集合包括：当前已解析至备份数据库中的各个数据的id，所述第二id集合包括：所述第一复制软件从所述备份数据库复制到开放平台的各个数据的id；

将所述第一id集合和第二id集合进行匹配，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟。

本发明提供的监控装置，通过监控已完成解析的各个数据的id及已完成数据复制的各个数据的id，对其进行匹配操作，比较第一id集合和第二id集合之间的差异，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟，从而可以及时发现数据复制过程中的复制延迟，并及时处理延迟，提升工作效率。

本发明提供的监控装置，还包括：

确定单元201，确定所述目标软件为第二复制软件时，所述执行单元202执行第二监控操作，所述第二监控操作包括：

获取服务器中生产数据库产生目标数据的第一时间戳，及所述目标数据解析至服务器中本地数据库的第二时间戳；

计算所述第一时间戳与所述第二时间戳之间的差值，当所述差值超过预设时间值时，确定所述第二复制软件将所述服务器产生的数据复制至开放平台的过程发生延迟。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在的设备执行上述数据复制的监控方法，所述方法具体包括：

确定当前执行数据复制操作的目标软件；

所述目标软件为第一复制软件时，执行第一监控操作，所述第一监控操作包括：

确定第一id集合和第二id集合；所述第一id集合包括：当前已解析至备份数据库中的各个数据的id，所述第二id集合包括：所述第一复制软件从所述备份数据库复制到开放平台的各个数据的id；

将所述第一id集合和第二id集合进行匹配，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟。

上述的方法，可选的，还包括：

所述目标软件为第二复制软件时，执行第二监控操作，所述第二监控操作包括：

获取服务器中生产数据库产生目标数据的第一时间戳，及所述目标数据解析至服务器中本地数据库的第二时间戳；

计算所述第一时间戳与所述第二时间戳之间的差值，当所述差值超过预设时间值时，确定所述第二复制软件将所述服务器产生的数据复制至开放平台的过程发生延迟。

上述的方法，可选的，所述确定第一id集合和第二id集合，包括：

读取预建立的复制状态控制表中的数据记录；

对所述数据记录进行分析，以获取所述第一id集合和第二id集合。

上述的方法，可选的，还包括：

向用户客户端及服务器分别发送第一报警信息，以提示用户及服务器数据复制过程发生延迟。

上述的方法，可选的，还包括：

将确定的第一id集合、第二id集合及计算得出的匹配度信息进行保存，以生成性能分析报表。

上述的方法，可选的，还包括：

读取所述复制状态控制表中各个已完成复制的数据的复制状态，并判断所述各个复制状态是否正常，当存在复制状态不正常的数据时，针对该数据发送第二报警信息至服务器及用户客户端。

上述的方法，可选的，还包括：

发送警告信息至监控报警平台，以提示数据复制过程发生延迟。

本发明实施例还提供了一种电子设备，其结构示意图如图7所示，具体包括存储器301，以及一个或者一个以上的程序302，其中一个或者一个以上程序302存储于存储器301中，且经配置以由一个或者一个以上处理器303执行所述一个或者一个以上程序302包含用于进行以下操作的指令：

确定当前执行数据复制操作的目标软件；

所述目标软件为第一复制软件时，执行第一监控操作，所述第一监控操作包括：

确定第一id集合和第二id集合；所述第一id集合包括：当前已解析至备份数据库中的各个数据的id，所述第二id集合包括：所述第一复制软件从所述备份数据库复制到开放平台的各个数据的id；

将所述第一id集合和第二id集合进行匹配，当匹配度小于预设匹配值时，确定所述第一复制软件将服务器产生的数据复制至开放平台的过程发生延迟。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种数据复制的监控方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。