一种用于数据备份的方法以及装置的制造方法
【专利摘要】本申请公开了一种用于数据备份的方法，包括：向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中；获取该校验数据插入主库的时间，并将该时间作为完备时间点；将镜像数据中早于该完备时间点之前的数据记录删除；其中，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据。所述用于数据备份的方法实现简单，成本较低，并且备份数据的安全性较高。
【专利说明】
一种用于数据备份的方法以及装置
技术领域
[0001]本申请涉及数据备份技术领域，具体涉及一种用于数据备份的方法。本申请同时涉及一种用于检测主备库数据差异的方法，一种用于数据备份的装置，以及一种用于检测主备库数据差异的装置。
【背景技术】
[0002]随着近几年来业务系统的高速发展，当前的数据库管理系统(DatabaseManagement System, DBMS)也随着客户的增加、业务的增长以及业务系统的交易数和交易复杂度的增长有了大规模的提升，同时也导致了 DBMS中的数据变化更加频繁，DBMS的ACID (原子性 Atomicity、一致性 Consistency、隔离性 Isolat1n 和持久性 Durability)实现，保证了 DBMS中数据的稳定性和持久性。其中，持久性意味着在主机Host失效的时候，可以保证数据的持久一致。当前，DBMS采用的是开放的MySQL数据库产品，通过主备库进行异步数据复制来实现；主库(master)首先将数据的变化记录到二进制日志(binarylog，binlog)中，binlog记录的是数据写入主库，或者主库中的数据发生改变的事件；备库(slave)将binlog中记录的事件复制到中继日志(relay log)中；slave执行relay log中记录的事件，并以relay log中记录的数据更新自身存储的数据。在主备库进行异步数据复制的过程中，如果master突然出现异常，贝>J可能会存在slave未能及时复制master中的数据，造成数据丢失。
[0003]目前，针对上述MySQL数据库主备库进行异步数据复制造成的数据丢失，主要的解决方案是基于MySQL数据库的半同步复制模式(Sem1-synchronous Replicat1n)，所述半同步复制模式下设有一个master和至少一个slave，master执行完自身的某一事务后，设有一个延时等待，用于等待slave来执行该事务，直到有任意一个slave执行该事务，否则master会继续上述的延时等待，防止了由于master异常导致slave未能及时复制master中的数据造成的数据丢失。
[0004]上述提供的现有技术存在明显的缺陷，上述基于MySQL数据库的半同步复制模式，实现难度较大，并且在执行单条事务时增加了额外的延时等待，导致在备份数据时的耗时较长；此外，上述基于MySQL数据库的半同步复制模式，如果slave出现异常，则master无法接收slave发送的事务消息，master在延时等待结束之后，切换为异步复制模式，并一直处于异步复制模式，存在一定的缺陷。
【发明内容】
[0005]本申请提供一种用于数据备份的方法，以解决现有技术存在的数据备份耗时长和实现难度大的问题。本申请同时涉及一种用于检测主备库数据差异的方法，一种用于数据备份的装置，以及一种用于检测主备库数据差异的装置。
[0006]本申请提供一种用于数据备份的方法，包括:
[0007]向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中；
[0008]获取该校验数据插入主库的时间，并将该时间作为完备时间点；
[0009]将镜像数据中早于该完备时间点之前的数据记录删除；
[0010]其中，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据。
[0011]可选的，所述校验数据为在主库中插入的数据，相应的，该校验数据插入主库的步骤，采用下述方式:
[0012]周期性的检测在预设的时间段内是否有数据写入主库；
[0013]若是，则检测主库中是否存在所述校验数据；
[0014]若存在，以替换主库中存储的校验数据的方式将该校验数据插入主库；
[0015]若不存在，则将该校验数据插入主库；
[0016]若否，则返回所述周期性的检测在预设的时间段内是否有数据写入主库的步骤。
[0017]可选的，所述写入到主库中的数据和校验数据，通过日志方式备份至备库，相应的，所述数据和校验数据通过日志方式备份至备库的步骤，采用下述方式:
[0018]将写入主库的数据和校验数据记录到二进制日志中；
[0019]将所述二进制日志中记录的数据事件复制到中继日志中；
[0020]执行所述中继日志中记录的数据事件，并以该中继日志中记录的数据和校验数据更新备库。
[0021]可选的，所述将镜像数据中早于该完备时间点之前的数据记录删除的步骤，包括:
[0022]获取所述镜像数据写入所述存储空间的时间；
[0023]将所述镜像数据写入所述存储空间的时间与所述完备时间点进行比较，获得该镜像数据中早于完备时间点之前的数据记录；
[0024]将所述镜像数据中早于完备时间点之前的数据记录删除。
[0025]可选的，所述获取该校验数据插入主库的时间的步骤，采用下述方式:
[0026]从所述校验数据中读取该校验数据插入主库的时间，并将该时间作为所述完备时间点。
[0027]可选的，所述获取该校验数据插入主库的时间的步骤，采用下述方式:
[0028]根据所述中继日志中记录的数据事件，从所述数据事件中读取所述校验数据插入主库的时间，并将该时间作为所述完备时间点。
[0029]可选的，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据，相应的，所述数据同步写入到设定存储空间，采用下述任意一种方式:
[0030]将所述数据以本地存储的方式同步写入到设定存储空间；
[0031]将所述数据以远端存储的方式同步写入到设定存储空间。
[0032]可选的，所述存储空间包括内存和/或磁盘。
[0033]本申请另外提供一种用于检测主备库数据差异的方法，包括:
[0034]向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中；
[0035]获取该校验数据插入主库的时间，并将该时间作为完备时间点；
[0036]检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据；
[0037]若是，将所述写入主库的时间晚于所述完备时间点的数据视为主库和备库之间存在差异的数据。
[0038]可选的，所述检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据的步骤，包括:
[0039]周期性的检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据；
[0040]若是，则检测该写入主库的时间晚于所述完备时间点之后的数据在备库中是否存在；
[0041]若存在，则主库和备库之间没有存在差异的数据；
[0042]若不存在，则将所述写入主库的时间晚于所述完备时间点之后的数据视为主库和备库之间存在差异的数据。
[0043]本申请另外提供一种用于数据备份的装置，包括:
[0044]校验数据查询单元，用于向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中；
[0045]完备时间点获取单元，用于获取该校验数据插入主库的时间，并将该时间作为完备时间点；
[0046]数据记录删除单元，用于将镜像数据中早于该完备时间点之前的数据记录删除；
[0047]其中，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据。
[0048]可选的，所述校验数据为在主库中插入的数据，相应的，该校验数据通过下述单元插入主库:
[0049]数据写入检测单元，用于周期性的检测在预设的时间段内是否有数据写入主库；
[0050]若是，则进入校验数据检测单元；
[0051]若否，则返回所述数据写入检测单元；
[0052]所述校验数据检测单元，用于检测主库中是否存在所述校验数据；
[0053]若存在，以替换主库中存储的校验数据的方式将该校验数据插入主库；
[0054]若不存在，则将该校验数据插入主库。
[0055]可选的，所述写入到主库中的数据和校验数据，通过日志方式备份至备库，相应的，所述数据和校验数据通过下述单元备份至备库:
[0056]数据写入单元，用于将写入主库的数据和校验数据记录到二进制日志中；
[0057]数据复制单元，用于将所述二进制日志中记录的数据事件复制到中继日志中；
[0058]数据更新单元，用于执行所述中继日志中记录的数据事件，并以该中继日志中记录的数据和校验数据更新备库。
[0059]可选的，所述数据记录删除单元，包括:
[0060]数据写入时间获取子单元，用于获取所述镜像数据写入所述存储空间的时间；
[0061]数据比较子单元，用于将所述镜像数据写入所述存储空间的时间与所述完备时间点进行比较，获得该镜像数据中早于完备时间点之前的数据记录；
[0062]数据删除子单元，用于将所述镜像数据中早于完备时间点之前的数据记录删除。
[0063]本申请另外提供一种用于检测主备库数据差异的装置，包括:
[0064]校验数据查询单元，用于向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中；
[0065]完备时间点获取单元，用于获取该校验数据插入主库的时间，并将该时间作为完备时间点；
[0066]数据检测单元，用于检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据；
[0067]若是，则进入差异数据生成单元；
[0068]所述差异数据生成单元，用于将所述写入主库的时间晚于所述完备时间点的数据视为主库和备库之间存在差异的数据。
[0069]可选的，所述数据检测单元，包括:
[0070]第一数据检测子单元，用于周期性的检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据；
[0071]若是，则进入第二数据检测子单元；
[0072]所述第二数据检测子单元，用于检测该写入主库的时间晚于所述完备时间点之后的数据在备库中是否存在；
[0073]若存在，则主库和备库之间没有存在差异的数据；
[0074]若不存在，则将所述写入主库的时间晚于所述完备时间点之后的数据视为主库和备库之间存在差异的数据。
[0075]与现有技术相比，本申请具有以下优点:
[0076]本申请所述的用于数据备份的方法，包括:向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中；获取该校验数据插入主库的时间，并将该时间作为完备时间点；将镜像数据中早于该完备时间点之前的数据记录删除；其中，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据。
[0077]本申请所述的用于数据备份的方法，将数据备份到主库，并同时将所述数据以完整镜像的方式备份到独立于主库存储之外的存储空间，形成镜像数据，主库的数据通过日志的方式备份到备库，形成另外一个数据的备份，通过周期性的向主库插入校验数据，以及周期性的向备库查询所述校验数据在检测主库和备库之间重复的数据，将所述镜像数据中所述主库和备库之间重复的数据删除，使所述镜像数据和所述备库中的数据组成一个完整的数据备份，实现简单，成本较低，并且备份数据的安全性较高。
【附图说明】
[0078]图1是本申请实施例提供的一种用于数据备份的方法处理流程图；
[0079]图2是本申请实施例提供的一种用于检测主备库数据差异的方法处理流程图；
[0080]图3是本申请实施例提供的一种用于数据备份的装置示意图；
[0081]图4是本申请实施例提供的一种用于检测主备库数据差异的装置示意图。
【具体实施方式】
[0082]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0083]本申请提供一种用于数据备份的方法，此外，本申请还提供一种用于检测主备库数据差异的方法，一种用于数据备份的装置，以及一种用于检测主备库数据差异的装置。
[0084]本申请提供的一种用于数据备份的方法实施例如下:
[0085]参照图1，其示出了本实施例提供的一种用于数据备份的方法处理流程图。
[0086]以下结合图1对本实施例提供的一种用于数据备份的方法进行说明，并且对该方法的各个步骤进行说明；此外，本实施例提供的一种用于数据备份的方法的具体步骤之间的顺序关系请根据图1确定。
[0087]步骤S101，向备库查询校验数据。
[0088]本实施例以一种基于MySQL数据库的用于数据备份的方法为例，对本申请提供的所述用于数据备份的方法进行说明；因此，本实施例中，所述主库和备库是指MySQL数据库。
[0089]除此之外，还可以基于其他的数据库平台对本申请提供的用于数据备份的方法进行说明，在此不作限定。
[0090]所述校验数据，是指在主库中插入的数据，其中包含有特定的信息，区别于所述数据(即:待备份的数据)。
[0091]需要说明的是，在本步骤所述的向备库查询校验数据之前，包括将所述校验数据插入主库的步骤，具体实现如下:
[0092]I)周期性的检测在预设的时间段内是否有数据写入主库；
[0093]所述数据，是指待备份的数据，是由应用程序被业务系统调用后产生的有用数据，例如用户信息、交易信息等。
[0094]上述检测过程中设置周期的目的是为了减少数据的处理量，比如在深夜或者凌晨时，数据比较少，此时，校验数据的插入主库的频率大大降低。通过设置检测的周期，能够避免特殊情形下频繁将所述校验数据插入主库造成的系统资源的浪费。
[0095]若是，进入下述步骤2)，检测主库中是否存在所述校验数据；
[0096]若否，则重复该步骤，返回所述周期性的检测在预设的时间段内是否有数据写入主库的步骤。
[0097]除此之外，上述周期性的检测在预设的时间段内是否有数据插入主库的步骤还可以通过其他方法实现，比如检测在特定时间段内是否有数据写入主库，在此不作限定。
[0098]2)检测主库中是否存在所述校验数据；
[0099]若存在，以替换主库中存储的校验数据的方式将该校验数据插入主库；
[0100]若不存在，则将该校验数据插入主库；
[0101]本实施例是以覆盖替换的方式在主库中插入所述校验数据；因此，在所述校验数据插入主库之前，需要进行检测，检测主库中是否存在所述校验数据，如果检测到主库中存在校验数据，则以替换主库中存储的校验数据的方式将该数据插入主库即可；如果检测到主库中不存在校验数据，则表明该校验数据是首次插入主库中，或者主库出现异常，则直接将该校验数据插入主库即可。
[0102]此外，需要说明的是，在本步骤所述的向备库查询校验数据之前，还包括:基于MySQL数据库的主备库异步复制原理，将主库中存储的数据和校验数据通过日志方式备份至备库，具体实现如下:
[0103]将写入主库的数据和校验数据记录到binlog中；
[0104]将所述binlog中记录的数据事件复制到relay log中；
[0105]执行所述relay log中记录的数据事件，并以该relay log中记录的数据和校验数据更新备库。
[0106]上述将主库中存储的数据和校验数据复制到备库的过程中，需要花费一定的时间，基于此，当主库突然出现异常时，很可能造成主库中的数据和/或校验数据并未全部复制到备库中，导致备库中的数据和/或校验数据缺失。
[0107]本发明正是为了解决这个缺陷，在将数据写入到主库的过程中，同时将该数据写入到设定存储空间中，生成该数据的一个镜像数据。
[0108]具体的，本实施例中，将数据进行序列化，序列化为可存储的数据格式之后，将数据写入到计算机本地的存储空间中，生成该数据的一个镜像数据；其中，所述存储空间包括内存、磁盘，以及内存与磁盘二者的组合。
[0109]除此之外，还可以将该据存储到远端服务器的存储空间中，或者存储到云存储空间中，在此不做限定。
[0110]步骤S102，获取该校验数据插入主库的时间，并将该时间作为完备时间点。
[0111]本步骤得以实施的前提是上述步骤SlOl中，在备库中查询到所述校验数据。
[0112]根据上述步骤SlOl在备库中查询到的所述校验数据，获取该校验数据插入主库的时间，并将该时间作为完备时间点，具体实现如下:
[0113]在备库的数据表中找到包含有该校验数据的relay log，根据所述relay log中记录的数据事件，从所述数据事件中读该校验数据插入主库的时间，并将该校验数据插入主库的时间作为所述完备时间点。
[0114]除此之外，上述获取该校验数据插入主库的时间的步骤还可以采用其他方法实现，比如从所述校验数据自身包含的时间信息中读取该校验数据插入主库的时间，并将该时间作为所述完备时间，在此不做限定。
[0115]步骤S103，将镜像数据中早于该完备时间点之前的数据记录删除。
[0116]上述步骤S101，向备库查询校验数据，上述步骤S102，获取所述完备时间点，本步骤中，将所述镜像数据和备库二者存储的数据中相互重复的部分数据删除，即:将镜像数据中早于该完备时间点之前的数据记录删除，具体实现如下:
[0117]I)获取所述镜像数据写入所述存储空间的时间；
[0118]所述镜像数据写入所述存储空间的时间，是指所述数据写入计算机本地的存储空间时的时间。
[0119]2)将所述镜像数据写入所述存储空间的时间与所述完备时间点进行比较，获得该镜像数据中早于完备时间点之前的数据记录；
[0120]3)将所述镜像数据中早于完备时间点之前的数据记录删除。
[0121]此处，基于上述步骤I)、2)和3)，存在两种情况:
[0122]一是备库中的日志数据与主库中的日志数据相比，没有缺失；由于数据写入主库和写入所述存储空间是同步的，此时，所述完备时间点为插入主库的时间最晚的一个校验数据插入主库的时间，即:所述存储空间中的镜像数据全部都是完备时间点之前的数据，则将所述镜像数据中早于完备时间点之前的数据记录删除，即:删除存储空间中存储的全部镜像数据；
[0123]二是备库中的日志数据与主库中的日志数据相比，有一定的缺失；此时，存储空间的镜像数据中在完备时间点之前的数据为存储空间和备库二者之间重复的数据，则将存储空间中存储的镜像数据中在所述完备时间点之前的数据删除即可。
[0124]除此之外，上述将镜像数据中早于该完备时间点之前的数据记录删除的步骤还可以采用其他方法实现，在此不作限定。
[0125]本申请提供的一种用于检测主备库数据差异的方法实施例如下:
[0126]参照图2，其示出了本实施例提供的一种用于检测主备库数据差异的方法处理流程图。
[0127]以下结合图2对本实施例提供的一种用于检测主备库数据差异的方法进行说明，并且对该方法的各个步骤进行说明；此外，本实施例提供的一种用于检测主备库数据差异的方法的具体步骤之间的顺序关系请根据图2确定。
[0128]步骤S201，向备库查询校验数据。
[0129]本实施例以一种基于MySQL数据库的用于数据备份的方法为例，对本申请提供的所述用于数据备份的方法进行说明；因此，本实施例中，所述主库和备库是指MySQL数据库。
[0130]除此之外，还可以基于其他的数据库平台对本申请提供的用于数据备份的方法进行说明，在此不作限定。
[0131]所述校验数据，是指在主库中插入的数据，其中包含有特定的信息，区别于所述数据(即:待备份的数据)。
[0132]需要说明的是，在本步骤所述的向备库查询校验数据之前，包括将所述校验数据插入主库的步骤，具体实现如下:
[0133]I)周期性的检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据；
[0134]所述数据，是指待备份的数据，是由应用程序被业务系统调用后产生的有用数据，例如用户信息、交易信息等。
[0135]若是，进入下述步骤2)，检测该写入主库的时间晚于所述完备时间点之后的数据在备库中是否存在；
[0136]若否，则重复该步骤，返回所述周期性的检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据的步骤。
[0137]除此之外，上述周期性的检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据的步骤还可以通过其他方法实现，比如在特定时间段检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据，在此不作限定。
[0138]2)检测该写入主库的时间晚于所述完备时间点之后的数据在备库中是否存在；
[0139]若存在，则表明主库和备库之间没有存在差异的数据；
[0140]若不存在，则将所述写入主库的时间晚于所述完备时间点之后的数据视为主库和备库之间存在差异的数据。
[0141]此外，需要说明的是，在本步骤所述的向备库查询校验数据之前，还包括:基于MySQL数据库的主备库异步复制原理，将主库中存储的将待备份的数据以及所述验证数据通过日志方式备份至备库，具体实现如下:
[0142]将写入主库的数据和校验数据记录到binlog中；
[0143]将所述binlog中记录的数据事件复制到relay log中；
[0144]执行所述relay log中记录的数据事件，并以该relay log中记录的数据和校验数据更新备库。
[0145]此处，需要说明的是，上述将主库中的数据和校验数据复制到备库中，需要花费一定的时间，基于此，当主库突然出现异常时，很可能造成主库中的数据和校验数据并未全部复制到备库中，备库中的数据和校验数据存在缺失，本发明正是基于此来检测主库和备库之间的数据的差异。
[0146]步骤S202，获取该校验数据插入主库的时间，并将该时间作为完备时间点。
[0147]本步骤得以实施的前提是上述步骤S201中，在备库中查询到所述校验数据；
[0148]根据上述步骤S201在备库中查询到的所述校验数据，获取该校验数据插入主库的时间，并将该时间作为完备时间点，具体实现如下:
[0149]在备库的数据表中找到包含有该校验数据的relay log，根据所述relay log中记录的数据事件，从所述数据事件中读该校验数据插入主库的时间，并将该校验数据插入主库的时间作为所述完备时间点。
[0150]除此之外，上述获取该校验数据插入主库的时间的步骤还可以采用其他方法实现，比如从所述校验数据中读取该校验数据插入主库的时间，并将该时间作为所述完备时间，在此不做限定。
[0151]步骤S203，检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据。
[0152]上述步骤S201，向备库查询校验数据，上述步骤S202，获取所述完备时间点，本步骤中，检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据，即:检测主库和备库之间是否有存在差异的数据。
[0153]在上述步骤S201中所述周期的时间间隔足够短的情况下，如果检测到主库中存在写入主库的时间晚于所述完备时间点之后的数据，则表明主库和备库之间有存在差异的数据，进入下述步骤S204;
[0154]如果检测到主库中不存在写入主库的时间晚于所述完备时间点之后的数据，则表明主库和备库之间的数据完全相同，主库和备库之间没有存在差异的数据。
[0155]步骤S204，将所述写入主库的时间晚于所述完备时间点的数据视为主库和备库之间存在差异的数据。
[0156]本步骤得以实施的前提是，上述步骤S103中检测到主库中存在写入主库的时间晚于所述完备时间点之后的数据。
[0157]在上述步骤S201中所述周期的时间间隔足够短的情况下，如果检测到主库中存在写入主库的时间晚于所述完备时间点之后的数据，则表明由于主备库异步复制的时间延时，使主库和备库之间有一部分存在差异的数据，该部分存在差异的数据在主库中存在，但是还未来得及复制到备库中，将该部分存在差异的数据作为主库和备库之间存在差异的数据。
[0158]本申请提供的一种用于数据备份的装置实施例如下:
[0159]在上述的实施例中，提供了一种用于数据备份的方法，与之相对应的，本申请提供了一种用于数据备份的装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见上述方法实施例对应说明即可。下述描述的装置实施例仅仅是示意性的。
[0160]参照图3，其示出了根据本实施例提供的一种用于数据备份的装置示意图。
[0161]本申请提供的一种用于数据备份的装置，包括:
[0162]校验数据查询单元301，用于向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中；
[0163]完备时间点获取单元302，用于获取该校验数据插入主库的时间，并将该时间作为完备时间点；
[0164]数据记录删除单元303，用于将镜像数据中早于该完备时间点之前的数据记录删除；
[0165]其中，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据。
[0166]可选的，所述校验数据为在主库中插入的数据，相应的，该校验数据通过下述单元插入主库:
[0167]数据写入检测单元，用于周期性的检测在预设的时间段内是否有数据写入主库；
[0168]若是，则进入校验数据检测单元；
[0169]若否，则返回所述数据写入检测单元；
[0170]所述校验数据检测单元，用于检测主库中是否存在所述校验数据；
[0171]若存在，以替换主库中存储的校验数据的方式将该校验数据插入主库；
[0172]若不存在，则将该校验数据插入主库。
[0173]可选的，所述写入到主库中的数据和校验数据，通过日志方式备份至备库，相应的，所述数据和校验数据通过下述单元备份至备库:
[0174]数据写入单元，用于将写入主库的数据和校验数据记录到二进制日志中；
[0175]数据复制单元，用于将所述二进制日志中记录的数据事件复制到中继日志中；
[0176]数据更新单元，用于执行所述中继日志中记录的数据事件，并以该中继日志中记录的数据和校验数据更新备库。
[0177]可选的，所述数据记录删除单元303，包括:
[0178]数据写入时间获取子单元，用于获取所述镜像数据写入所述存储空间的时间；
[0179]数据比较子单元，用于将所述镜像数据写入所述存储空间的时间与所述完备时间点进行比较，获得该镜像数据中早于完备时间点之前的数据记录；
[0180]数据删除子单元，用于将所述镜像数据中早于完备时间点之前的数据记录删除。
[0181]本申请提供的一种用于检测主备库数据差异的装置实施例如下:
[0182]在上述的实施例中，提供了一种用于检测主备库数据差异的方法，与之相对应的，本申请提供了一种用于检测主备库数据差异的装置，由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见上述方法实施例对应说明即可。下述描述的装置实施例仅仅是示意性的。
[0183]参照图4，其示出了根据本实施例提供的一种用于检测主备库数据差异的装置示意图。
[0184]本申请提供的一种用于检测主备库数据差异的装置，包括:
[0185]校验数据查询单元401，用于向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中；
[0186]完备时间点获取单元402，用于获取该校验数据插入主库的时间，并将该时间作为完备时间点；
[0187]数据检测单元403，用于检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据；
[0188]若是，则进入差异数据生成单元；
[0189]所述差异数据生成单元404，用于将所述写入主库的时间晚于所述完备时间点的数据视为主库和备库之间存在差异的数据。
[0190]可选的，所述数据检测单元403，包括:
[0191]第一数据检测子单元，用于周期性的检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据；
[0192]若是，则进入第二数据检测子单元；
[0193]所述第二数据检测子单元，用于检测该写入主库的时间晚于所述完备时间点之后的数据在备库中是否存在；
[0194]若存在，则主库和备库之间没有存在差异的数据；
[0195]若不存在，则将所述写入主库的时间晚于所述完备时间点之后的数据视为主库和备库之间存在差异的数据。
[0196]本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
[0197]在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
[0198]内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
[0199]1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0200]2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
【主权项】
1.一种用于数据备份的方法，其特征在于，包括: 向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中； 获取该校验数据插入主库的时间，并将该时间作为完备时间点； 将镜像数据中早于该完备时间点之前的数据记录删除； 其中，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据。2.根据权利要求1所述的用于数据备份的方法，其特征在于，所述校验数据为在主库中插入的数据，相应的，该校验数据插入主库的步骤，采用下述方式: 周期性的检测在预设的时间段内是否有数据写入主库； 若是，则检测主库中是否存在所述校验数据； 若存在，以替换主库中存储的校验数据的方式将该校验数据插入主库； 若不存在，则将该校验数据插入主库； 若否，则返回所述周期性的检测在预设的时间段内是否有数据写入主库的步骤。3.根据权利要求1所述的用于数据备份的方法，其特征在于，所述写入到主库中的数据和校验数据，通过日志方式备份至备库，相应的，所述数据和校验数据通过日志方式备份至备库的步骤，采用下述方式: 将写入主库的数据和校验数据记录到二进制日志中； 将所述二进制日志中记录的数据事件复制到中继日志中； 执行所述中继日志中记录的数据事件，并以该中继日志中记录的数据和校验数据更新备库O4.根据权利要求1所述的用于数据备份的方法，其特征在于，所述将镜像数据中早于该完备时间点之前的数据记录删除的步骤，包括: 获取所述镜像数据写入所述存储空间的时间； 将所述镜像数据写入所述存储空间的时间与所述完备时间点进行比较，获得该镜像数据中早于完备时间点之前的数据记录； 将所述镜像数据中早于完备时间点之前的数据记录删除。5.根据权利要求1所述的用于数据备份的方法，其特征在于，所述获取该校验数据插入主库的时间的步骤，采用下述方式: 从所述校验数据中读取该校验数据插入主库的时间，并将该时间作为所述完备时间点。6.根据权利要求3所述的用于数据备份的方法，其特征在于，所述获取该校验数据插入主库的时间的步骤，采用下述方式: 根据所述中继日志中记录的数据事件，从所述数据事件中读取所述校验数据插入主库的时间，并将该时间作为所述完备时间点。7.根据权利要求1所述的用于数据备份的方法，其特征在于，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据，相应的，所述数据同步写入到设定存储空间，采用下述任意一种方式: 将所述数据以本地存储的方式同步写入到设定存储空间； 将所述数据以远端存储的方式同步写入到设定存储空间。8.根据权利要求7所述的用于数据备份的方法，其特征在于，所述存储空间包括内存和/或磁盘。9.一种用于检测主备库数据差异的方法，其特征在于，包括: 向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中； 获取该校验数据插入主库的时间，并将该时间作为完备时间点； 检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据； 若是，将所述写入主库的时间晚于所述完备时间点的数据视为主库和备库之间存在差异的数据。10.根据权利要求9所述的用于检测主备库数据差异的方法，其特征在于，所述检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据的步骤，包括: 周期性的检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据； 若是，则检测该写入主库的时间晚于所述完备时间点之后的数据在备库中是否存在； 若存在，则主库和备库之间没有存在差异的数据； 若不存在，则将所述写入主库的时间晚于所述完备时间点之后的数据视为主库和备库之间存在差异的数据。11.一种用于数据备份的装置，其特征在于，包括: 校验数据查询单元，用于向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中； 完备时间点获取单元，用于获取该校验数据插入主库的时间，并将该时间作为完备时间点； 数据记录删除单元，用于将镜像数据中早于该完备时间点之前的数据记录删除； 其中，所述镜像数据为在向主库中写入数据时，同步写入到设定存储空间的数据。12.根据权利要求11所述的用于数据备份的装置，其特征在于，所述校验数据为在主库中插入的数据，相应的，该校验数据通过下述单元插入主库: 数据写入检测单元，用于周期性的检测在预设的时间段内是否有数据写入主库； 若是，则进入校验数据检测单元； 若否，则返回所述数据写入检测单元； 所述校验数据检测单元，用于检测主库中是否存在所述校验数据； 若存在，以替换主库中存储的校验数据的方式将该校验数据插入主库； 若不存在，则将该校验数据插入主库。13.根据权利要求11所述的用于数据备份的装置，其特征在于，所述写入到主库中的数据和校验数据，通过日志方式备份至备库，相应的，所述数据和校验数据通过下述单元备份至备库: 数据写入单元，用于将写入主库的数据和校验数据记录到二进制日志中； 数据复制单元，用于将所述二进制日志中记录的数据事件复制到中继日志中； 数据更新单元，用于执行所述中继日志中记录的数据事件，并以该中继日志中记录的数据和校验数据更新备库。14.根据权利要求11所述的用于数据备份的装置，其特征在于，所述数据记录删除单元，包括: 数据写入时间获取子单元，用于获取所述镜像数据写入所述存储空间的时间； 数据比较子单元，用于将所述镜像数据写入所述存储空间的时间与所述完备时间点进行比较，获得该镜像数据中早于完备时间点之前的数据记录； 数据删除子单元，用于将所述镜像数据中早于完备时间点之前的数据记录删除。15.一种用于检测主备库数据差异的装置，其特征在于，包括: 校验数据查询单元，用于向备库查询校验数据，其中，所述校验数据为在主库中插入的数据，且在将写入到主库中的数据通过日志方式备份至备库过程中，所述校验数据同时备份到备库中； 完备时间点获取单元，用于获取该校验数据插入主库的时间，并将该时间作为完备时间点； 数据检测单元，用于检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据； 若是，则进入差异数据生成单元； 所述差异数据生成单元，用于将所述写入主库的时间晚于所述完备时间点的数据视为主库和备库之间存在差异的数据。16.根据权利要求15所述的用于检测主备库数据差异的装置，其特征在于，所述数据检测单元，包括: 第一数据检测子单元，用于周期性的检测主库中是否存在写入主库的时间晚于所述完备时间点之后的数据； 若是，则进入第二数据检测子单元； 所述第二数据检测子单元，用于检测该写入主库的时间晚于所述完备时间点之后的数据在备库中是否存在； 若存在，则主库和备库之间没有存在差异的数据； 若不存在，则将所述写入主库的时间晚于所述完备时间点之后的数据视为主库和备库之间存在差异的数据。
【文档编号】G06F11/14GK105843702SQ201510019142
【公开日】2016年8月10日
【申请日】2015年1月14日
【发明人】施云亮, 杜华兵
【申请人】阿里巴巴集团控股有限公司