日志备份方法及装置制造方法
【专利摘要】本发明公开了一种日志备份方法及装置，该方法包括：启动备份一个或多个实例对应的日志文件的一个或多个备份进程；每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。采用本发明的技术方案，可以实现对日志文件的实时备份以及日志文件的中心化管理。
【专利说明】日志备份方法及装置
【技术领域】
[0001]本发明涉及数据库【技术领域】，具体涉及一种日志备份方法及装置。
【背景技术】
[0002]MySQL关系数据库的二进制日志文件用来记录所有用户对数据库的操作，因此，当数据库发生意外时，可以通过二进制日志文件查看到用户在此文件记录的时间段内用户所做的操作，再和数据库备份配合使用，即可再现用户操作，使数据库恢复。
[0003]然而，现有技术中并没有实现对二进制日志进行实时备份的方案，如果主服务器宕机，二进制日志很有可能丢失，也就无法完成数据恢复。并且，由于所有对数据库操作的记录均会被记录到二进制文件，当二进制文件长时间开启之后，日志文件就会变得很大，占用磁盘空间，现有技术中一般通过设置日志保留时长，只保留一段时间的日志，例如，MySQL使用expire_logs_days参数设置日志的过期天数,过了指定天数后，日志将被自动删除。从而导致以前的日志丢失，不会保存完整的二进制日志；或者，定期从Master (主库所在服务器)使用数据镜像备份传送命令(rsync)或者文件复制命令(scp)等类似命令拉取至中心节点保存。现有技术存在如下缺点:
[0004]( I)查找日志需要查找主库所在服务器并登录才能取得日志，没有实现日志的中
心化管理。
[0005](2)没有实现日志的实时备份，如果主库所在服务器(Master)宕机，二进制日志很有可能丢失。
[0006](3) 二进制日志记录了对数据库执行更改的所有操作以及执行数据库操作的时间和执行时间等信息，因此，一旦需要恢复某一时间点(Point-1n-time)的数据，如果没有完整的二进制日志，即使有数据库的冷备份，也无法完成数据的恢复。由于冷备份发生在数据库已经正常关闭的情况下，当正常关闭时会提供一个完整的数据库，因而，当数据库处于打开状态时执行数据库文件系统备份是无效的，并且，单独使用冷备份只能提供到某一时间点上的恢复，未备份到的时间点上的数据无法恢复。
【发明内容】
[0007]鉴于上述问题，提出了本发明以便提供一种克服现有技术缺陷，解决上述问题或者至少部分地解决上述问题的备份日志的装置和相应的备份日志的方法。
[0008]依据本发明的一个方面，提供了一种日志备份方法，包括:启动备份一个或多个实例对应的日志文件的一个或多个备份进程；每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。
[0009]其中，所述一个或多个实例对应的日志文件的元数据被记录在元数据表中，所述元数据包括:日志文件的主库信息和备份进程最后读取的日志文件的标识和时间戳；其中，所述主库信息至少包括:主库地址、端口。
[0010]进一步地，还包括:每隔预定时间检测所述一个或多个备份进程的状态，并更新所述元数据表；其中，如果检测到正常运行的备份进程，则更新所述元数据表中所述正常运行的备份进程最后读取的日志文件的标识和时间戳；或者，如果检测到中断的备份进程，则重新启动所述中断的备份进程。
[0011]进一步地，还包括:如果重新启动所述中断的备份进程成功，则更新所述元数据表中所述中断的备份进程最后读取的日志文件的标识和时间戳；或者，如果重新启动所述中断的备份进程失败，则检测所述中断的备份进程对应的实例是否进行过主库切换；其中，如果是，则更新所述元数据表中所述实例对应的日志文件的元数据，并再次重新启动所述备份进程。
[0012]进一步地，还包括:检测是否存在新增的实例，将新增的实例对应的日志文件的元数据写入所述元数据表，并启动备份所述新增的实例对应的日志文件的备份进程。
[0013]进一步地，还包括:获取存储的每一个备份进程切分出的日志文件的时间戳，并将所述切分出的日志文件的元数据写入数据库。
[0014]根据本发明的另一方面，提供了一种日志备份装置，包括:备份模块，用于启动备份一个或多个的实例对应的日志文件的一个或多个备份进程；存储模块，用于每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。
[0015]其中，所述一个或多个的实例对应的日志文件的元数据被记录在元数据表中，所述元数据包括:日志文件的主库信息和备份进程最后读取的日志文件的标识和时间戳；其中，所述主库信息至少包括:主库地址、端口。
[0016]进一步地，还包括:更新模块，用于每隔预定时间检测所述一个或多个备份进程的状态，并更新所述元数据表；进一步用于:如果检测到正常运行的备份进程，则更新所述元数据表中所述正常运行的备份进程最后读取的日志文件的标识和时间戳；或者，如果检测到中断的备份进程，则重新启动所述中断的备份进程。
[0017]进一步地，所述更新模块进一步用于:如果重新启动所述中断的备份进程成功，则更新所述元数据表中所述中断的备份进程最后读取的日志文件的标识和时间戳；或者，如果重新启动所述中断的备份进程失败，则检测所述中断的备份进程对应的实例是否进行过主库切换；其中，如果是，则更新所述元数据表中所述实例对应的日志文件的元数据，并再次重新启动所述备份进程。
[0018]进一步地，还包括:检测模块，用于检测是否存在新增的实例，将新增的实例对应的日志文件的元数据写入所述元数据表；并且，所述备份模块进一步用于启动备份所述新增的实例对应的日志文件的备份进程。
[0019]进一步地，还包括:获取模块，用于获取存储的每一个备份进程切分出的日志文件的时间戳，并将所述切分出的日志文件的元数据写入数据库。
[0020]与现有技术相比，根据本发明的技术方案存在以下有益效果:
[0021](I)可以实现对日志文件的实时备份以及完整备份，从而能够结合数据库的备份实现很长一段时间甚至是任意时间点的数据恢复。
[0022](2)便于对数据进行统计，例如，对每个业务的写入量，平台的日志增长量等进行统计。
[0023](3)实现了日志的中心化管理，能够取到指定时间的日志文件，进而快速恢复指定时间点的数据。
[0024]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】
[0025]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0026]图1示出了根据本发明一个实施例的日志备份方法的总流程图；
[0027]图2示出了根据本发明一个实施例的每隔预定时间检测每一个备份进程的状态的流程图；以及
[0028]图3示出了根据本发明一个实施例的日志备份装置的结构框图。
【具体实施方式】
[0029]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0030]本发明的技术方案可以应用于对日志文件进行备份，尤其是在MySQL关系数据库中对二进制日志进行备份。MySQL关系数据库所有对数据库执行更改的操作都记录在二进制日志中，可以通过备份二进制日志，并结合数据库的备份恢复数据库。
[0031]如图1所示，图1是根据本发明一个实施例的日志备份方法的总流程图。
[0032]在步骤SlOl处，启动备份一个或多个实例对应的日志文件的一个或多个备份进程。即，针对数据库当前运行的一个或多个实例中每一个实例，分别创建对应的备份进程，并启动该对应的备份进程。
[0033]其中，实例就是指计算机内存中处于运行状态的数据库程序，以及为这些程序分配的一些内存空间。实例是位于内存中的，只在数据库处于运行状态时才存在。实例负责实现给用户提供网络连接、读写数据文件等等各种功能。例如，该一个或多个实例可以对应主库提供的一个或多个服务。
[0034]所述一个或多个实例可以包括“ IP”(主库地址)和“端口 ”(端口号)标识。
[0035]其中，所述一个或多个实例对应的日志文件的元数据被记录在元数据表中，所述元数据包括:日志文件的主库信息和备份进程最后读取的日志文件的标识(即，当前日志文件的标识，例如当前日志文件名)和时间戳；其中，所述主库信息至少包括:主库地址、端口。如前所述，一个或多个实例可以对应主库的一个或多个服务，主库地址可以为该一个实例(服务)所在的主库的IP地址；端口，即该实例的端口号。
[0036]该元数据表可以如表I所示:
[0037]
【权利要求】
1.一种日志备份方法，其包括: 启动备份一个或多个实例对应的日志文件的一个或多个备份进程； 每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。
2.根据权利要求1所述的方法，其中，所述一个或多个实例对应的日志文件的元数据被记录在元数据表中，所述元数据包括:日志文件的主库信息和备份进程最后读取的日志文件的标识和时间戳；其中，所述主库信息至少包括:主库地址、端口。
3.根据权利要求1或2所述的方法，其中，还包括: 每隔预定时间检测所述一个或多个备份进程的状态，并更新所述元数据表；其中， 如果检测到正常运行的备份进程，则更新所述元数据表中所述正常运行的备份进程最后读取的日志文件的标识和时间戳；或者， 如果检测到中断的备份进程，则重新启动所述中断的备份进程。
4.根据权利要求3所述的方法，其中，还包括: 如果重新启动所述中断的备份进程成功，则更新所述元数据表中所述中断的备份进程最后读取的日志文件的标识和时间戳；或者， 如果重新启动所述中断的备份进程失败，则检测所述中断的备份进程对应的实例是否进行过主库切换；其中，如果是，则更新所述元数据表中所述实例对应的日志文件的元数据，并再次重新启动所述备份进程。
5.根据权利要求2-4中任一项所述的方法，其中，还包括: 检测是否存在新增的实例，将新增的实例对应的日志文件的元数据写入所述元数据表，并启动备份所述新增的实例对应的日志文件的备份进程；和/或 获取存储的每一个备份进程切分出的日志文件的时间戳，并将所述切分出的日志文件的元数据写入数据库。
6.一种日志备份装置 ，其中，包括: 备份模块，用于启动备份一个或多个的实例对应的日志文件的一个或多个备份进程；存储模块，用于每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。
7.根据权利要求6所述的装置，其中，所述备份模块还包括: 所述一个或多个的实例对应的日志文件的元数据被记录在元数据表中，所述元数据包括:日志文件的主库信息和备份进程最后读取的日志文件的标识和时间戳；其中，所述主库信息至少包括:主库地址、端口。
8.根据权利要求6或7所述的装置，其中，还包括: 更新模块，用于每隔预定时间检测所述一个或多个备份进程的状态，并更新所述元数据表；进一步用于: 如果检测到正常运行的备份进程，则更新所述元数据表中所述正常运行的备份进程最后读取的日志文件的标识和时间戳；或者， 如果检测到中断的备份进程，则重新启动所述中断的备份进程。
9.根据权利要求8所述的装置，其中，所述更新模块进一步用于: 如果重新启动所述中断的备份进程成功，则更新所述元数据表中所述中断的备份进程最后读取的日志文件的标识和时间戳；或者， 如果重新启动所述中断的备份进程失败，则检测所述中断的备份进程对应的实例是否进行过主库切换；其中，如果是，则更新所述元数据表中所述实例对应的日志文件的元数据，并再次重新启动所述备份进程。
10.根据权利要求6-9中任一项所述的装置，其中，还包括: 检测模块，用于检测是否存在新增的实例，将新增的实例对应的日志文件的元数据写入所述元数据表；并且，所述备份模块进一步用于启动备份所述新增的实例对应的日志文件的备份进程；和/或 获取模块，用于获取存储的每一个备份进程切分出的日志文件的时间戳，并将所述切分出的日志 文件的元数据写入数据库。
【文档编号】G06F17/30GK103761165SQ201410018623
【公开日】2014年4月30日 申请日期:2014年1月15日 优先权日:2014年1月15日
【发明者】黄智凯, 杨挺 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司