一种实时数据备份方法及系统的制作方法
【专利摘要】本申请公开了一种实时数据备份方法，包括：A、根据预定义的数据段阈值和源卷状态位图，以数据块为单位，源卷状态位图中的连续1序列为依据，对被监控的源卷的数据区进行分段，每个单一段称为一个数据段；B、将所述数据段通过网络传输路径传输到用于进行数据备份的存储介质；C、获取被监控的源卷的增量数据块，根据预定义的增量数据传输策略，通过所述网络传输路径将被监控的源卷的增量数据块传输到存储介质；D、接收设备更新通知，若有新增被监控的源卷，则启动针对新增被监控的源卷的块级数据拷贝，并将其通过所述网络传输路径传输到存储介质，然后返回步骤C。本申请方案能够无需重建持续数据保护任务的情况下，为新增路径下的数据提供保护。
【专利说明】一种实时数据备份方法及系统
【技术领域】
[0001]本申请涉及计算机信息存储【技术领域】，尤其涉及一种实时数据备份方法及系统。【背景技术】
[0002]随着信息时代数据容量的指数式增长，数据的价值凸显而出，但日常生活中由于各种主观或者客观的原因导致数据的损坏或者丢失的情况时有发生，这给企业和用户带来了极大的损失和不便，数据保护正变得异常的重要和紧迫。
[0003]持续数据保护(O)P, Continuous Data Protection)技术是当前比较流行，且恢复时间目标(RTO, Recovery Time Objective)和恢复点目标(RP0, Recovery PointObjective)都较高的一种实时数据保护方案,其备份原理如下:
[0004]在初始化阶段，通过块级拷贝技术生成一个完全数据副本；
[0005]在增量备份阶段，通过⑶P模块实时捕获1/0数据块生成增量数据副本。
[0006]当数据损坏后，可通过如下两种方式之一完成数据恢复:
[0007]I)选择最新时间点，在实践中，通常是与灾难发生时间间隔最近的时间点，将备份数据恢复到生产服务器中；根据恢复数据量的不同大小，恢复过程将持续几分钟、几小时甚至几天，故数据恢复通常在晚上执行；
[0008]2)选择最新时间点，在实践中，通常是与灾难发生时间间隔最近的时间点，通过iSCSI虚拟磁盘技术将备份数据挂载到生产环境中，能够实现秒级的数据恢复。
[0009]由于CDP实时数据保护是一种被动及静态的数据保护方案，它无法为新增路径下的数据提供保护。考虑下面一种情况:某用户的Windows生产服务器上的Oracle数据库存储在C、D盘上，并实施了 CDP实时保护；由于业务的发展，C、D盘的存储空间很快被占满，为此用户添加了 E盘作为数据库新的存储。然而，在实施CDP保护方案时并没有E盘同时当前的CDP保护方案也无法自动探知新增保护路径，也就无法对该盘提供保护，也即当前的数据保护是不完全的。此时，如果需要重新实施针对C、D、E盘的CDP保护方案，特别是，在已有数据量较大的情况下，将会极大的浪费存储空间和网络带宽，同时成倍的延迟备份时间，这对用户来说是无法接受的。
【发明内容】
[0010]本申请提供了一种实时数据备份方法及系统，能够为新增路径下的数据提供保护。
[0011]本申请实施例提供的一种实时数据备份方法，包括:
[0012]A、根据预定义的数据段阈值和源卷状态位图，以数据块为单位，源卷状态位图中的连续I序列为依据，对被监控的源卷的数据区进行分段，每个单一段称为一个数据段；
[0013]B、将所述数据段通过网络传输路径传输到用于进行数据备份的存储介质；
[0014]C、获取被监控的源卷的增量数据块，根据预定义的增量数据传输策略，通过所述网络传输路径将被监控的源卷的增量数据块传输到存储介质；[0015]D、接收设备更新通知，若有新增被监控的源卷，则启动针对新增被监控的源卷的块级数据拷贝，并将其通过所述网络传输路径传输到存储介质，然后返回步骤C。
[0016]较佳地，步骤A包括:
[0017]Al、获取被监控的源卷的状态位图；
[0018]A2、从头到尾遍历被监控的源卷的状态位图，在满足预设数据段阈值的条件下，选取连续的I序列所代表的数据块集合作为一个数据段。
[0019]较佳地，发送步骤D中所述的设备更新通知的方法包括:
[0020]D1、通过系统即插即用功能，实时捕获新增设备的接入消息，并将新增设备加入待监控列表；
[0021]D2、实时监视待监控列表中的待监控设备的写1/0，通过分析I/O来源及鉴别I/O属主来判断所述新增设备是否应当被并入当前的被监控的源卷，若是，发出设备更新通知。
[0022]较佳地，步骤D2包括:
[0023]D2-1、实时监视待监控列表中的待监控设备的I/O判断I/O类型是否为写，若是则继续执行D2-2，否则忽略本次I/O ；
[0024]D2-2、判断I/O是否来自待监控列表中的设备，若是则继续执行D2_3，否则忽略本次 I/o ；
[0025]D2-3、获取本次I/O的属主进程，并从属主进程属性中提取出进程名；
[0026]D2-4、将获取的进程名与当前进程监控集比较，若匹配成功则转步骤D2-5，否则忽略本次I/o ；
[0027]D2-5、将本次I/O的属主设备从待监控列表中删除，并构建被监控的源卷更新消息，所述被监控的源卷更新消息用于通知该属主设备作为新增被监控的源卷。
[0028]本申请实施例还提供了一种实时数据备份系统，由客户端和控制台组成，两者之间通过以太网连接，客户端包括源卷，所述客户端还包括:
[0029]分段模块，用于根据预定义的数据段阈值和源卷状态位图，以数据块为单位，源卷状态位图中的连续I序列为依据，对被监控的源卷的数据区进行分段，每个单一段称为一个数据段；
[0030]数据备份模块，用于将所述数据段通过网络传输路径传输到控制台；以及获取源卷的增量数据块，根据预定义的增量数据传输策略，通过所述网络传输路径将源卷的增量数据块传输到控制台；接收设备自动发现模块的设备更新通知，若有新增被监控的源卷，则启动针对新增被监控的源卷的块级数据拷贝，并将其通过所述网络传输路径传输到控制台；
[0031]设备自动发现模块，用于捕获增量数据块并缓存到本地缓存，再根据增量数据传输策略将增量数据块通过TCP/IP链路发送到控制台；捕获新增设备消息鉴别出新增被监控的源卷并将设备更新通知推送给数据备份模块。
[0032]从以上技术方案可以看出，本申请技术方案将设备发现技术与持续数据保护技术相结合，通过设备发现技术发现新增的源卷，并对新增的源卷提供持续数据保护，从而避免了重建持续数据保护任务，进一步提高了效率。
【专利附图】
【附图说明】[0033]图1为本申请实施例提供的实时数据备份方法流程示意图；
[0034]图2为本申请实施例提供的分析I/O来源及鉴别I/O属主的详细流程示意图；
[0035]图3为本申请实施例提供的实时数据备份系统示意图；
[0036]图4为图3所示的系统中的客户端的数据备份工作流程示意图。
【具体实施方式】
[0037]本申请提供的实时数据备份方法，其备份过程包括两个阶段:第一阶段，也即CDP实时数据备份，结合块级数据拷贝及CDP增量数据拷贝，使得只对有效数据块进行拷贝；所述有效数据块，是指磁盘分区(卷)设备中已被文件系统使用的物理扇区；所述物理扇区，是磁盘设备的最小数据操作单元，通常是512字节；第二阶段，在完成当前所有源卷块级拷贝后或CDP增量拷贝过程中，结合设备和/或数据自动发现技术，使得只对新增设备或新增文件进行初始块级数据拷贝，之后和原有设备一起执行CDP增量拷贝，避免了重建CDP任务，进一步提闻了效率。
[0038]为使本申请技术方案的技术原理、特点以及技术效果更加清楚，以下结合具体实施例对本申请技术方案进行详细阐述。
[0039]本申请实施例提供的实时数据备份方法流程如图1所示，包括如下步骤:
[0040]步骤101:对被监控的源卷进行分段。根据预定义的数据段大小阈值和源卷状态位图，以数据块为单位，源卷状态位图中的连续I序列为依据，对被监控的源卷的数据区进行分段，每个单一段称为一个数据段。
[0041]所述源卷，是被指定进行数据备份的一定规模的数据卷LUN，通常是用户生产系统所使用的卷，即生产卷；
[0042]所述LUN (logic unit)，是指在SCSI目标设备中具有独立执行I/O命令的实体。对于一个物理SCSI设备来讲通常是一个LUN，对于磁盘阵列控制器则包含多个LUN。
[0043]所述源卷状态位图，记录的是源卷数据块使用状态的O和I序列，一个数据块对应位图的一位，O表示对应的数据块尚未被使用，I表示对应的数据块已使用；
[0044]所述源卷数据区，是指源卷中被使用的数据块的集合，即:源卷状态位图中的I序列；
[0045]所述数据段，是指满足一定大小的、若干连续数据块的集合，即:源卷状态位图中连续I序列指向的数据块集合。
[0046]步骤102:初始化数据传输。根据步骤101中的分段结果，将数据段通过网络传输路径传输到用于进行数据备份的存储介质。
[0047]步骤103:增量数据传输。获取源卷的增量数据块，并根据预定义的增量数据传输策略，通过所述网络传输路径将源卷的增量数据块传输到存储介质。
[0048]步骤104:更新被监控的源卷:接收设备更新通知，若有新增被监控的源卷，则启动针对新增被监控的源卷的块级数据拷贝。然后返回步骤103。
[0049]较佳地，步骤101所述的源卷分段步骤，进一步包括以下子步骤:
[0050]子步骤101-1:获取被监控的源卷的状态位图；
[0051]子步骤101-2:根据子步骤101-1中的状态位图中的连续I序列对被监控的源卷的数据区进行分段，具体来讲:从头到尾遍历所述源卷的状态位图，在满足预设数据段阈值的条件下，选取连续的I序列所代表的数据块集合作为一个数据段。源卷的状态位图反映的是源卷当前的数据块使用状态，可以看成是压缩过后的源卷，压缩因子即是数据块大小，故，从状态位图中的状态位(N)转换到源卷地址(A)只需乘以压缩因子(B)即可，即:
[0052]A=NX B。
[0053]较佳地，步骤103包括以下子步骤:
[0054]子步骤103-1:实时监控的源卷的数据更新，并将增量数据块缓存在本地缓存；
[0055]子步骤103-2:基于一定的数据传输策略，将本地缓存中的数据块传输到存储介质。
[0056]所述本地缓存，是指由内存和磁盘组成的大小可配置的自定义数据块临时存储区。
[0057]较佳地，步骤104所述的更新被监控的源卷步骤，包括以下子步骤:
[0058]子步骤104-1:设备自动发现模块通过系统即插即用(PnP, Plug-and-Play)功能，实时捕获新增设备的接入消息，并将新增设备加入待监控列表。
[0059]子步骤104-2:设备自动发现模块实时监视待监控列表中的待监控设备的写1/0，通过分析I/o来源及鉴别I/O属主来判断特定的设备是否应当被并入当前被监控的源卷。
[0060]为使本领域技术人员更容易理解本申请方案，以下给出一种分析I/O来源及鉴别I/O属主的详细流程，如图2所示，包括如下步骤:
[0061]步骤201:判断I/O类 型是否为写，若是则继续执行步骤202，否则忽略本次I/O ；
[0062]步骤202:判断I/O是否来自待监控列表中的设备，若是则继续执行步骤203，否则忽略本次I/o ；
[0063]步骤203:获取本次I/O的属主进程，并从属主进程属性中提取出进程名；
[0064]步骤204:将获取的进程名与当前进程监控集比较，若匹配成功则转步骤205，否则忽略本次I/O ；
[0065]步骤205:将本次I/O的属主设备从待监控列表中删除，并构建被监控的源卷更新消息，所述被监控的源卷更新消息用于通知该属主设备作为新增被监控的源卷。
[0066]子步骤104-3:设备自动发现模块发现新增被监控的源卷后，将被监控的源卷更新信息推送给数据备份模块，由数据备份模块更新被监控的源卷路径并执行新增被监控的源卷的块级数据拷贝。
[0067]所述PnP是由Microsoft提出的，意思是系统自动侦测周边设备和板卡并自动安装设备驱动程序，做到插上就能用，无须人工干预，是Windows自带的一项技术；所谓即插即用是指将符合PNP标准的PC插卡等外围设备安装到电脑时，操作系统自动设定系统结构的技术。
[0068]所述待监控列表，是指当前系统中所有未被纳入CDP保护范围的设备列表，随着设备的接入、移除及CDP被监控的源卷的改变而改变，是一个动态更新的列表。
[0069]所述被监控的源卷更新消息，是由逗号分隔的一系列设备名组成的字符串，明确指出了哪些新增设备应该被新添加到被监控的源卷；所述设备名格式为:
[0070]/Device/HarddiskX/PartitionY(X ^ O,Y ^ I)
[0071]其中，X表示磁盘号，是大于等于O的整数'Y表示分区号，是大于O的整数；
[0072]所述进程监控集，是在创建任务时指定的进程名列表，用来进行I/O属主识别。[0073]本申请实施例提供的实时数据备份系统如图3所示，由客户端和控制台组成，两者之间通过以太网连接，采用的传输协议是TCP/IP。其中，客户端除了源卷之外，还包括:
[0074]分段模块，用于根据预定义的数据段阈值和源卷状态位图，以数据块为单位，源卷状态位图中的连续I序列为依据，对源卷数据区进行分段，每个单一段称为一个数据段；
[0075]数据备份模块，用于将所述数据段通过网络传输路径传输到控制台；以及获取源卷的增量数据块，根据预定义的增量数据传输策略，通过所述网络传输路径将源卷的增量数据块传输到控制台；接收设备自动发现模块的设备更新通知，若有新增被监控的源卷，则启动针对新增被监控的源卷的块级数据拷贝，并将其通过所述网络传输路径传输到控制台；
[0076]设备自动发现模块，用于捕获增量数据块并缓存到本地缓存，再根据增量数据传输策略将增量数据块通过TCP/IP链路发送到控制台；捕获新增设备消息鉴别出新增被监控的源卷并将设备更新通知推送给数据备份模块。
[0077]整个设备自动发现模块对控制台来说是透明的。
[0078]根据图3所示的系统，其中客户端的数据备份工作流程示意图如4所示，包括:
[0079]步骤401:枚举被监控的源卷并去除重复的被监控的源卷或监控路径，筛选出唯一监控路径集合；
[0080]步骤402:启动设备自动发现t旲块并创建或更新待监控设备列表；
[0081]步骤403:设备自动发现模块进行设备发现并对来自待监控列表中设备的I/O进行来源分析和属主鉴别，若发现新增应监控设备，通知数据备份模块更新被监控的源卷集合，转步骤401，否则继续执行步骤404 ；
[0082]步骤404:获取源卷的数据块状态位图，若所有卷都已完成初始化备份，则执行增量数据块的传输，转步骤406 ;否则，转步骤405 ；
[0083]步骤405:源卷分段，并将数据段通过网络传输路径传输到控制台。
[0084]步骤406:根据增量数据块传输策略，从本地缓存中获取增量数据块，;
[0085]步骤407:将数据段通过TCP/IP协议数据通道将数据段发送给控制台并存储在磁盘介质的相应位置，然后返回步骤401。
[0086]本申请技术方案在CDP任务执行过程进行设备自动发现，将新增应监控设备添加到当前的CDP监控集，使得CDP任务更加的灵活、高效。有了设备自动发现技术，避免了 CDP任务的重建，极大的提高了 CDP的适应性及备份效率。
[0087]以上所述仅为本申请的较佳实施例而已，并不用以限制本申请的保护范围，凡在本申请技术方案的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
【权利要求】
1.一种实时数据备份方法，其特征在于，包括: A、根据预定义的数据段阈值和源卷状态位图，以数据块为单位，源卷状态位图中的连续I序列为依据，对被监控的源卷的数据区进行分段，每个单一段称为一个数据段； B、将所述数据段通过网络传输路径传输到用于进行数据备份的存储介质； C、获取被监控的源卷的增量数据块，根据预定义的增量数据传输策略，通过所述网络传输路径将被监控的源卷的增量数据块传输到存储介质； D、接收设备更新通知，若有新增被监控的源卷，则启动针对新增被监控的源卷的块级数据拷贝，并将其通过所述网络传输路径传输到存储介质，然后返回步骤C。
2.根据权利要求1所述的方法，其特征在于，步骤A包括: Al、获取被监控的源卷的状态位图； A2、从头到尾遍历被监控的源卷的状态位图，在满足预设数据段阈值的条件下，选取连续的I序列所代表的数据块集合作为一个数据段。
3.根据权利要求1所述的方法，其特征在于，发送步骤D中所述的设备更新通知的方法包括: D1、通过系统即插即用功能，实时捕获新增设备的接入消息，并将新增设备加入待监控列表； D2、实时监视待监控列表中的待监控设备的写1/0，通过分析I/O来源及鉴别I/O属主来判断所述新增设备是否应`当被并入当前的被监控的源卷，若是，发出设备更新通知。
4.根据权利要求3所述的方法，其特征在于，步骤D2包括: D2-1、实时监视待监控列表中的待监控设备的I/O判断I/O类型是否为写，若是则继续执行D2-2，否则忽略本次I/O ； D2-2、判断I/O是否来自待监控列表中的设备，若是则继续执行D2-3，否则忽略本次I/O； D2-3、获取本次I/O的属主进程，并从属主进程属性中提取出进程名； D2-4、将获取的进程名与当前进程监控集比较，若匹配成功则转步骤D2-5，否则忽略本次 I/O ； D2-5、将本次I/O的属主设备从待监控列表中删除，并构建被监控的源卷更新消息，所述被监控的源卷更新消息用于通知该属主设备作为新增被监控的源卷。
5.一种实时数据备份系统，由客户端和控制台组成，两者之间通过以太网连接，客户端包括源卷，其特征在于，所述客户端还包括: 分段模块，用于根据预定义的数据段阈值和源卷状态位图，以数据块为单位，源卷状态位图中的连续I序列为依据，对被监控的源卷的数据区进行分段，每个单一段称为一个数据段； 数据备份模块，用于将所述数据段通过网络传输路径传输到控制台；以及获取源卷的增量数据块，根据预定义的增量数据传输策略，通过所述网络传输路径将源卷的增量数据块传输到控制台；接收设备自动发现模块的设备更新通知，若有新增被监控的源卷，则启动针对新增被监控的源卷的块级数据拷贝，并将其通过所述网络传输路径传输到控制台； 设备自动发现模块，用于捕获增量数据块并缓存到本地缓存，再根据增量数据传输策略将增量数据块通过TCP/IP链路发送到控制台；捕获新增设备消息鉴别出新增被监控的源卷并将设备更新通知推送·给数据备份模块。
【文档编号】G06F11/14GK103530204SQ201310480252
【公开日】2014年1月22日 申请日期:2013年10月15日 优先权日:2013年10月15日
【发明者】李忠文 申请人:上海爱数软件有限公司