一种基于数据块备份数据的方法与设备的制造方法
【专利摘要】本申请的目的是提供一种基于数据块备份数据的方法与设备。与现有技术相比，本申请的第一设备当获取对待备份数据的写入操作，更新所述写入操作涉及的数据块，并对所述写入操作涉及的所述数据块进行标记，然后将标记的所述数据块发送至第二设备，以更新所述第二设备中的备份数据；本申请根据待备份数据中数据发生变化的数据块来更新备份数据，避免了重新备份全部待备份数据，减少备份过程中时间的消耗及存储空间的消耗，从而提高备份效率。
【专利说明】
一种基于数据块备份数据的方法与设备
技术领域
[0001 ]本申请涉及计算机领域，尤其涉及一种基于数据块备份数据的技术。
【背景技术】
[0002]随着云计算、大数据、电子商务等的爆炸式发展，存储介质的存储空间不断地增大，所存储的数据也在不断地以几何数量级增长。数据量大而且价值高，保护数据过程中对数据的同步效率的要求成为企业需要解决的问题。现有备份行业面临大数据量时存在如下问题:
[0003](I)数据存储空间的增加。随着云计算，大数据，社交和移动平台的发展，企业接触到的数据呈现爆炸性的增长趋势。为了备份、保护这些数据，企业需要购置足够多的备份存储设备，从而增加了企业的存储硬件的资本支出。
[0004](2)数据拷贝数量的增加。企业内正常业务生产数据产生的越来越快，容量越来越大，备份一份生产数据用于数据保护所消耗的I/O也随之加大；同时，加大了备份的时间成本。以上两者均会在某种程度上影响到业务生产系统的正常运行。
[0005](3)数据获取及发送流程的复杂性增加。随着新兴互联网业务不断的拓展，业务数据的获取与发送环境变得非常繁杂。对备份管理、操作人员的技术水平要求提高；同时加大了相关人员的工作量，效率随之降低。海量数据的发送与集中管控对设备与人员也提出了更高的要求。
【发明内容】
[0006]本申请的一个目的是提供一种基于数据块备份数据的方法与设备。
[0007]根据本申请的一个方面，提供了一种在第一设备端基于数据块备份数据的方法，其中，该方法包括:
[0008]获取待备份数据的各数据块的块信息，其中，所述待备份数据包括若干个所述数据块；
[0009]当获取对所述待备份数据的写入操作，更新所述写入操作涉及的所述数据块，并对所述写入操作涉及的所述数据块进行标记，记录所述写入操作对应的时间信息；
[0010]将标记的所述数据块发送至第二设备，清除所述数据块的标记。
[0011]根据本申请的另一个方面，还提供了一种在第二设备端基于数据块备份数据的方法，其中，所述方法包括:
[0012]获取第一设备发送的数据块；
[0013]根据所述数据块更新备份数据，其中，所述备份数据包括若干个所述数据块。
[0014]根据本申请的又一个方面，还提供了一种基于数据块备份数据的第一设备，其中，该设备包括:
[0015]第一装置，用于获取待备份数据的各数据块的块信息，其中，所述待备份数据包括若干个所述数据块；
[0016]第二装置，用于当获取对所述待备份数据的写入操作，更新所述写入操作涉及的所述数据块，并对所述写入操作涉及的所述数据块进行标记，记录所述写入操作对应的时间信息；
[0017]第三装置，用于将标记的所述数据块发送至第二设备，清除所述数据块的标记。
[0018]根据本申请的再一个方面，还提供了一种基于数据块备份数据的第二设备，其中，所述设备包括:
[0019]第七装置，用于获取第一设备发送的数据块；
[0020]第八装置，用于根据所述数据块更新备份数据，其中，所述备份数据包括若干个所述数据块。
[0021]与现有技术相比，本申请的第一设备当获取对待备份数据的写入操作，更新所述写入操作涉及的数据块，并对所述写入操作涉及的所述数据块进行标记，然后将标记的所述数据块发送至第二设备，以更新所述第二设备中的备份数据;本申请根据待备份数据中数据发生变化的数据块来更新备份数据，避免了重新备份全部待备份数据，减少备份过程中时间的消耗及存储空间的消耗，从而提高备份效率。
【附图说明】
[0022]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显:
[0023]图1示出根据本申请一个方面的一种基于数据块备份数据的系统拓扑图；
[0024]图2示出根据本申请一个实施例的一种根据块信息建立数据块相关的位图的示意图；
[0025]图3示出根据本申请另一个实施例的一种从第一设备向第二设备发送被标记的数据块的示意图；
[0026]图4示出根据本申请另一个方面的一种基于数据块备份数据的第一设备与第二设备的不意图；
[0027]图5示出根据本申请一个优选实施例的一种基于数据块备份数据的第一设备与第一.设备的不意图；
[0028]图6示出根据本申请又一个方面的一种基于数据块备份数据的方法流程图；
[0029]图7示出根据本申请一个优选实施例的一种基于数据块备份数据的方法流程图。
[0030]附图中相同或相似的附图标记代表相同或相似的部件。
【具体实施方式】
[0031]下面结合附图对本申请作进一步详细描述。
[0032]在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
[0033]内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
[0034]计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0035]图1示出根据本申请一个方面的一种基于数据块备份数据的系统拓扑图，其中包括第二设备2以及多个与之经由网络相连接的第一设备I。其中，第二设备2可与多个第一设备I经由网络相连接，第一设备I当获取对待备份数据的写入操作，更新所述写入操作涉及的数据块，并对所述写入操作涉及的所述数据块进行标记，然后将标记的所述数据块发送至第二设备2，清除所述数据块的标记;第二设备2获取第一设备I发送的数据块，根据所述数据块更新备份数据。
[0036]在此，所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。另外，第二设备2可以是一台服务器，也可以是通过局域网连接的多台服务器或者通过互联网连接的多台服务器，还可以是由多台服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。而第一设备I可以是任意一种可以进行网络通信的终端，包括但不限于计算机、服务器、手机、平板电脑或笔记本电脑。第一设备I与第二设备2之间的通信相互独立，可以是基于诸如TCP/IP协议、UDP协议等的分组数据传输。本领域技术人员应能理解上述第二设备2、第一设备I以及连接其间的网络及通信方式仅为举例，其他现有的或今后可能出现的第一设备、第二设备、网络或通信方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
[0037]本领域技术人员还应能理解，图1中仅为简明起见而示出的各类网络元素的数量可能小于一个实际网络中的数量，但这种省略无疑地是以不会影响对本发明进行清楚、充分的公开为前提的。为简明起见，下面以第二设备2及一个第一设备I组成的系统为例进行描述。
[0038]图4示出根据本申请另一个方面的一种基于数据块备份数据的第一设备与第二设备的示意图，包括第一设备I和第二设备2。其中，第一设备I包括第一装置101、第二装置102和第三装置103;第二设备2包括第七装置207和第八装置208。
[0039]首先，第一设备I的第一装置101获取待备份数据的各数据块的块信息，其中，所述待备份数据包括若干个所述数据块;第一设备I的第二装置102当获取对所述待备份数据的写入操作，更新所述写入操作涉及的所述数据块，并对所述写入操作涉及的所述数据块进行标记，记录所述写入操作对应的时间信息；第一设备I的第三装置103将标记的所述数据块发送至第二设备2，清除所述数据块的标记。
[0040]例如，所述第一设备I可以是被保护的设备，所述待备份数据存储于所述第一设备I中；所述待备份数据可以包括若干个文件，每个文件包括若干个所述数据块。在此，通过操作系统的文件系统将文件在整个系统中所占有的块信息全部收集起来并建立数据块相关的位图(参照图2)。当文件中的一个或多个数据块发生数据写入操作时，该一个或多个数据块便被标记为“脏”；当该一个或多个数据块的数据内容被成功发送至存储备份数据的所述第二设备2后，该一个或多个数据块的位图的“脏”位被清除。此外，通过记录所述写入操作对应的时间信息，可以方便对所述待备份数据的管理。在优选的实施例中，当达到文件某个数据一致性点(例如内存中的临时数据被写入磁盘保存)时，根据文件所属文件系统的数据块的数据地址的先后顺序(参照图3)，将标记为“脏”的数据块发送至所述第二设备2。
[0041]优选地，所述块信息包括以下至少任一项:所述数据块的物理位置信息;所述数据块的编号信息。
[0042]例如，通过查找每个文件在文件系统中所占有的簇(操作系统中磁盘文件存储管理的最小单位)的相关信息，以获取所述块信息。如此，便得到了所述数据块的物理位置信息;所述数据块的编号信息即包括簇的编号。
[0043]接着，第二设备2的第七装置207获取第一设备I发送的数据块;第二设备2的第八装置208根据所述数据块更新备份数据，其中，所述备份数据包括若干个所述数据块。
[0044]在此，仅获取待备份数据中数据发生变化的数据块，并据此更新备份数据，而无需重新备份全部待备份数据，减少备份过程中时间的消耗及存储空间的消耗，从而提高备份效率。当更新备份数据成功或失败后，向所述第一设备I发送所述备份数据保存的状态(例如成功或失败)。
[0045]图5示出根据本申请一个优选实施例的一种基于数据块备份数据的第一设备与第二设备的示意图，包括第一设备I和第二设备2。其中，第一设备I包括第一装置101，、第二装置102’、第三装置103’、第四装置104’、第五装置105’和第六装置106’ ；第二设备2包括第七装置207’、第八装置208’、第九装置209’和第十装置210’。
[0046]在此，所述第一设备I的第一装置101’、第二装置102’、第三装置103’与图4中第一设备I的第一装置101、第二装置102、第三装置103内容相同或基本相同，所述第二设备2的第七装置207’、第八装置208’与图4中第二设备2的第七装置207’、第八装置208’内容相同或基本相同，为简明起见，不再赘述。
[0047]具体地，第一设备I的第四装置104’向所述第二设备2发送恢复数据块请求;第二设备2的第九装置209’获取所述第一设备I发送的恢复数据块的请求;第二设备2的第十装置210’根据所述恢复数据块的请求，向所述第一设备I提供所述恢复数据块请求对应的所述数据块;第一设备I的第五装置105’获取所述第二设备2提供的所述恢复数据块请求对应的所述数据块;第一设备I的第六装置106 ’根据所述恢复数据块请求对应的所述数据块，更新所述待备份数据。
[0048]在此，根据所述备份数据恢复所述待备份数据，达到保护所述第一设备I中待备份数据的目的。
[0049]优选地，所述第二设备2还包括第十一装置(图中未示出)；所述第十一装置获取并记录待备份数据的各数据块在所述第一设备上的块信息、备份数据的各数据块在所述第二设备上的块信息，以及待备份数据的各数据块在所述第一设备上的块信息与备份数据的各数据块在所述第二设备上的块信息之间的一一对应关系。
[0050]例如，在所述第二设备2上也有一套与所述第一设备I对应的所述数据块相关的位图信息(参照图2)。所述第二设备2中的备份数据与所述第一设备I中的待备份数据具有相同数量的所述数据块，且所述备份数据中的所述数据块与所述待备份数据中的所述数据块为一一对应关系，但两者的数据块的物理位置信息或编号信息可以相同或不同。
[0051]图6示出根据本申请又一个方面的一种基于数据块备份数据的方法流程图，其中，该方法包括步骤SlOl、步骤S102、步骤S103、步骤S207和步骤S208。
[0052]首先，在步骤SlOl中，第一设备I获取待备份数据的各数据块的块信息，其中，所述待备份数据包括若干个所述数据块;在步骤S102中，第一设备I当获取对所述待备份数据的写入操作，更新所述写入操作涉及的所述数据块，并对所述写入操作涉及的所述数据块进行标记，记录所述写入操作对应的时间信息;在步骤S103中，第一设备I将标记的所述数据块发送至第二设备2，清除所述数据块的标记。
[0053]例如，所述第一设备I可以是被保护的设备，所述待备份数据存储于所述第一设备I中；所述待备份数据可以包括若干个文件，每个文件包括若干个所述数据块。在此，通过操作系统的文件系统将文件在整个系统中所占有的块信息全部收集起来并建立数据块相关的位图(参照图2)。当文件中的一个或多个数据块发生数据写入操作时，该一个或多个数据块便被标记为“脏”；当该一个或多个数据块的数据内容被成功发送至存储备份数据的所述第二设备2后，该一个或多个数据块的位图的“脏”位被清除。此外，通过记录所述写入操作对应的时间信息，可以方便对所述待备份数据的管理。在优选的实施例中，当达到文件某个数据一致性点(例如内存中的临时数据被写入磁盘保存)时，根据文件所属文件系统的数据块的数据地址的先后顺序(参照图3)，将标记为“脏”的数据块发送至所述第二设备2。
[0054]优选地，所述块信息包括以下至少任一项:所述数据块的物理位置信息;所述数据块的编号信息。
[0055]例如，通过查找每个文件在文件系统中所占有的簇(操作系统中磁盘文件存储管理的最小单位)的相关信息，以获取所述块信息。如此，便得到了所述数据块的物理位置信息;所述数据块的编号信息即包括簇的编号。
[0056]接着，在步骤S207中，第二设备2获取第一设备I发送的数据块;在步骤S208中，第二设备2根据所述数据块更新备份数据，其中，所述备份数据包括若干个所述数据块。
[0057]在此，仅获取待备份数据中数据发生变化的数据块，并据此更新备份数据，而无需重新备份全部待备份数据，减少备份过程中时间的消耗及存储空间的消耗，从而提高备份效率。当更新备份数据成功或失败后，向所述第一设备I发送所述备份数据保存的状态(例如成功或失败)。
[0058]图7示出根据本申请一个优选实施例的一种基于数据块备份数据的方法流程图，其中，该方法包括步骤S101’、步骤S102’、步骤S103’、步骤S104’、步骤S105’、步骤S106’、步骤S207’、步骤S208’、步骤S209’和步骤S210’。
[0059]在此，所述步骤S101’、步骤S102’、步骤S103’与图6中步骤SlOl、步骤S102、步骤S103内容相同或基本相同，所述步骤S207’、步骤S208’与图6中步骤S207、步骤S208内容相同或基本相同，为简明起见，不再赘述。
[0060]具体地，在步骤S104，中，第一设备I向所述第二设备2发送恢复数据块请求;在步骤S209’中，第二设备2获取所述第一设备I发送的恢复数据块的请求;在步骤S210’中，第二设备2根据所述恢复数据块的请求，向所述第一设备I提供所述恢复数据块请求对应的所述数据块;在步骤S105 ’中，第一设备I获取所述第二设备2提供的所述恢复数据块请求对应的所述数据块;在步骤S106 ’中，第一设备I根据所述恢复数据块请求对应的所述数据块，更新所述待备份数据。
[0061 ]在此，根据所述备份数据恢复所述待备份数据，达到保护所述第一设备I中待备份数据的目的。
[0062]优选地，所述方法还包括:第二设备2获取并记录待备份数据的各数据块在所述第一设备上的块信息、备份数据的各数据块在所述第二设备上的块信息，以及待备份数据的各数据块在所述第一设备上的块信息与备份数据的各数据块在所述第二设备上的块信息之间的对应关系。
[0063]例如，在所述第二设备2上也有一套与所述第一设备I对应的所述数据块相关的位图信息(参照图2)。所述第二设备2中的备份数据与所述第一设备I中的待备份数据具有相同数量的所述数据块，且所述备份数据中的所述数据块与所述待备份数据中的所述数据块为一一对应关系，但两者的数据块的物理位置信息或编号信息可以相同或不同。
[0064]与现有技术相比，本申请的第一设备当获取对待备份数据的写入操作，更新所述写入操作涉及的数据块，并对所述写入操作涉及的所述数据块进行标记，然后将标记的所述数据块发送至第二设备，以更新所述第二设备中的备份数据;本申请根据待备份数据中数据发生变化的数据块来更新备份数据，避免了重新备份全部待备份数据，减少备份过程中时间的消耗及存储空间的消耗，从而提高备份效率。
[0065]需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
[0066]另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
[0067]对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此夕卜，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
【主权项】
1.一种在第一设备端基于数据块备份数据的方法，其中，该方法包括: 获取待备份数据的各数据块的块信息，其中，所述待备份数据包括若干个所述数据块；当获取对所述待备份数据的写入操作，更新所述写入操作涉及的所述数据块，并对所述写入操作涉及的所述数据块进行标记，记录所述写入操作对应的时间信息； 将标记的所述数据块发送至第二设备，清除所述数据块的标记。2.根据权利要求1所述的方法，其中，所述块信息包括以下至少任一项: 所述数据块的物理位置信息； 所述数据块的编号信息。3.根据权利要求1或2所述的方法，其中，所述方法还包括: 向所述第二设备发送恢复数据块请求； 获取所述第二设备提供的所述恢复数据块请求对应的所述数据块； 根据所述恢复数据块请求对应的所述数据块，更新所述待备份数据。4.一种在第二设备端基于数据块备份数据的方法，其中，所述方法包括: 获取第一设备发送的数据块； 根据所述数据块更新备份数据，其中，所述备份数据包括若干个所述数据块。5.根据权利要求4所述的方法，其中，所述方法还包括: 获取所述第一设备发送的恢复数据块的请求； 根据所述恢复数据块的请求，向所述第一设备提供所述恢复数据块请求对应的所述数据块。6.根据权利要求4或5所述的方法，其中，所述方法还包括: 获取并记录待备份数据的各数据块在所述第一设备上的块信息、备份数据的各数据块在所述第二设备上的块信息，以及待备份数据的各数据块在所述第一设备上的块信息与备份数据的各数据块在所述第二设备上的块信息之间的一一对应关系。7.一种基于数据块备份数据的第一设备，其中，该设备包括: 第一装置，用于获取待备份数据的各数据块的块信息，其中，所述待备份数据包括若干个所述数据块； 第二装置，用于当获取对所述待备份数据的写入操作，更新所述写入操作涉及的所述数据块，并对所述写入操作涉及的所述数据块进行标记，记录所述写入操作对应的时间信息; 第三装置，用于将标记的所述数据块发送至第二设备，清除所述数据块的标记。8.根据权利要求7所述的设备，其中，所述块信息包括以下至少任一项: 所述数据块的物理位置信息； 所述数据块的编号信息。9.根据权利要求7或8所述的设备，其中，所述设备还包括: 第四装置，用于向所述第二设备发送恢复数据块请求； 第五装置，用于获取所述第二设备提供的所述恢复数据块请求对应的所述数据块； 第六装置，用于根据所述恢复数据块请求对应的所述数据块，更新所述待备份数据。10.一种基于数据块备份数据的第二设备，其中，所述设备包括: 第七装置，用于获取第一设备发送的数据块； 第八装置，用于根据所述数据块更新备份数据，其中，所述备份数据包括若干个所述数据块。11.根据权利要求10所述的设备，其中，所述设备还包括: 第九装置，用于获取所述第一设备发送的恢复数据块的请求； 第十装置，用于根据所述恢复数据块的请求，向所述第一设备提供所述恢复数据块请求对应的所述数据块。12.根据权利要求10或11所述的设备，其中，所述设备还包括: 第十一装置，用于获取并记录待备份数据的各数据块在所述第一设备上的块信息、备份数据的各数据块在所述第二设备上的块信息，以及待备份数据的各数据块在所述第一设备上的块信息与备份数据的各数据块在所述第二设备上的块信息之间的一一对应关系。
【文档编号】G06F11/14GK105868053SQ201610181419
【公开日】2016年8月17日
【申请日】2016年3月28日
【发明人】盛杰, 李玉亮, 杨浩前
【申请人】上海上讯信息技术股份有限公司