专利名称：一种云存储系统数据备份方法及装置的制作方法
技术领域：
本发明涉及云存储技术领域，特别是涉及一种云存储系统数据备份方法及装置。
背景技术：
云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。与传统的数据存储技术相比，云存储可以实现存储完全虚拟化，大大简化应用环节，节省客户建设成本，同时，提供更强的存储和共享功能。任何地方、任何被授权用户都可以通过一根接入线与云存储连接，进行空间与数据访问，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。因此使用者使用云存储并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。云存储的出现，使得企业用户可以将大部分数据迁移到云存储系统中，这样做不仅节约了企业存储系统的成本压力，还获得云存储服务提供商所提供的各种维护服务，在一定程度上降低安全风险。然而，对于拥有大量需要实时更新数据的用户，如果由用户通过手动的方式备份大量数据，会消耗大量的人工成本。此外，如果在每次备份过程中，都是对全量数据进行备份，也会占用大量的备份时间和备份空间。
发明内容
为解决上述技术问题，本发明实施例提供一种云存储系统数据备份方法及装置，技术方案如下本发明实施例提供一种云存储系统数据备份方法，包括对客户端的目标数据集的修改情况进行记录；根据所记录的修改情况，确定所述数据集当前内容与之前已备份内容的差异部分；接收到备份操作触发指令后，对所确定的差异部分进行备份操作。根据本发明的一种具体实施方式
，所述备份操作触发指令具体为根据用户设置，在预设的时间点自动触发的备份操作指令。根据本发明的一种具体实施方式
，所述备份操作触发指令具体为对所述差异部分进行监测，当所述差异部分大于预设的阈值时，自动触发的备份操作指令。根据本发明的一种具体实施方式
，所述对所确定的差异部分进行备份操作，具体为对所确定的差异部分，利用断点续传方式进行备份操作。根据本发明的一种具体实施方式
，所述对目标数据集的修改情况进行记录，包括实时对目标数据集进行监测，记录目标数据集的修改情况。根据本发明的一种具体实施方式
，所述对目标数据集的修改情况进行记录，包括对目标数据集进行扫描，记录本次扫描结果与上次扫描结果的差异部分。根据本发明的一种具体实施方式
，所述对目标数据集进行扫描，具体为在客户端系统空闲时，对目标数据集进行扫描。本发明实施例还提供一种云存储系统数据备份装置，包括修改记录单元，用于对客户端目标数据集的修改情况进行记录；差异确定单元，用于根据所记录的修改情况，确定所述数据集当前内容与之前已备份内容的差异部分；备份单元，用于接收到备份操作触发指令后，对所确定的差异部分进行备份操作。根据本发明的一种具体实施方式
，所述备份操作触发指令具体为根据用户设置，在预设的时间点自动触发的备份操作指令。根据本发明的一种具体实施方式
，所述备份操作触发指令具体为对所述差异部分进行监测，当所述差异部分大于预设的阈值时，自动触发的备份操作指令。根据本发明的一种具体实施方式
，所述备份单元，具体用于对所确定的差异部分，利用断点续传方式进行备份操作。根据本发明的一种具体实施方式
，所述修改记录单元，具体用于实时对目标数据集进行监测，记录目标数据集的修改情况。根据本发明的一种具体实施方式
，所述修改记录单元，具体用于对目标数据集进行扫描，记录本次扫描结果与上次扫描结果的差异部分。根据本发明的一种具体实施方式
，所述修改记录单元，在客户端系统空闲时，对目标数据集进行扫描。应用本发明实施例所提供的技术方案，能够有效地管理客户端用户文件系统的备份，自动化的备份方式有效地方便了用户的操作，降低用户侧的人工成本。通过增量备份的方式，避免每次都备份大量的重复内容，从而减少备份时间和备份空间的占用。应用本发明实施例所提供的方案，对于拥有大量数据的用户使用时效果尤其明显，不但提高了数据备份的效率和准确性，而且降低了用户在存储方面的运营成本。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例云存储系统数据备份方法的一种流程图；图2为本发明实施例云存储系统数据备份装置的一种结构示意图。
具体实施例方式云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。与传统的存储设备相比，云存储系统不仅仅涉及硬件，而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心，通过应用软件来对外提供数据存储和业务访问服务。大数据(Big data)通常用来形容某个企业创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce —样的框架来向数十、数百或甚至数千的电脑分配工作，因此大数据的存储就成为了大数据管理的基础。云服务提供商可以专门为单一的企业客户提供量身定制的云存储服务方案，或者也可以由企业自己的IT机构来部署一套私有云服务架构。私有云不但能为企业用户提供最优质的贴身服务，而且还能在一定程度上降低安全风险。但对于拥有大量实时更新数据的用户，让用户通过手动的方式备份大量的数据显然是不现实的，因此对于云存储系统而言，如何方便用户操作、提高备份效率，成为一个需要解决的问题。针对上述问题，本发明实施例所提供一种云存储系统数据备份方法进行说明，其包括以下基本步骤对客户端的目标数据集的修改情况进行记录；根据所记录的修改情况，确定所述数据集当前内容与之前已备份内容的差异部分；接收到备份操作触发指令后，对所确定的差异部分进行备份操作。上述方法的执行主体，可以是云存储系统本身，也可以是位于云存储系统中的一个功能相对独立的模块，上述技术方案，能够有效地管理客户端用户文件系统的备份，自动化的备份方式有效地方便了用户的操作，降低用户侧的人工成本。通过增量备份的方式，避免每次都备份大量的重复内容，从而减少备份时间和备份空间的占用。应用本发明实施例所提供的方案，对于拥有大量数据的用户使用时效果尤其明显，不但提高了数据备份的效率和准确性，而且降低了用户在存储方面的运营成本。为了使本领域技术人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明保护的范围。图1所示，为本发明实施例所提供的云存储系统数据备份方法的流程示意图，该方法可以包括以下步骤S101，对客户端的目标数据集的修改情况进行记录；根据本发明的实施方案，云存储系统可以对客户端的文件系统进行监控，并且对该文件系统中的数据变化情况进行记录，例如文件修改、文件添加、文件删除等操作，在实际应用中，用户可以指定具体需要备份的数据对象，例如某个磁盘、某个子目录等等，在本发明实施例中，将这些需要备份的数据对象称为目标数据集。在本发明的一种实施方式中，可以实时对目标数据集进行监测，记录目标数据集的修改情况。一般对于文件系统而言，涉及的操作包括读取操作和写入操作两类，根据本发明方案的具体需求，可以仅对文件系统的写入操作进行实时监测，一旦发现文件系统有数据写入，则对写入的具体情况进行记录，例如增加、删除、修改的文件等等。在本发明的另一种实施方式中，可以通过周期性或者计划任务的方式，触发对目标数据集的扫描操作，每次扫描结束后，比较本次扫描结果与上次扫描结果的差异，就可以发现增加了那些文件、删除了哪些文件、哪些文件曾被修改过等等。其中，触发扫描的方式可以是周期性触发，或者是根据用户设置的扫描计划条件性触发。例如，可以在客户端系统空闲时，即客户端系统负载小于预设阈值时，触发对目标数据集进行扫描。S102，根据所记录的修改情况，确定所述数据集当前内容与之前已备份内容的差异部分；本发明采用的备份方案是对目标数据集进行多次备份，除第一次备份需要备份目标数据集的全部数据集之外，后续每次仅需要备份与之前已备份内容的差异部分。假设上次备份时刻为to，当前时刻为tl，那么，通过统计to到tl时间段内所记录的修改情况，就可以确定目标数据集当前内容与之前已备份内容的差异部分。所确定的差异部分，将作为下一次备份需要实际处理的内容。S103，接收到备份操作触发指令后，对所确定的差异部分进行备份操作。根据S102所确定的差异部分，将对应的数据内容从客户端上传到云存储系统，完成备份操作。其中备份操作可以以自动方式触发，例如，根据用户设置，在预设的时间点自动触发备份操作，一般而言用户可以设置在网络空闲时段(如凌晨)动触发备份操作。或者，对S102所确定的差异部分进行监测，当发现差异部分大于某个预设的阈值时，说明目标数据集相对于上次备份时已经有了较大幅度的修改，此时可以自动触发的备份操作指令。由于备份操作需要将客户端的数据通过网络连接上传至云存储系统，因此在上传数据的过程中，可以利用断点续传的方式对数据进行传输，以便在网络故障等原因导致上传失败时，可以进行有效的恢复。此外，如果当前网络繁忙，也可以将备份操作延迟至网络空闲时段执行。下面结合具体的实例，对本发明方案做进一步的说明根据本发明的实施方式，可以在客户端安装相应的备份服务，该服务在客户端成功安装并启动后，可以根据用户操作系统的需要，进入到不同的操作界面，引导用户进行相应操作。例如，windows平台用户可以通过UI执行数据自动备份的监管，Iinux用户可以通过命令行执行数据自动备份的监管。用户成功登录后，首先检查该用户是否存在备份计划，对于首次登录的用户，备份计划为空，系统将引导登录用户配置系统的备份计划，系统可以提供若干备份计划供用户选择，或者用户自己配置自己的个性化备份方案。对于非首次登录的用户，在成功登录后，可以看到上一次执行备份的时间，占用存储空间大小等信息。用户可以在操作界面进入备份计划管理模块对自动备份计划进行设置或修改，修改后的备份计划将会在系统后台执行，等待触发事件的发生。根据用户配置的备份对象，启动对目标数据集的监测功能，在后台对需要备份的文件系统进行监测，记录尚未备份的文件信息，当用户对文件进行修改，删除或者添加操作时，记录文件修改信息以及文件属性。当首次启动备份文件系统监测功能时，监测模块可以对需要备份的文件系统执行智能扫描操作，如果当前系统繁忙，则等待系统空闲时进行扫描，非首次启动文件监控系统，文件监控系统需要对整个文件系统进行扫描，在文件监测的日志中记录已做修改的文件信息，等待启动备份任务时，执行上传操作。当满足自动备份的条件时，将根据监测结果，对曾经改动过的文件进行批量上传操作。其中，用户配置自动备份计划的触发条件可能是某个时间点，或者系统文件增量大于某个阈值，当备份计划被触发时，对文件系统的上传操作或都是按照文件的增量备份方式执行，只对有改动的文件进行上传操作，首次执行上传操作时是执行完全备份。在上传过程中，可以记录上传文件的成功信息，当系统发生掉电或者存储服务不可用的错误时，在下次启动或服务可用时，从当前未完成任务继续执行上传操作，从而提高了系统的容错性。目前已有的云存储服务中，AmazonS3作为存储服务使用范围最为广泛，因此Amazon的S3服务几乎已经成为了云存储行业的标准。因此对AmazonS3服务的兼容也是对该服务标准的认可，应用本发明方案，文件系统的批量上传任务是通过调用Amazon S3的sdk接口来实现,兼容Amazon的接口可以方便用户自由迁移，对原有Amazon S3的用户，在使用本发明所提供的服务时，不需要再修改原代码，修改endpoint即可，从而为使用标准化云存储的厂商提供兼容型的便利。相应于上面的方法实施例，本发明还提供一种云存储系统数据备份装置，参见图2所示该装置可以包括修改记录单元201，用于对客户端目标数据集的修改情况进行记录；根据本发明的实施方案，云存储系统可以对客户端的文件系统进行监控，并且对该文件系统中的数据变化情况进行记录，例如文件修改、文件添加、文件删除等操作，在实际应用中，用户可以指定具体需要备份的数据对象，例如某个磁盘、某个子目录等等，在本发明实施例中，将这些需要备份的数据对象称为目标数据集。在本发明的一种实施方式中，可以实时对目标数据集进行监测，记录目标数据集的修改情况。一般对于文件系统而言，涉及的操作包括读取操作和写入操作两类，根据本发明方案的具体需求，可以仅对文件系统的写入操作进行实时监测，一旦发现文件系统有数据写入，则对写入的具体情况进行记录，例如增加、删除、修改的文件等等。在本发明的另一种实施方式中，可以通过周期性或者计划任务的方式，触发对目标数据集的扫描操作，每次扫描结束后，比较本次扫描结果与上次扫描结果的差异，就可以发现增加了那些文件、删除了哪些文件、哪些文件曾被修改过等等。其中，触发扫描的方式可以是周期性触发，或者是根据用户设置的扫描计划条件性触发。例如，可以在客户端系统空闲时，即客户端系统负载小于预设阈值时，触发对目标数据集进行扫描。差异确定单元202，用于根据所记录的修改情况，确定所述数据集当前内容与之前已备份内容的差异部分；本发明采用的备份方案是对目标数据集进行多次备份，除第一次备份需要备份目标数据集的全部数据集之外，后续每次仅需要备份与之前已备份内容的差异部分。假设上次备份时刻为to，当前时刻为tl，那么，通过统计to到tl时间段内所记录的修改情况，就可以确定目标数据集当前内容与之前已备份内容的差异部分。所确定的差异部分，将作为下一次备份需要实际处理的内容。备份单元203，用于接收到备份操作触发指令后，对所确定的差异部分进行备份操作。根据差异确定单元202所确定的差异部分，将对应的数据内容从客户端上传到云存储系统，完成备份操作。其中备份操作可以以自动方式触发，例如，根据用户设置，在预设的时间点自动触发备份操作，一般而言用户可以设置在网络空闲时段(例如凌晨)动触发备份操作。或者，对差异确定单元202所确定的差异部分进行监测，当发现差异部分大于某个预设的阈值时，说明目标数据集相对于上次备份时已经有了较大幅度的修改，此时可以自动触发的备份操作指令。由于备份操作需要将客户端的数据通过网络连接上传至云存储系统，因此在上传数据的过程中，可以利用断点续传的方式对数据进行传输，以便在网络故障等原因导致上传失败时，可以进行有效的恢复。此外，如果当前网络繁忙，也可以将备份操作延迟至网络空闲时段执行。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。以上所述仅是本发明的具体实施方式
，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种云存储系统数据备份方法，其特征在于，包括对客户端的目标数据集的修改情况进行记录；根据所记录的修改情况，确定所述数据集当前内容与之前已备份内容的差异部分； 接收到备份操作触发指令后，对所确定的差异部分进行备份操作。
2.根据权利要求1所述的方法，其特征在于，所述备份操作触发指令具体为根据用户设置，在预设的时间点自动触发的备份操作指令。
3.根据权利要求1所述的方法，其特征在于，所述备份操作触发指令具体为对所述差异部分进行监测，当所述差异部分大于预设的阈值时，自动触发的备份操作指令。
4.根据权利要求1所述的方法，其特征在于，所述对所确定的差异部分进行备份操作， 具体为对所确定的差异部分，利用断点续传方式进行备份操作。
5.根据权利要求1所述的方法，其特征在于，所述对目标数据集的修改情况进行记录， 包括实时对目标数据集进行监测，记录目标数据集的修改情况。
6.根据权利要求1所述的方法，其特征在于，所述对目标数据集的修改情况进行记录， 包括对目标数据集进行扫描，记录本次扫描结果与上次扫描结果的差异部分。
7.根据权利要求6所述的方法，其特征在于，所述对目标数据集进行扫描，具体为 在客户端系统空闲时，对目标数据集进行扫描。
8.—种云存储系统数据备份装置，其特征在于，包括修改记录单元，用于对客户端目标数据集的修改情况进行记录；差异确定单元，用于根据所记录的修改情况，确定所述数据集当前内容与之前已备份内容的差异部分；备份单元，用于接收到备份操作触发指令后，对所确定的差异部分进行备份操作。
9.根据权利要求8所述的装置，其特征在于，所述备份操作触发指令具体为根据用户设置，在预设的时间点自动触发的备份操作指令。
10.根据权利要求8所述的装置，其特征在于，所述备份操作触发指令具体为对所述差异部分进行监测，当所述差异部分大于预设的阈值时，自动触发的备份操作指令。
11.根据权利要求8所述的装置，其特征在于，所述备份单元，具体用于对所确定的差异部分，利用断点续传方式进行备份操作。
12.根据权利要求8所述的装置，其特征在于，所述修改记录单元，具体用于实时对目标数据集进行监测，记录目标数据集的修改情况。
13.根据权利要求8所述的装置，其特征在于，所述修改记录单元，具体用于对目标数据集进行扫描，记录本次扫描结果与上次扫描结果的差异部分。
14.根据权利要求6所述的装置，其特征在于，所述修改记录单元，在客户端系统空闲时，对目标数据集进行扫描。
全文摘要
本发明公开了一种云存储系统数据备份方法及装置。一种云存储系统数据备份方法包括对客户端的目标数据集的修改情况进行记录；根据所记录的修改情况，确定所述数据集当前内容与之前已备份内容的差异部分；接收到备份操作触发指令后，对所确定的差异部分进行备份操作。应用本发明实施例所提供的技术方案，能够有效地管理客户端用户文件系统的备份，自动化的备份方式有效地方便了用户的操作，降低用户侧的人工成本。通过增量备份的方式，避免每次都备份大量的重复内容，从而减少备份时间和备份空间的占用。
文档编号G06F11/14GK102999400SQ201210478748
公开日2013年3月27日 申请日期2012年11月22日 优先权日2012年11月22日
发明者苏涛, 谢朝阳, 江峰 申请人:中国电信股份有限公司云计算分公司