一种海量文件的快速备份与恢复的方法
【技术领域】
[0001]本发明属于数据存储和备份技术领域，具体支持海量文件的快速备份与恢复的方法。
【背景技术】
[0002]在互联网快速发展与云计算时代到来的背景下，基于以文件为中心的存储基础架构而运行的应用(Web服务器、电子邮件、电子记录、电子档案、数字媒体)在企业数据中正占据越来越高的比例。IDC认为，全球存储市场总出货量80%将用来存储非结构化数据，即文件数据。随着这些海量文件数据的增长，其数据备份也成为一个难题。
[0003]传统海量文件备份恢复的方法，首先要进行完整备份，将所有要备份的文件打包到一个压缩文件中，并保存备份的文件元数据信息(源位置、源文件名、修改时间、源大小)到数据库或类似数据库技术的文件中；接着进行增量备份时，将现有文件信息与保存的备份文件元数据信息进行比较，找到已经改变的文件进行打包到压缩文件中，并再次保留增量文件的元数据信息。在进行恢复时，首先要恢复完整备份，再恢复要恢复时间点之前的所有增量备份，获得相应时间点的文件。
[0004]传统海量文件备份恢复存在如下问题:
[0005](I)需要备份的文件数量越多，存放备份文件元数据信息的文件过大，如果采用小型数据库存放元数据，可能效率太低，采用大型数据库会有版权问题。自行设计结构存放，则备份时需要耗费很大系统资源，并且设计数据结构时容易存在瓶颈。
[0006](2)判断增量文件时需要结合完整备份与所有增量备份的元数据信息，随着增量备份的数量增多，越来越慢。
[0007](3)恢复时需要先恢复完整备份，再恢复增量备份，所以恢复到离完整备份近的备份点速度快，恢复到离当前时间近的备份点速度慢。
[0008](4)备份的数据格式不透明，必须通过恢复操作才能使用。
【发明内容】
[0009]本发明的目的在于克服上述现有技术中的不足，提出了支持海量文件的快速备份与恢复的方法。
[0010]本发明所涉及的支持海量文件的快速备份与恢复的方法，其主要技术步骤包括:
[0011]备份步骤:
[0012](I)先创建一个空的最新备份文件目录，进行完整备份，完整备份操作过程与一次增量备份操作过程一致。
[0013](2)增量备份时，创建一个空的增量备份时间点目录，在增量备份时间点目录存放备份文件元数据信息(源位置、文件名、修改时间、文件大小)列表，此文件仅在恢复时需要读取。
[0014](3)枚举要备份的文件，通过对需要备份的文件和最新备份文件目录中直接定位的备份文件进行对比(修改时间、文件大小)，发现文件增加、修改、删除时进行增量备份操作。在文件元数据信息列表中记录要备份文件的元数据信息。
[0015](4)增量备份操作过程如下:
[0016]文件增加，拷贝到最新备份文件目录，在最新备份文件目录中保持文件的目录结构不变；
[0017]文件删除，移动文件到上一个增量备份时间点目录，在增量备份时间点目录中保持文件的目录结构不变；
[0018]文件修改，移动文件到上一个增量备份时间点目录，拷贝当前文件到最新备份文件目录，在最新备份文件目录和增量备份时间点目录中保持文件的目录结构不变；
[0019]更新当前增量备份时间点目录中的元数据信息列表，同时记录已经备份的文件数与文件总数据量；
[0020]当备份版本数已经到限制数量时，将最早的增量备份时间点目录进行删除。
[0021]恢复步骤:
[0022](I)读取指定增量备份时间点中的文件元数据信息列表；
[0023](2)根据文件元数据信息列表中的文件恢复指定的文件；
[0024](3)先从当前增量备份时间点目录中找文件，如果找不到，则到后一个增量备份时间点目录中寻找，最后是最新备份文件目录。
[0025]与现有技术相比，本发明具有以下优点:
[0026]1.不在数据库或类似数据库技术的文件中记录备份文件元数据信息，减少系统资源消耗。在可以备份的文件数量上不会存在设计瓶颈。理论上文件系统可以存放多少文件，就可以备份多少文件。
[0027]2.随着增量备份的数量增多，在查找本次备份改变的文件上速度不会变慢。因为每次查找改变的文件都只是需要备份源文件与最新备份文件目录中的文件之间的比较。
[0028]3.通过要恢复的时间点中的元数据信息列表就可以快速找到需要恢复的文件，恢复到最新时间点近的备份点速度快，更加符合实际的使用需求。
[0029]4.可以快速的获取最新备份时间点的数据，对于某些特定应用(如PACS数据服务器、电子档案服务器)，将其数据存储路径指定为最新备份文件所在目录，就可以方便的进行数据恢复验证或数据临时接替。
【附图说明】
[0030]图1是海量文件备份与恢复的方法结构图
[0031]图2是备份原理图
[0032]图3是恢复原理图
[0033]图4是备份实施示意图
[0034]具体实施方法
[0035]下面结合附图对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0036]下面结合附图对本发明的技术方案进行详细说明。
[0037]1.海量文件备份与恢复的方法结构如图1所示，整个备份集由最新备份文件目录，增量备份时间点目录组成。
[0038]2.备份原理如图2所示，
[0039]首先，创建一个空的最新备份文件目录，然后进行完整备份，完整备份的过程与增量备份过程是一致的。
[0040]当增量备份的时间点到来时，创建空的增量备份时间点目录，枚举要备份的文件，通过对需要备份的文件和最新备份文件目录中直接定位的备份文件进行对比(修改时间、文件大小)，发现文件增加、修改、删除时进行增量备份操作。在文件元数据信息列表中记录要备份文件的元数据信息。
[0041]增量备份操作过程如下:
[0042]文件增加，拷贝到最新备份文件目录，在最新备份文件目录中保持文件的目录结构不变；
[0043]文件删除，移动文件到上一个增量备份时间点目录，在增量备份时间点目录中保持文件的目录结构不变；
[0044]文件修改，移动文件到上一个增量备份时间点目录，拷贝当前文件到最新备份文件目录，在最新备份