一种虚拟机跨备份存储池备份的方法和装置与流程

1.本发明涉及虚拟机数据备份技术领域，具体涉及一种虚拟机跨备份存储池备份的方法和装置。


背景技术：

2.为了保持虚拟机业务运行的连续性和稳定性，避免因意外造成的数据丢失，在虚拟化平台下，通常会提供虚拟机备份等功能，作为一个数据保护基本手段。虚拟机备份能保存虚拟机任意快照点的数据和状态，可在本地或异地存储这些数据，在生产环境发生灾难或者人工操作失误时，能够利用原数据进行恢复,降低损失。但是随着虚拟化平台中虚拟机的备份数据不断增多，占用的备份存储空间也不断增加，虽然增加新的备份存储池可以缓解备份存储池容量不足的问题，但是需要将虚拟机重新备份，产生大量重复备份数据。另外，虚拟机备份数据时需要占用大量的带宽、cpu资源，并发备份时需要排队执行任务，任务执行时间长，影响备份效率。
3.虚拟化平台的备份系统的备份策略一般会将备份分为两种，全量备份和增量备份。用户可根据自身需求对虚拟机备份，采用按时备份、按天备份或者手工操作立即备份，根据虚拟机配置、状态和备份情况，系统自行选择全量或者增量备份。全量备份系统进行一次完全备份，数据全面而完整；增量备份依据备份，然后每隔一个较短时间进行一次备份，但仅备份在这个期间更改的内容，增量备份的优点是备份速度快，没有重复的备份数据，节省了磁带空间，缩短了备份时间。
4.备份操作通常使虚拟机的一个备份链上的全量备份和增量备份在同一个备份存储池。虚拟机备份时会降低业务应用程序速度，占用cpu和网络带宽，因此一般限制每个宿主机上同时备份的虚拟机数量。如果选择新的备份存储池进行备份，则必须创建新的全量备份，当虚拟机内部数据较多时，再次全量备份会耗时较长，占用较多备份存储池空间，且与之前备份重复数据较多。而且增量备份不能选择备份存储池，因此，当多个虚拟机同时备份时，备份任务只能排队等待，耗时较多且影响虚拟机操作。


技术实现要素：

5.随着虚拟化平台中虚拟机的备份数据不断增多，占用的备份存储空间也不断增加，虽然增加新的备份存储池可以缓解备份存储池容量不足的问题，但是需要将虚拟机重新备份，产生大量重复备份数据。另外，虚拟机备份数据时需要占用大量的带宽、cpu资源，并发备份时需要排队执行任务，任务执行时间长，影响备份效率，本发明提供一种虚拟机跨备份存储池备份的方法和装置。
6.本发明的技术方案是：
7.一方面，本发明技术方案提供一种虚拟机跨备份存储池备份的方法，包括如下步骤：
8.接收到下发的备份任务后，根据设定的策略选择备份存储池；
9.在选择的备份存储池执行备份操作，生成相关的备份文件；其中，相关的备份文件包括数据文件和配置文件；
10.备份完成时，创建备份索引文件为备份创建索引，并设置配置文件和备份索引文件为共享文件，根据备份索引文件查看备份链上相关的所有备份。
11.为备份增加索引信息，记录备份所在的备份存储池、对应的文件以及备份顺序，当备份需要重新选择新的备份存储池时，可以继续增量备份，利用备份索引文件查找到相关的备份文件，因此不需要在新备份存储池再次全量备份，方便用户灵活规划备份存储池。
12.优选地，设定的策略包括备份策略和调度策略，接收到下发的备份任务后，根据设定的策略选择备份存储池的步骤包括：
13.接收下发的备份任务；
14.选择备份策略；
15.选择调度策略；
16.根据选择的调度策略选择备份存储池。
17.同时设计一种智能备份的备份调度策略，根据用户需求和备份池状态，智能选择备份池，提高备份效率，促使备份服务器设备和备份池的负载均衡，减少虚拟机备份等待时间。
18.优选地，选择备份策略的步骤包括：
19.判断下发的备份任务是否为该虚拟机首次备份任务；
20.若是，选择全量备份；
21.否则，选择全量备份或增量备份。
22.虚拟机第一次创建备份时需要是全量备份；虚拟机写入数据后，再次备份时，一般选择增量备份。
23.优选地，调度策略包括效率优先，根据效率优先选择备份存储池的步骤包括：
24.获取各备份存储池正在备份的任务的数量；
25.选择正在备份的任务的数量最少的备份存储池；
26.对选择的备份存储池按照天际线算法计算写速率和读速率；
27.选择写速率和读速率均低于设定阈值的备份存储池作为备选的备份存储池；
28.备选的备份存储池是否存在；
29.若是，选择备选的备份存储池作为最优备份存储池；
30.否则，选择新的备份存储池。
31.优选地，调度策略包括节能优先，根据节能优先选择备份存储池的步骤包括：
32.获取各备份存储池的可用容量；
33.将备份存储池可用容量从低到高排序；
34.从低到高将备份存储池的可用容量与备份文件的大小进行比较；
35.选择第一个可用容量满足备份文件大小的备份存储池作为备选的备份存储池；
36.备选的备份存储池是否存在；
37.若是，选择备选的备份存储池作为最优备份存储池；
38.否则，选择新的备份存储池。
39.根据用户设置的节能优先或者效率优先策略，系统根据算法计算选择备份的存储
池，可以与之前的备份不在同一个备份存储池。
40.优选地，选择新的备份存储池的步骤之后还包括：
41.将虚拟机相关备份文件拷贝到新的备份存储池；其中虚拟机相关备份文件包括备份的备份时间节点信息、备份磁盘映射关系、备份点虚拟机配置文件和备份索引文件。
42.选择新的备份存储池之后。需要将原来备份存储池中虚拟机相关备份文件拷贝至新的备份池，包括cbt备份的备份时间节点信息，备份磁盘映射关系，备份点虚拟机配置文件等。虚拟机在新的备份存储池执行cbt增量备份，生成新的位图信息，备份完成后更新相关备份文件；位图信息在这里指的是备份索引文件。
43.优选地，创建备份索引文件为备份创建索引的步骤包括：
44.在系统数据库中建立备份索引文件；
45.当备份完成时，在备份索引文件的索引表中添加索引，记录备份所在的存储池、对应的文件以及索引；其中，全量备份的索引添加为0，其后增量备份索引添加为前一个备份的索引。
46.优选地，该方法还包括：删除存储池的备份，其中，删除全量备份的步骤包括：
47.根据索引检索所有备份存储池中虚拟机相关的备份；
48.各备份存储池并发执行删除备份任务；
49.删除完成后更新索引表。
50.优选地，该方法还包括：删除部分增量备份的步骤包括：
51.检索索引表，在备份存储池中删除对应的增量备份；
52.根据索引查询删除备份的前一个备份，进入备份所在存储池；
53.更新备份的备份时间节点信息，备份磁盘映射关系，备份点虚拟机配置文件；
54.完成后更新索引表，删除已删除的备份的索引。
55.另一方面，本发明技术方案还提供一种虚拟机跨备份存储池备份的装置，包括任务接收模块、存储池选择模块、执行操作模块、索引创建模块；
56.任务接收模块，用于接收下发的备份任务；
57.存储池选择模块，用于任务接收模块接收到下发的备份任务后，根据设定的策略选择备份存储池；
58.执行操作模块，用于在选择的备份存储池执行备份操作，生成相关的备份文件；其中，相关的备份文件包括数据文件和配置文件；
59.索引创建模块，用于备份完成时，创建备份索引文件为备份创建索引，并设置配置文件和备份索引文件为共享文件，根据备份索引文件查看备份链上相关的所有备份。
60.优选地，设定的策略包括备份策略和调度策略，存储池选择模块，用于选择备份策略，选择调度策略；根据选择的调度策略选择备份存储池。
61.优选地，该装置包括判断模块，用于判断下发的备份任务是否为该虚拟机首次备份任务；当判断模块判断下发的备份任务为该虚拟机首次备份任务时，存储池选择模块选择全量备份。
62.优选地，存储池选择模块，用于根据效率优先或节能优先选择备份存储池；
63.存储池选择模块包括任务数量获取单元、第一选择单元、计算单元、判断单元、第二选择单元；
64.任务数量获取单元，用于获取各备份存储池正在备份的任务的数量；
65.第一选择单元，用于选择正在备份的任务的数量最少的备份存储池；选择写速率和读速率均低于设定阈值的备份存储池作为备选的备份存储池；
66.计算单元，用于对选择的备份存储池按照天际线算法计算写速率和读速率；
67.判断单元，用于判断备选的备份存储池；
68.第二选择单元，用于选择备选的备份存储池作为最优备份存储池，或，选择新的备份存储池。
69.优选地，调度策略包括节能优先，存储池选择模块包括可用容量获取单元、排序单元、比较单元、
70.可用容量获取单元，用于获取各备份存储池的可用容量；
71.排序单元，用于将备份存储池可用容量从低到高排序；
72.比较单元，用于从低到高将备份存储池的可用容量与备份文件的大小进行比较；
73.第一选择单元，还用于选择第一个可用容量满足备份文件大小的备份存储池作为备选的备用存储池。
74.优选地，该装置还包括拷贝模块，用于将虚拟机相关备份文件拷贝到新的备份存储池；其中虚拟机相关备份文件包括备份的备份时间节点信息、备份磁盘映射关系、备份点虚拟机配置文件和备份索引文件。
75.优选地，索引创建模块包括文件创建单元、索引添加单元；
76.文件创建单元，用于在系统数据库中建立备份索引文件；
77.索引添加单元，用于当备份完成时，在备份索引文件的索引表中添加索引，记录备份所在的存储池、对应的文件以及索引；其中，全量备份的索引添加为0，其后增量备份索引添加为前一个备份的索引。
78.优选地，该装置还包括备份删除模块，用于删除存储池的备份；
79.备份删除模块包括检索单元、删除单元、索引表更新单元；
80.检索单元，用于根据索引检索所有备份存储池中虚拟机相关的备份；
81.删除单元，用于各备份存储池并发执行删除备份任务；
82.索引表更新单元，用于删除完成后更新索引表。
83.优选地，备份删除模块还包括查询单元、配置信息更新单元；
84.删除单元，还用于根据检索单元检索索引表，在备份存储池中删除对应的增量备份；
85.查询单元，用于根据索引查询删除备份的前一个备份，进入备份所在存储池；
86.配置信息更新单元，用于更新备份的备份时间节点信息，备份磁盘映射关系，备份点虚拟机配置文件；
87.索引表更新单元，还用于配置信息更新单元完成更新后更新索引表，删除已删除的备份的索引。
88.从以上技术方案可以看出，本发明具有以下优点：用户可以灵活规划虚拟化平台的备份存储设备和存储池，节省备份存储设备，使用新的备份池增量备份时不需要重新全量备份，减少占用的备份存储空间；虚拟机备份策略自动调度，虚拟机并发备份任务较多时，缩短备份时间，充分利用备份存储池的空间。
89.此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
90.由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
91.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
92.图1是本发明一个实施例的方法的示意性流程图。
93.图2是本发明另一个实施例的方法的示意性流程图。
94.图3是本发明一个实施例的方法中创建备份索引文件示意图。
95.图4是本发明一个实施例的装置的示意性框图。
具体实施方式
96.现在的备份操作通常使虚拟机的一个备份链的备份都在同一个备份存储池。如果选择新的备份存储池进行备份，则必须创建新的全量备份，当虚拟机内部数据较多时，再次全量备份会耗时较长，占用较多备份存储池空间，且与之前备份重复数据较多。而且增量备份不能选择备份存储池，因此，当多个虚拟机同时备份时，备份任务只能排队等待，耗时较多且影响虚拟机操作。本发明主要设计一种优化的cbt备份的方法，为备份增加索引信息，记录备份所在的备份存储池、对应的文件以及备份顺序，当备份需要重新选择备份存储池时，可以继续增量备份，利用索引文件查找到相关的备份文件，因此不需要在新选择的备份存储池再次全量备份，方便用户灵活规划备份存储池。为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。需要说明的是，cbt changing block tracing变化块追踪；skyline天际线算法，一种用于多维度数据库中计算感兴趣点的算法。
97.如图1所示，本发明实施例提供一种虚拟机跨备份存储池备份的方法，包括如下步骤：
98.步骤1：接收到下发的备份任务后，根据设定的策略选择备份存储池；
99.步骤2：在选择的备份存储池执行备份操作，生成相关的备份文件；其中，相关的备份文件包括数据文件和配置文件；
100.步骤3：备份完成时，创建备份索引文件为备份创建索引，并设置配置文件和备份索引文件为共享文件，根据备份索引文件查看备份链上相关的所有备份。
101.为备份增加索引信息，记录备份所在的备份存储池、对应的文件以及备份顺序，当备份需要重新选择新的备份存储池时，可以继续增量备份，利用备份索引文件查找到相关的备份文件，因此不需要在新备份存储池再次全量备份，方便用户灵活规划备份存储池。
102.如图2所示，在有些实施例中，设定的策略包括备份策略和调度策略，接收到下发
的备份任务后，步骤1中，根据设定的策略选择备份存储池的步骤包括：
103.步骤11：接收下发的备份任务；
104.步骤12：判断下发的备份任务是否为该虚拟机首次备份任务；若是，选择全量备份；否则，选择全量备份或增量备份；
105.步骤13：选择调度策略，根据选择的调度策略选择备份存储池；设计一种智能备份调度策略，当系统中有多个备份存储池时，用户可以选择效率优先和节能优先的备份方式对虚拟机进行备份。系统对备份存储池可用容量、并发备份数、备份存储池写速率、备份存储池读速率进行监控；
106.效率优先是指：选择有正在备份任务数最少的备份池，对备份存储池写速率和读速率按照skyline算法计算写速率和读速率都低的存储池，作为最优的备份存储池；具体的，根据效率优先选择备份存储池的步骤包括：
107.s131a：获取各备份存储池正在备份的任务的数量；
108.s132a：选择正在备份的任务的数量最少的备份存储池；
109.s133a：对选择的备份存储池按照天际线算法计算写速率和读速率；
110.s134a：选择写速率和读速率均低于设定阈值的备份存储池作为备选的备份存储池；执行步骤s135；
111.s135：备选的备份存储池是否存在；若是，执行步骤s136，否则，执行步骤s137；
112.s136：选择备选的备份存储池作为最优备份存储池；
113.s137：选择新的备份存储池。
114.虚拟机备份策略自动调度，虚拟机并发备份任务较多时，缩短备份时间，充分利用备份存储池的空间。
115.节能优先是指：将备份存储池可用容量从低到高排序，优先选择备份存储池可用容量较低的存储池作为最优的备份存储池，若容量不满足则继续选择下一个，直至满足备份；具体的，根据节能优先选择备份存储池的步骤包括：
116.s131 b：获取各备份存储池的可用容量；
117.s132b：将备份存储池可用容量从低到高排序；
118.s1313b：从低到高将备份存储池的可用容量与备份文件的大小进行比较；
119.s134b：选择第一个可用容量满足备份文件大小的备份存储池作为备选的备份存储池；执行步骤135；
120.同时设计一种智能备份的备份调度策略，根据用户需求和备份池状态，智能选择备份池，提高备份效率，促使备份服务器设备和备份池的负载均衡，减少虚拟机备份等待时间。
121.根据用户设置的节能优先或者效率优先策略，系统根据算法计算选择备份的存储池，可以与之前的备份不在同一个备份存储池。
122.需要说明的是，选择新的备份存储池的步骤之后还包括：
123.将虚拟机相关备份文件拷贝到新的备份存储池；其中虚拟机相关备份文件包括备份的备份时间节点信息、备份磁盘映射关系、备份点虚拟机配置文件和备份索引文件。
124.选择新的备份存储池之后。需要将原来备份存储池中虚拟机相关备份文件拷贝至新的备份池，包括cbt备份的备份时间节点信息，备份磁盘映射关系，备份点虚拟机配置文
件等。虚拟机在新的备份存储池执行cbt增量备份，生成新的位图信息，备份完成后更新相关备份文件；位图信息在这里指的是备份索引文件。
125.用户下发备份任务，可以根据设定备份的策略(效率优先或者节能优先)自动选择备份池(虚拟机第一次创建备份需要是全量备份)；虚拟机写入数据后，再次增量备份，根据用户设置的节能优先或者效率优先策略，系统根据算法计算选择备份的存储池(可以与之前的备份不在同一个备份存储池)；虚拟机备份，生成备份文件；系统生成对应的索引文件，备份完成。
126.如图3所示，在有些实施例中，步骤3中，创建备份索引文件为备份创建索引的步骤包括：
127.步骤31：在系统数据库中建立备份索引文件；
128.步骤32：当备份完成时，在备份索引文件的索引表中添加索引，记录备份所在的存储池、对应的文件以及索引；其中，全量备份的索引添加为0，其后增量备份索引添加为前一个备份的索引。
129.在有些实施例中，该方法还包括：删除存储池的备份，其中，删除全量备份的步骤包括：
130.步骤41a：根据索引检索所有备份存储池中虚拟机相关的备份；
131.步骤42a：各备份存储池并发执行删除备份任务；
132.步骤43a：删除完成后更新索引表。
133.相应的，该方法还包括：删除部分增量备份的步骤包括：
134.步骤41b：检索索引表，在备份存储池中删除对应的增量备份；
135.步骤42b：根据索引查询删除备份的前一个备份，进入备份所在存储池；
136.步骤43b：更新备份的备份时间节点信息，备份磁盘映射关系，备份点虚拟机配置文件；
137.步骤44b：完成后更新索引表，删除已删除的备份的索引。
138.在备份过程中创建备份索引文件，以及利用索引表管理备份的方法，实现虚拟机跨存储池备份的功能；设计一种备份策略，根据用户需求和备份池状态，智能计算虚拟机备份的存储池，在并发备份任务较多时减少等待时间，同时充分利用备份存储池的空间。
139.如图4所示，本发明实施例还提供一种虚拟机跨备份存储池备份的装置，包括任务接收模块、存储池选择模块、执行操作模块、索引创建模块；
140.任务接收模块，用于接收下发的备份任务；
141.存储池选择模块，用于任务接收模块接收到下发的备份任务后，根据设定的策略选择备份存储池；
142.执行操作模块，用于在选择的备份存储池执行备份操作，生成相关的备份文件；其中，相关的备份文件包括数据文件和配置文件；
143.索引创建模块，用于备份完成时，为备份创建索引，并设置配置文件和备份索引文件为共享文件，根据备份索引文件查看备份链上相关的所有备份。
144.设定的策略包括备份策略和调度策略，存储池选择模块，用于选择备份策略，选择调度策略；根据选择的调度策略选择备份存储池。该装置包括判断模块，用于判断下发的备份任务是否为该虚拟机首次备份任务；当判断模块判断下发的备份任务为该虚拟机首次备
份任务时，存储池选择模块选择全量备份。
145.在有些实施例中，存储池选择模块，用于根据效率优先或节能优先选择备份存储池；
146.存储池选择模块包括任务数量获取单元、第一选择单元、计算单元、判断单元、第二选择单元；
147.任务数量获取单元，用于获取各备份存储池正在备份的任务的数量；
148.第一选择单元，用于选择正在备份的任务的数量最少的备份存储池；选择写速率和读速率均低于设定阈值的备份存储池作为备选的备份存储池；
149.计算单元，用于对选择的备份存储池按照天际线算法计算写速率和读速率；
150.判断单元，用于判断备选的备份存储池；
151.第二选择单元，用于选择备选的备份存储池作为最优备份存储池，或，选择新的备份存储池。
152.调度策略包括节能优先，存储池选择模块包括可用容量获取单元、排序单元、比较单元；
153.可用容量获取单元，用于获取各备份存储池的可用容量；
154.排序单元，用于将备份存储池可用容量从低到高排序；
155.比较单元，用于从低到高将备份存储池的可用容量与备份文件的大小进行比较；
156.第一选择单元，还用于选择第一个可用容量满足备份文件大小的备份存储池作为备选的备用存储池。
157.相应的，该装置还包括拷贝模块，用于将虚拟机相关备份文件拷贝到新的备份存储池；其中虚拟机相关备份文件包括备份的备份时间节点信息、备份磁盘映射关系、备份点虚拟机配置文件和备份索引文件。
158.在有些实施例中，索引创建模块包括文件创建单元、索引添加单元；
159.文件创建单元，用于在系统数据库中建立备份索引文件；
160.索引添加单元，用于当备份完成时，在备份索引文件的索引表中添加索引，记录备份所在的存储池、对应的文件以及索引；其中，全量备份的索引添加为0，其后增量备份索引添加为前一个备份的索引。
161.在有些实施例中，该装置还包括备份删除模块，用于删除存储池的备份；
162.备份删除模块包括检索单元、删除单元、索引表更新单元；
163.检索单元，用于根据索引检索所有备份存储池中虚拟机相关的备份；
164.删除单元，用于各备份存储池并发执行删除备份任务；
165.索引表更新单元，用于删除完成后更新索引表。
166.优选地，备份删除模块还包括查询单元、配置信息更新单元；
167.删除单元，还用于根据检索单元检索索引表，在备份存储池中删除对应的增量备份；
168.查询单元，用于根据索引查询删除备份的前一个备份，进入备份所在存储池；
169.配置信息更新单元，用于更新备份的备份时间节点信息，备份磁盘映射关系，备份点虚拟机配置文件；
170.索引表更新单元，还用于配置信息更新单元完成更新后更新索引表，删除已删除
的备份的索引。
171.尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。