基于云平台的自动数据备份系统、方法及装置与流程

1.本发明涉及基于数据备份技术领域，具体为基于云平台的自动数据备份系统、方法及装置。


背景技术：

2.数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程，传统的数据备份主要是采用内置或外置的磁带机进行冷备份，但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长，随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份，网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现；
3.但是目前基于云平台的数据备份中，没有对重复数据进行筛选，导致不断备份后，重复数据占用较多的备份空间，不仅导致备份空间利用率降低，对于备份数据的管理和备份数据的恢复也较为麻烦。


技术实现要素：

4.本发明提供基于云平台的自动数据备份系统、方法及装置，可以有效解决上述背景技术中提出目前基于云平台的数据备份中，没有对重复数据进行筛选，导致不断备份后，重复数据占用较多的备份空间，不仅导致备份空间利用率降低，对于备份数据的管理和备份数据的恢复也较为麻烦的问题。
5.为实现上述目的，本发明提供如下技术方案：基于云平台的自动数据备份系统，包括备份设置模块、备份模块、标签模块和筛选分析模块；
6.所述筛选分析模块包括重复筛选单元、分析评估单元和删除单元；
7.所述重复筛选单元定时识别备份模块中的重复文件；
8.所述分析评估单元根据重复文件的筛选结果计算综合备份值和筛选耗费值；
9.所述删除单元根据分析评估结果对多余重复文件进行删除；
10.所述综合备份值通过下式计算得出：
[0011][0012]
式中，h为综合备份值；
[0013]
m为备份文件总容量；
[0014]
m1为需要删除的重复文件容量；
[0015]
k为删除重复文件前，备份文件标签个数；
[0016]
k1为删除重复文件后，备份文件标签个数；
[0017]
f为删除重复文件前，备份文件的恢复难度；
[0018]
f1为删除重复文件后，备份文件的恢复难度；
[0019]
t为删除重复文件前，数据恢复预测时长；
[0020]
t1为删除重复文件后，数据恢复预测时长；
[0021]
t为筛选耗费值；
[0022]
所述m和m1的单位为mb；
[0023]
所述文件的恢复难度为专家根据国际标准share78对备份文件恢复难度的评分，评分分值为1-7分；
[0024]
所述t和t1的单位为s；
[0025]
综合备份值h的计算结果大于等于则删除重复数据；
[0026]
综合备份值h的计算结果小于则保留重复数据；
[0027]
筛选耗费值t为筛选重复数据时耗费的资源，筛选耗费值的计算公式：
[0028]
t＝(k-k1)lnt2+(2t3)2+4t3；
[0029]
式中，t2为重复文件识别的时长；
[0030]
k为删除重复文件前，标签个数；
[0031]
k1为删除重复文件后，标签个数；
[0032]
t3为多余重复文件删除的时长；
[0033]
所述t2和t3的单位为s。
[0034]
根据上述技术方案，所述备份设置模块对需要备份的文件进行选择，设置备份的周期时长；
[0035]
所述备份模块按照设置的周期时长自动备份文件；
[0036]
所述标签模块每次备份后添加备份标签，标签内部包括备份时间、备份文件名称和文件容量；
[0037]
所述筛选分析模块识别重复文件，对重复文件进行分析，并删除多余的重复文件。
[0038]
根据上述技术方案，所述备份设置模块包括云备份库，所述云备份库包括备份数据库、共享数据库和回收数据库；
[0039]
所述备份数据库接收备份数据，并存储备份数据，共享数据库存储保留下来的重复数据组，回收数据库保存删除的重复数据；
[0040]
共享数据库的存储空间是备份数据库存储空间的十分之一，回收数据库的存储空间是备份数据库存储空间的十分之一，回收数据库存储满后，自动清空数据。
[0041]
根据上述技术方案，基于云平台的自动数据备份系统的数据恢复方法，步骤如下：
[0042]
s1、首先通过设置模块设置自动备份的时间周期，备份模块在设置的时间周期进行文件备份；
[0043]
s2、标签模块对备份的文件设置备份标签，标签内容包括备份时间、文件名称和文件容量；
[0044]
s3、重复筛选单元对备份文件中的内容完全重复的文件进行筛选；
[0045]
s4、分析评估单元根据备份和筛选的重复文件进行计算，确定综合备份值和筛选耗费值；
[0046]
s5、根据计算结果，对需要删除的多余重复文件进行删除；
[0047]
s6、对备份文件内的数据划分成数据组，为每个数据组设置名称，将多个文件的数据组进行比较，查看重复次数；
[0048]
s7、数据组重复次数是文件个数的0.5-1倍时，则在重复数据组中选择一个保留，删除剩余的重复数据组，并在删除位置标记数据组的名称。
[0049]
根据上述技术方案，所述s6中，数据组的划分先将重复部分全部划分为初始数据组，再将两个初始数据组重复的数据划分为一个新的数据组；
[0050]
所述s7中，数据组确定删除后，在备份模块新建共享数据库，将保留下来的数据组存储至共享数据库中；
[0051]
备份文件恢复时，识别文件中标记的数据组的名称，则在共享数据库中，根据数据组的名称调出对应的数据组。
[0052]
根据上述技术方案，一种数据备份装置，根据数据备份系统或方法任一步骤制成的终端装置。
[0053]
与现有技术相比，本发明的有益效果：
[0054]
1、通过设置标签模块和筛选分析模块，将备份的文件设置标签，便于查找，对备份文件中的重复文件进行筛选，计算综合备份值和筛选耗费值，通过在空间、耗时、恢复难度和恢复时长进行分析，更加全面的了解重复文件备份和删除带来的消耗，分析选择是否删除重复文件，能够合理的对重复数据进行筛选删除，减少一些信息量低、不完整的文件的重复存储，从而提高备份空间的利用。
[0055]
2、通过对文件中数据组的划分，筛选出文件中重复的数据组，并提取出重复次数较多的数据组，在重复数据组中选择一个数据组保留，删除剩余的重复数据组，并设置共享数据库，将保留的数据组存储至共享数据组中，能够进一步对重复数据进行删除，缩减文件容量，使文件的存储和调取更加便捷。
[0056]
3、通过对重复数据的查找确定初始数据组，再对初始数据组之间重复情况的对比，确定数据组，使数据组的划分更加符合重复数据分析的要求，节省数据组划分的时间，提高重复数据组的查找效率，为重复数据的筛选删除提供便利。
[0057]
综上所述，通过先对备份文件中重复文件的查找和删除，在对文件中重复数据组的查找和删除，能够快速的对备份数据进行合理删减，使得备份空间中重复数据被删除，释放出备份空间，从而能够备份更多的数据，提高了备份空间的使用率，数据的冗余度降低，节省数据的处理时间，使数据的恢复更加方便。
附图说明
[0058]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0059]
在附图中：
[0060]
图1是本发明的系统结构示意图；
[0061]
图2是本发明的方法步骤图；
[0062]
图3是本发明删除重复数据的流程图；
[0063]
图4是本发明重复文件筛选的示意图；
[0064]
图5是本发明重复数据组筛选的示意图；
[0065]
图6是本发明数据组的划分示意图。
具体实施方式
[0066]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0067]
实施例1：
[0068]
如图1所示，本发明提供一种技术方案，基于云平台的自动数据备份系统，包括备份设置模块、备份模块、标签模块和筛选分析模块；
[0069]
筛选分析模块包括重复筛选单元、分析评估单元和删除单元；
[0070]
重复筛选单元定时识别备份模块中的重复文件；
[0071]
分析评估单元根据重复文件的筛选结果计算综合备份值和筛选耗费值；
[0072]
删除单元根据分析评估结果对多余重复文件进行删除；
[0073]
综合备份值通过下式计算得出：
[0074][0075]
式中，h为综合备份值；
[0076]
m为备份文件总容量；
[0077]
m1为需要删除的重复文件容量；
[0078]
k为删除重复文件前，备份文件标签个数；
[0079]
k1为删除重复文件后，备份文件标签个数；
[0080]
f为删除重复文件前，备份文件的恢复难度；
[0081]
f1为删除重复文件后，备份文件的恢复难度；
[0082]
t为删除重复文件前，数据恢复预测时长；
[0083]
t1为删除重复文件后，数据恢复预测时长；
[0084]
t为筛选耗费值；
[0085]
m和m1的单位为mb；
[0086]
文件的恢复难度为专家根据国际标准share78对备份文件恢复难度的评分，评分分值为1-7分；
[0087]
t和t1的单位为s；
[0088]
综合备份值h的计算结果大于等于则删除重复数据；
[0089]
综合备份值h的计算结果小于则保留重复数据；
[0090]
筛选耗费值t为筛选重复数据时耗费的资源，筛选耗费值的计算公式：
[0091]
t＝(k-k1)lnt2+(2t3)2+4t3；
[0092]
式中，t2为重复文件识别的时长；
[0093]
k为删除重复文件前，标签个数；
[0094]
k1为删除重复文件后，标签个数；
[0095]
t3为多余重复文件删除的时长；
[0096]
t2和t3的单位为s。
[0097]
根据上述技术方案，备份设置模块对需要备份的文件进行选择，设置备份的周期时长；
[0098]
备份模块按照设置的周期时长自动备份文件；
[0099]
标签模块每次备份后添加备份标签，标签内部包括备份时间、备份文件名称和文件容量；
[0100]
筛选分析模块识别重复文件，对重复文件进行分析，并删除多余的重复文件。
[0101]
根据上述技术方案，备份设置模块包括云备份库，云备份库包括备份数据库、共享数据库和回收数据库；
[0102]
备份数据库接收备份数据，并存储备份数据，共享数据库存储保留下来的重复数据组，回收数据库保存删除的重复数据；
[0103]
共享数据库的存储空间是备份数据库存储空间的十分之一，回收数据库的存储空间是备份数据库存储空间的十分之一，回收数据库存储满后，自动清空数据。
[0104]
如图2-4所示，根据上述技术方案，基于云平台的数据备份方法，文件备份的步骤如下：
[0105]
s1、首先通过设置模块设置自动备份的时间周期，备份模块在设置的时间周期进行文件备份；
[0106]
s2、标签模块对备份的文件设置备份标签，标签内容包括备份时间、文件名称和文件容量；
[0107]
s3、重复筛选单元对备份文件中的内容完全重复的文件进行筛选，筛选出文件1、文件2、文件3、文件4文件5
……
文件i；
[0108]
s4、分析评估单元根据备份和筛选的重复文件进行计算，确定综合备份值和筛选耗费值；
[0109]
s5、根据计算结果，保留文件1，对需要删除的多余重复文件2、文件3、文件4、文件5
……
文件i进行删除；
[0110]
如图5所示，s6、对备份文件1、文件2、文件3、文件4和文件5内的数据划分成数据组，为每个数据组设置名称，文件1中包括数据组b1、b2、b3和b4，文件2中包括数据组b1、b3和b4，文件3中包括数据组b1、b2和b4，文件4中包括数据组b2、b3和b4，文件5中包括数据组b1、b2和b3，将多个文件的数据组进行比较，查看重复次数；
[0111]
s7、数据组重复次数是文件个数的0.6倍，则在重复数据组中选择文件1中的数据组b1、b2、b3和b4保留，删除文件2中的数据组b1、b3和b4，文件3中的数据组b1、b2和b4，文件4中的数据组b2、b3和b4，文件5中的数据组b1、b2和b3，并在删除位置标记数据组的名称。
[0112]
如图6所示，根据上述技术方案，s6中，数据组的划分先将重复部分全部划分为初始数据组，再将两个初始数据组重复的数据划分为一个新的数据组；
[0113]
s7中，数据组确定删除后，在备份模块新建共享数据库，将保留下来的数据组存储至共享数据库中；
[0114]
备份文件恢复时，识别文件中标记的数据组的名称，则在共享数据库中，根据数据组的名称调出对应的数据组。
[0115]
实施例2：
[0116]
如图1所示，本发明提供一种技术方案，基于云平台的自动数据备份系统，包括备份设置模块、备份模块、标签模块和筛选分析模块；
[0117]
筛选分析模块包括重复筛选单元、分析评估单元和删除单元；
[0118]
重复筛选单元定时识别备份模块中的重复文件；
[0119]
分析评估单元根据重复文件的筛选结果计算综合备份值和筛选耗费值；
[0120]
删除单元根据分析评估结果对多余重复文件进行删除；
[0121]
重复文件识别的时长t2为2s；
[0122]
删除重复文件前，标签个数k为40；
[0123]
删除重复文件后，标签个数k1为30；
[0124]
多余重复文件删除的时长t3为0.5s；
[0125]
将上述数值代入公式：
[0126]
t＝(k-k1)lnt2+(2t3)2+4t3[0127]
求得筛选耗费值t为9.93；
[0128]
备份文件总容量m为200mb；
[0129]
需要删除的重复文件容量m1为80mb；
[0130]
删除重复文件前，备份文件标签个数k为40；
[0131]
删除重复文件后，备份文件标签个数k1为30；
[0132]
删除重复文件前，备份文件的恢复难度f的评分为3；
[0133]
删除重复文件后，备份文件的恢复难度f1的评分为2；
[0134]
删除重复文件前，数据恢复预测时长t为34s；
[0135]
删除重复文件后，数据恢复预测时长t1为20s；
[0136]
将上述数值代入公式：
[0137][0138]
求得综合备份值h为1.96；
[0139]
的值为0.67；
[0140]
综合备份值h的计算结果大于则删除重复数据。
[0141]
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。