一种面向大数据的云容灾备份方法及系统与流程

本发明涉及云容灾备份，具体涉及一种面向大数据的云容灾备份方法及系统。

背景技术：

1、面向大数据的云容灾备份系统是一种专门设计用于保护大规模数据集和应用程序的解决方案，以确保数据的高可用性、持久性和恢复能力，这种系统结合了云计算和容灾备份技术，以应对数据丢失、硬件故障、自然灾害或其他灾难性事件。面向大数据的云容灾备份系统可以为企业提供可靠的数据保护和容灾解决方案，确保其大规模数据的安全性和可用性。这对于满足法规合规性、业务连续性和数据保护需求至关重要。

2、云容灾备份系统的主要作用是保护数据，确保数据的安全性和完整性，通过定期备份数据到云存储中，系统创建了数据的可靠副本，这意味着即使发生数据损坏、误删除、硬件故障、自然灾害或恶意攻击等问题，仍能够从备份中恢复数据，以保持业务连续性。云容备份系统通过定期备份数据，可以显著减少数据丢失的风险，如果数据在主要存储位置发生问题，仍然可以访问备份数据，避免了潜在的数据丢失和业务中断。

3、现有技术存在以下不足：云容备份系统进行数据备份时，如果系统未能及时感知备份异常，数据将会持续保持异常备份状态，如此可能会导致备份数据不完整或丢失，当发生此情况时，这意味着在数据丢失时，无法恢复最新的数据版本，导致数据不一致或数据丢失，可能会对业务造成重大损害。

4、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是提供一种面向大数据的云容灾备份方法及系统，通过对云容备份系统进行数据备份时的过程进行监测，当系统进行数据备份时存在数据备份不完整或者丢失的异常隐患时，发出预警提示，提示备份人员知晓该情况，并采取相关措施提前应对处理，确保系统进行数据备份时的数据完整性，从而在数据丢失可通过系统恢复最新的数据版本，避免因数据备份不完整对业务造成重大损害，以解决上述背景技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种面向大数据的云容灾备份系统，包括备份数据采集模块、第一采集单元、备份引擎模块、备份存储模块、第二采集单元、服务器、异常感知单元、偶然异常排除单元、预警单元以及云容恢复模块；

3、备份数据采集模块，与数据源建立连接，从数据源中读取需要备份的数据，将需要备份的数据进行压缩和加密后传递至备份引擎模块；

4、第一采集单元，采集云容灾备份系统进行备份数据采集时的性能度量信息，采集后，将性能度量信息处理后上传至服务器；

5、备份引擎模块，根据备份策略，自动化地执行备份作业，将数据转换为备份格式，并在备份之前对数据进行压缩，并将压缩后的数据传递至备份存储模块；

6、备份存储模块，将压缩后的备份数据存储在云存储平台中，并维护备份数据的目录结构和元数据；

7、第二采集单元，采集云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息，采集后，将云储存信息处理后上传至服务器；

8、服务器，将云容备份系统进行数据备份时经过处理后的性能度量信息和经过处理后的云储存信息进行综合分析，生成备份评估指数，并将备份评估指数传递至异常感知单元；

9、异常感知单元，将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，生成高异常备份信号或者低异常备份信号，并将信号传递至偶然异常排除单元；

10、偶然异常排除单元，接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合进行综合分析，生成偶然异常信号或者非偶然异常信号，并将信号传递至预警单元，通过预警单元对非偶然异常信号发出预警提示；

11、云容恢复模块，从备份存储模块中恢复数据，包括完全恢复、部分恢复或单个文件恢复。

12、优选的，云容灾备份系统进行备份数据采集时的性能度量信息包括数据读写速率异常隐匿系数和数据任务队列传输系数，云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息包括数据写入速率异常变动系数，采集后，通过第一采集单元将数据读写速率异常隐匿系数和数据任务队列传输系数分别标定为vdx和bys，将数据写入速率异常变动系数标定为vτxr。

13、优选的，数据读写速率异常隐匿系数获取的逻辑如下：

14、s101、获取云容灾备份系统进行备份数据采集时的最佳数据读写速率范围，并将最佳数据读写速率范围标定为vdxmin～vdxmax；

15、s102、获取云容灾备份系统进行备份数据采集时在t时间内若干个时段的实际数据读写速率，并将实际数据读写速率标定为vdxx，x表示云容灾备份系统进行备份数据采集时在t时间内若干个时段的实际数据读写速率的编号，x＝1、2、3、4、……、m，m为正整数；

16、s103、计算数据读写速率异常隐匿系数，计算的表达式为：m表示云容灾备份系统进行备份数据采集时在t时间内获取的实际数据读写速率的总数量，x′表示云容灾备份系统进行备份数据采集时在t时间内获取不处于最佳数据读写速率范围之间的实际数据读写速率的编号，x′＝1、2、3、4、……、m′，m′为正整数。

17、优选的，数据任务队列传输系数获取的逻辑如下：

18、s201、获取云容灾备份系统对备份数据进行传输时在t时间内的任务队列实时积压率情况，并将任务队列实时积压率标定为b(t)；

19、s202、计算数据任务队列传输系数，计算的表达式为：式中，[t1，t2]为备份数据传输已完成的时段，[t3，t4]为等待备份数据传输的时段，t1<t2，t3<t4。

20、优选的，数据写入速率异常变动系数获取的逻辑如下：

21、s301、获取云容灾备份系统将压缩后的备份数据存储在云存储平台时在t时间内若干个时段内的实际数据写入速率，并将实际数据写入速率标定为vτxry，y表示云容灾备份系统将压缩后的备份数据存储在云存储平台时在t时间内若干个时段内的实际数据写入速率的编号，y＝1、2、3、4、……、n，n为正整数；

22、s302、通过云容灾备份系统将压缩后的备份数据存储在云存储平台时在t时间内生成的实际数据写入速率计算数据写入速率变异系数，计算的表达式为：vτ＝τ1/τ2，式中，τ1表示数据写入速率标准差，τ2表示数据写入速率平均值，

23、s303、计算数据写入速率异常变动系数，计算的表达式为：vτxr＝vτ*2vτ+1。

24、优选的，服务器将经过处理后的数据读写速率异常隐匿系数vdx、数据任务队列传输系数bys以及数据写入速率异常变动系数vτxr后，建立数据分析模型，生成备份评估指数依据的公式为：式中，f1、f2、f3分别为数据读写速率异常隐匿系数vdx、数据任务队列传输系数bys、数据写入速率异常变动系数vτxr的预设比例系数，且f1、f2、f3均大于0。

25、优选的，异常感知单元将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，比对分析的结果如下：

26、若备份评估指数大于等于备份评估指数参考阈值，则通过异常感知单元生成高异常备份信号，并将信号传递至偶然异常排除单元，通过偶然异常排除单元进一步判断云容备份系统是否出现了偶然备份异常；

27、若备份评估指数小于备份评估指数参考阈值，则通过异常感知单元生成低异常备份信号，并将信号传递至偶然异常排除单元，不通过偶然异常排除单元进行任何指示。

28、优选的，偶然异常排除单元接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合，并将分析集合标定为z，则u表示分析集合内的备份评估指数的编号，u＝1、2、3、4、……、s，s为正整数；

29、通过分析集合内的若干个备份评估指数求出备份评估指数平均值和备份评估指数标准差，并将备份评估指数平均值和备份评估指数标准差分别与预先设定的备份评估指数参考阈值和预先设定的标准差参考阈值进行比对分析，比对分析的结果如下：

30、若备份评估指数平均值小于备份评估指数参考阈值并且备份评估指数标准差小于标准差参考阈值，则通过偶然异常排除单元生成偶然异常信号，并将传递至预警单元，不通过预警单元对偶然异常信号发出预警提示；

31、若备份评估指数平均值小于备份评估指数参考阈值并且备份评估指数标准差大于等于标准差参考阈值、或者备份评估指数平均值大于等于备份评估指数参考阈值，则通过偶然异常排除单元生成非偶然异常信号，并将传递至预警单元，通过预警单元对非偶然异常信号发出预警提示。

32、一种面向大数据的云容灾备份方法，包括以下步骤：

33、从数据源中读取需要备份的数据，将需要备份的数据进行压缩和加密后根据备份策略，自动化地执行备份作业，将数据转换为备份格式，并在备份之前对数据进行压缩；

34、采集云容灾备份系统进行备份数据采集时的性能度量信息，采集后，将性能度量信息处理后上传至服务器；

35、将压缩后的备份数据存储在云存储平台中，并维护备份数据的目录结构和元数据；

36、采集云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息，采集后，将云储存信息处理后上传至服务器；

37、将云容备份系统进行数据备份时经过处理后的性能度量信息和经过处理后的云储存信息进行综合分析，生成备份评估指数，将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，生成高异常备份信号或者低异常备份信号；

38、接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合进行综合分析，生成偶然异常信号或者非偶然异常信号，并对非偶然异常信号发出预警提示；

39、从备份存储模块中恢复数据，包括完全恢复、部分恢复或单个文件恢复。

40、在上述技术方案中，本发明提供的技术效果和优点：

41、本发明通过对云容备份系统进行数据备份时的过程进行监测，当系统进行数据备份时存在数据备份不完整或者丢失的异常隐患时，发出预警提示，提示备份人员知晓该情况，并采取相关措施提前应对处理，确保系统进行数据备份时的数据完整性，从而在数据丢失可通过系统恢复最新的数据版本，避免因数据备份不完整对业务造成重大损害；

42、本发明在感知到系统进行数据备份时存在异常隐患时，对系统进行数据备份的过程进行综合分析，当系统进行数据备份出现偶然性异常时，不发出预警提示，避免系统因偶然备份异常导致的频繁预警，保证系统对数据备份过程监测的准确性。