数据重删调整方法、装置、设备、存储系统及存储介质与流程

本发明涉及存储领域，特别涉及一种数据重删调整方法、装置、设备、存储系统及存储介质。

背景技术：

1、随着计算机技术的不断发展，存储资源的重要性在逐步提高。为有效节约存储空间，存储系统通常可引入重复删除技术对存储至该系统的数据进行精简，以释放出更多存储空间。常见的重复删除技术有数据相似重删技术，该技术基于数据块之间的相似度进行重复删除。然而，数据相似重删业务对存储资源的性能损耗较大，考虑到存储系统同时还要承担主机设备处的前端业务，这容易导致存储系统无法正常承载前端业务，进而影响了整机系统的可用性。

2、因此，如何有效平衡存储系统中的前端业务及数据相似重删业务，是本领域技术人员亟需解决的技术问题。

技术实现思路

1、本发明的目的是提供一种数据重删调整方法、装置、设备、系统及存储介质，能够根据存储系统所应对的前端业务负载度对数据相似重删所使用的相似重删粒度进行动态调整，以确保数据相似重删业务与前端业务相平衡。

2、为解决上述技术问题，本发明提供一种数据重删调整方法，应用于相似重删管理设备，所述相似重删管理设备设置于存储系统，所述存储系统中还设置有多个存储控制器，所述方法包括：

3、采集各存储控制器对应的实时性能值和实时相似重删度以及所述存储系统对应的实时前端业务模型和实时前端业务负载度；

4、根据所述实时前端业务模型和所述实时前端业务负载度在预设转换关系中确定与各所述存储控制器已设置的相似重删粒度对应的当前理论性能值和当前理论相似重删度；其中，相似重删粒度为进行数据相似重删所参考的数据块大小，所述相似重删管理设备存有多种相似重删粒度，所述预设转换关系包含各种相似重删粒度在各种前端业务模型和各种前端业务负载度条件下对应的理论性能值和理论相似重删度；

5、判断是否存在对应的实时性能值和对应的实时相似重删度均满足调整条件的待调整存储控制器，并在确定存在所述待调整存储控制器时，根据所述实时前端业务负载度对所述待调整存储控制器的相似重删粒度进行调整；其中，所述调整条件由所述存储控制器对应的当前理论性能值和当前理论相似重删度确定；

6、将调整后的相似重删粒度下发至所述待调整存储控制器，以使所述待调整存储控制器根据调整后的相似重删粒度进行数据相似重删。

7、可选地，所述相似重删粒度已根据大小顺序设置为与各所述相似重删粒度对应的档位，所述相似重删粒度的大小与档位序号成正相关关系。

8、可选地，根据所述实时前端业务负载度对所述待调整存储控制器的相似重删粒度进行调整，包括：

9、确定所述待调整存储控制器已设置的相似重删粒度对应的当前档位，并判断所述实时前端业务负载度是否大于预设负载度；

10、若确定所述实时前端业务负载度大于所述预设负载度，则对所述当前档位的档位序号上调预设数目得到测试档位，将所述测试档位对应的相似重删粒度下发至所述待调整存储控制器，并判断所述待调整存储控制器是否满足第一调整停止条件；其中，所述第一调整停止条件为所述待调整存储控制器的实时性能值在第一预设时间周期内保持大于第一阈值，所述第一阈值利用所述待调整存储控制器对应的当前理论性能值及第一预设百分数计算得到；

11、若确定所述待调整存储控制器满足所述第一调整停止条件，则将所述测试档位固定为所述待调整存储控制器的当前档位；

12、若确定所述待调整存储控制器不满足所述第一调整停止条件，则进入所述对所述当前档位的档位序号上调预设数目得到测试档位的步骤。

13、可选地，在判断所述实时前端业务负载度是否大于预设负载度之后，还包括：

14、若确定所述实时前端业务负载度不大于所述预设负载度，则对所述当前档位的档位序号下调预设数目得到测试档位，将所述测试档位对应的相似重删粒度下发至所述待调整存储控制器，并判断所述待调整存储控制器是否满足第二调整停止条件；其中，所述第二调整停止条件为所述待调整存储控制器的实时相似重删度在所述第一预设时间周期内保持大于第二阈值，所述第二阈值利用所述待调整存储控制器对应的当前理论性能值及第二预设百分数计算得到；

15、若确定所述待调整存储控制器满足所述第二调整停止条件，则将所述测试档位固定为所述待调整存储控制器的当前档位；

16、若确定所述待调整存储控制器不满足所述第二调整停止条件，则进入所述对所述当前档位的档位序号下调预设数目得到测试档位的步骤。

17、可选地，判断是否存在对应的实时性能值和对应的实时相似重删度均满足调整条件的待调整存储控制器，包括：

18、判断所述存储控制器的实时性能值和实时相似重删度是否满足调整条件；其中，所述调整条件为所述存储控制器在第二预设时间周期内保持待调整状态，所述待调整状态为所述存储控制器的实时性能值小于所述第一阈值且所述存储控制器的实时相似重删度小于所述第二阈值；

19、若是，则判定所述存储控制器为所述待调整存储控制器。

20、可选地，还包括：

21、判断所述存储控制器的实时性能值和实时相似重删度是否满足调整预警条件；其中，所述调整预警条件为所述存储控制器在第三预设时间周期内保持调整预警状态，所述调整预警状态为所述存储控制器的实时性能值小于所述第一阈值或所述存储控制器的实时相似重删度小于所述第二阈值；

22、若是，则生成相似重删调整预警信息，并将所述相似重删调整预警信息输出至可视化界面和/或日志信息中；

23、在确定所述存储控制器的实时性能值和实时相似重删度满足调整条件之后，还包括：

24、生成相似重删调整告警信息，并将所述相似重删调整告警信息输出至可视化界面和/或日志信息中。

25、可选地，还包括：

26、根据所述存储控制器的实时相似重删度确定所述存储控制器的实际空间收益率，以及根据所述存储控制器的理论相似重删度确定所述存储控制器的理论空间收益率；

27、根据所述存储控制器的实时相似重删度和实际空间收益率生成实际重删度-收益率曲线，以及根据所述存储控制器的当前理论相似重删度和理论空间收益率生成理论重删度-收益率曲线；

28、当确定所述实际重删度-收益率曲线与所述理论重删度-收益率曲线间的偏离度大于预设值时，生成收益率异常告警信息，并将所述收益率异常告警信息输出至可视化界面和/或日志信息中。

29、可选地，采集所述存储系统对应的实时前端业务模型，包括：

30、从主机设备向所述存储系统下发的读写请求中提取特征信息；其中，所述特征信息包括数据块大小、数据地址及读写请求类型；

31、对所述特征信息进行统计分析，得到所述存储系统对应的实时前端业务模型。

32、可选地，在判断是否存在对应的实时性能值和对应的实时相似重删度均满足调整条件的待调整存储控制器之前，还包括：

33、在切换至高可用模式时，为各所述存储控制器下发初始相似重删粒度，并进入所述判断是否存在对应的实时性能值和对应的实时相似重删度均满足调整条件的待调整存储控制器的步骤。

34、可选地，为各所述存储控制器下发初始相似重删粒度，还包括：

35、根据所述实时前端业务模型和所述实时前端业务负载度在所述预设转换关系中确定所有相似重删粒度对应的所有理论性能值；

36、基于所有理论性能值生成理论性能值区间，并将所述理论性能值区间等分为预设数量的性能档位；

37、根据预设性能档位序号在所述性能档位中选择目标性能档位，并将所述目标性能档位包含的理论性能值所对应的相似重删粒度作为所述初始相似重删粒度下发至各所述存储控制器。

38、可选地，还包括：

39、在根据所述实时前端业务负载度对所述待调整存储控制器的相似重删粒度进行调整的过程中，当确定满足普通模式切换条件时，则切换为普通模式；其中，所述普通模式切换条件为所述实时前端业务负载度小于预设负载度且所述待调整存储控制器的实时相似重删度在第四预设时间周期内保持小于第二阈值，所述第二阈值利用所述待调整存储控制器对应的当前理论性能值及第二预设百分数计算得到，所述第四预设时间周期大于第一预设时间周期，所述第一预设时间周期用于判断所述待调整存储控制器是否满足相似重删粒度的调整停止条件；

40、当切换至所述普通模式时，根据所述实时前端业务模型和所述实时前端业务负载度在预设转换关系中确定可取得最高理论相似重删度的目标相似重删粒度，并将所述目标相似重删粒度下发至各所述存储控制器。

41、可选地，在切换至所述普通模式之后，还包括：

42、判断是否满足高可用模式切换条件；其中，高可用模式切换条件为所述存储控制器在第五预设时间周期内保持模式调整状态，所述模式调整状态为所述存储控制器的实时性能值小于第三阈值且所述存储控制器的实时相似重删度小于第四阈值，所述第三阈值利用所述待调整存储控制器对应的当前理论性能值及第三预设百分数计算得到，所述第四阈值利用所述待调整存储控制器对应的当前理论性能值及第四预设百分数计算得到；

43、若是，则切换为所述高可用模式。

44、可选地，在切换至所述普通模式之后，还包括：

45、判断是否满足高可用模式切换预警条件；其中，高可用模式切换预警条件为所述存储控制器在第六预设时间周期内保持模式调整预警状态，所述模式调整预警状态为所述存储控制器的实时性能值小于所述第三阈值或所述存储控制器的实时相似重删度小于所述第四阈值，所述第六预设时间周期小于所述第五预设时间周期；

46、若是，则生成模式切换预警信息，并将所述模式切换预警信息输出至可视化界面和/或日志信息中；

47、在判定满足高可用模式切换条件之后，还包括：

48、生成模式切换告警信息，并将所述模式切换告警信息输出至可视化界面和/或日志信息中。

49、可选地，还包括：

50、在接收到主机设备下发的模式切换请求时，切换至所述模式切换请求对应的目标模式；其中，所述目标模式为所述高可用模式或所述普通模式。

51、本发明还提供一种数据重删调整装置，应用于相似重删管理设备，所述相似重删管理设备设置于存储系统，所述存储系统中还设置有多个存储控制器，所述装置包括：

52、性能监控模块，用于采集各存储控制器对应的实时性能值和实时相似重删度以及所述存储系统对应的实时前端业务模型和实时前端业务负载度；

53、转换模块，用于根据所述实时前端业务模型和所述实时前端业务负载度在预设转换关系中确定与各所述存储控制器已设置的相似重删粒度对应的当前理论性能值和当前理论相似重删度；其中，相似重删粒度为进行数据相似重删所参考的数据块大小，所述相似重删管理设备存有多种相似重删粒度，所述预设转换关系包含各种相似重删粒度在各种前端业务模型和各种前端业务负载度条件下对应的理论性能值和理论相似重删度；

54、调节模块，用于判断是否存在对应的实时性能值和对应的实时相似重删度均满足调整条件的待调整存储控制器，并在确定存在所述待调整存储控制器时，根据所述实时前端业务负载度对所述待调整存储控制器的相似重删粒度进行调整；其中，所述调整条件由所述存储控制器对应的当前理论性能值和当前理论相似重删度确定；

55、参数下发模块，用于将调整后的相似重删粒度下发至所述待调整存储控制器，以使所述待调整存储控制器根据调整后的相似重删粒度进行数据相似重删。

56、本发明还提供一种相似重删管理设备，包括：

57、存储器，用于存储计算机程序；

58、处理器，用于执行所述计算机程序时实现如上所述的数据重删调整方法。

59、可选地，所述相似重删管理设备以可编程逻辑器件的形态设置于存储系统的板卡中。

60、本发明还提供一种存储系统，包括：相似重删管理设备和多个存储控制器；

61、所述相似重删管理设备，用于执行如上所述的数据重删调整方法；

62、所述存储控制器，用于根据所述相似重删管理设备下发的相似重删粒度进行数据相似重删。

63、可选地，所述相似重删管理设备以可编程逻辑器件的形态设置于所述存储系统的板卡中。

64、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上所述的数据重删调整方法。

65、本发明提供一种数据重删调整方法，应用于相似重删管理设备，所述相似重删管理设备设置于存储系统，所述存储系统中还设置有多个存储控制器，所述方法包括：采集各存储控制器对应的实时性能值和实时相似重删度以及所述存储系统对应的实时前端业务模型和实时前端业务负载度；根据所述实时前端业务模型和所述实时前端业务负载度在预设转换关系中实时确定与各所述存储控制器已设置的相似重删粒度对应的当前理论性能值和当前理论相似重删度；其中，相似重删粒度为进行数据相似重删所参考的数据块大小，所述相似重删管理设备存有多种相似重删粒度，所述预设转换关系包含各种相似重删粒度在各种前端业务模型和各种前端业务负载度条件下对应的理论性能值和理论相似重删度；判断是否存在对应的实时性能值和对应的实时相似重删度均满足调整条件的待调整存储控制器，并在确定存在待调整存储控制器时，根据所述实时前端业务负载度对所述待调整存储控制器的相似重删粒度进行调整；其中，所述调整条件由所述存储控制器对应的当前理论性能值和当前理论相似重删度确定；将调整后的相似重删粒度下发至所述待调整存储控制器，以使所述待调整存储控制器根据调整后的相似重删粒度进行数据相似重删。

66、可见，本发明中的相似重删管理设备首先可采集存储系统中各存储控制器对应的实时性能值和实时相似重删度，其中实时性能值反映了存储控制器处理前端业务的性能，而实时相似重删度反映了存储控制器进行数据相似重删的效果；此外，还可采集存储系统对应的实时前端业务模型及实时前端业务负载度，其中实时前端业务模型反映了前端业务的业务场景，而实时前端业务负载度反映了前端业务的负载压力；随后，本发明可根据实时前端业务模型和实时前端业务负载度在预设转换关系中实时确定与各存储控制器已设置的相似重删粒度对应的当前理论性能值和当前理论相似重删度，其中相似重删粒度为进行数据相似重删所参考的数据块大小，相似重删管理设备存有多种相似重删粒度，预设转换关系包含各种相似重删粒度在各种前端业务模型和各种前端业务负载度条件下对应的理论性能值和理论相似重删度。换句话说，本发明已预估各种重删粒度在在各种前端业务模型和各种前端业务负载度条件下可取得的理论性能值和理论相似重删，并可基于理论性能值和理论相似重删对各存储控制器在当前前端业务模型和当前前端业务负载度条件下的实际性能表现及实际重删表现进行评估。进而，本发明可判断是否存在对应的实时性能值和对应的实时相似重删度均满足调整条件的待调整存储控制器，若确定存在待调整存储控制器，则可确定该待调整存储控制器的当前表现不佳，其重删粒度具备调整空间，进而可根据实时前端业务负载度对待调整存储控制器的相似重删粒度进行调整，并可将调整后的相似重删粒度下发至待调整存储控制器，以使待调整存储控制器根据调整后的相似重删粒度进行数据相似重删，其中调整条件由存储控制器对应的当前理论性能值和当前理论相似重删度确定。换句话说，可在贴合实时前端业务负载度的情况下对待调整存储控制器的相似重删粒度进行调整，从而可确保待调整存储控制器中的相似重删业务压力能够与前端业务压力相匹配，进而能够有效保障存储系统的稳定性。本发明还提供一种数据重删调整装置、相似重删管理设备、存储系统及计算机可读存储介质，具有上述有益效果。