存算解耦系统、数据处理方法及存储介质与流程

本申请实施例涉及计算机领域，具体而言，涉及一种存算解耦系统、数据处理方法及存储介质。

背景技术：

1、在存算解耦系统中，由于计算节点上运行的应用程序依赖于内存节点集群提供的随机存储资源，并通过以太网、pcie（peripheral component interconnect express，一种高速串行扩展总线标准）总线等技术进行访问，计算节点容易受到各种故障情形的影响。潜在的内存资源故障包括链路故障、内存节点的独立故障或相关故障、内存资源的移除和损坏等问题。此类问题的出现将导致依赖远程内存节点的计算系统程序奔溃、宕机等问题。针对内存节点故障可能引起的各种算力系统崩溃问题，相关技术中，主要通过远程数据多副本备份、内存数据纠删等技术，对节点的内存数据进行冗余，提升系统可靠性。

2、然而，内存复制会占用大量内存资源和带宽资源，纠删编码将造成计算资源的损耗，尤其是远程内存集群中的节点具有的cpu（central processing unit，中央处理器）计算能力相对较低，内存复制方式或者内存纠珊方式会导致解耦的计算系统中远程内存数据恢复的时间成本、资源消耗上升，可用性下降。

3、因此，相关技术中的数据处理方式，存在数据处理的效率较低的问题。

技术实现思路

1、本申请实施例提供了一种存算解耦系统、数据处理方法及存储介质，以至少解决相关技术中数据处理方式存在数据处理效率较低的问题。

2、根据本申请的一个实施例，提供了一种存算解耦系统，包括：内存集群和算力集群，其中，所述内存集群包括第一节点，所述算力集群包括第四节点，第二节点、第三节点属于所述内存集群和/或所述算力集群中的节点；其中，所述第一节点和/或所述第四节点，用于确定在所述m个数据块中待执行复制操作的数据块的第一数量和待执行纠删操作的数据块的第二数量；将对所述m个数据块中所述第一数量的数据块执行复制操作所得到的数据块存储到所述第二节点，将对所述m个数据块中所述第二数量的数据块执行纠删操作所得到的数据块存储到所述第三节点；其中，m等于所述第一数量和所述第二数量之和，在待执行复制操作的数据块的数量与待执行纠删操作的数据块的数量的各种取值组合中，所述第一数量和所述第二数量对应的资源消耗参数最小。

3、根据本申请的另一个实施例，提供了一种数据处理方法，包括：在确定出待备份的数据块为m个数据块的情况下，确定在所述m个数据块中待执行复制操作的数据块的第一数量和待执行纠删操作的数据块的第二数量，其中，m为大于或等于2的正整数，m等于所述第一数量和所述第二数量之和，在待执行复制操作的数据块的数量与待执行纠删操作的数据块的数量的各种取值组合中，所述第一数量和所述第二数量对应的资源消耗参数最小；对所述m个数据块中所述第一数量的数据块执行所述复制操作，并对执行所述复制操作所得到的数据块执行第一存储操作；对所述m个数据块中所述第二数量的数据块执行所述纠删操作，并对执行所述纠删操作所得到的数据块执行第二存储操作。

4、根据本申请的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

5、根据本申请的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

6、通过本申请，采用基于确定出的资源消耗参数最小时，待备份数据中需要进行副本复制的数据块以及需要进行纠删计算的数据块，对待备份数据进行冗余处理的方式，通过在确定出待备份的数据块为m个数据块的情况下，确定在m个数据块中待执行复制操作的数据块的第一数量和待执行纠删操作的数据块的第二数量，其中，m为大于或等于2的正整数，m等于第一数量和第二数量之和，在待执行复制操作的数据块的数量与待执行纠删操作的数据块的数量的各种取值组合中，第一数量和第二数量对应的资源消耗参数最小；对m个数据块中第一数量的数据块执行复制操作，并对执行复制操作所得到的数据块执行第一存储操作；对m个数据块中第二数量的数据块执行纠删操作，并对执行纠删操作所得到的数据块执行第二存储操作，通过确定混合并行多个冗余处理时所对应的资源消耗参数，选择资源消耗参数最小时所对应的多个冗余处理分别对应的数据块的数量，可以保证对待处理数据块进行冗余处理时所需要资源消耗最小，同时，还可以保证在发生内存故障时，可以在资源消耗最小的情况下，基于冗余处理所存储的数据块对发生故障的内存数据进行恢复，从而降低数据处理和数据恢复所需的资源消耗参数，提高数据处理的效率。因此，可以解决相关技术中数据处理方式存在数据处理的效率较低的问题，达到提高数据处理效率的技术效果。

技术特征：

1.一种存算解耦系统，其特征在于，

2.根据权利要求1所述的系统，其特征在于，

3.根据权利要求1所述的系统，其特征在于，

4.根据权利要求1所述的系统，其特征在于，

5.根据权利要求1所述的系统，其特征在于，

6.一种数据处理方法，其特征在于，

7.根据权利要求6所述的方法，其特征在于，

8.根据权利要求7所述的方法，其特征在于，

9.根据权利要求7所述的方法，其特征在于，

10.根据权利要求7所述的方法，其特征在于，

11.根据权利要求10所述的方法，其特征在于，

12.根据权利要求10所述的方法，其特征在于，

13.根据权利要求10所述的方法，其特征在于，

14.根据权利要求10所述的方法，其特征在于，

15.根据权利要求10所述的方法，其特征在于，

16.根据权利要求6所述的方法，其特征在于，在所述m个数据块在第一节点中的情况下，

17.根据权利要求6所述的方法，其特征在于，在所述m个数据块在第一节点中的情况下，

18.根据权利要求6所述的方法，其特征在于，在所述m个数据块在第一节点中的情况下，

19.根据权利要求6至15中任一项所述的方法，其特征在于，

20.一种计算机可读存储介质，其特征在于，

技术总结
本申请实施例提供了一种存算解耦系统、数据处理方法及存储介质，该系统包括：内存集群和算力集群，内存集群包括第一节点，算力集群包括第四节点，第二节点、第三节点属于内存集群和/或算力集群中的节点，第一节点中存储有第四节点创建的M个数据块；第一节点和/或第四节点，用于确定在M个数据块中分别执行复制操作和执行纠删操作的数据块的第一数量和第二数量；将第一数量的数据块进行复制所得数据存储到第二节点，将第二数量的数据块执行纠删操作所得数据存储到第三节点；在执行复制操作的数据块与执行纠删操作的数据块的两种数量的各种取值组合中，第一数量和第二数量对应的资源消耗参数最小。通过本申请，可以提高数据处理效率。

技术研发人员：赵雅倩,李仁刚,张亚强,李茹杨,史宏志
受保护的技术使用者：苏州元脑智能科技有限公司
技术研发日：
技术公布日：2024/3/11