数据处理方法、电子设备及计算机可读存储介质与流程

本申请涉及数据处理，特别是涉及数据处理方法、电子设备及计算机可读存储介质。

背景技术：

1、在分布式存储里面，纠删码是一种重要的数据冗余方法。纠删码不但能够降低数据的冗余度，降低存储成本，而且还可以通过把数据块打散存储到多台存储设备上面，从而提供比三副本更高的数据可用性。其根本原因在于纠删码能够通过数据块+校验块的计算，把缺失的数据恢复回来。

2、相关纠删码的数据恢复方式对内存造成了较大的存储压力。

技术实现思路

1、本申请提供了数据处理方法、电子设备及计算机可读存储介质，能够减少数据恢复时，数据块数据对内存造成的存储压力。

2、第一方面，本申请提供一种数据处理方法，数据基于纠删码算法存储，形成m个数据块和n个校验块，其中，m大于n，且m和n为正整数，该方法包括：响应于数据恢复指令，按照数据块的数量确定单次读取数据大小；循环从每一数据块中读取对应读取数据大小的目标数据至内存中，并利用对应的条带信息和目标数据恢复丢失的数据。

3、第二方面，本申请提供一种电子设备，该电子设备包括处理器以及与处理器耦接的存储器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序，以实现如第一方面提供的方法。

4、第三方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序在被处理器执行时，实现如第一方面提供的方法。

5、本申请的有益效果是：区别于现有技术的情况，本申请提供的数据处理方法、电子设备及计算机可读存储介质，数据基于纠删码算法存储，形成m个数据块和n个校验块，响应于数据恢复指令，按照数据块的数量确定单次读取数据大小；循环从每一数据块中读取对应读取数据大小的目标数据至内存中，并利用对应的条带信息和目标数据恢复丢失的数据，能够利用循环读取的方式，读取较少数据至内存中，减少数据恢复时，数据块数据对内存造成的存储压力。

技术特征：

1.一种数据处理方法，其特征在于，所述数据基于纠删码算法存储，形成m个数据块和n个校验块，其中，m大于n，且m和n为正整数，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述响应于数据恢复指令，按照数据块和校验块的数量确定单次读取数据大小，包括：

3.根据权利要求2所述的方法，其特征在于，所述利用所述基础容量和所述数量确定单次读取数据大小，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述比值确定单次读取数据大小，包括：

5.根据权利要求1所述的方法，其特征在于，所述响应于数据恢复指令，按照数据块的数量确定单次读取数据大小之前，包括：

6.根据权利要求5所述的方法，其特征在于，所述响应于数据写入指令，按照数据块顺序写入与所述数据写入指令对应的数据之后，包括：

7.根据权利要求5所述的方法，其特征在于，当最后的最小读写单元未写满数据，对其进行字节填充。

8.根据权利要求1所述的方法，其特征在于，响应于设置指令，修改m和n的数值。

9.一种电子设备，其特征在于，所述电子设备包括处理器以及与所述处理器耦接的存储器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序在被处理器执行时，实现如权利要求1-8任一项所述的方法。

技术总结
本申请公开了数据处理方法、电子设备及计算机可读存储介质。数据基于纠删码算法存储，形成M个数据块和N个校验块，其中，M大于N，且M和N为正整数，该方法包括：响应于数据恢复指令，按照数据块的数量确定单次读取数据大小；循环从每一数据块中读取对应读取数据大小的目标数据至内存中，并利用对应的条带信息和目标数据恢复丢失的数据。通过上述方式，减少数据恢复时，数据块数据对内存造成的存储压力。

技术研发人员：吴火城,何小春
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/1/16