一种数据处理方法、装置、设备和计算机可读存储介质与流程

本申请涉及计算机，尤其涉及一种数据处理方法、装置、设备和计算机可读存储介质。

背景技术：

1、远程字典服务(remote dictionary server，redis)是内存数据库，redis以键值对的形式存储数据。redis中提供了一种备份数据的方法-附加到文件(appendonly file，aof)，aof的原理是将redis中的数据备份一份至硬盘，以保证数据不会因服务器异常而丢失。然而，在实现过程中，发明人发现现有技术中至少存在如下问题：备份数据中存在很多冗余数据，会占据较大的存储空间。

技术实现思路

1、为解决上述技术问题，本申请实施例期望提供一种数据处理方法、装置、设备和计算机可读存储介质，解决了现有技术备份数据中存在很多冗余数据，会占据较大的存储空间的问题。

2、本申请的技术方案是这样实现的：

3、在触发数据备份机制的情况下，从实时缓冲区域中获取目标数据处理命令；

4、确定所述目标数据处理命令对应的操作对象；

5、从多个待选择数据存储区域中，确定每一所述操作对象对应的目标数据存储区域；其中，所述多个待选择数据存储区域设置在目标存储器中；

6、基于所述目标数据存储区域中所述操作对象对应的初始数据和所述目标数据处理命令，得到目标数据；

7、将所述目标数据存储区域中的所述初始数据更新为所述目标数据。

8、上述方案中，所述从实时缓冲区中获取目标数据处理命令，包括：

9、将所述实时缓冲区域中的数据处理命令写入初始数据存储区域；其中，所述初始数据存储区域设置在所述目标存储器中；

10、在监测到所述初始数据存储区域有数据处理命令的情况下，从所述初始数据存储区域中获取所述目标数据处理命令。

11、上述方案中，所述从多个待选择数据存储区域中，确定每一所述操作对象对应的目标数据存储区域，包括：

12、确定所述每一操作对象的对象标识；

13、基于所述对象标识，确定所述每一操作对象的存储标识；

14、基于所述存储标识，从所述多个待选择数据存储区域中确定所述每一操作对象对应的目标数据存储区域。

15、上述方案中，所述基于所述对象标识，确定所述每一操作对象的存储标识，包括：

16、确定所述待选择数据存储区域的数量；

17、基于所述对象标识和所述数量，确定所述存储标识。

18、上述方案中，所述基于所述对象标识和所述数量，确定所述存储标识，包括：

19、对所述对象标识进行处理，得到所述目标对象的目标数值；

20、对所述目标数值和所述数量进行运算处理，得到所述存储标识。

21、上述方案中，所述基于所述目标数据存储区域中所述操作对象对应的初始数据和所述目标数据处理命令，得到目标数据，包括：

22、确定所述操作对象的对象标识；

23、从所述目标数据存储区域中查找所述对象标识；

24、在查找到所述对象标识的情况下，确定所述对象标识对应的初始数据；

25、基于所述目标数据处理命令对所述初始数据进行处理，得到所述目标数据。

26、上述方案中，所述方法还包括：

27、在未查找到所述对象标识、且所述目标数据处理命令的命令类型为目标类型的情况下，基于所述目标数据处理命令，确定所述所述操作对象对应的目标数据；

28、添加所述对象标识和所述目标数据至所述目标数据存储区域。

29、一种数据处理装置，所述装置包括：

30、获取单元，用于在触发数据备份机制的情况下，从实时缓冲区域中获取目标数据处理命令；

31、处理单元，用于确定所述目标数据处理命令对应的操作对象；

32、所述处理单元，还用于从多个待选择数据存储区域中，确定每一所述操作对象对应的目标数据存储区域；其中，所述多个待选择数据存储区域设置在目标存储器中；

33、所述处理单元，还用于基于所述目标数据存储区域中所述操作对象对应的初始数据和所述目标数据处理命令，得到目标数据；

34、所述处理单元，还用于将所述目标数据存储区域中的所述初始数据更新为所述目标数据。

35、一种数据处理设备，所述设备包括：处理器、存储器和通信总线；

36、所述通信总线用于实现所述处理器和所述存储器之间的通信连接；

37、所述处理器用于执行所述存储器中的数据处理程序，以实现上述的数据处理方法的步骤。

38、一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的数据处理方法的步骤。

39、因为在触发数据备份机制的情况下，从实时缓冲区域中获取目标数据处理命令，确定目标数据处理命令对应的操作对象，并从多个待选择数据存储区域中确定每一操作对象对应的目标数据存储区域，且多个待选择数据存储区域设置在目标存储器中，因此通过设置在目标存储器中的多个待选择数据存储区域来存储操作对象对应的数据，也即将操作对象对应的数据备份至目标存储器，能够防止数据丢失；而且将操作对象分散存储在多个待选择数据存储区域，能够使每一待选择数据存储区域对应的操作对象的数量变少，进而能够快速从目标数据存储区域中确定操作对象对应的初始数据。接着基于目标数据存储区域中操作对象对应的初始数据和目标数据处理命令得到目标数据，将目标数据存储区域中的初始数据更新为目标数据，也即得到目标数据后，会删除之前存储在目标数据存储区域中操作对象对应的初始数据，只在目标数据存储区域中存储操作对象对应的最新数据，因此目标数据存储区域不会存在冗余数据，备份数据占据的存储空间较小；如此，能够防止数据丢失，还能够使每一待选择数据存储区域对应的操作对象的数量变少，进而提高从目标数据存储区域中确定操作对象对应的初始数据的处理速率，且只在目标数据存储区域中存储操作对象对应的最新数据，不会存在冗余数据，备份数据占据的存储空间较小，因此克服了现有技术备份数据中存在很多冗余数据，会占据较大的存储空间的问题。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述从实时缓冲区中获取目标数据处理命令，包括：

3.根据权利要求1所述的方法，其特征在于，所述从多个待选择数据存储区域中，确定每一所述操作对象对应的目标数据存储区域，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述对象标识，确定所述每一操作对象的存储标识，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述对象标识和所述数量，确定所述存储标识，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据存储区域中所述操作对象对应的初始数据和所述目标数据处理命令，得到目标数据，包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种数据处理装置，其特征在于，所述装置包括：

9.一种数据处理设备，其特征在于，所述设备包括：处理器、存储器和通信总线；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～7中任一项所述的数据处理方法的步骤。

技术总结
本申请实施例公开了一种数据处理方法，该方法包括：在触发数据备份机制的情况下，从实时缓冲区域中获取目标数据处理命令；确定目标数据处理命令对应的操作对象；从多个待选择数据存储区域中，确定每一操作对象对应的目标数据存储区域；其中，多个待选择数据存储区域设置在目标存储器中；基于目标数据存储区域中操作对象对应的初始数据和目标数据处理命令，得到目标数据；将目标数据存储区域中的初始数据更新为目标数据。本申请实施例还公开了一种数据处理装置、设备和计算机可读存储介质。

技术研发人员：王杰
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：
技术公布日：2024/1/13