数据处理方法、装置及计算机可读存储介质与流程

本申请涉及数据库管理，尤其涉及一种数据处理方法、装置及计算机可读存储介质。

背景技术：

1、随着数据业务的不断发展，数据存储的量级也出现井喷式增长，在互联网服务中，通常采用基于分布式键值(key-value，kv)存储系统的数据库进行数据存储。

2、分布式kv系统中，超过预设的保留时间的数据，被视为过期数据，需要删除。目前，对于过期数据的删除处理，及时性还有待加强。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置及计算机可读存储介质，以解决相关技术存在的问题，技术方案如下：

2、第一方面，本申请实施例提供了一种数据处理方法，包括：

3、获取待存储的目标数据和目标数据触发存储的时间戳；

4、将目标数据存储至目标存储表中；

5、基于时间戳为目标数据创建索引，并将索引存储至目标存储表中；

6、按照预设的时间间隔扫描目标存储表中多个数据对应的索引，以确定多个数据中的过期数据；多个数据包括目标数据。

7、第二方面，本申请实施例提供了一种数据处理装置，包括：

8、目标数据获取模块，用于获取待存储的目标数据和目标数据触发存储的时间戳；

9、数据存储模块，用于将目标数据存储至目标存储表中；

10、索引存储模块，用于基于时间戳为目标数据创建索引，并将索引存储至目标存储表中；

11、扫描模块，用于按照预设的时间间隔扫描目标存储表中多个数据对应的索引，以确定多个数据中的过期数据；多个数据包括目标数据。

12、第三方面，本申请实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，以使至少一个处理器能够执行上述数据处理的方法。

13、第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，当计算机指令在计算机上运行时，上述各方面任一种实施方式中的方法被执行。

14、上述技术方案中的优点或有益效果至少包括：本申请实施例在进行目标数据的存储时，通过获取目标数据的时间戳，再基于时间戳创建目标数据的索引，并且将索引存储至目标存储表中，使得目标存储表中存储的多个数据基于索引中的时间戳，可以具有有序性。在扫描过期数据时，可以根据时间戳的顺序，由前到后扫描，时间戳在前的索引对应的数据先过期。因此，扫描到时间戳在前的索引对应数据未过期的情况下，在后的多个索引对应的多个数据可以确定为未过期数据，从而简化扫描任务，提高扫描效率，进而提高删除过期数据的及时性。

15、上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，所述索引还包括：

4.根据权利要求1所述的方法，其特征在于，还包括：为所述目标存储表分配一个单独的定时器。

5.根据权利要求4所述的方法，其特征在于，所述方法用于分布式存储系统中，所述分布式存储系统关联多个服务器，所述多个服务器用于为所述目标存储表分配定时器，所述服务器配置有用于限定定时器分配个数的第一上限值；所述方法还包括：

6.根据权利要求4所述的方法，其特征在于，所述方法用于分布式存储系统中，所述分布式存储系统关联多个服务器，一个所述服务器包括多个处理器；所述服务器配置有用于限定定时器分配个数的第一上限值；所述处理器配置有用于限定定时器分配个数的第二上限值；所述方法还包括：

7.根据权利要求5或6所述的方法，其特征在于，还包括：

8.根据权利要求1所述的方法，其特征在于，所述按照预设的时间间隔扫描所述目标存储表中多个数据对应的所述索引，以确定所述多个数据中的过期数据，包括：

9.根据权利要求1或8所述的方法，其特征在于，还包括：

10.根据权利要求9所述的方法，其特征在于，还包括：

11.根据权利要求10所述的方法，其特征在于，还包括：

12.一种数据处理装置，其特征在于，包括：

13.一种电子设备，其特征在于，包括：

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-11中任一项所述的方法。

技术总结
本申请提出一种数据处理方法、装置及计算机可读存储介质，其中，方法包括：获取待存储的目标数据和目标数据触发存储的时间戳；将目标数据存储至目标存储表中；基于时间戳为目标数据创建索引，并将索引存储至目标存储表中；按照预设的时间间隔扫描目标存储表中多个数据对应的索引，以确定多个数据中的过期数据。本申请实施例通过基于时间戳创建目标数据的索引，并且将索引存储至存储表中，使得存储表中存储的多个数据基于索引中的时间戳，可以具有有序性。在扫描过期数据时，扫描到时间戳在前的索引对应数据未过期的情况下，在后的多个索引对应的多个数据可以确定为未过期数据，从而简化扫描任务，提高扫描效率，进而提高删除过期数据的及时性。

技术研发人员：刘易,何钧,张伟丽,梁松涛
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：
技术公布日：2024/1/15