针对对象存储的数据处理方法和装置与流程

本申请实施例涉及计算机，尤其涉及一种针对对象存储的数据处理方法、装置、计算机设备、计算机可读存储介质。

背景技术：

1、随着计算机技术的发展，针对各类数据的海量存储、读写成为了当前的热点问题。在数据存储中，对象存储作为一种重要的数据存储方式，由于其可靠性高、可扩展性强、访问速度快等优势，受到越来越广泛的关注和应用。但是，随着数据量的不断增长，对象存储的管理和维护成本也随之增加。在相关技术中，对象存储一般采用生命周期管理方法，通常通过程序在所有对象元数据中筛选满足回收条件的对象，如过期时间、访问时间等，然后根据对象的元数据找到数据的存储位置，进行数据的删除回收，完成对象的整个生命周期管理，释放存储空间。

2、然而，本发明人了解到的上述管理方法，随着存储池中的数据对象增多、或数据对象的存储分散等因素，现有管理方法会极大地增加硬件开销，影响读写性能。

3、需要说明的是，上述内容并不必然是现有技术，也不用于限制本申请的专利保护范围。

技术实现思路

1、本申请实施例的目的是提供一种针对对象存储的数据处理方法、装置、计算机设备及计算机可读存储介质，用于解决或缓解上述问题。

2、本申请实施例的一个方面提供了一种针对对象存储的数据处理方法，所述方法包括：

3、提供多个数据块，同一个数据块存储相同生命周期的多个对象，每个数据块对应一个索引，索引包括标识符和时间前缀，所述时间前缀为相应数据块写入完成时的时间；

4、根据每个索引的时间前缀确定过期索引，以从所述多个数据块中确定过期数据块；

5、根据所述过期索引中的标识符，确定所述过期数据块中各个对象的元数据的反向索引；

6、删除所述过期数据块，以释放所述各个对象；及

7、根据所述各个对象的元数据的反向索引，删除所述过期数据块中各个对象的元数据。

8、可选地，所述提供多个数据块包括：

9、预分配固定大小的所述多个数据块；

10、将生命周期相同、上传时间相近的多个对象，以顺序写的方式合并到同一个数据块中；其中上传时间相近的多个对象为从客户端上传且上传时间差小于预设差值的多个对象。

11、可选地，所述多个数据块分布在一个或多个分区，每个分区包括一个或多个桶，同一分区中的各个桶的生命周期相同，桶为对象容器；

12、所述将生命周期相同、上传时间相近的多个对象，以顺序写的方式合并到同一个数据块中，包括：

13、将生命周期相同、上传时间相近的多个对象划分到目标桶；

14、根据目标捅，确定所述多个分区中的目标分区；

15、将生命周期相同、上传时间相近的多个对象，以顺序写的方式写入到所述目标分区的目标数据块中。

16、可选地，所述方法还包括：

17、响应于所述目标数据块的剩余存储容量小于预设阈值，根据写入时间和所述目标捅的生命周期，创建所述目标数据块的目标索引；其中所述写入时间为所述响应被触发的时间。

18、可选地，所述根据每个索引的时间前缀确定过期索引，包括：

19、基于各个索引的时间前缀以及预先设置的对象回收条件，确定所述过期索引。

20、可选地，还包括：

21、预先提供多个离线服务，不同离线服务对应不同的任务；

22、其中，所述任务包括确定过期索引、获取反向索引、删除过期元数、删除过期数据块。

23、可选地，还包括：

24、在所述多个离线服务出现预设积压状态的情形下，创建新离线服务以增加离线服务的数量。

25、本申请实施例的另一个方面提供了一种针对对象存储的数据处理装置，所述装置包括：

26、提供模块，用于提供多个数据块，同一个数据块存储相同生命周期的多个对象，每个数据块对应一个索引，索引包括标识符和时间前缀，所述时间前缀为相应数据块写入完成时的时间；

27、第一确定模块，用于根据每个索引的时间前缀确定过期索引，以从所述多个数据块中确定过期数据块；

28、第二确定模块，用于根据所述过期索引中的标识符，确定所述过期数据块中各个对象的元数据的反向索引；

29、第一删除模块，用于根据所述各个对象的元数据的反向索引，删除所述过期数据块中各个对象的元数据；及

30、第二删除模块，用于删除所述过期数据块，以释放所述各个对象。

31、本申请实施例的另一个方面提供了一种计算机设备，包括：

32、至少一个处理器；及

33、与所述至少一个处理器通信连接的存储器；

34、其中：所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

35、本申请实施例的另一个方面提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如上所述的方法。

36、本申请实施例提供的针对对象存储的数据处理方法、装置、计算机设备、计算机可读存储介质，并不是以对象为单位进行分散存储和管理，而是将相同生命周期的多个对象合并在一个数据块中。然后，以数据块为单位进行数据存储和管理。在回收过程中，通过各个数据块的索引中的时间前缀筛选过期数据块。通过索引中的标识符定位过期数据块，并获取过期数据块中每个对象(过期对象)的元数据的反向索引，从而可以反向删除过期对象的元数据，降低了筛选过期对象的开销。由于以数据块为单位代替以对象为单位的管理，缓解了大量对象频繁删除产生的io对磁盘的影响，且缓解了磁盘碎片化，一定程度上优化了磁盘的读写性能。

技术特征：

1.一种针对对象存储的数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述提供多个数据块包括：

3.根据权利要求2所述的方法，其特征在于，所述多个数据块分布在一个或多个分区，每个分区包括一个或多个桶，同一分区中的各个桶的生命周期相同，桶为对象容器；

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述根据每个索引的时间前缀确定过期索引，包括：

6.根据权利要求1至4任意一项所述的方法，其特征在于，还包括：

7.根据权利要求6所述的方法，其特征在于，还包括：

8.一种针对对象存储的数据处理装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本申请提供了一种针对对象存储的数据处理方法，包括：提供多个数据块，同一个数据块存储相同生命周期的多个对象，每个数据块对应一个索引，索引包括标识符和时间前缀，所述时间前缀为相应数据块写入完成时的时间；根据每个索引的时间前缀确定过期索引，以从所述多个数据块中确定过期数据块；根据所述过期索引中的标识符，确定所述过期数据块中各个对象的元数据的反向索引；根据所述各个对象的元数据的反向索引，删除所述过期数据块中各个对象的元数据；及删除所述过期数据块，以释放所述各个对象。本申请的技术方案可以降低开销和优化磁盘性能。

技术研发人员：刘易,梁松涛
受保护的技术使用者：上海哔哩哔哩科技有限公司
技术研发日：
技术公布日：2024/1/12