任务处理方法、装置、非易失性存储介质及处理器与流程

文档序号:26003814发布日期:2021-07-23 21:21阅读:来源:国知局

技术特征:

1.一种任务处理方法,其特征在于,包括:

确定存储桶和目标分层任务配置天数,其中,所述存储桶为分布式存储服务中用于存储对象的容器;

根据所述目标分层任务配置天数,确定所述存储桶中的数据对象;

确定与所述数据对象对应的生命周期任务,其中,所述生命周期任务用于改变所述数据对象的存储状态,所述生命周期任务包括至少一个分层任务;

在所述生命周期任务中包括第一分层任务的情况下,确定所述数据对象的第一分层任务的执行状态,其中,所述第一分层任务的配置天数小于所述目标分层任务配置天数;

在确定所述数据对象的所述第一分层任务已执行的情况下,执行所述生命周期任务中的第二分层任务对所述数据对象进行分层,其中,所述第二分层任务的配置天数大于所述第一分层任务的配置天数。

2.根据权利要求1所述的方法,其特征在于,确定所述数据对象的第一分层任务的执行状态,其中,所述第一分层任务的配置天数小于所述目标分层任务配置天数,包括:

读取所述数据对象的分层属性,其中,所述分层属性存储于所述数据对象的元数据中;

在所述分层属性包括与所述第一分层任务对应的分层数据的情况下,确定所述数据对象已执行所述第一分层任务;或,在所述分层属性不包括与所述第一分层任务对应的分层数据的情况下,确定所述数据对象未执行所述第一分层任务。

3.根据权利要求1所述的方法,其特征在于,确定与所述数据对象对应的生命周期任务,其中,所述生命周期任务用于改变所述数据对象的存储状态,所述生命周期任务包括至少一个分层任务,包括:

读取所述存储桶的生命周期任务;

根据所述目标分层任务配置天数,从所述存储桶的生命周期任务中筛选得到与所述数据对象对应的生命周期任务,其中,与所述数据对象对应的生命周期任务包括所述第二分层任务,所述第二分层任务的配置天数与所述目标分层任务配置天数相同。

4.根据权利要求1所述的方法,其特征在于,根据所述目标分层任务配置天数,确定存储桶中的数据对象,包括:

根据所述目标分层任务配置天数,读取所述存储桶在第一目标日期的日志,得到在所述第一目标日期上传至所述存储桶的所述数据对象,其中,所述第一目标日期为过去的日期,且与当前日期的时间间隔为所述目标分层任务配置天数。

5.根据权利要求4所述的方法,其特征在于,在所述分层任务信息还包括所述生命周期任务的日志检查日期的情况下,还可以通过如下方式确定存储桶中的数据对象:

根据所述目标分层任务配置天数和所述生命周期任务的日志检查日期,读取所述存储桶在第二目标日期内的日志,得到所述数据对象,其中,所述数据对象在所述第二目标日期中上传至所述存储桶,所述第二目标日期包括所述日志检查日期至所述第一目标日期之间的日期。

6.根据权利要求5所述的方法,其特征在于,在确定所述数据对象的所述第一分层任务已执行的情况下,执行所述生命周期任务中的第二分层任务对所述数据对象进行分层,包括:

确定所述数据对象的上传天数,其中,所述上传天数为所述数据对象上传至所述存储桶的日期至所述存储桶当前日期的天数;

在所述上传天数等于所述第二分层任务的配置天数的情况下,执行所述第二分层任务对所述数据对象进行分层。

7.根据权利要求1所述的方法,其特征在于,在确定所述数据对象未执行所述第一分层任务的情况下,跳过执行所述第二分层任务并反馈报告。

8.根据权利要求1至7中任意一项所述的方法,其特征在于,确定存储桶和目标分层任务配置天数,包括:

获取目标生命周期对象中存储的目标分层任务信息,其中,所述目标生命周期对象中存储有至少一条分层任务信息,所述分层任务信息至少包括:存储桶的名称,分层任务配置天数;

根据所述目标分层任务信息,确定所述存储桶和所述目标分层任务配置天数。

9.根据权利要求8所述的方法,其特征在于,在获取生命周期对象中存储的目标分层任务信息之前,还包括:

创建n个生命周期对象,其中,n为不小于1的自然数;

确定与所述存储桶对应的所述目标生命周期对象,其中,所述目标生命周期对象为所述n个生命周期对象之一;

根据所述存储桶的名称和所述存储桶中存储的生命周期任务,生成至少一条分层任务信息,其中,每个所述生命周期任务至少包括一个分层任务,所述分层任务信息至少包括:存储桶的名称,分层任务配置天数,所述分层任务配置天数至少与所述存储桶的一个分层任务的配置天数相同;

将所述至少一条分层任务信息存入所述目标生命周期对象。

10.根据权利要求9所述的方法,其特征在于,确定与所述存储桶对应的所述目标生命周期对象,其中,所述目标生命周期对象为所述n个生命周期对象之一,包括:

获取所述存储桶的桶名称;

确定所述桶名称对应的哈希值,将所述哈希值对n取模,得到所述存储桶对应的序号;

根据所述序号,确定与所述存储桶对应的所述目标生命周期对象,其中,所述目标生命周期对象为所述n个生命周期对象中与所述序号对应的生命周期对象。

11.一种任务处理装置,其特征在于,包括:

第一确定模块,用于确定存储桶和目标分层任务配置天数,其中,所述存储桶为分布式存储服务中用于存储对象的容器;

第二确定模块,用于根据所述目标分层任务配置天数,确定所述存储桶中的数据对象;

第三确定模块,用于确定与所述数据对象对应的生命周期任务,其中,所述生命周期任务用于改变所述数据对象的存储状态,所述生命周期任务包括至少一个分层任务;

第四确定模块,用于在所述生命周期任务中包括第一分层任务的情况下,确定所述数据对象的第一分层任务的执行状态,其中,所述第一分层任务的配置天数小于所述目标分层任务配置天数;

执行模块,用于在确定所述数据对象的所述第一分层任务已执行的情况下,执行所述生命周期任务中的第二分层任务对所述数据对象进行分层,其中,所述第二分层任务的配置天数大于所述第一分层任务的配置天数。

12.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至10中任意一项所述任务处理方法。

13.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至10中任意一项所述任务处理方法。


技术总结
本发明公开了一种任务处理方法、装置、非易失性存储介质及处理器。其中,该方法包括:确定存储桶和目标分层任务配置天数;根据目标分层任务配置天数,确定存储桶中的数据对象;确定与数据对象对应的生命周期任务,其中,生命周期任务包括至少一个分层任务;在生命周期任务中包括第一分层任务的情况下,确定数据对象的配置天数小于目标分层任务配置天数的第一分层任务的执行状态;在确定数据对象的第一分层任务已执行的情况下,执行生命周期任务中的配置天数大于第一分层任务的配置天数的第二分层任务对数据对象进行分层。本发明解决了分布式存储服务中的分层任务难以保序执行的技术问题。

技术研发人员:卢行;何闯;王豪迈;胥昕;翟静
受保护的技术使用者:星辰天合(北京)数据科技有限公司
技术研发日:2021.04.19
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1