一种数据处理方法及装置与流程

本申请涉及信息技术(information technology，it)，尤其涉及一种数据处理方法及装置。

背景技术：

1、深度归档存储(deep archive)是对象存储服务(object storage service，obs)提供的可让海量数据长期归档的存储服务。深度归档存储提供了磁带存储级别的存储单价，为用户数据长期存储提供了低成本方案。用户无需在本地维护复杂的磁带库配置，无需关注底层存储介质的演进，通过对象存储提供的应用程序接口(application programminginterface，api)、软件开发工具包(software development kit，sdk)、生态工具和控制台等丰富的人机交互手段，即可实现便捷、低成本地管理数据。但目前在深度归档存储时，常常效率较低。

技术实现思路

1、本申请提供了一种数据处理方法、装置、计算设备、计算设备集群、计算机存储介质及计算机产品，能够数据归档存储的效率。

2、第一方面，本申请提供一种数据处理方法，应用于云平台。该方法包括：获取目标请求，目标请求用于请求将目标对象写入到磁带库中；确定目标对象的删除时间；基于目标对象的删除时间，将目标对象划分到目标队列，其中，目标队列中各个对象的删除时间间的时间差均小于预设时间差；在目标队列包含的对象所需存储空间达到预设空间的情况下，将目标队列中包含的对象均写入到磁带库中的目标磁带中。

3、这样，可以保证目标磁带中存储的数据的删除时间均相同或相近，从而在删除目标磁带中的数据时，可以将目标磁带中的数据在很短的时间内全部删除。由此即避免了目标磁带中出现空洞空间的情况，同时，也去除了回收目标磁带中空洞空间的时间，提升了磁带的空间利用率。示例性的，目标队列中存放的是目标对象的元数据或标识等。

4、在一种可能的实现方式中，确定目标对象的删除时间，具体包括：基于租户配置的删除时间，确定目标对象的删除时间。

5、在一种可能的实现方式中，确定目标对象的删除时间，具体包括：利用时间预测模型，对与目标对象关联的目标参数进行处理，以得到目标对象的删除时间，目标参数包括目标对象所在的对象桶的名称、目标对象的对象名、目标对象的大小和目标对象的创建时间中的一项或多项。

6、在一种可能的实现方式中，该方法还包括：获取磁带库中各个磁带中数据的删除信息；基于删除信息，对时间预测模型进行优化。由此以提升删除时间预测的准确度，提升数据分组效果。

7、在一种可能的实现方式中，将目标队列中包含的对象均写入到磁带库中的目标磁带中，具体包括：将目标队列中包含的对象由各个对象所在的对象桶，搬迁至目标磁带中。

8、在一种可能的实现方式中，将目标队列中包含的对象均写入到磁带库中的目标磁带中之后，方法还包括：在到达目标磁带中各个对象的删除时间后，删除目标对象中的数据。

9、第二方面，本申请提供一种数据处理装置，部署于于云平台，该装置包括：获取模块和处理模块。其中，获取模块，用于获取目标请求，目标请求用于请求将目标对象写入到磁带库中。处理模块，用于确定目标对象的删除时间。处理模块，还用于基于目标对象的删除时间，将目标对象划分到目标队列，其中，目标队列中各个对象的删除时间间的时间差均小于预设时间差。处理模块，还用于在目标队列包含的对象所需存储空间达到预设空间的情况下，将目标队列中包含的对象均写入到磁带库中的目标磁带中。

10、在一种可能的实现方式中，处理模块在确定目标对象的删除时间时，具体用于：基于租户配置的删除时间，确定目标对象的删除时间；和/或，利用时间预测模型，对与目标对象关联的目标参数进行处理，以得到目标对象的删除时间，目标参数包括目标对象所在的对象桶的名称、目标对象的对象名、目标对象的大小和目标对象的创建时间中的一项或多项。

11、在一种可能的实现方式中，在处理模块利用时间预测模型，对与目标对象关联的目标参数进行处理时，处理模块，还用于：获取磁带库中各个磁带中数据的删除信息；基于删除信息，对时间预测模型进行优化。

12、在一种可能的实现方式中，处理模块在将目标队列中包含的对象均写入到磁带库中的目标磁带中时，具体用于：将目标队列中包含的对象由各个对象所在的对象桶，搬迁至目标磁带中。

13、在一种可能的实现方式中，处理模块在将目标队列中包含的对象均写入到磁带库中的目标磁带中之后，处理模块，还用于：在到达目标磁带中各个对象的删除时间后，删除目标对象中的数据。

14、第三方面，本申请提供一种计算设备，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序；其中，当存储器存储的程序被执行时，处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

15、第四方面，本申请提供一种计算设备集群，包括至少一个计算设备，每个计算设备均包括处理器和存储器；至少一个计算设备的处理器用于执行至少一个计算设备的存储器中存储的指令，以使得计算设备集群执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

16、第五方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

17、第六方面，本申请提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

18、可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

技术特征：

1.一种数据处理方法，其特征在于，应用于云平台，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象的删除时间，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象的删除时间，具体包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1-4任一所述的方法，其特征在于，所述将所述目标队列中包含的对象均写入到磁带库中的目标磁带中，具体包括：

6.根据权利要求1-5任一所述的方法，其特征在于，所述将所述目标队列中包含的对象均写入到磁带库中的目标磁带中之后，所述方法还包括：

7.一种数据处理装置，其特征在于，部署于于云平台，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述处理模块在确定所述目标对象的删除时间时，具体用于：

9.根据权利要求8所述的装置，其特征在于，在所述处理模块利用时间预测模型，对与所述目标对象关联的目标参数进行处理时，所述处理模块，还用于：

10.根据权利要求7-9任一所述的装置，其特征在于，所述处理模块在将所述目标队列中包含的对象均写入到磁带库中的目标磁带中时，具体用于：

11.根据权利要求7-10任一所述的装置，其特征在于，所述处理模块在将所述目标队列中包含的对象均写入到磁带库中的目标磁带中之后，所述处理模块，还用于：

12.一种计算设备，其特征在于，包括：

13.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备均包括处理器和存储器；

14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器执行如权利要求1-6任一所述的方法。

15.一种计算机程序产品，其特征在于，当所述计算机程序产品在处理器上运行时，使得所述处理器执行如权利要求1-6任一所述的方法。

技术总结
一种数据处理方法，应用于云平台。该方法包括：获取目标请求，目标请求用于请求将目标对象写入到磁带库中；确定目标对象的删除时间；基于目标对象的删除时间，将目标对象划分到目标队列，其中，目标队列中各个对象的删除时间间的时间差均小于预设时间差；在目标队列包含的对象所需存储空间达到预设空间的情况下，将目标队列中包含的对象均写入到磁带库中的目标磁带中。这样，可以保证目标磁带中存储的数据的删除时间均相同或相近，从而在删除目标磁带中的数据时，可以将目标磁带中的数据在很短的时间内全部删除。由此即避免了目标磁带中出现空洞空间的情况，同时，也去除了回收目标磁带中空洞空间的时间，提升了磁带的空间利用率。

技术研发人员：徐高翔,郭畅
受保护的技术使用者：华为云计算技术有限公司
技术研发日：
技术公布日：2024/5/16