一种数据处理方法、装置、计算机设备及存储介质

本公开涉及数据处理，具体而言，涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术：

1、大数据时代的数据量呈指数级增长，叠瓦式磁盘(shingled magneticrecording，smr)作为一种经济高效的存储介质，通过将磁盘上的数据磁道部分重叠，可以实现高容量存储。但是在smr磁盘中执行的写操作，会破坏相邻磁道上的有效数据，因此，在写入数据的过程中必须将相邻磁道的有效数据读入内存，并将待修改的数据与新写入的数据合并，然后再写回smr磁盘的存储区域。

2、而针对主机管理的smr磁盘(host managed-smr，hm-smr)，是将预留的传统磁记录(conventional magnetic recording，cmr)区域作为持久缓存区域缓存数据。而持久缓存区域需要及时地进行清理以保证有可用的空间。因此，如何有效地清理hm-smr磁盘中的cmr区域是亟待解决的问题。

技术实现思路

1、本公开实施例至少提供一种数据处理方法、装置、计算机设备及存储介质。

2、第一方面，本公开实施例提供了一种数据处理方法，包括：

3、响应于目标磁盘在预设时间段内接收到至少一个写请求，根据各个所述写请求分别指示的写入数据的尺寸，确定用于划分数据更新类型的尺寸阈值；

4、根据每个所述写请求的尺寸和所述尺寸阈值，确定各个所述写请求对应的数据更新类型；其中，数据更新类型用于表征写请求的数据更新频繁程度；

5、按照预设数据块大小，对所述写请求的写入数据进行划分得到各个数据块，并将所述数据块缓存在所述目标磁盘中与所述数据更新类型对应的缓存区域，所述目标磁盘中有配置有多种缓存区域，不同的缓存区域用于支持缓存不同更新频率的数据。

6、一种可选的实施方式中，所述缓存区域包括用于缓存第一类型的写请求对应的写入数据的高频缓存区域，和用于缓存第二类型的写请求划对应的写入数据的低频缓存区域；

7、所述将所述数据块缓存在所述目标磁盘中与所述数据更新类型对应的缓存区域中，包括：

8、在所述写请求的尺寸小于或等于所述尺寸阈值时，确定所述写请求的数据更新类型为所述第一类型，否则，确定所述写请求的数据更新类型为所述第二类型；

9、将所述第一类型的写请求的各数据块，缓存在所述高频缓存区域；将所述第二类型的写请求的各数据块，缓存在所述低频缓存区域。

10、一种可选的实施方式中，所述将所述第一类型的写请求的各数据块，缓存在所述高频缓存区域，包括：

11、针对所述第一类型的写请求对应的每个数据块，在所述数据块与所述目标磁盘中已缓存的数据块相同的情况下，基于所述数据块在所述目标磁盘中已标记的属性信息和所述数据块在所述高频缓存区域中的历史存储位置，确定所述数据块在所述高频缓存区域中的最新存储位置；所述属性信息用于指示所述数据块的更新周期长短信息。

12、一种可选的实施方式中，所述数据块在所述目标磁盘中已标记的属性信息为第一属性信息；所述第一属性信息指示所述数据块为第一次被写入到所述目标磁盘、对应的写请求属于所述第一类型、且不存在于所述高频缓存区域的驻留堆栈内的元数据块；所述驻留堆栈用于存储所述元数据块；

13、所述基于所述数据块在所述目标磁盘中已标记的属性信息和所述数据块在所述高频缓存区域中的历史存储位置，确定所述数据块在所述高频缓存区域中的最新存储位置，包括：

14、将所述数据块对应的所述第一属性信息更新为第二属性信息，并确定所述元数据块对应的业务数据块；所述第二属性信息指示所述数据块为更新周期大于或等于第一设定阈值的业务数据块；

15、在所述元数据块不存在于所述高频缓存区域的驻留堆栈内、且被更新为所述第二属性信息的情况下，确定所述元数据块的最新存储位置为所述驻留堆栈的位置，并确定所述业务数据块在所述高频缓存区域中的存储位置为过滤器堆栈的位置；所述驻留堆栈用于存储所述元数据块；所述过滤器堆栈用于存储所述业务数据块。

16、一种可选的实施方式中，所述数据块在所述目标磁盘中已标记的属性为第二属性信息；所述第二属性信息指示所述数据块为更新周期大于或等于第一设定阈值的业务数据块；

17、所述基于所述数据块在所述目标磁盘中已标记的属性信息和所述数据块在所述高频缓存区域中的历史存储位置，确定所述数据块在所述高频缓存区域中的最新存储位置，包括：

18、在所述数据块同时存在于所述驻留堆栈和所述过滤器堆栈的情况下，将所述数据块的所述第二属性信息更新为第三属性信息；所述第三属性信息指示所述数据块为更新周期小于第二设定阈值的业务数据块；所述驻留堆栈和所述过滤器堆栈用于存储所述数据块中的业务数据块，所述驻留堆栈中存储的业务数据块的更新周期短于所述过滤器堆栈中存储的业务数据块的更新周期；所述第二设定阈值小于或等于所述第一设定阈值；

19、确定所述数据块的最新存储位置为所述驻留堆栈的最近最常使用端。

20、一种可选的实施方式中，所述数据块在所述目标磁盘中已标记的属性为第二属性信息；所述第二属性信息指示所述数据块为更新周期大于或等于第一设定阈值的业务数据块；

21、所述基于所述数据块在所述目标磁盘中已标记的属性和所述数据块在所述高频缓存区域中的历史存储位置，确定所述数据块在所述高频缓存区域中的最新存储位置，包括：

22、在所述数据块从驻留堆栈迁移到过滤器堆栈的情况下，确定所述数据块的最新存储位置为所述驻留堆栈的最近最常使用端；所述驻留堆栈和所述过滤器堆栈用于存储所述数据块中的业务数据块，所述驻留堆栈中存储的业务数据块的更新周期短于所述过滤器堆栈中存储的业务数据块的更新周期。

23、一种可选的实施方式中，所述数据块在所述目标磁盘中已标记的属性为第三属性信息；所述第三属性信息指示所述数据块为更新周期小于第二设定阈值的业务数据块；

24、所述基于所述数据块在所述目标磁盘中已标记的属性信息和所述数据块在所述高频缓存区域中的历史存储位置，确定所述数据块在所述高频缓存区域中的最新存储位置，包括：

25、在所述数据块为更新周期小于所述第二设定阈值的业务数据块、且存储于驻留堆栈的情况下，确定所述数据块的最新存储位置为所述驻留堆栈的最近最常使用端；所述驻留堆栈用于存储所述业务数据块。

26、一种可选的实施方式中，所述数据块在所述目标磁盘中已标记的属性为第四属性信息；所述第四属性信息指示所述数据块为业务数据块从所述高频缓存区域的过滤器堆栈移出的元数据块；所述过滤器堆栈用于存储所述业务数据块；

27、所述基于所述数据块在所述目标磁盘中已标记的属性和所述数据块在所述高频缓存区域中的历史存储位置，确定所述数据块在所述高频缓存区域中的最新存储位置，包括：

28、将所述数据块的所述第四属性信息更新为第三属性信息；所述第三属性信息指示所述数据块为更新周期小于第二设定阈值的业务数据块；

29、在所述数据块为从所述高频缓存区域的过滤器堆栈移出的元数据块，且被更新为所述第三属性信息的情况下，确定所述数据块的最新存储位置为所述高频缓存区域中的驻留堆栈的最近最常使用端；所述驻留堆栈用于存储所述业务数据块；所述驻留堆栈中存储的业务数据块的更新周期短于所述过滤器堆栈中存储的业务数据块的更新周期。

30、一种可选的实施方式中，在所述低频缓存区域中缓存的数据块的数量达到设定阈值时，对所述低频缓存区域内的数据块进行清除，包括：

31、在所述低频缓存区域中缓存的数据块的数量达到第三设定阈值时，根据所述低频缓存区域中缓存的数据块的数量以及各所述数据块对应的碎片程度，确定各所述数据块的权重；所述碎片程度用于指示所述数据块在所述低频缓存区域中的离散程度；所述碎片程度是根据所述目标磁盘的持久存储区域中数据块的数量、写指针指向的数据块的数量和所述低频缓存区域中缓存的数据块的数量确定的；

32、按照各所述数据块的权重，将权重符合第一预设条件的数据块写回到所述持久存储区域。

33、一种可选的实施方式中，所述方法还包括：

34、在所述高频缓存区域中缓存的数据块的数量达到第四设定阈值时，按照数据块在过滤器堆栈的最近最少使用端的排列顺序，将排列位置符合第二预设条件的数据块缓存到所述低频缓存区域；所述过滤器堆栈用于存储所述数据块中的业务数据块。

35、第二方面，本公开实施例还提供一种数据处理装置，包括：

36、第一确定模块，用于响应于目标磁盘在预设时间段内接收到至少一个写请求，根据各个所述写请求分别指示的写入数据的尺寸，确定用于划分数据更新类型的尺寸阈值；

37、第二确定模块，用于根据每个所述写请求的尺寸和所述尺寸阈值，确定各个所述写请求对应的数据更新类型；其中，数据更新类型用于表征写请求的数据更新频繁程度；

38、缓存模块，用于按照预设数据块大小，对所述写请求的写入数据进行划分得到各个数据块，并将所述数据块缓存在所述目标磁盘中与所述数据更新类型对应的缓存区域，所述目标磁盘中有配置有多种缓存区域，不同的缓存区域用于支持缓存不同更新频率的数据。

39、第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可选的实施方式中的步骤。

40、第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可选的实施方式中的步骤。

41、本公开实施例提供的数据处理方法，通过预设时间内接收到的各个写请求分别指示的写入数据的尺寸，可以准确确定用于划分数据更新类型的尺寸阈值，进而可以准确确定写请求对应的数据更新类型，并且将不同数据更新类型的数据块划分到不同的缓存区域中，可以实现有效地管理具有不同更新频率的写入数据。

42、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。