数据存储方法、装置、计算机设备及其存储介质与流程

文档序号:36242913发布日期:2023-12-02 06:14阅读:22来源:国知局
数据存储方法与流程

本技术涉及人工智能,特别是涉及一种数据存储方法、装置、计算机设备及其存储介质。


背景技术:

1、随着数据化时代的发展,用户在日常工作与生活当中接触到的数据信息越来越多,需要存储的数据也越来越多。

2、现有技术中,为保证用户对存储数据的读写效率,可根据数据的已访问次数,将数据存储到不同读写效率的存储设备中。例如:将数据分为频繁访问的热数据、偶尔访问的温数据、几乎不访问的冷数据,并将热数据、温数据和冷数据存入不同读写效率的存储设备。

3、但是,现有技术对数据进行存储时考虑因素较为单一,存储的灵活性较低,无法充分保证数据读写效率。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够灵活驱动存储设备,保证数据读写效率的数据存储方法、装置、计算机设备及其存储介质。

2、第一方面,本技术提供了一种数据存储方法。该方法包括:

3、若达到数据存储周期,获取待处理数据,其中,待处理数据包括已存储数据和/或新增存储数据;

4、根据待处理数据的历史访问记录,确定待处理数据的当前访问温度;

5、根据待处理数据的数据内容,确定待处理数据的预测访问温度;

6、根据访问温度阈值、待处理数据的当前访问温度和预测访问温度,将待处理数据存储至对应的数据存储层。

7、在其中一个实施例中,根据待处理数据的历史访问记录,确定待处理数据的当前访问温度,包括:

8、根据待处理数据在第一预设时间段内的历史访问记录,确定待处理数据在第一预设时间段内的访问时间;

9、根据待处理数据在第一预设时间段内的访问时间,确定待处理数据的当前访问温度。

10、在其中一个实施例中,根据待处理数据在第一预设时间段内的访问时间,确定待处理数据的当前访问温度,包括:

11、通过冷却模型,根据待处理数据在第一预设时间段内的访问时间,确定待处理数据的当前访问温度。

12、在其中一个实施例中,历史访问记录根据预先设定的记录更新周期进行数据更新。

13、在其中一个实施例中,根据待处理数据的数据内容,确定待处理数据的预测访问温度,包括:

14、通过温度预测模型,对待处理数据的数据内容进行温度预测,得到待处理数据的预测访问温度。

15、在其中一个实施例中,温度预测模型的训练过程包括:

16、若达到模型训练周期,则获取已存储数据和已存储数据对应的当前访问温度;

17、根据已存储数据和已存储数据对应的当前访问温度,对温度预测模型中的权重参数进行更新,得到训练后的温度预测模型。

18、在其中一个实施例中,访问温度阈值为由访问上限阈值和访问下限阈值构成的访问温度阈值区间;根据访问温度阈值、待处理数据的当前访问温度和预测访问温度,将待处理数据存储至对应的数据存储层包括:

19、根据当前访问温度和预测访问温度,确定待处理数据的混合访问温度;

20、根据混合访问温度与访问温度阈值区间,确定待处理数据对应的数据存储层;

21、将待处理数据存储至对应的数据存储层。

22、在其中一个实施例中,根据混合访问温度与访问温度阈值区间,确定待处理数据对应的数据存储层,包括:

23、若混合访问温度大于访问温度阈值区间的访问上限阈值,则确定待处理数据的数据存储层为第一存储层;

24、若混合访问温度属于访问温度阈值区间,则确定待处理数据的数据存储层为第二存储层;

25、若混合访问温度小于访问温度阈值区间的访问下限阈值,则确定待处理数据的数据存储层为第三存储层;

26、其中,第一存储层的读写效率大于第二存储层的读写效率,第二存储层的读写效率大于第三存储层的读写效。

27、在其中一个实施例中,方法还包括:

28、若数据存储层的访问指标不满足指标阈值,则更新访问上限阈值和访问下限阈值;

29、根据更新后的访问上限阈值和访问下限阈值,对访问温度阈值区间进行调整。

30、在其中一个实施例中,数据存储层的访问指标包括:访问命中率和/或访问利用率;

31、相应的,方法还包括:

32、根据第二预设时段内第一存储层、第二存储层和第三存储层的访问次数,以及第一存储层和第二存储层的访问系数,确定数据存储层的访问命中率;

33、根据第二预设时段内第一存储层、第二存储层的访问次数,以及第一存储层的数据存储量和第二存储层的数据存储量,确定数据存储层的访问利用率。

34、在其中一个实施例中,根据当前访问温度和预测访问温度,确定待处理数据的混合访问温度,包括:

35、确定当前访问温度对应的第一运算权重,以及确定预测访问温度对应的第二运算权重;

36、根据第一运算权重和第二运算权重,对当前访问温度和预测访问温度进行加权求和处理,得到待处理数据的混合访问温度。

37、第二方面,本技术还提供了一种数据存储装置。该装置包括:

38、获取模块,用于若达到数据存储周期,获取待处理数据,其中,待处理数据包括已存储数据和/或新增存储数据;

39、第一确定模块,用于根据待处理数据的历史访问记录,确定待处理数据的当前访问温度;

40、第二确定模块,用于根据待处理数据的数据内容,确定待处理数据的预测访问温度;

41、存储模块,用于根据访问温度阈值、待处理数据的当前访问温度和预测访问温度,将待处理数据存储至对应的数据存储层。

42、第三方面,本技术还提供了一种计算机设备。计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:

43、若达到数据存储周期,获取待处理数据,其中,待处理数据包括已存储数据和/或新增存储数据;

44、根据待处理数据的历史访问记录,确定待处理数据的当前访问温度;

45、根据待处理数据的数据内容,确定待处理数据的预测访问温度;

46、根据访问温度阈值、待处理数据的当前访问温度和预测访问温度,将待处理数据存储至对应的数据存储层。

47、第四方面,本技术还提供了一种计算机可读存储介质。计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

48、若达到数据存储周期,获取待处理数据,其中,待处理数据包括已存储数据和/或新增存储数据;

49、根据待处理数据的历史访问记录,确定待处理数据的当前访问温度;

50、根据待处理数据的数据内容,确定待处理数据的预测访问温度;

51、根据访问温度阈值、待处理数据的当前访问温度和预测访问温度,将待处理数据存储至对应的数据存储层。

52、第五方面,本技术还提供了一种计算机程序产品。计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

53、若达到数据存储周期,获取待处理数据,其中,待处理数据包括已存储数据和/或新增存储数据;

54、根据待处理数据的历史访问记录,确定待处理数据的当前访问温度;

55、根据待处理数据的数据内容,确定待处理数据的预测访问温度;

56、根据访问温度阈值、待处理数据的当前访问温度和预测访问温度,将待处理数据存储至对应的数据存储层。

57、上述数据存储方法、装置、计算机设备及其存储介质,通过待处理数据的历史访问记录和待处理数据的数据内容,确定待处理数据的当前访问温度和预测访问温度,进而,根据访问温度阈值、待处理数据的当前访问温度和预测访问温度,将待处理数据存储至对应的数据存储层。由于上述过程中,不仅仅根据待处理数据的当前访问温度,还要结合待处理数据的预测访问温度,实现将待处理数据存储至对应的数据存储层,实现结合当前待处理数据的访问热度和预测待处理数据未来的访问热度,一同确定待处理数据对应的数据存储层,防止出现待处理数据未来的访问热度较高,但是存储至读写效率较低的数据存储层的情况,导致在读写待处理数据时造成时间浪费;以及,防止出现待处理数据未来的访问热度较低,但是存储至读写效率较高的数据存储层的情况,导致存储资源的浪费,因此,本技术保证了对待处理数据的存储灵活性,充分包围了每一待处理数据的读写效率。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1