数据分区存储方法、系统、计算机设备和存储介质与流程

1.本发明属于数据存储技术领域，尤其涉及数据分区存储方法、系统、计算机设备和存储介质。


背景技术：

2.存储，简单而言，便是将东西进行积累与存放。通过一些合理、安全、有效的途径，一方面要提供一个支持短期与长期的媒介或者平台，另一方面还要确保能够自由地取用，但由于数据是不可见的，是摸不着的，这种无形的存在增加数据存储的难度。为了解决数据的虚拟化，人们把关注点放在硬件材料上，通过物理设备，为数据打造一个可见的容器，将隐形的数据存储于可见的平台中。
3.随着计算机技术的发展，需要存储的数据越来越多，如果不对数据进行分类分区存储，则会导致数据的主次不明，很容易影响重要数据的读取，降低计算机的数据处理效率，且大量的数据中通常包含有一些垃圾数据，如果不能够对垃圾数据进行处理，就会占用大量的存储空间，造成存储空间的浪费。


技术实现要素：

4.本发明实施例的目的在于提供数据分区存储方法、系统、计算机设备和存储介质，旨在解决背景技术中提出的问题。
5.为实现上述目的，本发明实施例提供如下技术方案：数据分区存储方法，所述方法具体包括以下步骤：获取目标数据，将所述目标数据存储在虚拟存储库中；提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级；根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中；判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。
6.作为本发明实施例技术方案进一步的限定，所述提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级具体包括以下步骤：提取所述虚拟存储库中的目标数据；获取所述目标数据的sql日志；根据所述sql日志，确定所述目标数据的数据特征；根据所述数据特征，确定所述目标数据的热度等级。
7.作为本发明实施例技术方案进一步的限定，所述根据所述数据特征，确定所述目标数据的热度等级具体包括以下步骤：将所述数据特征输入至数据特征与热度等级映射模型中；输出在所述数据特征下的目标数据的热度等级。
8.作为本发明实施例技术方案进一步的限定，所述根据所述热度等级，将所述目标
数据存储在永久存储区域或临时存储区域中具体包括以下步骤：判断所述热度等级是否大于预设的临界等级；若所述热度等级大于所述临界等级，则将所述目标数据存储在永久存储区域中；若所述热度等级不大于所述临界等级，则将所述目标数据存储在临时存储区域中。
9.作为本发明实施例技术方案进一步的限定，所述永久存储区域包括第一存储区域和第二存储区域，所述第一存储区域的数据访问速度大于所述第二存储区域的数据访问速度。
10.作为本发明实施例技术方案进一步的限定，所述若所述热度等级大于所述临界等级，则将所述目标数据存储在永久存储区域中具体包括以下步骤：所述若所述热度等级大于所述临界等级，则判断所述热度等级是否大于预设的分区等级；若所述热度等级大于所述分区等级，则将所述目标数据存储在第一存储区域中；若所述热度等级不大于所述分区等级，则将所述目标数据存储在第二存储区域中。
11.作为本发明实施例技术方案进一步的限定，所述判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除具体包括以下步骤：判断所述临时存储区域中的临时数据在预设时间内是否被访问；若所述临时数据在预设时间内被访问，则将所述临时数据迁移至第二存储区域中；若所述临时数据在预设时间内未被访问，则将所述临时数据删除。
12.本发明实施例的另一目的在于提供数据分区存储系统，所述系统包括连接检测单元、身份验证单元和访问限制单元，其中：虚拟存储单元，用于获取目标数据，将所述目标数据存储在虚拟存储库中；热度等级确定单元，用于提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级；存储划分单元，用于根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中；临时数据处理单元，用于判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。
13.本发明实施例的另一目的在于提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述数据分区存储方法的步骤。
14.本发明实施例的另一目的在于提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述数据分区存储方法的步骤。
15.与现有技术相比，本发明的有益效果是：本发明实施例通过获取目标数据，将所述目标数据存储在虚拟存储库中；提取所
述虚拟存储库中的目标数据，确定所述目标数据的热度等级；根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中；判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。能够将获取的目标数据暂存在虚拟存储库中，然后分析目标数据的热度等级，对目标数据进行分类分区存储，并对垃圾数据进行识别，及时删除垃圾数据，有效避免存储空间的占用与浪费。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
17.图1示出了本发明实施例提供的方法的流程图。
18.图2示出了本发明实施例提供的方法中确定热度等级的流程图。
19.图3示出了本发明实施例提供的方法中输出热度等级的流程图。
20.图4示出了本发明实施例提供的方法中目标数据存储判断的流程图。
21.图5示出了本发明实施例提供的方法中永久存储区域存储的流程图。
22.图6示出了本发明实施例提供的方法中临时数据处理的流程图。
23.图7示出了本发明实施例提供的系统的应用架构图。
具体实施方式
24.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
25.可以理解的是，在现有技术中，随着计算机技术的发展，需要存储的数据越来越多，如果不对数据进行分类分区存储，则会导致数据的主次不明，很容易影响重要数据的读取，降低计算机的数据处理效率，且大量的数据中通常包含有一些垃圾数据，如果不能够对垃圾数据进行处理，就会占用大量的存储空间，造成存储空间的浪费。
26.为解决上述问题，本发明实施例通过获取目标数据，将所述目标数据存储在虚拟存储库中；提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级；根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中；判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。能够将获取的目标数据暂存在虚拟存储库中，然后分析目标数据的热度等级，对目标数据进行分类分区存储，并对垃圾数据进行识别，及时删除垃圾数据，有效避免存储空间的占用与浪费。
27.图2示出了本发明实施例提供的方法的流程图。
28.具体的，数据分区存储方法，所述方法具体包括以下步骤：步骤s101，获取目标数据，将所述目标数据存储在虚拟存储库中。
29.在本发明实施例中，将获取的目标数据暂时存储在虚拟存储库中，为目标数据的分区做准备。
30.可以理解的是，虚拟存储库是整个存储空间中开辟的一个小的存储空间，存储在
虚拟存储库中的目标数据并不是真正的数据存储，而是将目标数据暂时存储在虚拟存储库中，通过将目标数据排队进行分区存储分析。
31.步骤s102，提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级。
32.在本发明实施例中，将虚拟存储库中的目标数据进行提取，对提取出的目标数据进行热度分析，得到目标数据的热度等级。热度等级可以根据实际需求进行划分，例如热度等级可以包括热数据和冷数据，热度等级也可以包括第一等级、第二等级和第三等级等。
33.具体的，图2示出了本发明实施例提供的方法中确定热度等级的流程图。
34.其中，在本发明提供的优选实施方式中，所述提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级具体包括以下步骤：步骤s1021，提取所述虚拟存储库中的目标数据。
35.步骤s1022，获取所述目标数据的sql日志。
36.在本发明实施例中，对从虚拟存储库中提取的目标数据进行分析，获取该目标数据的sql日志。具体的，目标数据的sql日志能够记录目标数据的访问信息，从而能够得到目标数据的访问时间点。
37.步骤s1023，根据所述sql日志，确定所述目标数据的数据特征。
38.在本发明实施例中，通过对目标数据的sql日志进行解析，得到关于该目标数据的数据特征。具体的，目标数据的数据特征可以是该目标数据的访问频率，通过sql日志可以获取目标数据的访问时间点，进而能够获取该目标数据的访问频率。
39.步骤s1024，根据所述数据特征，确定所述目标数据的热度等级。
40.在本发明实施例中，对目标数据的数据特征进行分析，对目标数据的热度进行划分，得到该目标数据的热度等级。
41.具体的，图3示出了本发明实施例提供的方法中输出热度等级的流程图。
42.其中，在本发明提供的优选实施方式中，所述根据所述数据特征，确定所述目标数据的热度等级具体包括以下步骤：步骤s10241，将所述数据特征输入至数据特征与热度等级映射模型中。
43.步骤s10242，输出在所述数据特征下的目标数据的热度等级。
44.在本发明实施例中，将目标数据的数据特征输入至预先训练好的数据特征与热度等级映射模型中，经过数据特征与热度等级映射模型的计算，得到该数据特征下的目标数据的热度等级。
45.进一步的，所述数据分区存储方法还包括以下步骤：步骤s103，根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中。
46.在本发明实施例中，根据目标数据的热度等级，对目标数据进行分区存储，将热度等级高的目标数据存储在永久存储区域中，将热度等级低的目标数据存储在临时存储区域中。
47.可以理解的是，永久存储区域能够将热度等级高的目标数据永久存储，便于热度等级高的目标数据的高频率访问；临时存储区域只能够将热度等级低的目标数据临时存储，在热度等级低的目标数据存储在临时存储区域之后不再被访问时，则将该目标数据删除，从而避免存储空间的浪费。
48.具体的，图4示出了本发明实施例提供的方法中目标数据存储判断的流程图。
49.其中，在本发明提供的优选实施方式中，所述根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中具体包括以下步骤：步骤s1031，判断所述热度等级是否大于预设的临界等级。
50.在本发明实施例中，将热度等级与预设的临界等级进行比较，判断目标数据的热度等级是否大于临界等级。
51.可以理解的是，临界等级是预设的能够将目标数据在永久存储区域或临时存储区域存储划分的热度判断等级。
52.步骤s1032，若所述热度等级大于所述临界等级，则将所述目标数据存储在永久存储区域中。
53.在本发明实施例中，如果热度等级大于预设的临界等级，说明该目标数据被访问的频率较大，此时将目标数据存储在永久存储区域中，便于该目标数据的频繁访问。
54.具体的，图5示出了本发明实施例提供的方法中永久存储区域存储的流程图。
55.其中，在本发明提供的优选实施方式中，所述若所述热度等级大于所述临界等级，则将所述目标数据存储在永久存储区域中具体包括以下步骤：步骤s10321，所述若所述热度等级大于所述临界等级，则判断所述热度等级是否大于预设的分区等。
56.在本发明实施例中，将永久存储区域又分为第一存储区域和第二存储区域，且第一存储区域的数据访问速度大于第二存储区域的数据访问速度，从而通过对目标数据的热度等级进行再次比较，判断大于临界等级的热度等级是否还大于预设的分区，进而将访问频率不同的目标数据分别存储在第一存储区域和第二存储区域中，便于访问更加频繁的目标数据的快速访问。
57.步骤s10322，若所述热度等级大于所述分区等级，则将所述目标数据存储在第一存储区域中。
58.在本发明实施例中，如果目标数据的热度等级大于分区等级，则说明该目标数据的访问频率更高，此时将该目标数据存储在第一存储区域中，便于该目标数据的快速访问。
59.步骤s10323，若所述热度等级不大于所述分区等级，则将所述目标数据存储在第二存储区域中。
60.在本发明实施例中，如果目标数据的热度等级不大于分区等级，则说明该目标数据的访问频率中等，此时将该目标数据存储在第二存储区域中，便于该目标数据的中等速度访问。
61.进一步的，所述根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中还包括以下步骤：步骤s1033，若所述热度等级不大于所述临界等级，则将所述目标数据存储在临时存储区域中。
62.在本发明实施例中，如果热度等级不大于预设的临界等级，说明该目标数据被访问的频率较小，此时将该目标数据存储在临时存储区域中，便于判断该目标数据是否会再次被访问，进而对该目标数据进行后续处理。
63.进一步的，所述数据分区存储方法还包括以下步骤：
步骤s104，判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。
64.在本发明实施例中，判断存储在临时存储区域中的临时数据是否在预设时间内被访问，如果临时数据在预设时间内不被访问，则将临时数据删除；如果临时数据在预设时间内被访问，则将临时数据从临时存储区域中迁移出来。
65.具体的，图6示出了本发明实施例提供的方法中临时数据处理的流程图。
66.其中，在本发明提供的优选实施方式中，所述判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除具体包括以下步骤：步骤s1041，判断所述临时存储区域中的临时数据在预设时间内是否被访问。
67.在本发明实施例中，对存储在临时存储区域中的临时数据进行监测，判断在预设时间内，存储在临时存储区域中的临时数据是否被访问。
68.步骤s1042，若所述临时数据在预设时间内被访问，则将所述临时数据迁移至第二存储区域中。
69.在本发明实施例中，如果临时数据在预设时间内被访问，则说明该临时数据还有被经常访问的可能，此时将该临时数据迁移至第二存储区域中，便于对该临时数据的低频率访问。
70.步骤s1043，若所述临时数据在预设时间内未被访问，则将所述临时数据删除。
71.在本发明实施例中，如果临时数据在预设时间内未被访问，则说明该临时数据没有被访问的可能，此时将该临时数据删除，避免存储空间被垃圾数据占用。
72.进一步的，图7示出了本发明实施例提供的数据分区存储系统100的应用架构图。
73.具体的，在在本发明提供的又一个优选实施方式中，数据分区存储系统100，包括：虚拟存储单元101，用于获取目标数据，将所述目标数据存储在虚拟存储库中。
74.在本发明实施例中，虚拟存储单元101获取的目标数据，并将该目标数据暂时存储在虚拟存储库中，为目标数据的分区做准备。
75.热度等级确定单元102，用于提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级。
76.在本发明实施例中，热度等级确定单元102将虚拟存储库中的目标数据进行提取，对提取出的目标数据进行热度分析，得到目标数据的热度等级。
77.存储划分单元103，用于根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中。
78.在本发明实施例中，存储划分单元103根据目标数据的热度等级，对目标数据进行分区存储，将热度等级高的目标数据存储在永久存储区域中，将热度等级低的目标数据存储在临时存储区域中。
79.临时数据处理单元104，用于判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。
80.在本发明实施例中，临时数据处理单元104判断存储在临时存储区域中的临时数据是否在预设时间内被访问，如果临时数据在预设时间内不被访问，则将临时数据删除；如果临时数据在预设时间内被访问，则将临时数据从临时存储区域中迁移出来。
81.在又一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取目标数据，将所述目标数据存储在虚拟存储库中；提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级；根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中；判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。
82.在又一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取目标数据，将所述目标数据存储在虚拟存储库中；提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级；根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中；判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。
83.综上所述，本发明实施例通过获取目标数据，将所述目标数据存储在虚拟存储库中；提取所述虚拟存储库中的目标数据，确定所述目标数据的热度等级；根据所述热度等级，将所述目标数据存储在永久存储区域或临时存储区域中；判断所述临时存储区域中的临时数据在预设时间内是否被访问，并根据判断结果对所述临时数据进行迁移或删除。能够将获取的目标数据暂存在虚拟存储库中，然后分析目标数据的热度等级，对目标数据进行分类分区存储，并对垃圾数据进行识别，及时删除垃圾数据，有效避免存储空间的占用与浪费。
84.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
85.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
86.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
87.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
88.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。