一种处理方法、装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种处理方法、装置、电子设备及存储介质。


背景技术：

2.elasticsearch(简称es)是一种基于apache lucene的开源搜索引擎，在进行数据存储时，es通常将数据分为热数据和冷数据，并分别存放在对应的存储空间，而随着时间流逝，es中的数据会慢慢积累变多，此时需要将存储的热数据和冷数据进行动态的调整，以减少es的负压，提升当前的查询效率。
3.在现有的技术方案中，es能够根据索引来实现热数据与冷数据生命周期的管理，如索引中存放有热数据，当某一用户的热数据到达其设定的保存时间时，就会将包含此热数据的整条索引进行迁移，此种管理方式力度较为粗放，不能满足各用户的控制需求。


技术实现要素：

4.本发明提供了一种处理方法、装置、电子设备及存储介质，以在实现热数据与冷数据生命周期管理的基础上，满足各用户的控制需求。
5.根据本发明的一方面，提供了一种处理方法，包括：
6.获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据；
7.如果所述目标存储时长小于或等于所述目标用户对应的第一预设时长，则根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据；
8.对所述待处理数据进行处理。
9.根据本发明的另一方面，提供了一种处理装置，包括：
10.获取模块，用于获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据；
11.确定模块，用于如果所述目标存储时长小于或等于所述目标用户对应的第一预设时长，则根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据；
12.处理模块，用于对所述待处理数据进行处理。
13.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
14.至少一个处理器；以及
15.与所述至少一个处理器通信连接的存储器；其中，
16.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的处理方法。
17.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的处理方法。
18.本发明实施例提供了一种处理方法、装置、电子设备及存储介质。所述方法包括：获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据；如果所述目标存储时长小于或等于所述目标用户对应的第一预设时长，则根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据；对所述待处理数据进行处理。利用上述技术方案，通过设置目标用户对应的第一预设时长，能够当第一数据中的第二数据在目标节点内的目标存储时长小于或等于目标用户对应的第一预设时长时，根据目标用户数据所占用的存储空间大小来对待处理数据进行处理，以此在实现第一数据生命周期管理的基础上，满足各用户的控制需求。
19.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是根据本发明实施例一提供的一种处理方法的流程图；
22.图2是根据本发明实施例二提供的一种处理方法的流程图；
23.图3是根据本发明实施例二提供的一种处理方法的流程图；
24.图4是根据本发明实施例三提供的一种处理方法的流程图；
25.图5是根据本发明实施例三提供的一种处理方法的流程图；
26.图6是根据本发明实施例四提供的一种处理装置的结构示意图；
27.图7是根据本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
29.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.实施例一
31.图1是根据本发明实施例一提供的一种处理方法的流程图，本实施例可适用于对es中用户存储的数据进行处理的情况，该方法可以由处理装置来执行，该处理装置可以采用硬件和/或软件的形式实现，该处理装置可配置于电子设备中。如图1所示，该方法包括：
32.s110、获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据。
33.其中，第一数据可以认为是目标用户的目标用户数据中与目标业务类型对应的数据，目标用户可以是指在目标节点中存储有数据的某一用户；目标用户数据即为目标用户在目标节点中存储的数据，目标用户数据的大小与内容不限，目标用户数据可以对应一个或多个的业务类型，目标业务类型可以理解为多个业务类型中的某一业务类型，目标业务类型用于表征第一数据的业务类型，如目标业务类型可以为云防火墙业务等。
34.目标节点可理解为存储多个用户的用户数据的服务器，在本实施例中，不同类型服务器中存储的用户数据的类型有所差异，如在性能较高的服务器(即热节点)中可以存储有各用户访问频率较高的用户数据(即热数据)，便于用户进行查询；而在性能较低的服务器(即冷节点，如硬盘)中可以存储有各用户访问频率较低高的用户数据(即冷数据)，用于恢复与备份等。
35.可选的，第二数据可以为第一数据中存储时间最早的数据，目标存储时长即为第二数据在目标节点内存储的时长。
36.在本步骤中，首先可以获取第一数据中的第二数据在目标节点内的目标存储时长，以便于后续对目标节点内的数据进行处理，其中，获取第一数据中第二数据的目标存储时长的具体方法不作限定，如首先可以确定第一数据中的第二数据，然后基于第二数据确定第二数据在目标节点内的目标存储时长。
37.s120、如果所述目标存储时长小于或等于所述目标用户对应的第一预设时长，则根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据。
38.第一预设时长可以是指用户预先设定的第一数据的最大存储时长，不同用户对应的第一预设时长可以相同，也可以不同，用户可以根据实际情况进行设置。在本实施例中，用户还可以根据第一数据的不同对应设置不同的第一预设时长，如当第一数据为热数据时，目标用户可以设置第一预设时长为3个月；当第一数据为冷数据时，目标用户则可以设置第一预设时长为一年等。待处理数据可以认为是将要进行处理的数据。
39.具体的，在获取到第一数据中第二数据的目标存储时长后，可以将目标存储时长与目标用户对应的第一预设时长进行比较，并根据比较结果来对待处理数据进行确定。示例性的，当目标存储时长小于或等于目标用户对应的第一预设时长时，说明第一数据中存储时间最早数据的存储时长未超过用户预先设定的临界时长，此时可以根据目标用户的用户数据所占用的存储空间大小来确定待处理数据，具体确定待处理数据的步骤可以根据存储空间大小与目标存储时长的不同而有所区别。
40.s130、对所述待处理数据进行处理。
41.在确定第一数据中的待处理数据之后，需要对待处理数据进行处理，具体处理待处理数据的手段不限，可以根据第一数据的不同而有所不同，如第一数据包含热数据时，在确定第一数据中的待处理数据之后则可以将待处理数据进行迁移处理，本实施例不对迁移
的过程进行限定；第一数据包含冷数据时，在确定第一数据中的待处理数据之后则可以将待处理数据进行删除，以为目标用户保留更多的空闲存储空间。
42.本发明实施例一提供的一种处理方法，获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据；如果所述目标存储时长小于或等于所述目标用户对应的第一预设时长，则根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据；对所述待处理数据进行处理。利用该方法，通过设置目标用户对应的第一预设时长，能够当第一数据中的第二数据在目标节点内的目标存储时长小于或等于目标用户对应的第一预设时长时，根据目标用户数据所占用的存储空间大小来对待处理数据进行处理，以此在实现第一数据生命周期管理的基础上，满足各用户的控制需求。
43.在一个实施例中，在所述获取第一数据中的第二数据在目标节点内的目标存储时长之前，还包括：
44.按照存储时间确定所述第一数据中的第二数据。
45.在本步骤中，可以按照数据的存储时间来确定第一数据中的第二数据，不同的第一数据可以对应不同的获取方法，如当第一数据为热数据时，可以在确定第一数据后，首先根据第一数据中各数据存储时间的前后顺序确定出最早的存储时间，然后将最早存储时间对应的数据作为第二数据；当第一数据为冷数据时，可以根据某一数据库的表格(如第一预设表格)中记录的冷数据相关信息，确定最早的存储时间，并将最早存储时间对应的数据作为第二数据。
46.实施例二
47.图2是根据本发明实施例二提供的一种处理方法的流程图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，将第一数据和目标节点进一步具体化为：所述第一数据包括热数据，所述目标节点包括热节点。
48.同时，将在所述对所述待处理数据进行处理之前，还包括的情况进一步具体化为：如果所述目标存储时长大于所述目标用户对应的第一预设时长，则将所述第一数据中的第一待处理数据作为待处理数据。
49.本实施例尚未详尽的内容请参考实施例一。
50.如图2所示，本公开实施例二提供的一种处理方法，包括如下步骤：
51.s210、获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据，所述第一数据包括热数据，所述目标节点包括热节点。
52.在本实施例中，热数据可以是指需要被频繁访问的在线类数据，如热数据可以是半年以内的用户数据，也可以是3个月以内的用户数据，具体时长可以根据实际业务场景进行设置。热节点可以是指配置较高的服务器，热节点具有较好的磁盘吞吐量和较好的cpu。
53.当第一数据包括热数据，目标节点包括热节点时，即首先可以获取目标用户热数据中的第二数据在热节点内的目标存储时长，获取的方法不做限定，例如首先可以在热节点中获取目标业务类型对应的索引；然后在目标业务类型对应的索引中查找目标用户的第一数据，并根据第一数据中的时间单元确定出最早的存储时间，或者查找目标业务类型对应索引中目标用户的文档，然后根据文档属性确定出最早的存储时间；最后将最早存储时
间对应的数据作为第二数据，获取第一数据中的第二数据在目标节点内的目标存储时长。
54.s220、判断所述目标存储时长是否小于或等于所述目标用户对应的第一预设时长，若是，则执行s230；若否，则执行s240。
55.在本实施例中，第一预设时长可认为是用户预先设定的热数据的保存时长，故在获取到第一数据中第二数据的目标存储时长后，可以将目标存储时长与目标用户对应的第一预设时长进行比较，当目标存储时长小于或等于目标用户对应的第一预设时长时，说明第一数据中存储时间最早数据的存储时长未超过预设的热数据的保存时长，此时可以根据目标用户的用户数据所占用的存储空间大小来确定待处理数据，即执行步骤s230；当目标存储时长大于目标用户对应的第一预设时长时，说明第一数据中存储时间最早数据的存储时长已经超过预设的热数据的保存时长，此时可以将第一数据中的第一待处理数据作为待处理数据，即执行步骤s240。
56.s230、根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据。
57.本步骤中，具体根据目标用户当前所占用存储空间大小确定待处理数据的方式不作限定，如可以将存储空间大小与第一预设阈值进行比较并根据比较结果来直接确定待处理数据；也可以将存储空间大小与第一预设阈值进行比较后，根据比较结果与第二数据的目标存储时长来综合确定待处理数据，本实施例对此不作限定。其中，获取目标用户数据所占用存储空间大小的手段可以根据实际处理情况进行确定，如可以在某个数据库的表格(如第二预设表格)中对每个用户的用户数据所占用存储空间分日期与小时进行实时统计，然后将目标用户的目标用户数据按小时进行累计即可以得到目标用户数据所占用存储空间大小。
58.s240、将所述第一数据中的第一待处理数据作为待处理数据。
59.第一待处理数据可以认为是第一数据中存储时长较长的数据，如第一待处理数据可以包括第二数据，具体确定的方式可以由相关人员进行确定，此处不作进一步展开。
60.s250、对所述待处理数据进行处理。
61.在确定待处理数据后，可以对待处理数据进行处理，示例性的，在一个实施方式中，可以将待处理数据迁移至其他存储空间进行存储，如其他存储空间可以为冷节点等，具体迁移的方法不限，可以根据实际情况进行确定；在另一个实施方式中，也可以直接将待处理数据进行删除处理等，本实施例对此不作限定。
62.本发明实施例二提供的一种处理方法，在第一数据包括热数据，目标节点包括热节点时，通过设置目标用户对应的第一预设时长，能够根据目标用户热数据中第二数据的目标存储时长与第一预设时长的比较结果，分别确定对应的待处理数据，从而实现对待处理数据进行处理。
63.在一个实施例中，所述根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据，包括：
64.如果所述目标用户数据所占用的存储空间大小大于第一预设阈值且所述第二数据的目标存储时长大于第二预设时长，则将所述第一数据中的第一待处理数据作为待处理数据；
65.如果所述目标用户数据所占用的存储空间大小大于第一预设阈值且所述第二数
据的目标存储时长小于或等于第二预设时长，则将所述第一数据中的第二待处理数据作为待处理数据。
66.第一预设阈值可以认为是目标用户预先设置的热数据的最大存储空间，第二预设时长则可以理解为热数据存储时长的临界值，第二预设时长小于第一预设时长，如第二预设时长可以为两天。第二待处理数据与第一待处理数据类似，也可以认为是第一数据中存储时长较长的数据，如第二待处理数据可以为第二数据中的部分数据，第二待处理数据与第一待处理数据仅用于区别不同的对象，本实施例对此不作限定。
67.具体的，当目标用户数据所占用的存储空间大小大于第一预设阈值且第二数据的目标存储时长大于第二预设时长时，说明目标用户的热数据当前所占用的存储空间大小已经超过目标用户预先设置的热数据的最大存储空间且热数据中存储时间最早数据的存储时长超过了热数据存储时长的临界值，那么此时可以将第一数据中的第一待处理数据作为待处理数据；
68.当目标用户数据所占用的存储空间大小大于第一预设阈值且述第二数据的目标存储时长小于或等于第二预设时长时，说明目标用户的热数据当前所占用的存储空间大小已经超过目标用户预先设置的热数据的最大存储空间，但是热数据中存储时间最早数据的存储时长尚未超过热数据存储时长的临界值，则可以将第一数据中的第二待处理数据作为待处理数据，具体确定第二待处理数据的方式可以由相关人员进行确定，此处不作进一步展开。
69.在一个实施例中，所述将所述第一数据中的第一待处理数据作为待处理数据，包括：
70.确定所述目标业务类型对应的目标热数据索引以及所述目标热数据索引中存储的第一数据；
71.将存储时间位于所述第一数据对应的首个第一预设时间周期之内的第一待处理数据作为待处理数据。
72.目标热数据索引可以是指热节点中与目标业务类型对应的索引，可以认为的是，目标热数据索引中存储有多个用户与目标业务类型对应的多个存储时长的用户数据，如目标热数据索引中存储有目标用户的目标用户数据中与目标业务类型对应的数据，即第一数据；第一预设时间周期可以认为是预设的时间周期，如第一预设时间周期可为天。
73.本步骤中，在确定待处理数据时，首先可以确定目标业务类型对应的目标热数据索引以及目标热数据索引中存储的第一数据；然后再按照第一数据中数据的存储时间，将存储时间位于首个第一预设时间周期之内的数据作为待处理数据，示例性的，当以天为第一预设周期时，将存储时间位于最早一天内的数据作为待处理数据，例如，假设第一数据中存储时间最早的数据的存储日期是y年m月d日，则将第一数据中存储时间位于y年m月d日之内的数据作为待处理数据。
74.在一个实施例中，所述将所述第一数据中的第二待处理数据作为待处理数据，包括：
75.确定所述目标业务类型对应的目标热数据索引以及所述目标热数据索引中存储的第一数据；
76.将存储时间位于所述第一数据对应的前n个预设时间粒度之内的第二待处理数据
作为待处理数据，其中，n为正整数，所述前n个预设时间粒度对应的总时间长度小于第一预设时间周期的周期长度。
77.预设时间粒度可以为预先设置的时间粒度，用于确定第二待处理数据，如预设时间粒度可以为小时。
78.本实施例在执行将第一数据中的第二待处理数据作为待处理数据的步骤时，可以首先确定目标业务类型对应的目标热数据索引以及目标热数据索引中存储的第一数据；然后再按照第一数据中数据的存储时间，将存储时间位于第一数据对应的前n个预设时间粒度之内的第二待处理数据作为待处理数据。示例性的，当预设时间粒度为小时时，则在确定第一数据后，可以按照第一数据中数据的存储时间，将存储时间位于第一数据对应的前n个小时之内的数据作为待处理数据，具体n的数值可以由经验值来确定。
79.在一个实施例中，所述对所述待处理数据进行处理，包括：
80.将所述待处理数据迁移至冷节点中的第一冷数据索引内，所述第一冷数据索引与所述目标业务类型以及当前第一预设时间周期对应。
81.第一冷数据索引可以认为是冷节点中与目标业务类型以及当前第一预设时间周期对应的索引。
82.在一个实施方式中，在确定待处理数据后，可以将待处理数据迁移至冷节点中的第一冷数据索引内，例如可以直接将待处理数据迁移至第一冷数据索引中，也可以将待处理数据分组进行迁移等，本实施例对此不作限定。
83.在一个实施例中，所述将所述待处理数据迁移至冷节点中的第一冷数据索引内，包括：
84.按照预设时间粒度和存储时间对所述待处理数据进行分组，其中，所述预设时间粒度对应的时间长度小于第一预设时间周期的周期长度；
85.按照存储时间由早到晚的顺序依次将各组待处理数据迁移至冷节点中的第一冷数据索引内。
86.具体的，在将待处理数据迁移至第一冷数据索引内的过程中，首先可以按照预设时间粒度和存储时间将待处理数据进行分组，然后按照存储时间由早到晚的顺序依次将各组待处理数据迁移至冷节点中的第一冷数据索引内。
87.在一个实施例中，在所述将所述待处理数据迁移至冷节点中的第一冷数据索引内之前，还包括：
88.如果冷节点中不存在第一冷数据索引，则创建与所述目标业务类型以及当前第一预设时间周期对应的冷数据索引，作为第一冷数据索引。
89.可以理解的是，在将待处理数据迁移至冷节点中的第一冷数据索引内时，如果冷节点中不存在第一冷数据索引，则需要根据目标业务类型以及当前第一预设时间周期在冷节点中创建对应的冷数据索引，作为第一冷数据索引；而当冷节点中存在第一冷数据索引时，则可以直接进行待处理数据的迁移。
90.图3是根据本发明实施例二提供的一种处理方法的流程图，如图3所示，首先可以从es中获得最早的文档(即获取第一数据中的第二数据在目标节点内的目标存储时长)，然后判断文档的存储时长是否超过热数据保存时间(即目标用户对应的第一预设时长)，若是，则按天迁移热数据，如将最早文档当天的数据分割成小时队列迁移至冷节点(即将存储
时间位于第一数据对应的首个第一预设时间周期之内的第一待处理数据作为待处理数据；按照预设时间粒度和存储时间对待处理数据进行分组；按照存储时间由早到晚的顺序依次将各组待处理数据迁移至冷节点中的第一冷数据索引内)，在迁移完成后，重新统计热数据空间使用大小，并在数据库的第一预设表格中触发冷数据空间使用大小的记录，结束操作。
91.若否，则获得热数据空间使用大小，判断热数据空间使用大小是否超过热数据空间限制(即根据目标用户数据所占用的存储空间大小确定第一数据中的待处理数据)，若超过了热数据空间限制，则判断最早文档时间是否为当天或昨天，若最早文档时间不是当天或昨天，则按天迁移热数据(即如果目标用户数据所占用的存储空间大小大于第一预设阈值且第二数据的目标存储时长大于第二预设时长，则将第一数据中的第一待处理数据作为待处理数据)；若最早文档时间为当天或昨天(即如果目标用户数据所占用的存储空间大小大于第一预设阈值且第二数据的目标存储时长小于或等于第二预设时长)，则按小时迁移当天数据，即确定目标业务类型对应的目标热数据索引以及目标热数据索引中存储的第一数据；将存储时间位于第一数据对应的前n个预设时间粒度之内的第二待处理数据作为待处理数据，并对待处理数据进行处理。
92.实施例三
93.图4是根据本发明实施例三提供的一种处理方法的流程图，本实施例三在上述各实施例的基础上进行优化。在本实施例中，将第一数据和目标节点进一步具体化为：所述第一数据包括冷数据，所述目标节点包括冷节点。
94.同时，将在所述对所述待处理数据进行处理之前，还包括的情况进一步具体化为：如果所述目标存储时长大于所述目标用户对应的第一预设时长，则获取第二冷数据索引中每一个用户的最早用户数据存储时长；若所述各最早用户数据存储时长均大于相应用户对应的第一预设时长，则将所述第二冷数据索引作为待处理数据，否则，则将所述第一数据中的第三待处理数据作为待处理数据。
95.本实施例尚未详尽的内容请参考实施例一。
96.如图4所示，本公开实施例三提供的一种处理方法，包括如下步骤：
97.s310、获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据，所述第一数据包括冷数据，所述目标节点包括冷节点。
98.在本实施例中，冷数据可以是指不经常访问的离线类数据，如冷数据可以是三年以外的用户数据，具体时长可以根据实际业务场景进行设置。冷节点可以是指配置较低的服务器，如硬盘，用于恢复与备份数据等。
99.当第一数据包括冷数据，目标节点包括冷节点时，即首先可以获取目标用户冷数据中的第二数据在冷节点内的目标存储时长，获取的方法不作进一步限定，可以根据实际作业情况进行确定。
100.s320、判断所述目标存储时长是否小于或等于所述目标用户对应的第一预设时长，若是，则执行s330；若否，则执行s340～s350。
101.在本实施例中，第一预设时长可认为是用户预先设定的冷数据的保存时长，故在获取到第一数据中第二数据的目标存储时长后，可以将目标存储时长与目标用户对应的第一预设时长进行比较，当目标存储时长小于或等于目标用户对应的第一预设时长时，说明
第一数据中存储时间最早数据的存储时长未超过预设的冷数据的保存时长，此时可以根据目标用户的用户数据所占用的存储空间大小来确定待处理数据，即执行步骤s330；当目标存储时长大于目标用户对应的第一预设时长时，说明第一数据中存储时间最早数据的存储时长已经超过预设的冷数据的保存时长，此时可以执行步骤s340。
102.s330、根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据。
103.本步骤中，具体根据目标用户当前所占用存储空间大小确定待处理数据的方式不作限定，如可以将存储空间大小与第二预设阈值进行比较并根据比较结果来直接确定待处理数据。其中，获取目标用户数据所占用存储空间大小的手段可以根据实际处理情况进行确定，如可以在某个数据库的表格中对每个用户的用户数据所占用存储空间分日期与小时进行实时统计，然后将目标用户的目标用户数据按日期按小时进行累计即可以得到目标用户数据所占用存储空间大小；又或者可以在某个数据库的表格中对每个用户的用户数据所占用存储空间分日期进行实时统计，然后将目标用户的目标用户数据按日期进行累计即可以得到目标用户数据所占用存储空间大小。
104.s340、获取第二冷数据索引中每一个用户的最早用户数据存储时长。
105.第二冷数据索引可以是指冷节点中与目标业务类型对应的索引，可以认为的是，第二冷数据索引中存储有多个用户与目标业务类型对应的用户数据，如第二冷数据索引中存储有目标用户的目标用户数据。最早用户数据存储时长可以理解为某一用户的用户数据中存储时间最早的数据对应的存储时长，即每一个用户对应一个最早用户数据存储时长。
106.在本步骤中，可以获取第二冷数据索引中每一个用户的最早用户数据存储时长，以进行后续步骤的处理，其中获取各最早用户数据存储时长的方法不限，如可以根据各用户的用户数据中存储的时间单元来获取各用户的用户数据中存储时间最早的数据对应的存储时长，即各最早用户数据存储时长。
107.s350、判断所述各最早用户数据存储时长是否均大于相应用户对应的第一预设时长，若是，则执行s3501；若否，则执行s3502。
108.在获取到各最早用户数据存储时长后，则需要将各最早用户数据存储时长与对应用户的第一预设时长进行比较，来判断各最早用户数据存储时长是否均大于相应用户对应的第一预设时长，若各最早用户数据存储时长均大于相应用户对应的第一预设时长，则说明各用户的最早用户数据存储时长均超过相应用户设置的最大存储时长，此时可以将包含各用户数据的第二冷数据索引作为待处理数据，以对其进行处理；若各最早用户数据存储时长没有均大于相应用户对应的第一预设时长，则说明存在用户数据的存储时长未超过相应用户设置的最大存储时长的情况，此时可以执行步骤s3502。
109.s3501、将所述第二冷数据索引作为待处理数据。
110.s3502、将所述第一数据中的第三待处理数据作为待处理数据。
111.第三待处理数据可以认为是冷数据中存储时长较长的数据，如第三待处理数据可以为第二数据，也可以为第二数据中的部分数据，具体确定的方式可以由相关人员进行确定，此处不作进一步展开。
112.s360、对所述待处理数据进行处理。
113.本发明实施例三提供的一种处理方法，在第一数据包括冷数据，目标节点包括冷
节点时，通过设置目标用户对应的第一预设时长，能够根据目标用户冷数据中第二数据的目标存储时长与第一预设时长的比较结果，分别确定对应的待处理数据，从而实现对待处理数据进行处理。
114.在一个实施例中，所述根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据，包括：
115.如果所述目标用户数据所占用的存储空间大小大于第二预设阈值，则将所述第一数据中的第三待处理数据作为待处理数据。
116.第二预设阈值可以认为是目标用户预先设置的冷数据的最大存储空间，
117.具体的，当目标用户数据所占用的存储空间大小大于第二预设阈值时，说明目标用户的冷数据当前所占用的存储空间大小已经超过目标用户预先设置的冷数据的最大存储空间，那么此时可以将第一数据中的第三待处理数据作为待处理数据；当目标用户数据所占用的存储空间大小小于或等于第二预设阈值时，则结束操作。
118.在一个实施例中，在所述获取第一数据中的第二数据在目标节点内的目标存储时长之后，还包括：
119.如果目标节点中存在与所述第二数据所对应业务类型以及所述第二数据的存储时间对应的冷数据索引，则将所述与所述第二数据所对应业务类型以及第二数据所属时间对应的冷数据索引记为第二冷数据索引。
120.可以认为的是，在获取第一数据中的第二数据在目标节点内的目标存储时长之后，如果冷节点中存在与第二数据所对应业务类型以及第二数据的存储时间对应的冷数据索引，则可以将与第二数据所对应业务类型以及第二数据所属时间对应的冷数据索引记为第二冷数据索引，以便于进行后续处理操作；如果冷节点中不存在与第二数据所对应业务类型以及第二数据的存储时间对应的冷数据索引，说明此类索引已经删除，结束操作。
121.在一个实施例中，所述将所述第一数据中的第三待处理数据作为待处理数据，包括：
122.确定第二冷数据索引中存储的第一数据；
123.将存储时间位于所述第一数据对应的前m个预设时间粒度之内的第三待处理数据作为待处理数据，其中，m为正整数，所述前m个预设时间粒度对应的总时间长度小于第一预设时间周期的周期长度。
124.本实施例在执行将第一数据中的第三待处理数据作为待处理数据的步骤时，可以首先确定第二冷数据索引中存储的第一数据；然后再按照第一数据中数据的存储时间，将存储时间位于第一数据对应的前m个预设时间粒度之内的第三待处理数据作为待处理数据。示例性的，当预设时间粒度为小时时，则在确定第一数据后，可以按照第一数据中数据的存储时间，将存储时间位于第一数据对应的前m个小时之内的数据作为待处理数据，具体m的数值可以由经验值来确定。
125.在一个实施例中，所述对所述待处理数据进行处理，包括：
126.删除所述待处理数据。
127.在本实施例中，确定待处理数据后，可以将确定的待处理数据进行删除处理，删除的步骤可以根据待处理数据的不同而有所区别，本实施例对此不作限定。
128.在一个实施例中，所述删除所述待处理数据，包括：
129.如果所述待处理数据为第三待处理数据，则按照预设时间粒度和存储时间对所述待处理数据进行分组，其中，所述预设时间粒度对应的时间长度小于第一预设时间周期的周期长度；
130.按照存储时间由早到晚的顺序依次对各组待处理数据进行删除。
131.具体的，当待处理数据为第三待处理数据时，首先可以按照预设时间粒度和存储时间将待处理数据进行分组，然后按照存储时间由早到晚的顺序依次将各组待处理数据进行删除，以降低冷节点的资源使用率，保证es的稳定运行。
132.在一个实施例中，所述删除所述待处理数据，包括：
133.如果所述待处理数据为第二冷数据索引，则删除所述第二冷数据索引。
134.可以认为的是，当待处理数据为第二冷数据索引时，则可以直接将第二冷数据索引进行删除，在此基础上，删除了整个第二冷数据索引中所有用户的用户数据，为冷节点释放了更多的空间。
135.图5是根据本发明实施例三提供的一种处理方法的流程图，如图5所示，首先从数据库获得最早“活跃”时间(即获取第一数据中的第二数据在目标节点内的目标存储时长)，判断es中是否存在索引(即目标节点中是否存在与第二数据所对应业务类型以及第二数据的存储时间对应的冷数据索引，若存在索引，则判断最早“活跃”时间是否超过保存数据(即目标用户对应的第一预设时长)，若是(即目标存储时长大于目标用户对应的第一预设时长)，则获取所有用户的最大保存时间(即获取第二冷数据索引中每一个用户的最早用户数据存储时长)，判断所有用户是否都超过保存时间，若所有用户都超过了保存时间，则直接删除整个索引(即若各最早用户数据存储时长均大于相应用户对应的第一预设时长，则将所述第二冷数据索引作为待处理数据；删除待处理数据)，并设置数据库对应记录的状态为“删除”，结束操作；若并不是所有用户都超过了保存时间，则按小时删除索引对应老数据(即确定第二冷数据索引中存储的第一数据；将存储时间位于所述第一数据对应的前m个预设时间粒度之内的第三待处理数据作为待处理数据；按照预设时间粒度和存储时间对待处理数据进行分组；按照存储时间由早到晚的顺序依次对各组待处理数据进行删除)。
136.若否(即如果目标存储时长小于或等于目标用户对应的第一预设时长)，则统计冷数据空间使用大小(即目标用户数据所占用的存储空间大小)，判断冷数据空间使用大小是否超过冷数据空间限制(即第二预设阈值)，若超过，则按小时删除索引对应老数据(即如果目标用户数据所占用的存储空间大小大于第二预设阈值，则将第一数据中的第三待处理数据作为待处理数据)。
137.下面对本发明实施例提供的处理方法进行示例性的描述：
138.(1)冷热分离方法：首先按天创建新的索引到冷节点，格式为{业务名-日期}(即创建与目标业务类型以及当前第一预设时间周期对应的冷数据索引，作为第一冷数据索引)，如：cfw_ips-20220418。然后按租户、按周期(如小时)去迁移热节点的x天前(根据时空管理方法决定时间)数据到对应日期标记的索引里头。
139.其中，按小力度周期时间迁移数据的好处是降低热节点的资源使用率，保证业务稳定运行。
140.示例性的，在热节点里面，索引cfw_ips中存放了目标用户的目标用户数据中与目标业务类型(即cfw)对应的热数据，今天日期是2022-4-19。
141.首先需要按日期在冷节点里面创建索引cfw_ips-20220419(即创建与目标业务类型以及当前第一预设时间周期对应的冷数据索引，作为第一冷数据索引)，用于存放冷数据；租户user1配置的热数据保存时间是5天(即目标用户对应的第一预设时长)，假设存储空间未达到限制，那么如果cfw_ips中租户第二数据的目标存储时长超过5天(即如果目标存储时长大于目标用户对应的第一预设时长)，则需要将租户user1的5天前的数据，按一定周期(假设为小时)迁移到cfw_ips-20220419索引里(即将存储时间位于第一数据对应的首个第一预设时间周期之内的第一待处理数据作为待处理数据；按照预设时间粒度和存储时间对待处理数据进行分组；按照存储时间由早到晚的顺序依次将各组待处理数据迁移至冷节点中的第一冷数据索引内)。
142.(2)时空管理方法：首先定义控制维度，主要是各租户的冷热数据空间(即第一预设阈值和第二预设阈值)、冷热数据保存时间(即第一预设时长)；然后按天管理热数据和冷数据，若租户的热数据到达热数据空间限制(即第一预设阈值)或热数据保存时间(即第一预设时长)，则会按天力度迁移热数据到冷数据；若租户的冷数据到达冷数据空间限制(即第二预设阈值)或冷数据保存时间(即第一预设时长)，则按天力度删除冷数据。
143.其中，冷数据的空间使用大小可以根据记录热数据的统计表来进行统计，即假如统计表中热数据是按小时统计的，那么统计一天的冷数据就用热数据一天中各小时段做和即可直接得到；假如统计表中热数据是按天统计的，那么可以直接复用某天热数据的空间大小。
144.此外，若存在当天日志量巨大的情况，即当天的用户数据已经超过热数据空间，则可以将超过部分按周期(如小时)力度迁移到冷数据(即将存储时间位于第一数据对应的前n个预设时间粒度之内的第二待处理数据作为待处理数据；将所述待处理数据迁移至冷节点中的第一冷数据索引内)。
145.综上所述，本实施例可以根据各租户的需要实现限制冷热数据空间、限制冷热数据保存时间的需求。
146.实施例四
147.图6是根据本发明实施例四提供的一种处理装置的结构示意图，如图6所示，该装置包括：
148.第一获取模块410，用于获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据；
149.第一确定模块420，用于如果所述目标存储时长小于或等于所述目标用户对应的第一预设时长，则根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据；
150.处理模块430，用于对所述待处理数据进行处理。
151.本发明实施例四提供的一种处理装置，通过第一获取模块410获取第一数据中的第二数据在目标节点内的目标存储时长，所述第一数据为目标用户的目标用户数据中与目标业务类型对应的数据；通过第一确定模块420如果所述目标存储时长小于或等于所述目标用户对应的第一预设时长，则根据所述目标用户数据所占用的存储空间大小确定所述第一数据中的待处理数据；通过处理模块430对所述待处理数据进行处理。利用该装置，通过设置目标用户对应的第一预设时长，能够当第一数据中的第二数据在目标节点内的目标存
储时长小于或等于目标用户对应的第一预设时长时，根据目标用户数据所占用的存储空间大小来对待处理数据进行处理，以此在实现第一数据生命周期管理的基础上，满足各用户的控制需求。
152.可选的，所述第一数据包括热数据，所述目标节点包括热节点。
153.可选的，第一确定模块420包括：
154.第一确定单元，用于如果所述目标用户数据所占用的存储空间大小大于第一预设阈值且所述第二数据的目标存储时长大于第二预设时长，则将所述第一数据中的第一待处理数据作为待处理数据；
155.第二确定单元，用于如果所述目标用户数据所占用的存储空间大小大于第一预设阈值且所述第二数据的目标存储时长小于或等于第二预设时长，则将所述第一数据中的第二待处理数据作为待处理数据。
156.可选的，本实施例提供的处理装置还包括：
157.第二确定模块，用于在所述对所述待处理数据进行处理之前，如果所述目标存储时长大于所述目标用户对应的第一预设时长，则将所述第一数据中的第一待处理数据作为待处理数据。
158.可选的，所述第一确定单元或第三确定单元，用于：
159.确定所述目标业务类型对应的目标热数据索引以及所述目标热数据索引中存储的第一数据；
160.将存储时间位于所述第一数据对应的首个第一预设时间周期之内的第一待处理数据作为待处理数据。
161.可选的，所述第二确定单元具体用于：
162.确定所述目标业务类型对应的目标热数据索引以及所述目标热数据索引中存储的第一数据；
163.将存储时间位于所述第一数据对应的前n个预设时间粒度之内的第二待处理数据作为待处理数据，其中，n为正整数，所述前n个预设时间粒度对应的总时间长度小于第一预设时间周期的周期长度。
164.可选的，所述处理模块430包括：
165.迁移单元，用于将所述待处理数据迁移至冷节点中的第一冷数据索引内，所述第一冷数据索引与所述目标业务类型以及当前第一预设时间周期对应。
166.可选的，所述迁移单元具体用于：
167.按照预设时间粒度和存储时间对所述待处理数据进行分组，其中，所述预设时间粒度对应的时间长度小于第一预设时间周期的周期长度；
168.按照存储时间由早到晚的顺序依次将各组待处理数据迁移至冷节点中的第一冷数据索引内。
169.可选的，所述处理模块430还包括：
170.创建单元，用于在所述将所述待处理数据迁移至冷节点中的第一冷数据索引内之前，如果冷节点中不存在第一冷数据索引，则创建与所述目标业务类型以及当前第一预设时间周期对应的冷数据索引，作为第一冷数据索引。
171.可选的，所述第一数据包括冷数据，所述目标节点包括冷节点。
172.可选的，第一确定模块420包括：
173.第四确定单元，用于如果所述目标用户数据所占用的存储空间大小大于第二预设阈值，则将所述第一数据中的第三待处理数据作为待处理数据。
174.可选的，本实施例提供的处理装置还包括：
175.第二获取模块，用于在所述对所述待处理数据进行处理之前，如果所述目标存储时长大于所述目标用户对应的第一预设时长，则获取第二冷数据索引中每一个用户的最早用户数据存储时长；
176.判别模块，用于若所述各最早用户数据存储时长均大于相应用户对应的第一预设时长，则将所述第二冷数据索引作为待处理数据，否则，则将所述第一数据中的第三待处理数据作为待处理数据。
177.可选的，本实施例提供的处理装置还包括：
178.索引确定模块，用于在所述获取第一数据中的第二数据在目标节点内的目标存储时长之后，如果目标节点中存在与所述第二数据所对应业务类型以及所述第二数据的存储时间对应的冷数据索引，则将所述与所述第二数据所对应业务类型以及第二数据所属时间对应的冷数据索引记为第二冷数据索引。
179.可选的，所述第四确定单元或判别模块包括：
180.确定第二冷数据索引中存储的第一数据；
181.将存储时间位于所述第一数据对应的前m个预设时间粒度之内的第三待处理数据作为待处理数据，其中，m为正整数，所述前m个预设时间粒度对应的总时间长度小于第一预设时间周期的周期长度。
182.可选的，所述处理模块430包括：
183.删除单元，用于删除所述待处理数据。
184.可选的，所述删除单元具体用于：
185.如果所述待处理数据为第三待处理数据，则按照预设时间粒度和存储时间对所述待处理数据进行分组，其中，所述预设时间粒度对应的时间长度小于第一预设时间周期的周期长度；
186.按照存储时间由早到晚的顺序依次对各组待处理数据进行删除。
187.可选的，所述删除单元具体用于：
188.如果所述待处理数据为第二冷数据索引，则删除所述第二冷数据索引。
189.可选的，本实施例提供的处理装置还包括：
190.第三确定模块，用于在所述获取第一数据中的第二数据在目标节点内的目标存储时长之前，按照存储时间确定所述第一数据中的第二数据。
191.本发明实施例所提供的处理装置可执行本发明任意实施例所提供的处理方法，具备执行方法相应的功能模块和有益效果。
192.实施例五
193.图7是根据本发明实施例五提供的一种电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其
它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
194.如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
195.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
196.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如处理方法。
197.在一些实施例中，处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行处理方法。
198.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
199.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
200.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质
可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
201.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
202.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
203.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
204.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
205.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。