视图管理方法、装置、终端设备以及存储介质与流程

本发明涉及大数据处理领域，尤其涉及一种视图管理方法、装置、终端设备以及存储介质。

背景技术：

1、随着互联网和数字化技术的发展，越来越多的数据被生成和收集，这些数据包含了宝贵的信息，可以用于业务决策、优化流程、改进产品等方面，由此，数据处理框架应运而生，提供了高效、可拓展的工具和技术来处理和分析大数据。在这些数据处理框架中，基于数据加工和分析的需求可以将数据处理框架中的计算集群划分成两个区域：在线区和近线区。在线区存储的数据通常较新，比如最近一周或最近一个月的数据，以支持数据跑批加工计算和及时的业务决策；近线区可以存储不太新的数据，主要用于支持企业的业务分析需求。为满足数据分析人员对查询计算集群完整数据的需求，目前的方法是使用拆分字段对在线区和近线区进行筛选之后，为筛选之后的数据创建一个视图，用户访问视图即可获得所有计算集群的数据。

2、但是，目前的方法存在以下问题：配置策略不灵活，无法满足个性化的配置需求。因为在线区和近线区存储的数据必须连续，否则会导致部分日期数据无法访问。例如若需要在在线区保留近7天数据和近3个月末数据，则在线区实际需要保留近3个月内的所有连续切片数据，不可以将7天之外的非月末数据拆分至近线区保留，否则会导致这部分数据无法通过视图访问。所以在向在线区和近线区配置存储数据的时候，需要配置连续的存储数据，存在配置策略不灵活，无法满足个性化的配置需求的问题。

技术实现思路

1、本发明的主要目的在于提供一种视图管理方法、装置、终端设备以及存储介质，旨在解决目前在线区和近线区的数据配置策略不灵活，无法满足个性化的配置需求的问题。

2、为实现上述目的，本发明提供一种视图管理方法，所述方法包括：

3、基于预先设定的拆分边界日期对所述在线区和所述近线区执行拆分任务，得到新的在线区和新的近线区；

4、基于所述新的在线区对预先创建的配置表进行更新；

5、基于所述拆分边界日期和更新后的配置表对第一视图进行管理。

6、可选地，所述基于预先设定的拆分边界日期对在线区和近线区执行拆分任务，得到新的在线区和新的近线区包括：

7、基于所述拆分边界日期对所述在线区和所述近线区的数据进行拆分；

8、基于预先设定的拆分策略将拆分后的数据从一个区域迁移至另一个区域，得到新的在线区和新的近线区。

9、可选地，所述基于所述新的在线区对预先创建的配置表进行更新的步骤包括：

10、将所述新的在线区中日期小于所述拆分边界日期的数据记录在所述配置表中。

11、可选地，所述基于所述拆分边界日期和更新后的配置表对第一视图进行管理的步骤包括：

12、在所述新的在线区中进行查询，获取满足以下条件之一的第一查询结果：所述新的在线区的数据的日期大于或等于所述拆分边界日期，或者所述新的在线区中的数据满足于预先设定的配置表查询条件；

13、在所述新的近线区中进行查询，获取满足以下两个条件的第二查询结果：所述新的近线区的数据的日期小于所述拆分边界日期，并且所述新的近线区中的数据不满足预先设定的配置表查询条件；

14、将所述第一查询结果和所述第二查询结果相结合，得到目标查询结果；

15、基于所述目标查询结果创建第二视图；

16、判断所述第一视图是否存在，得到判断结果；

17、基于所述判断结果和所述第二视图对所述第一视图进行管理。

18、可选地，所述基于所述判断结果和所述第二视图对所述第一视图进行管理的步骤包括：

19、若所述第一视图存在，则将所述第一视图替换成所述第二视图；

20、若所述第一视图不存在，则将所述第二视图作为所述第一视图。

21、可选地，所述基于预先设定的拆分边界日期对所述在线区和所述近线区执行拆分任务的步骤之前包括：

22、创建所述配置表。

23、可选地，所述基于预先设定的拆分边界日期对所述在线区和所述近线区执行拆分任务的步骤之前还包括：

24、基于预先创建的生命周期配置策略对所述在线区和所述近线区进行数据配置。

25、本发明实施例还提出一种视图管理装置，所述装置包括：

26、数据处理模块，基于预先设定的拆分边界日期对在线区和近线区执行拆分任务，得到新的在线区和新的近线区；基于所述新的在线区对预先创建的配置表进行更新；

27、执行模块，基于所述拆分边界日期和更新后的配置表对第一视图进行管理。

28、本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视图管理程序，所述视图管理程序被所述处理器执行时实现如上所述的视图管理方法。

29、本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视图管理程序，所述视图管理程序被处理器执行时实现如上所述的视图管理方法。

30、本发明实施例提出的视图管理方法、装置、终端设备以及存储介质，基于预先设定的拆分边界日期对所述在线区和所述近线区执行拆分任务，得到新的在线区和新的近线区；基于所述新的在线区对预先创建的配置表进行更新；基于所述拆分边界日期和更新后的配置表对第一视图进行管理。本发明实施例基于新的在线区对预先创建的配置表进行更新，可以把新的在线区中的需要记录的数据记录在预先创建的配置表中，然后基于拆分边界日期和更新后的配置表对第一视图进行管理，由此，在向在线区和近线区配置存储数据的时候，由于有配置表作为记录媒介，所以不需要配置连续的存储数据，使得配置策略灵活，能够满足个性化的配置需求。

技术特征：

1.一种视图管理方法，其特征在于，所述视图管理方法应用于数据处理框架，所述数据处理框架包含在线区和近线区，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述基于预先设定的拆分边界日期对在线区和近线区执行拆分任务，得到新的在线区和新的近线区包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述新的在线区对预先创建的配置表进行更新的步骤包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述拆分边界日期和更新后的配置表对第一视图进行管理的步骤包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述判断结果和所述第二视图对所述第一视图进行管理的步骤包括：

6.根据权利要求1所述的方法，其特征在于，所述基于预先设定的拆分边界日期对所述在线区和所述近线区执行拆分任务的步骤之前包括：

7.根据权利要求1所述的方法，其特征在于，所述基于预先设定的拆分边界日期对所述在线区和所述近线区执行拆分任务的步骤之前还包括：

8.一种视图管理装置，其特征在于，所述装置包括：

9.一种视图管理终端设备，其特征在于，所述视图管理终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的视图管理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的视图管理方法。

技术总结
本发明公开了一种视图管理方法、装置、终端设备以及存储介质，涉及大数据处理领域，其方法包括：基于预先设定的拆分边界日期对所述在线区和所述近线区执行拆分任务，得到新的在线区和新的近线区；基于所述新的在线区对预先创建的配置表进行更新；基于所述拆分边界日期和更新后的配置表对第一视图进行管理。本发明能够使在线区和近线区的数据配置策略灵活，满足个性化的配置需求。

技术研发人员：高宁,吴奇洋,钟国伟
受保护的技术使用者：招商银行股份有限公司
技术研发日：
技术公布日：2024/1/15