任务的物化视图的处理方法、系统和电子设备与流程

本申请涉及数据处理，具体而言，涉及一种任务的物化视图的处理方法、系统和电子设备。

背景技术：

1、目前，计算平台推出了物化视图的概念，基于历史结构化查询语言(structuredquery language，简称为sql)和物理执行计划，当多个sql含有公共子查询时，可以推荐一个可物化的公共子查询，该可物化的公共子查询用于指示模糊的公共子查询，也即，该子查询可能不存在于任何现有的sql中。在公共子查询物化的前提下，子查询将不再执行sql逻辑，而是读取物化表中的数据，但是该物化视图需要用户自行挑选物化逻辑，之后，人工发布上线。此外，由于数据仓库中的表存在时间分区，物化视图需等待自身的引用表数据产出才能创建。因此，物化视图存在创建时间不可控，提前预估收益困难，存在额外存储浪费，导致无法有效创建物化视图的技术问题。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种任务的物化视图的处理方法、系统和电子设备，以至少解决无法有效创建物化视图的技术问题。

2、根据本申请实施例的一个方面，提供了一种任务的物化视图的处理方法。该方法可以包括：确定在对调度任务执行查询的过程中运行的待创建物化视图，其中，物化视图用于表示待对调度任务执行查询计算所得到的第一计算结果；创建标识信息，其中，标识信息至少用于表示物化视图与第一计算结果之间的逻辑关系信息；获取标识信息与已创建的历史物化视图的历史标识信息之间的相似度，其中，历史物化视图用于表示已对调度任务执行查询计算所得到的第二计算结果，历史标识信息至少用于表示历史物化视图的与第二计算结果之间的逻辑关系信息；基于相似度进行视图创建，生成物化视图，或者，调整历史物化视图的视图内容。

3、根据本申请实施例的另一方面，还提供了一种任务的物化视图的处理方法。该方法可以包括：通过调用第一接口获取目标请求，其中，第一接口包括第一参数，第一参数的参数值为目标请求，目标请求至少用于请求获取在对调度任务执行查询的过程中运行的待创建物化视图，物化视图用于表示待对调度任务执行查询计算所得到的第一计算结果；创建标识信息，其中，标识信息至少用于表示物化视图的与第一计算结果之间的逻辑关系信息；获取标识信息与已创建的历史物化视图的历史标识信息之间的相似度，其中，历史物化视图用于表示已对调度任务执行查询计算所得到的第二计算结果，历史标识信息至少用于表示历史物化视图的与第二计算结果之间的逻辑关系信息；基于相似度进行视图创建，生成物化视图，或者，调整历史物化视图的视图内容；通过调用第二接口输出创建的物化视图，或者，调整后的历史物化视图，其中，第二接口包括第二参数，第二参数的参数值为创建的物化视图，或者，调整后的历史物化视图。

4、根据本申请实施例的另一方面，还提供了一种任务的物化视图的处理系统。该系统包括：客户端，用于发送目标请求，其中，目标请求至少用于请求获取在对调度任务执行查询的过程中运行的待创建物化视图，物化视图用于表示待对调度任务执行查询计算所得到的第一计算结果；服务器，用于创建标识信息，其中，标识信息至少用于表示物化视图的与第一计算结果之间的逻辑关系信息；获取标识信息与已创建的历史物化视图的历史标识信息之间的相似度，其中，历史物化视图用于表示已对调度任务执行查询计算所得到的第二计算结果，历史标识信息至少用于表示历史物化视图的与第二计算结果之间的逻辑关系信息；基于相似度进行视图创建，生成物化视图，或者，调整历史物化视图的视图内容。

5、根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序处理器运行时控制计算机存储介质所在设备执行任务的物化视图的处理方法。

6、根据本申请实施例的另一方面，还提供了一种电子设备，该电子设备包括存储器和处理器，存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，该计算机可执行指令被处理器运行时执行任务的物化视图的处理方法。

7、在本申请实施例中，可以确定在对调度任务执行查询的过程中运行的待创建物化视图，其中，物化视图用于表示待对调度任务执行查询计算所得到的第一计算结果；创建标识信息，其中，标识信息至少用于表示物化视图与第一计算结果之间的逻辑关系信息；获取标识信息与已创建的历史物化视图的历史标识信息之间的相似度，其中，历史物化视图用于表示已对调度任务执行查询计算所得到的第二计算结果，历史标识信息至少用于表示历史物化视图的与第二计算结果之间的逻辑关系信息；基于相似度进行视图创建，生成物化视图，或者，调整历史物化视图的视图内容。也就是说，在本申请实施例中，可以在调度任务使用物化视图进行优化计算时，考虑相似物化视图的处理逻辑，自动化创建和更新物化视图，从而避免逻辑高度相似的物化视图被频繁创建，存在额外存储，达到有效创建物化视图的技术效果，进而解决无法有效创建物化视图的技术问题。

8、容易注意到的是，上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释，并不构成对本申请的限定。

技术特征：

1.一种任务的物化视图的处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，创建标识信息，包括：

3.根据权利要求2所述的方法，其特征在于，基于查询数据集创建所述标识信息，包括：

4.根据权利要求3所述的方法，其特征在于，基于所述图结构创建所述标识信息，包括：

5.根据权利要求1所述的方法，其特征在于，基于所述相似度进行视图创建，生成所述物化视图，或者，调整所述历史物化视图的视图内容，包括：

6.根据权利要求5所述的方法，其特征在于，至少基于所述标识信息进行视图创建，生成所述物化视图，包括：

7.根据权利要求5所述的方法，其特征在于，至少基于所述历史标识信息调整所述历史物化视图的视图内容，包括：

8.根据权利要求7所述的方法，其特征在于，调整所述历史物化视图的视图内容，包括：

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

11.根据权利要求1至10中任意一项所述的方法，其特征在于，所述方法还包括：

12.一种任务的物化视图的处理方法，其特征在于，包括：

13.一种任务的物化视图的处理系统，其特征在于，包括：

14.根据权利要求13所述的系统，其特征在于，所述服务器还用于获取在对所述调度任务执行查询的过程中运行创建的所述物化视图，或者运行更新后的所述历史物化视图，所得到的目标运行数据；基于所述目标运行数据确定创建的所述物化视图，或者更新后的所述历史物化视图的性能指标；响应于所述性能指标大于性能指标阈值，将创建的所述物化视图，或者更新后的所述历史物化视图发送至所述客户端。

15.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至12中任意一项所述方法的步骤。

技术总结
本申请公开了一种任务的物化视图的处理方法、系统和电子设备。其中，该方法包括：确定在对调度任务执行查询的过程中运行的待创建物化视图，其中，物化视图用于表示待对调度任务执行查询计算所得到的第一计算结果；创建标识信息，其中，标识信息至少用于表示物化视图与第一计算结果之间的逻辑关系信息；获取标识信息与已创建的历史物化视图的历史标识信息之间的相似度；基于相似度进行视图创建，生成物化视图，或者，调整历史物化视图之间的视图内容。本申请解决了无法有效创建物化视图的技术问题。

技术研发人员：游杰,魏烙,王俊华,张磊
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：
技术公布日：2024/1/14