一种存算分离的多集群资源调度方法、系统及存储介质与流程

本发明涉及云计算，具体涉及一种存算分离的多集群资源调度方法、系统及存储介质。

背景技术：

1、随着云计算技术的发展，云端数据分析服务的需求与日俱增，存算分离云分析型数据库是一种以存储和计算分离的方式来提供云端数据分析服务的数据库。该数据库能够单独存储数据并通过多个计算集群进行独立的分析处理，从而提高数据并行查询和并行分析的效率。

2、现有技术中，在多计算集群的存算分离分析中，每个计算集群都采用客户端直接连接计算集群master节点的方式进行查询，导致存在某一计算集群受到客户端集中并发查询的计算压力，但其他计算集群则处于空闲状态，存在存算分离云分析型数据库的计算资源浪费以及查询效率低的技术问题。

技术实现思路

1、本申请提供了一种存算分离的多集群资源调度方法、系统及存储介质，用于针对解决现有技术中存算分离云分析型数据库的计算资源浪费以及查询效率低的技术问题。

2、本申请的第一个方面，提供了一种存算分离的多集群资源调度方法，应用于一存算分离分析数据库，其包括客户端、代理层和多个计算集群，所述方法包括：

3、在客户端下发查询任务时，通过代理层，计算所述多个计算集群当前的集群权重分值，其中，集群权重分值通过性能测试、执行任务队列、sql重合度和集群监控指标分析计算获得；

4、根据多个集群权重分值，对所述查询任务进行分配至集群权重分值最大的计算集群。

5、本申请的第二个方面，提供了一种存算分离的多集群资源调度系统，应用于一存算分离分析数据库，其包括客户端、代理层和多个计算集群，所述代理层维护所述多个计算集群的任务执行队列，所述系统包括：

6、集群权重计算模块，在客户端下发查询任务时，通过代理层，计算所述多个计算集群当前的集群权重分值，其中，集群权重分值通过性能测试、执行任务队列、sql重合度和集群监控指标分析计算获得；

7、查询任务分配模块，用于根据多个集群权重分值，对所述查询任务进行分配至集群权重分值最大的计算集群。

8、本申请的第三个方面，提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器内存储有计算机程序，所述计算机程序被所述处理器执行时实现第一方面中方法的步骤。

9、本申请的第四个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中方法的步骤。

10、本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

11、本申请提供的技术方案通过构建代理层加入包括客户端和多个计算集群的存算分离分析数据库，取代计算集群内的master节点，用于维护所述多个计算集群的任务执行队列，在客户端下发查询任务时，通过代理层，基于性能测试、执行任务队列、sql重合度和集群监控指标分析计算获得多个计算集群的集群权重分值，再根据多个集群权重分值，将查询任务分配至集群权重分值最大的计算集群，能够根据各计算集群的实时运行状态，进行查询计算资源的动态调度，实现不同计算集群资源的最优化利用，提高存算分离分析数据库系统的整体性能，达到提升查询效率和提升计算资源利用率的技术效果。

技术特征：

1.一种存算分离的多集群资源调度方法，其特征在于，所述方法应用于一存算分离分析数据库，其包括客户端、代理层和多个计算集群，所述代理层维护所述多个计算集群的任务执行队列，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，通过代理层，计算所述多个计算集群当前的集群权重分值，包括：

3.根据权利要求2所述的方法，其特征在于，获取所述多个计算集群的多个计算能力分值，包括：

4.根据权利要求2所述的方法，其特征在于，计算每个计算集群实时的执行任务队列长度，获得多个执行任务队列长度分值，包括：

5.根据权利要求2所述的方法，其特征在于，获取所述代理层对所述多个计算集群的集群监控指标参数，计算获取多个集群监控指标分值，包括：

6.根据权利要求2所述的方法，其特征在于，计算每个计算集群的sql表重合率，获得多个sql重合度分值，包括：

7.根据权利要求2所述的方法，其特征在于，根据多个计算能力分值、多个执行任务队列长度分值、多个sql重合度分值和多个集群监控指标分值，计算获得多个集群权重分值，包括：

8.一种存算分离的多集群资源调度系统，其特征在于，所述系统应用于一存算分离分析数据库，其包括客户端、代理层和多个计算集群，所述代理层维护所述多个计算集群的任务执行队列，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器内存储有计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

技术总结
本发明提供了一种存算分离的多集群资源调度方法、系统及存储介质，涉及云计算技术领域，该方法包括：在客户端下发查询任务时，通过代理层，计算多个计算集群当前的集群权重分值，其中，集群权重分值通过性能测试、执行任务队列、SQL重合度和集群监控指标分析计算获得；根据多个集群权重分值，对查询任务进行分配至集群权重分值最大的计算集群。本发明解决了现有技术中存算分离处理中浪费计算资源的技术问题，达到了根据计算集群实时运行特征，进行动态任务分配和资源调度，提高存算分离系统的性能的技术效果。

技术研发人员：历铮,张武生,吴博聪
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/4/17