集群资源弹性调度方法、系统、电子设备及存储介质与流程

本技术涉及资源调度和金融科技领域，尤其涉及一种集群资源弹性调度方法、系统、电子设备及存储介质。

背景技术：

1、集群作为分布式计算和资源管理的基础框架，被广泛应用，特别是在金融科技领域中，可以通过集群处理大量的数据和复杂的计算任务，满足金融科技应用对高性能、高可靠性的需求。

2、相关技术中，集群中的每个队列都需要分配一定的资源来运行任务，但是，部分队列在指定的几个时间段内会有大量的任务运行，导致这些队列资源处于紧缺的状态，大量任务被阻塞，而其他队列则处于空闲状态，最终导致集群的资源调度不均衡，集群的使用效率低，并降低了任务的时效性。

技术实现思路

1、本技术实施例的主要目的在于提出一种集群资源弹性调度方法、系统、电子设备及存储介质，能够均衡集群的资源调度，提高集群的使用效率，并提高了任务的时效性。

2、为实现上述目的，本技术实施例的第一方面提出了一种集群资源弹性调度方法，所述方法包括：获取集群中的各个任务队列和集群所能调度的总资源数量，根据所述总资源数量为各个所述任务队列分配初始的资源阈值，以使各个所述任务队列在初始的所述资源阈值指示的资源数量下工作；获取各个所述任务队列在工作过程中的实时使用资源，若所述实时使用资源的资源数量达到初始的所述资源阈值，确定对应的所述任务队列为目标队列；获取预设的多个分级扩容比例，按照多个所述分级扩容比例分别调整初始的所述资源阈值的大小，得到多个分级扩容后的所述资源阈值；控制所述目标队列在扩容后的所述资源阈值所指示的资源数量下工作，并继续获取所述实时使用资源，根据所述实时使用资源的资源数量与各级扩容后的所述资源阈值之间的大小关系，从多个分级扩容后的所述资源阈值中确定目标资源阈值。

3、在一些实施例中，所述分级扩容比例包括第一扩容比例和第二扩容比例，所述扩容后的所述资源阈值包括第一阈值和第二阈值，所述第一阈值基于所述第一扩容比例得到，所述第二阈值基于所述第二扩容比例得到，所述第一阈值小于所述第二阈值；所述控制所述目标队列在扩容后的所述资源阈值所指示的资源数量下工作，并继续获取所述实时使用资源，根据所述实时使用资源的资源数量与各级扩容后的所述资源阈值之间的大小关系，从多个分级扩容后的所述资源阈值中确定目标资源阈值，包括：控制所述目标队列在所述第一阈值所指示的资源数量下工作，并继续获取所述实时使用资源；若所述实时使用资源的资源数量小于所述第一阈值，确定所述第一阈值为目标资源阈值，以使所述目标队列在所述第一阈值指示的资源数量下工作；若所述实时使用资源的资源数量达到所述第一阈值，确定所述第二阈值为目标资源阈值，以使所述目标队列在所述第二阈值指示的资源数量下工作。

4、在一些实施例中，所述第一扩容比例和所述第二扩容比例根据以下步骤得到：获取集群中的各个所述任务队列的历史资源使用数据；从所述历史资源使用数据中确定资源使用的平均数值、正常峰值和突发峰值，其中，所述平均数值小于所述正常峰值，所述正常峰值小于所述突发峰值，且所述正常峰值与所述平均数值之间的第一差值，大于所述突发峰值与所述正常峰值之间的第二差值；根据所述第一差值与所述平均数值计算得到所述第一扩容比例，根据所述第二差值与所述平均数值计算得到所述第二扩容比例。

5、在一些实施例中，所述确定所述第二阈值为目标资源阈值，以使所述目标队列在所述第二阈值指示的资源数量下工作之后，所述方法还包括：继续获取所述实时使用资源；若所述实时使用资源的资源数量达到所述第二阈值，维持所述第二阈值为所述目标资源阈值不变，在预设的空窗周期内不再获取所述实时使用资源。

6、在一些实施例中，所述方法还包括：获取预设的采样周期；基于所述采样周期获取所述目标队列在所述第一阈值指示的资源数量下工作之后的所述实时使用资源，若连续采样得到的多个所述实时使用资源的资源数量，均小于初始的所述资源阈值，确定初始的所述资源阈值为所述目标资源阈值；或者，基于所述采样周期获取所述目标队列在所述第二阈值指示的资源数量下工作之后的所述实时使用资源，若连续采样得到的多个所述实时使用资源的资源数量，均小于所述第一阈值，确定所述第一阈值为所述目标资源阈值。

7、在一些实施例中，所述方法还包括：累计各个所述任务队列的所述实时使用资源，得到集群的实时总使用资源；获取集群的总负荷阈值，若所述实时总使用资源的资源数量达到所述总负荷阈值，确定初始的所述资源阈值为所述目标资源阈值。

8、在一些实施例中，所述获取各个所述任务队列在工作过程中的实时使用资源，若所述实时使用资源的资源数量达到初始的所述资源阈值，确定对应的所述任务队列为目标队列，包括：获取预设的采样周期，基于所述采样周期获取各个所述任务队列在工作过程中的实时使用资源；若连续采样得到的多个所述实时使用资源的资源数量，均达到初始的所述资源阈值，确定对应的所述任务队列为目标队列。

9、为实现上述目的，本技术实施例的第二方面提出了一种集群资源弹性调度系统，所述系统包括：资源分配模块，用于获取集群中的各个任务队列和集群所能调度的总资源数量，根据所述总资源数量为各个所述任务队列分配初始的资源阈值，以使各个所述任务队列在初始的所述资源阈值指示的资源数量下工作；队列检测模块，用于获取各个所述任务队列在工作过程中的实时使用资源，若所述实时使用资源的资源数量达到初始的所述资源阈值，确定对应的所述任务队列为目标队列；分级管理模块，用于获取预设的多个分级扩容比例，按照多个所述分级扩容比例分别调整初始的所述资源阈值的大小，得到多个分级扩容后的所述资源阈值；资源分级调度模块，用于控制所述目标队列在扩容后的所述资源阈值所指示的资源数量下工作，并继续获取所述实时使用资源，根据所述实时使用资源的资源数量与各级扩容后的所述资源阈值之间的大小关系，从多个分级扩容后的所述资源阈值中确定目标资源阈值。

10、为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面实施例所述的方法。

11、为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面实施例所述的方法。

12、本技术实施例具有以下有益效果：本技术先根据总资源数量为集群中的各个任务队列分配初始的资源阈值，初始的资源阈值用于限制任务队列的资源使用量，这样，各个任务队列可以在初始的资源阈值所指示的资源数量下工作，随后，可以获取各个任务队列在工作过程中的实时使用资源，若实时使用资源的资源数量达到初始的资源阈值，说明这部分队列处于紧缺的状态，因此确定对应的任务队列为目标队列。在确定目标队列后，需要对目标队列进行扩容处理，因此获取预设的多个分级扩容比例，按照多个分级扩容比例分别调整初始的资源阈值的大小，得到多个分级扩容后的资源阈值，接着控制目标队列在扩容后的资源阈值所指示的资源数量下工作，并继续获取实时使用资源，根据实时使用资源的资源数量与各级扩容后的资源阈值之间的大小关系，从多个分级扩容后的资源阈值中确定目标资源阈值，所确定的目标资源阈值是最终的资源阈值，并且是根据实时使用资源的资源数量分级确定的，最终，处于紧缺的状态的队列能够分配到合理的资源数量，因此本技术能够均衡集群的资源调度，提高集群的使用效率，并提高了任务的时效性。