一种资源调度方法、调度管理平台、设备和介质与流程

本申请涉及资源调度技术领域，尤其涉及一种资源调度方法、调度管理平台、设备和介质。

背景技术：

目前，云资源使用日渐广泛，资源池日益增多，现有的资源大都通过人工进行调度，手动调整解决资源紧张、部分资源流量过高以及告警等问题，调整步骤较多，调度效率低。

技术实现要素：

本申请提供了一种资源调度方法、调度管理平台、设备和介质，用于改善现有的调度方法存在的效率低的技术问题。

有鉴于此，本申请第一方面提供了一种资源调度方法，应用于调度管理平台，所述方法包括：

监测资源池信息，当监测到所述资源池信息满足预设条件时，生成资源池调度事件；

根据所述资源池调度事件获取源资源池和调整比例；

查找所述源资源池所属省份，基于距离最近原则和近期最少使用原则确定目标资源池，并基于所述调整比例将所述源资源池的流量调整到所述目标资源池。

可选的，所述资源池调度事件包括：资源池告警调度事件、资源池阈值调度事件和/或资源池负载均衡事件，

所述监测资源池信息，当监测到所述资源池信息满足预设条件时，生成资源池调度事件，包括：

监测资源池信息；

当监测到所述资源池信息中出现资源池告警信息时，生成资源池告警调度事件；

当监测到所述资源池信息中的某资源池的并发率超过预置并发率阈值，或剩余空间数低于预置空间阈值时，生成资源池阈值调度事件；

当监测到同一省份所使用的多个资源池之间的并发数的绝对差值超过预置差值阈值时，生成资源池负载均衡事件。

可选的，所述监测资源池信息，当监测到所述资源池信息满足预设条件时，生成资源池调度事件，之后还包括：

判断所述资源池调度事件是否重复，若是，则对所述资源池调度事件进行去重复处理。

可选的，所述根据所述资源池调度事件获取源资源池和调整比例，包括：

当所述资源调度事件为所述资源池告警调度事件时，将出现资源池告警信息的资源池作为源资源池，并根据该资源池告警信息中的错误数，通过预设告警调整规则或预置机器学习模型确定调整比例；

当所述资源调度事件为所述资源池阈值调度事件时，将并发率超过预置并发率阈值或剩余空间数低于预置空间阈值的资源池作为源资源池，并根据所述源资源池的并发数或剩余空间数，通过预设资源池阈值调整规则或预置机器学习模型确定调整比例；

当所述资源调度事件为所述资源池负载均衡事件时，将所述绝对差值超过预置差值阈值的最大并发数的资源池作为源资源池，并根据所述源资源池的并发数，通过预设负载均衡调整规则或预置机器学习模型确定调整比例。

可选的，所述预置机器学习模型的训练过程为：

获取训练集，所述训练集包括资源池错误数、资源池并发数、资源池剩余空间数，所述训练集的标签为调整比例；

将所述训练集输入到机器学习模型进行调整比例预测，并根据所述机器学习模型输出的预测值和标签计算损失值；

通过所述损失值更新所述机器学习模型的参数，直至所述机器学习模型收敛，得到训练好的机器学习模型，将所述训练好的机器学习模型作为所述预置机器学习模型。

本申请第二方面提供了一种调度管理平台，包括：

监测单元，用于监测资源池信息，当监测到所述资源池信息满足预设条件时，生成资源池调度事件；

获取单元，用于根据所述资源池调度事件获取源资源池和调整比例；

调整单元，用于查找所述源资源池所属省份，基于距离最近原则和近期最少使用原则确定目标资源池，并基于所述调整比例将所述源资源池的流量调整到所述目标资源池。

可选的，所述资源池调度事件包括：资源池告警调度事件、资源池阈值调度事件和/或资源池负载均衡事件，所述监测单元具体用于：

监测资源池信息；

当监测到所述资源池信息中出现资源池告警信息时，生成资源池告警调度事件；

当监测到所述资源池信息中的某资源池的并发率超过预置并发率阈值，或剩余空间数低于预置空间阈值时，生成资源池阈值调度事件；

当监测到同一省份所使用的多个资源池之间的并发数的绝对差值超过预置差值阈值时，生成资源池负载均衡事件。

可选的，还包括：

处理单元，用于判断所述资源池调度事件是否重复，若是，则对所述资源池调度事件进行去重复处理。

本申请第三方面提供了一种资源调度设备，其特征在于，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的资源调度方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的资源调度方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种资源调度方法，应用于调度管理平台，方法包括：监测资源池信息，当监测到资源池信息满足预设条件时，生成资源池调度事件；根据资源池调度事件获取源资源池和调整比例；查找源资源池所属省份，基于距离最近原则和近期最少使用原则确定目标资源池，并基于调整比例将源资源池的流量调整到目标资源池。

本申请中，通过调度管理平台检测资源池信息，在生成资源池调度事件并确定源资源池和调整比例时，根据源资源池所属省份，基于距离最近原则和近期最少使用原则确定目标资源池，根据调整比例将源资源池的流量调整到目标资源池，从而实现资源调度，在保障用户向资源池传输数据时能够尽量做到近距离传输的同时，完成资源调度，且不需要过多的人工干涉，改善了现有的调度方法存在的效率低的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种资源调度方法的一个流程示意图；

图2为本申请实施例提供的一种调度管理平台的一个结构示意图。

具体实施方式

本申请提供了一种资源调度方法、调度管理平台、设备和介质，用于改善现有的调度方法存在的效率低的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种资源调度方法的一个实施例，包括：

步骤101、监测资源池信息，当监测到资源池信息满足预设条件时，生成资源池调度事件。

资源池自动调度首先由监控触发生成资源池调度事件，根据资源池监控的不同类型确定资源池调度事件，本申请实施例中的资源池调度事件包括：资源池告警调度事件、资源池阈值调度事件和/或资源池负载均衡事件。具体的，监测资源池信息；当监测到资源池信息中出现资源池告警信息时，生成资源池告警调度事件；当监测到资源池信息中的某资源池的并发率超过预置并发率阈值，或剩余空间数低于预置空间阈值时，生成资源池阈值调度事件；当监测到同一省份所使用的多个资源池之间的并发数的绝对差值超过预置差值阈值时，生成资源池负载均衡事件。

1、资源池告警调度事件：

先预设好资源池告警规则，调度管理平台监测到资源池告警信息时，根据资源池告警错误数或错误率生成资源池告警调度事件，重复资源池告警自动调度。资源池告警信息来源如下：

(1)oss日志监控：实时拉取资源池上传日志，可以通过定时任务，取elasticsearch种聚合桶的错误数等信息，当错误率达到一定阈值时，向平台发出oss告警信息。

日志采集方式可采用：日志->kafka->logstash->elasticsearch->kibana(最低间隔可以10分钟一次告警)。

主要数据为：桶名、上传错误数、上传请求数、下载错误数、下载请求数等。

(2)资源池拨测、连通性告警：通过在不同省份的云主机上部署拨测脚本，模拟用户对资源池进行上传、下载，并实时上报上传、下载相应信息。

主要数据：上传成功率、下载成功率。

2、资源池阈值调度事件：

先预设好每个资源池并发率、剩余空间的调整阈值(预置并发率阈值、预置空间阈值)，调度管理平台主动监测资源池信息(实时并发数、实时剩余空间数)，每间隔第一预置时间(例如10分钟)轮询资源池信息，当某资源池的并发率超过预置并发率阈值，或剩余空间数低于预置空间阈值时，生成资源池阈值调度事件，触发资源池阈值自动调度。

信息来源：(1)资源池建设时的理论并发：资源池提供方提供；(2)将告警之前资源池达到的实际并发看作资源池可承载的最大并发。

3、资源池负载均衡事件：

调度管理平台主动监控资源池信息，每隔第二预置时间(例如1小时)轮询资源池信息，当相同省份所使用的资源池之间并发数相差较大，则生成资源池负载均衡事件。

进一步，在生成资源池调度事件后，还可以：判断资源池调度事件是否重复，若是，则对资源池调度事件进行去重复处理。

调度管理平台的不同监控可能在短时间内对同一资源池触发资源池调度事件，故生成资源池调度事件后应判断事件是否重复，并去重复的资源池调度事件进行去重复处理。

步骤102、根据资源池调度事件获取源资源池和调整比例。

当资源调度事件为资源池告警调度事件时，将出现资源池告警信息的资源池作为源资源池，并根据该资源池告警信息中的错误数，通过预设告警调整规则或预置机器学习模型确定调整比例；

当资源调度事件为资源池阈值调度事件时，将并发率超过预置并发率阈值或剩余空间数低于预置空间阈值的资源池作为源资源池，并根据源资源池的并发数或剩余空间数，通过预设资源池阈值调整规则或预置机器学习模型确定调整比例；

当资源调度事件为资源池负载均衡事件时，将绝对差值超过预置差值阈值的最大并发数的资源池作为源资源池，并根据源资源池的并发数，通过预设负载均衡调整规则或预置机器学习模型确定调整比例。

本申请实施例中，在生成资源池调度事件时就可以确定源资源池，然后通过预设的调整规则或预置机器学习模型来确定调整比例。在没有足够的训练数据来训练机器学习模型时，前期通过调整规则(查表法)来获取调整比例，可以参考表1提供的某调整规则。

表1

在调整完成后，对资源池调度事件进行打分，将得分较高的资源池调度事件作为数据集用于机器学习模型的训练，将数据集的80％作为训练集，20％作为测试集。机器学习模型的训练过程为：

s1021、获取训练集，训练集包括资源池错误数、资源池并发数、剩余空间数，训练集的标签为调整比例；

s1022、将训练集输入到机器学习模型进行调整比例预测，并根据机器学习模型输出的预测值和标签计算损失值；

s1023、通过损失值更新机器学习模型的参数，直至机器学习模型收敛，得到训练好的机器学习模型，将训练好的机器学习模型作为预置机器学习模型。

本申请实施例中由并发数、剩余空间数、错误数这三个数据确定调整比例，在训练时，将并发数、剩余空间数、错误数作为训练集的特征集，调整比例作为标签集。由特征集经过模型计算获得标签集。将特征集映射在(0,1]的区间内，可以减少特征数据相差太大引起的误差。本申请实施例中的机器学习模型优选为支持向量机(svm)。

训练完成后，可以通过测试集对训练好的机器学习模型进行测试，判断该模型是否符合预期。模型是否符合预期判断：

计算srocc(spearmanrankordercorrelationcoefficient，斯皮尔曼秩相关系数)、krocc(kendallrank-ordercorrelationcoefficient，肯德尔秩次相关系数)、plcc(pearsonlinearcorrelationcoefficient，皮尔森线性相关系数)。

以上三条数据越接近1越准确，还可以计算rmse(标准误差)，rmse越小越准确。

当svm模型预测不准确时，可以通过尝试以下方法改变svm算法参数，重新进行数据训练，即：1、检查数据是否合理；2、调整惩罚系数；3、调整特征权重；4、调整核函数。

步骤103、查找源资源池所属省份，基于距离最近原则和近期最少使用原则确定目标资源池，并基于调整比例将源资源池的流量调整到目标资源池。

查找源资源池所属省份，基于距离该省份最近原则确定候选资源池以及候选资源池的调整比例。

具体的，调度管理平台在确定源资源池i和调整比例k0后，查找源资源池i所属省份m，并确定该省份m最近省份n1使用的资源池on1；

判断资源池on1剩余并发是否足够此次的调整，若不足够，调整该省份n1的资源池on1能承受的并发，并计算调整比例k1；

再查找源资源池i所属省份m下一个最近省份n2，判断省份n2使用的资源池on2剩余并发是否足够此次的调整，若还不足够，调整该省份n2的资源池on2能承受的并发，并计算调整比例k2；

重复上述步骤，直至足够此次调整，得到候选资源池(资源池on1、on2等)以及候选资源池的调整比例(k1、k2等)。

在获取了候选资源池后，基于近期最少使用原则确定目标资源池和目标资源池的调整比例。具体的，进一步判断剩余资源池(除候选资源池和源资源池之外)的剩余并发与候选资源池是否相似，若是，优先选择剩余资源池和候选资源池中最近未使用的资源池作为目标资源池，并计算目标资源池的调整比例，若否，则优先选择剩余资源池和候选资源池中并发最小的资源池作为目标资源池，并计算目标资源池的调整比例。

最后根据各目标资源池的调整比例，将源资源池的流量调整到各目标资源池。

本申请实施例中，通过调度管理平台检测资源池信息，在生成资源池调度事件并确定源资源池和调整比例时，根据源资源池所属省份，基于距离最近原则和近期最少使用原则确定目标资源池，根据调整比例将源资源池的流量调整到目标资源池，从而实现资源调度，在保障用户向资源池传输数据时能够尽量做到近距离传输的同时，完成资源调度，且不需要过多的人工干涉，改善了现有的调度方法存在的效率低的技术问题。

本申请实施例还提供了手动调度和自动调度的对比，如表2所示。

表2

本申请实施例基于省份分流，实现智能化调度，并通过机器学习不断优化调度策略，在保障用户再向资源池传输数据时能够尽量做到近距离传输的同时，实现资源池故障自动切换，故障恢复后自动恢复到原状态，并实现智能预测，以及自动的负载均衡功能；并通过机器学习，自动优化调度测略，提高智能调度的合理性，旨在提高用户传输体验的同时，降低人力操作的成本，提高调度效率，保障资源池的正常使用。

以上为本申请提供的一种资源调度方法的一个实施例，以下为本申请提供的一种调度管理平台的一个实施例。

请参考图2，本申请实施例通过的一种调度管理平台，包括：

监测单元，用于监测资源池信息，当监测到资源池信息满足预设条件时，生成资源池调度事件；

获取单元，用于根据资源池调度事件获取源资源池和调整比例；

调整单元，用于查找源资源池所属省份，基于距离最近原则和近期最少使用原则确定目标资源池，并基于调整比例将源资源池的流量调整到目标资源池。

作为进一步地改进，资源池调度事件包括：资源池告警调度事件、资源池阈值调度事件和/或资源池负载均衡事件，监测单元具体用于：

监测资源池信息；

当监测到资源池信息中出现资源池告警信息时，生成资源池告警调度事件；

当监测到资源池信息中的某资源池的并发率超过预置并发率阈值，或剩余空间数低于预置空间阈值时，生成资源池阈值调度事件；

当监测到同一省份所使用的多个资源池之间的并发数的绝对差值超过预置差值阈值时，生成资源池负载均衡事件。

作为进一步地改进，还包括：

处理单元，用于判断资源池调度事件是否重复，若是，则对资源池调度事件进行去重复处理。

作为进一步地改进，获取单元具体用于：

当资源调度事件为资源池告警调度事件时，将出现资源池告警信息的资源池作为源资源池，并根据该资源池告警信息中的错误数，通过预设告警调整规则或预置机器学习模型确定调整比例；

当资源调度事件为资源池阈值调度事件时，将并发率超过预置并发率阈值或剩余空间数低于预置空间阈值的资源池作为源资源池，并根据源资源池的并发数或剩余空间数，通过预设资源池阈值调整规则或预置机器学习模型确定调整比例；

当资源调度事件为资源池负载均衡事件时，将绝对差值超过预置差值阈值的最大并发数的资源池作为源资源池，并根据源资源池的并发数，通过预设负载均衡调整规则或预置机器学习模型确定调整比例。

作为进一步地改进，预置机器学习模型的训练过程为：

获取训练集，训练集包括资源池错误数、资源池并发数、资源池剩余空间数，训练集的标签为调整比例；

将训练集输入到机器学习模型进行调整比例预测，并根据机器学习模型输出的预测值和标签计算损失值；

通过损失值更新机器学习模型的参数，直至机器学习模型收敛，得到训练好的机器学习模型，将训练好的机器学习模型作为预置机器学习模型。

本申请实施例中，通过调度管理平台检测资源池信息，在生成资源池调度事件并确定源资源池和调整比例时，根据源资源池所属省份，基于距离最近原则和近期最少使用原则确定目标资源池，根据调整比例将源资源池的流量调整到目标资源池，从而实现资源调度，在保障用户向资源池传输数据时能够尽量做到近距离传输的同时，完成资源调度，且不需要过多的人工干涉，改善了现有的调度方法存在的效率低的技术问题。

本申请实施例还提供了一种资源调度设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的资源调度方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的资源调度方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-onlymemory，英文缩写：rom)、随机存取存储器(英文全称：randomaccessmemory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。