云计算系统的资源调度方法、应用识别方法以及相关设备与流程

文档序号:35677376发布日期:2023-10-08 09:43阅读:25来源:国知局
云计算系统的资源调度方法、应用识别方法以及相关设备与流程

本技术实施例涉及计算机领域,尤其涉及云计算系统的资源调度方法、应用识别方法以及相关设备。


背景技术:

1、随着互联网的不断发展,作为信息基础设施的数据中心的规模也日益增长。然而,当前大多数数据中心中的资源利用率依旧很低。为了降低成本,可以同时运行多个应用共享底层的资源来提升资源利用率。虽然应用的共置能有效地提高资源利用率,但是部署在同一台物理机上的应用会争夺共享资源,导致应用间的干扰频繁发生。

2、在一种资源调度方法中,每个延迟敏感型(latency critical,lc)型应用有固定的隔离区资源,基于强化学习的方式,对于不可隔离的共享资源进行处理,从而确定满足lc型应用的服务目标质量的资源分配方案。

3、在这种方法中,由于每个lc型应用有固定的隔离区资源,在应用所需资源较少的情况下,应用占有的固定隔离区资源可能会远大于实际需求,从而导致资源利用率低。


技术实现思路

1、本技术实施例提供了云计算系统的资源调度方法、应用识别方法以及相关设备,在资源调度方法中,根据计算机系统中各个lc型应用的剩余干扰容忍度的不同取值,确定不同的资源调度方式,从而实现增加lc型应用的隔离区资源,或者减少lc型应用的隔离区资源以增加计算机系统的共享区资源,实现了隔离区资源与共享区资源的灵活分配,提升了资源的利用率。同时,通过调度隔离区资源和共享区资源,降低了应用之间的干扰,也提升了系统性能。

2、本技术实施例第一方面提供了一种云计算系统的资源调度方法,该方法应用于资源调度器,方法包括:

3、计算机系统中运行有多个lc型应用,资源调度器能够自行计算或者接收来自于计算设备的每个lc型应用的剩余干扰容忍度。剩余干扰容忍度能够反映每个lc型应用受干扰的程度,剩余干扰容忍度越小,表示该lc型应用受干扰的程度越大。之后,资源调度器从这多个lc型应用中选择剩余干扰容忍度最小的第一lc型应用。并比较第一lc型应用的剩余干扰容忍度与容忍度下限的关系,以此确定是否需要对第一lc型应用的隔离区资源进行调整。如果第一lc型应用的剩余干扰容忍度小于容忍度下限,意味着第一lc型应用受到了严重的干扰,资源紧张,则增加第一lc型应用的第一隔离区资源。如果若第一lc型应用的剩余干扰容忍度大于容忍度上限,又因为第一lc型应用是所有lc型应用中剩余干扰容忍度最小的,因此可以认为所有的lc型应用都没有受到干扰或者受干扰程度小,可以将多个lc型应用中的第二lc型应用的第二隔离区资源转移至资源共享区。其中,第二lc型应用的剩余干扰容忍度大于第一lc型应用的剩余干扰容忍度。可选的,第二lc型应用的剩余干扰容忍度可以是多个lc型应用中最大的。

4、从以上技术方案可以看出,本技术实施例具有以下优点:

5、根据计算机系统中各个lc型应用的剩余干扰容忍度的不同取值,确定不同的资源调度方式,从而实现增加lc型应用的隔离区资源,或者减少lc型应用的隔离区资源以增加计算机系统的共享区资源,实现了隔离区资源与共享区资源的灵活分配,提升了资源的利用率。同时,通过调度隔离区资源和共享区资源,降低了应用之间的干扰,也提升了系统性能。

6、在第一方面的一些可选实施例中,资源调度器还可以获取计算机系统的当前系统熵,当前系统熵用于当前指示计算机系统中应用之间的干扰程度。当前系统熵越大,表示当前指示计算机系统中应用之间的干扰程度越大,计算机系统的性能越差。资源调度器通过比较当前系统熵与系统熵阈值之间的大小关系,以及第一lc型应用的剩余干扰容忍度与容忍度下限和容忍度上限之间的大小关系,确定进行资源调度的区域。具体来说,如果当前系统熵大于或等于系统熵阈值,且第一lc型应用的剩余干扰容忍度小于容忍度下限,那么可以认为第一lc型应用受到的干扰严重,资源紧张,需要增加第一lc型应用的第一隔离区资源。如果当前系统熵大于或等于系统熵阈值,且第一lc型应用的剩余干扰容忍度大于容忍度上限,那么可以认为当前系统的性能表现较差是由于lc型应用的隔离区资源较多导致的,因此资源调度器可以将第二lc型应用的第二隔离区资源转移至资源共享区。

7、本技术实施例中,结合剩余容忍度和系统熵,来确定是否进行资源调度,对资源调度的条件进行了更加严格的限定,避免了在不必要的情况下进行资源调度,节约了计算资源。

8、在第一方面的一些可选实施例中,资源调取器增加第一lc型应用的第一隔离区资源的方式有多种。可选的,如果计算机系统中存在剩余干扰容忍度大于容忍度上限,且具有可剥离的第三隔离区资源的第三lc型应用,那么资源调度器会将第三隔离区资源中的资源转移至第一lc型应用对应的第一隔离区,以增加第一隔离区资源。可选的,如果计算机系统中不存在这样的第三lc型应用,那么资源调度器会将资源共享区的资源转移至第一隔离区,以增加第一隔离区资源。其中,计算机系统中不存在这样的第三lc型应用包括,计算机系统中所有的lc型应用的剩余干扰容忍度都不大于容忍度上限,或者,计算机系统中所有的lc型应用都不具备可剥离的隔离区资源,或者,计算机系统中剩余干扰容忍度大于容忍度上限的lc型应用都不具备可剥离的隔离区资源,具体此处不做限定。

9、本技术实施例中,在增加第一lc型应用的第一隔离区资源时,优先考虑从其他lc型应用的隔离区资源中转移资源,尽可能减低对系统性能的不良影响,提升了技术方案的实用性。同时,对于不同的情况,有不同的方式增加第一隔离区资源,能够适应不同的场景,提升了本技术技术方案的灵活性和可适应性。

10、在第一方面的一些可选实施例中,在计算机系统中只包括lc型应用的情况下,资源调度器可以获取每个lc型应用能容忍的干扰量和每个lc型应用实际受到的干扰量。并根据每个lc型应用能容忍的干扰量和每个lc型应用实际受到的干扰量,确定当前系统熵。

11、在第一方面的一些可选实施例中,在计算机系统中包括lc型应用和至少一个尽力而为(best effort,be)型应用的情况下,资源调度器可以获取来自于应用区分器或来自于用户的第一应用标识和第二应用标识,以对lc型应用和be型应用进行区分。其中,第一应用标识用于指示lc型应用,第二应用标识用于指示be型应用。资源调度器能够根据第一应用标识,确定计算机系统中的lc型应用。根据第二应用标识,确定计算机系统中的be型应用。资源调度器通过获取每个lc型应用能容忍的干扰量和每个lc型应用实际受到的干扰量,并根据每个lc型应用能容忍的干扰量和每个lc型应用实际受到的干扰量,确定多个lc型应用的熵。通过获取至少一个be型应用中每个be型应用单独运行时的第一每周期指令数和每个be型应用受干扰后的第二每周期指令数,并根据第一每周期指令数和第二每周期指令数,确定至少一个be型应用的熵。然后根据多个lc型应用的熵和至少一个be型应用的熵,确定当前系统熵。由于lc型应用的服务质量的重要性远大于be型应用的重要性,因此,多个lc型应用的熵的权重大于至少一个be型应用的熵的权重。

12、在第一方面的一些可选实施例中,资源调度器除了自行计算当前系统熵之外,还可以获取来自于计算设备的当前系统熵,具体此处不做限定。

13、本技术实施例中,对于计算机系统所包括的应用类型的不同,资源调度器可以通过不同的方式,确定当前系统熵,从而对计算机系统的性能进行评估,也能够灵活适用不同的场景,提升了本技术技术方案的灵活性和实用性。

14、在第一方面的一些可选实施例中,还可以通过其他的方式触发资源调度器进行资源调度。资源调度器获取来自于服务质量预测器的第一调度信息或第二调度信息,其中,第一调度信息指示增加多个lc型应用中目标lc型应用的隔离区资源,第二调度信息指示减少目标lc型应用的隔离区资源。之后,资源调度器根据第一调度信息,增加目标lc型应用的隔离区资源;或者,根据第二调度信息,减少目标lc型应用的隔离区资源。

15、本技术实施例中,可以有多种方式触发资源调度器进行资源调度,处理利用剩余容忍度触发之外,还可以基于剩余容忍度和当前系统熵触发,除此之外,还可以根据指示信息触发,能够适应实际应用中的不同需求,提升了技术方案的灵活性和可适应性。另外,资源调度器可以直接根据调度信息进行确定资源调度的区域,使得资源调度器即使无法获取剩余容忍度或者当前系统熵的情况下,依旧能够进行资源调度,保证了资源调度器的顺利工作,提升了技术方案的可靠性。

16、在第一方面的一些可选实施例中,资源调度器能够自行计算或者获取来自于计算设备的计算机系统资源调度后的系统熵。并对若资源调度后的系统熵和当前系统熵之间的大小关系进行判断,如果资源调度后的系统熵小于当前系统熵,表示系统的性能提升了,可以确定资源调度成功。

17、本技术实施例中,通过验证,确保资源调度不会造成更坏的结果,也即不会加剧应用之间的干扰,提升了技术方案的可靠性。

18、本技术实施例第二方面提供了一种云计算系统的资源调度方法,该方法应用于服务质量预测器,该方法包括:服务质量预测器获取目标lc型应用对应的多个网络接收队列长度,并计算多个网络接收队列长度的均值,得到平均网络接收队列长度。在平均网络接收队列长度大于长度阈值的情况下,向资源调度器发送第一调度信息,第一调度信息指示增加目标lc型应用的隔离区资源。在平均网络接收队列长度小于或等于长度阈值,且多个网络接收队列长度中取值为0的网络接收队列长度在多个网络接收队列长度中的占比大于比例阈值的情况下,向资源调度器发送第二调度信息,第二调度信息指示减少目标lc型应用的隔离区资源。其中,长度阈值和比例阈值可以由服务质量预测器根据计算系统的历史运行状态确定,也可以由用户设定,具体此处不做限定。

19、本技术实施例中,服务质量预测器通过对各个lc型应用对应的缓冲区进行监测,不需要计算系统熵或者容忍度等,便可以确定是否需要进行资源调度,简化了流程,节约了计算资源。

20、本技术实施例第三方面提供了一种应用识别方法,该方法应用于应用区分器,该方法包括:应用区分器获取计算机系统中多个应用在当前阶段的多个网络总带宽平均值,并根据多个网络总带宽平均值,确定多个应用在当前阶段的多个网络总带宽区间变异系数。在多个网络总带宽区间变异系数大于区间系数阈值的情况下,获取多个应用在当前阶段的多个末尾发送/接收带宽比例与下一阶段的多个起始发送/接收带宽比例的多个差值绝对值。应用区分器还会获取多个应用在当前阶段的前后目标时间段内的多个发送/接收带宽比例变异系数。之后,根据多个差值绝对值或多个发送/接收带宽比例变异系数,确定多个应用中lc型应用的标识为第一应用标识,多个应用中be型应用的标识为第二应用标识。向资源调度器发送第一应用标识和第二应用标识,以使资源调度器区分be型应用和lc型应用。

21、本技术实施例中,应用区分器能够对计算机系统中多个应用的应用类型进行识别,并告知资源调度器各个应用的应用标识,为资源调度器进行资源调度提供了技术支持,提升了技术方案的可实现性。

22、在第三方面的一些可选实施例中,根据多个差值绝对值或多个发送/接收带宽比例变异系数,确定多个应用中lc型应用的标识为第一应用标识,多个应用中be型应用的标识为第二应用标识,包括:从多个应用中确定差值绝对值大于差值阈值,和/或,发送/接收带宽比例变异系数大于系数阈值的应用,为be型应用。标记be型应用的标识为第二应用标识,并标记多个应用中be型应用之外的应用的标识为第一应用标识。

23、本技术实施例中,确定应用类型的依据有多种情况,有的情况对应用区分器的区分功能要求并不是很高,允许一定的容错率。而有的情况相对较为严格,有利于明确区分lc型应用和be型应用,提升了系统的可靠性。

24、本技术实施例第四方面提供了一种云计算系统的资源调度方法,该方法应用于资源调度器,该方法包括:获取来自于服务质量预测器的第一调度信息或第二调度信息,第一调度信息指示增加多个lc型应用中目标lc型应用的隔离区资源,第二调度信息指示减少目标lc型应用的隔离区资源;根据第一调度信息,增加目标lc型应用的隔离区资源;或者,根据第二调度信息,减少目标lc型应用的隔离区资源。

25、本技术实施例中,资源调度器可以直接根据调度信息进行确定资源调度的区域,使得资源调度器即使无法获取剩余容忍度或者当前系统熵的情况下,依旧能够进行资源调度,保证了资源调度器的顺利工作,提升了技术方案的可靠性。

26、本技术实施例第五方面提供了一种资源调度系统,该资源调度系统包括资源调度器,资源调度器用于:获取计算机系统中包括的至少一个延迟敏感lc型应用中每个lc型应用的剩余干扰容忍度。从多个lc型应用中,获取剩余干扰容忍度最小的第一lc型应用。若第一lc型应用的剩余干扰容忍度小于容忍度下限,则增加第一lc型应用的第一隔离区资源。若第一lc型应用的剩余干扰容忍度大于容忍度上限,则将多个lc型应用中的第二lc型应用的第二隔离区资源转移至资源共享区。

27、在第五方面的一些可选实施例中,资源调度器还用于:获取计算机系统的当前系统熵,当前系统熵用于当前指示计算机系统中应用之间的干扰程度。若当前系统熵大于或等于系统熵阈值,且第一lc型应用的剩余干扰容忍度小于容忍度下限,则增加第一隔离区资源。若当前系统熵大于或等于系统熵阈值,且第一lc型应用的剩余干扰容忍度大于容忍度上限,则将第二lc型应用的第二隔离区资源转移至资源共享区。

28、在第五方面的一些可选实施例中,资源调度器具体用于:若计算机系统中存在剩余干扰容忍度大于容忍度上限,且具有可剥离的第三隔离区资源的第三lc型应用,则将第三隔离区资源中的资源转移至第一lc型应用对应的第一隔离区,以增加第一隔离区资源。若计算机系统中不存在第三lc型应用,则将资源共享区的资源转移至第一隔离区,以增加第一隔离区资源。

29、在第五方面的一些可选实施例中,资源调度器具体用于:获取每个lc型应用能容忍的干扰量和每个lc型应用实际受到的干扰量。根据每个lc型应用能容忍的干扰量和每个lc型应用实际受到的干扰量,确定当前系统熵。

30、在第五方面的一些可选实施例中,资源调度器还用于:获取来自于应用区分器或来自于用户的第一应用标识和第二应用标识,第一应用标识用于指示lc型应用,第二应用标识用于指示be型应用。根据第一应用标识,确定计算机系统中的lc型应用。根据第二应用标识,确定计算机系统中的be型应用。

31、资源调度器具体用于:获取每个lc型应用能容忍的干扰量和每个lc型应用实际受到的干扰量。根据每个lc型应用能容忍的干扰量和每个lc型应用实际受到的干扰量,确定多个lc型应用的熵。获取至少一个be型应用中每个be型应用单独运行时的第一每周期指令数和每个be型应用受干扰后的第二每周期指令数。根据第一每周期指令数和第二每周期指令数,确定至少一个be型应用的熵。根据多个lc型应用的熵和至少一个be型应用的熵,确定当前系统熵。

32、在第五方面的一些可选实施例中,资源调度器还用于:获取来自于服务质量预测器的第一调度信息或第二调度信息,第一调度信息指示增加多个lc型应用中目标lc型应用的隔离区资源,第二调度信息指示减少目标lc型应用的隔离区资源。根据第一调度信息,增加目标lc型应用的隔离区资源。或者,根据第二调度信息,减少目标lc型应用的隔离区资源。

33、在第五方面的一些可选实施例中,资源调度器还用于:获取计算机系统资源调度后的系统熵。若资源调度后的系统熵小于当前系统熵,则确定资源调度成功。

34、在第五方面的一些可选实施例中,资源调度系统还包括服务质量预测器,服务质量预测器用于:获取目标lc型应用对应的多个网络接收队列长度。计算多个网络接收队列长度的均值,得到平均网络接收队列长度。若平均网络接收队列长度大于长度阈值,则向资源调度器发送第一调度信息,第一调度信息指示增加目标lc型应用的隔离区资源。若平均网络接收队列长度小于或等于长度阈值,且多个网络接收队列长度中取值为0的网络接收队列长度在多个网络接收队列长度中的占比大于比例阈值,则向资源调度器发送第二调度信息,第二调度信息指示减少目标lc型应用的隔离区资源。

35、在第五方面的一些可选实施例中,资源调度系统还包括应用区分器,应用区分器用于:获取计算机系统中多个应用在当前阶段的多个网络总带宽平均值。根据多个网络总带宽平均值,确定多个应用在当前阶段的多个网络总带宽区间变异系数。若多个网络总带宽区间变异系数大于区间系数阈值,则获取多个应用在当前阶段的多个末尾发送/接收带宽比例与下一阶段的多个起始发送/接收带宽比例的多个差值绝对值。获取多个应用在当前阶段的前后目标时间段内的多个发送/接收带宽比例变异系数。根据多个差值绝对值或多个发送/接收带宽比例变异系数,确定多个应用中lc型应用的标识为第一应用标识,多个应用中be型应用的标识为第二应用标识。向资源调度器发送第一应用标识和第二应用标识,以使资源调度器区分be型应用和lc型应用。

36、在第五方面的一些可选实施例中,应用区分器具体用于:从多个应用中,确定差值绝对值大于差值阈值,和/或,发送/接收带宽比例变异系数大于系数阈值的应用,为be型应用。标记be型应用的标识为第二应用标识。标记多个应用中be型应用之外的应用的标识为第一应用标识。

37、在第五方面的一些可选实施例中,资源调度系统还包括计算设备,计算设备用于向资源调度器发送当前系统熵、或每个lc型应用能容忍的干扰量、或每个lc型应用实际受到的干扰量、或每个be型应用单独运行时的第一每周期指令数、或每个be型应用受干扰后的第二每周期指令数中的至少一项。

38、在第五方面的一些可选实施例中,计算设备还用于获取目标lc型应用对应的多个网络接收队列长度。计算多个网络接收队列长度的均值,得到平均网络接收队列长度。向服务质量预测器发送平均网络接收队列长度。

39、在第五方面的一些可选实施例中,计算设备还用于向应用区分器发送计算机系统中多个应用当前阶段的多个网络总带宽的平均值,或者多个应用在当前阶段的多个网络总带宽区间变异系数,或者多个应用在当前阶段的多个末尾发送/接收带宽比例与下一阶段的多个起始发送/接收带宽比例的多个差值绝对值,或者多个应用在当前阶段的前后目标时间段内的多个发送/接收带宽比例变异系数中的至少一项。

40、资源调度系统用于实现前述第一方面至第四方面中任一方面所示的方法,第五方面的有益效果与第一方面至第四方面类似,此处不再赘述。

41、本技术实施例第六方面提供了一种资源调度器,该资源调度器应用于云计算系统,资源调度器包括:

42、获取单元,用于获取计算机系统中包括的至少一个延迟敏感lc型应用中每个lc型应用的剩余干扰容忍度。从多个lc型应用中,获取剩余干扰容忍度最小的第一lc型应用。

43、处理单元,用于:

44、若第一lc型应用的剩余干扰容忍度小于容忍度下限,则增加第一lc型应用的第一隔离区资源。

45、若第一lc型应用的剩余干扰容忍度大于容忍度上限,则将多个lc型应用中的第二lc型应用的第二隔离区资源转移至资源共享区。

46、资源调度器用于实现第一方面的方法,第六方面的有益效果与第一方面类似,此处不再赘述。

47、本技术实施例第七方面提供了一种服务质量预测器,该服务质量预测器应用于云计算系统,服务质量预测器包括:

48、获取单元,用于获取目标lc型应用对应的多个网络接收队列长度。

49、处理单元,用于计算多个网络接收队列长度的均值,得到平均网络接收队列长度。

50、发送单元,用于:

51、若平均网络接收队列长度大于长度阈值,则向资源调度器发送第一调度信息,第一调度信息指示增加目标lc型应用的隔离区资源。

52、若平均网络接收队列长度小于或等于长度阈值,且多个网络接收队列长度中取值为0的网络接收队列长度在多个网络接收队列长度中的占比大于比例阈值,则向资源调度器发送第二调度信息,第二调度信息指示减少目标lc型应用的隔离区资源。

53、服务质量预测器用于实现第二方面的方法,第七方面的有益效果与第二方面类似,此处不再赘述。

54、本技术实施例第八方面提供了一种应用区分器,包括:

55、获取单元,用于获取计算机系统中多个应用在当前阶段的多个网络总带宽平均值。

56、处理单元,用于根据多个网络总带宽平均值,确定多个应用在当前阶段的多个网络总带宽区间变异系数。

57、获取单元,还用于若多个网络总带宽区间变异系数大于区间系数阈值,则获取多个应用在当前阶段的多个末尾发送/接收带宽比例与下一阶段的多个起始发送/接收带宽比例的多个差值绝对值。

58、获取单元,还用于获取多个应用在当前阶段的前后目标时间段内的多个发送/接收带宽比例变异系数。

59、处理单元,还用于根据多个差值绝对值或多个发送/接收带宽比例变异系数,确定多个应用中lc型应用的标识为第一应用标识,多个应用中be型应用的标识为第二应用标识。

60、发送单元,用于向资源调度器发送第一应用标识和第二应用标识,以使资源调度器区分be型应用和lc型应用。

61、应用区分器用于实现第三方面的方法,第八方面的有益效果与第三方面类似,此处不再赘述。

62、本技术实施例第九方面提供了一种资源调度器,该资源调度器应用于云计算系统,资源调度器包括:

63、获取单元,用于获取来自于服务质量预测器的第一调度信息或第二调度信息,第一调度信息指示增加多个lc型应用中目标lc型应用的隔离区资源,第二调度信息指示减少目标lc型应用的隔离区资源。

64、处理单元,还用于根据第一调度信息,增加目标lc型应用的隔离区资源;或者,根据第二调度信息,减少目标lc型应用的隔离区资源。

65、资源调度器用于实现第四方面的方法,第九方面的有益效果与第四方面类似,此处不再赘述。

66、本技术实施例第十方面提供了一种计算机设备,包括处理器,存储器和通信接口,处理器,存储器和通信接口相连,处理器用于执行前述第一方面至第四方面中任一方面的方法。本方面所示的有益效果与第一方面至第四方面类似,此处不再赘述。

67、本技术实施例第十一方面提供了一种计算机可读存储介质,计算机可读存储介质中保存有程序,当计算机执行该程序时,执行第一方面至第四方面中任一方面的方法。

68、本技术实施例第十二方面提供了一种计算机程序产品,其特征在于,当计算机程序产品在计算机上执行时,该计算机执行第一方面至第四方面中任一方面的方法。

69、第十一方面和第十二方面的有益效果与第一方面至第四方面类似,此处不再赘述。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1