任务调度方法、装置、设备及存储介质与流程

本技术涉及计算机领域，尤其涉及任务调度方法、装置、设备及存储介质。

背景技术：

1、云计算(cloudcomputing)是一种基于互联网的计算系统，该计算系统通过网络为用户提供计算资源和服务。云计算使用可扩展资源(如处理单元、存储空间和网络带宽等)，按需为用户提供各种计算资源和服务。在云计算处理大流量数据场景下，为避免云计算系统中的计算节点或容器组(pod)出现资源过载，导致云计算系统出现异常，常采用弹性扩展云计算系统中的计算节点或者pod。

2、然而，上述扩展计算节点或pod的方式，存在扩展的计算资源粒度较大，导致计算资源的不均衡分配以及浪费，进而云计算系统中资源的利用率较低。

技术实现思路

1、本技术提供了任务调度方法、装置、设备及存储介质，以提高资源利用率。

2、第一方面，本技术提供了一种任务调度方法，该任务调度方法可应用于计算机系统或应用于支持该计算机系统实现任务调度方法的计算设备，例如该计算设备可为服务器。该任务调度方法可以包括：获取管理的多个工作节点的资源占用情况，并根据资源占用情况，在确定第一工作节点中存在待转移任务后，指示第一工作节点将待转移任务转移至第二工作节点。其中，待转移任务实际所需的资源量不等于为待转移任务分配的资源量，或者，第一工作节点为多个工作节点中空闲资源量最大的工作节点，待转移任务为第一工作节点中运行的任务。第二工作节点为多个工作节点中除第一工作节点之外的一个工作节点，第二工作节点空闲资源量满足待转移任务所需的资源量。

3、在本技术中，在工作节点正在执行的任务所需资源量增加或减少(存在待转移任务)情况下，指示第一工作节点将待转移任务转移至第二工作节点，由于第二工作节点空闲资源量满足该待转移任务所需的资源量，因此第二工作节点可正常运行该待转移任务，替代了采用扩缩计算节点或pod方式解决任务所需资源量增加或减少时，任务能在工作节点正常运行，而导致的资源分配不均或资源浪费，提高了资源的利用率。

4、在一种可能的实现方式中，第二工作节点为分配策略中与待转移任务所需的资源量对应的一个工作节点，该分配策略用于指示任务所需的资源量与工作节点的对应关系。

5、在本技术中，上述第二工作节点为分配策略中与待转移任务所需的资源量对应的一个工作节点是指，第二工作节点与待转移任务所需的资源量满足上述分配策略。实现将相同所需资源量的任务分配至同一工作节点，可避免一个工作节点既处理大数据量的任务，又处理小数据量的任务，导致数据处理延迟或输入/输出抖动的问题，提高了工作节点的处理性能且避免了输入/输出抖动造成的资源浪费，提高了资源利用率。

6、在一种可能的情形中，若管理节点管理的多个工作节点的空闲资源量都不满足运行来自其他工作节点的任务，即多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值，上述任务调度方法还包括：指示第一工作节点将待转移任务转移至备用节点。

7、在本技术中，管理节点管理有备用节点，在工作节点空闲的资源量都不满足运行来自其他工作节点的任务时，指示第一工作节点将待转移任务转移中备用节点，以应对突发大流量的任务，使得该大流量的任务能得到及时的响应，避免流量抖动造成任务阻塞。提高了云计算系统对大流量的任务的处理能力。

8、在一种可能的实现方式中，指示第一工作节点将待转移任务转移至第二工作节点，包括：从分配策略中确定与待转移任务所需的资源量匹配的工作节点。并从与待转移任务所需的资源量匹配的工作节点中，选择空闲资源量满足待转移任务所需的资源量的第二工作节点；指示第一工作节点将待转移任务转移至第二工作节点。

9、在本技术中，由于第二工作节点为根据分配策略确定的空闲资源量满足待转移任务所需的工作节点，即实现将相同所需资源量的待转移任务分配至同一工作节点，该工作节点中处理相同所需资源量的任务，确保了设定时间内处理的数据流文档，进而可提高工作节点的处理性能且避免了输入/输出抖动造成的资源浪费，提高了资源利用率。以及，通过将第一工作节点中的待转移任务转移至第二工作节点，且该第二工作节点空闲资源量满足待转移任务所需的资源量，因此避免了采用扩缩计算节点或pod方式导致增加或减少的资源粒度过大，导致存在资源分配不均或资源浪费的问题，提高了资源利用率。

10、在一种可能的实现方式中，上述任务调度方法，还包括：获取待分配任务，并确定分配策略中，与待分配任务所需的资源量匹配的工作节点。将待分配任务分发至第三工作节点。其中，第三工作节点为与待分配任务所需的资源量匹配的工作节点中，空闲资源量满足待分配任务所需的资源量的一个工作节点。

11、在本技术中，在接收到新的待分配任务时，根据分配策略确定的与待分配任务所需的资源量匹配的工作节点，并从中选取空闲资源量满足待分配任务所需的资源量的一个工作节点(第三工作节点)，分发待分配任务，使得工作节点中运行的任务所需的资源量相对一致，避免了同一节点中，既处理大数据量的任务，又处理小数据量的任务，导致整体数据处理的延迟增加、输入/输出抖动等问题，进而减少了资源浪费，提高了工作节点的资源利用率。

12、在一种可能的情形中，上述任务调度方法，还包括：输出用户配置界面。接收用户对用户配置界面的触发操作。进而，响应于触发操作，确定用户在用户配置界面确定的待分配任务所需的资源量。

13、在一种可能的实现方式中，若与待分配任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第二阈值，或者，多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值，上述任务调度方法还包括：将待分配任务分发至备用节点。

14、在本技术中，在工作节点空闲的资源量都不满足运行新接收的任务，如待分配任务时，将待分配任务分发至备用节点，以应对新增的待分配任务，使得该待分配任务能得到及时的响应，避免该待分配任务等待时间过长导致时延，提高了云计算系统对待分配任务的处理能力。

15、在一种可能的实现方式中，上述任务调度方法，还包括：获取待分配任务，并根据待分配任务所需的资源量对待分配任务进行分片，得到待消费子任务。将待消费子任务分发至第四工作节点。其中，第四工作节点为与待消费子任务所需的资源量匹配的工作节点中，空闲资源量满足待消费子任务所需的资源量的一个或多个工作节点。

16、在本技术中，将待分配任务进行分片后，再分发至第四工作节点，避免了一个待分配任务所需的资源量过大，超出一个工作节点的最大资源量或空闲资源量，工作节点无法处理该待分配任务，导致云计算系统崩溃的问题。分片得到的待消费子任务所需的资源量小于或等于第四工作节点的空闲资源量，进而第四工作节点可正常运行待消费子任务，提高了云计算系统处理大数据量的任务的能力以及稳定性。

17、在一种可能的实现方式中，若与待消费子任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第三阈值，或者，多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值，上述任务调度方法还包括：将待消费子任务分发至备用节点。

18、在本技术中，在工作节点空闲的资源量都不满足运行新接收的任务，如待消费子任务时，将待消费子任务分发至备用节点，以应对新增的待消费子任务，使得该多个待消费子任务对应的待分配任务能得到及时响应，避免该待分配任务等待时间过长导致时延，提高了云计算系统对待分配任务的处理能力。

19、在一种可能的实现方式中，管理节点还管理了备用节点，若第五工作节点的空闲资源量满足备用节点中执行的任务所需的资源量，第五工作节点为多个工作节点中的至少一个工作节点，上述任务调度方法还包括：指示备用节点将备用节点中执行的任务转移至第五工作节点。

20、在本技术中，通过将备用节点中执行的任务转移到第五工作节点中，实现提高第五工作节点的资源利用率，进而提升了对多个工作节点整体的资源占有率。并且，减少了备用节点的使用，进而减少了资源(如电力)的消耗，降低了使用成本。

21、第二方面，本技术还提供一种任务调度装置，该任务调度装置应用于计算设备，如管理节点，该任务调度装置包括用于执行第一方面或第一方面任一种可选设计中的任务调度方法的各个模块。示例的，该任务调度装置包括：获取模块、第一确定模块和指示模块。其中：

22、获取模块，用于获取管理的多个工作节点的资源占用情况。

23、第一确定模块，用于根据资源占用情况，确定第一工作节点中存在待转移任务。待转移任务实际所需的资源量不等于为待转移任务分配的资源量，或者，第一工作节点为多个工作节点中空闲资源量最大的工作节点，待转移任务为第一工作节点中运行的任务。

24、指示模块，用于指示第一工作节点将待转移任务转移至第二工作节点。第二工作节点为多个工作节点中除第一工作节点之外的一个工作节点，第二工作节点空闲资源量满足待转移任务所需的资源量。

25、在一种可能的实现方式中，第二工作节点为分配策略中与待转移任务所需的资源量对应的一个工作节点，该分配策略用于指示任务所需的资源量与工作节点的对应关系。

26、在一种可能的情形中，上述指示模块，还用于：若管理节点管理的多个工作节点的空闲资源量都不满足运行来自其他工作节点的任务，即多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值，指示第一工作节点将待转移任务转移至备用节点。

27、在一种可能的实现方式中，上述指示模块，具体用于：从分配策略中确定与待转移任务所需的资源量匹配的工作节点。并从与待转移任务所需的资源量匹配的工作节点中，选择空闲资源量满足待转移任务所需的资源量的第二工作节点；指示第一工作节点将待转移任务转移至第二工作节点。

28、在一种可能的实现方式中，上述任务调度装置，还包括第二确定模块和分发模块。获取模块，还用于获取待分配任务。第二确定模块，用于确定分配策略中，与待分配任务所需的资源量匹配的工作节点。分发模块，用于将待分配任务分发至第三工作节点；第三工作节点为与待分配任务所需的资源量匹配的工作节点中，空闲资源量满足待分配任务所需的资源量的一个工作节点。

29、在一种可能的实现方式中，上述任务调度装置，还包括输出模块、接收模块和第三确定模块，输出模块，用于输出用户配置界面。接收模块，用于接收用户对用户配置界面的触发操作。第三确定模块，用于响应于触发操作，确定用户在用户配置界面确定的待分配任务所需的资源量。

30、在一种可能的实现方式中，上述分发模块，还用于：若与待分配任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第二阈值，或者，多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值，将待分配任务分发至备用节点。

31、在一种可能的实现方式中，上述任务调度装置还包括：分片模块和分发模块。获取模块，用于获取待分配任务。分片模块，用于根据待分配任务所需的资源量对待分配任务进行分片，得到待消费子任务。分发模块，用于将待消费子任务分发至第四工作节点。其中，第四工作节点为与待消费子任务所需的资源量匹配的工作节点中，空闲资源量满足待消费子任务所需的资源量的一个或多个工作节点。

32、在一种可能的实现方式中，上述分发模块，还用于：若与待消费子任务所需的资源量匹配的工作节点的空闲资源量均小于或等于第三阈值，或者，多个工作节点的资源占用情况指示的空闲资源量均小于或等于第一阈值，将待消费子任务分发至备用节点。

33、在一种可能的实现方式中，管理节点还管理了备用节点，上述指示模块，还用于：若第五工作节点的空闲资源量满足备用节点中执行的任务所需的资源量，第五工作节点为多个工作节点中的至少一个工作节点，指示备用节点将备用节点中执行的任务转移至第五工作节点。

34、第三方面，本技术还提供了一种芯片，该芯片包括：接口电路和供电电路；该接口电路用于获取管理的多个工作节点的资源占用情况，该控制电路用于执行上述第一方面或第一方面中任一种可能实现方式中的方法。

35、第四方面，本技术提供了一种计算设备集群。该计算设备集群包括至少一个计算设备；该至少一个计算设备中每个计算设备包括存储器和处理器，该存储器用于存储计算机指令；该处理器执行计算机指令时，实现上述第一方面或第一方面中任一种可能实现方式中的方法。该计算设备可以是指服务器、服务器包括的处理器等。

36、第五方面，本技术还提供了一种计算机可读存储介质。该存储介质中存储有计算机程序或指令，当计算机程序或指令被计算设备执行时，实现上述第一方面或第一方面中任一种可选实现方式中的方法。

37、第六方面，本技术还提供了一种计算机程序产品。该计算程序产品包括计算机程序或指令，当该计算机程序或指令被计算设备执行时，实现上述第一方面或第一方面中任一种可选实现方式中的方法。

38、以上第二方面至第六方面的有益效果可参照第一方面或第一方面中任一种实现方式的描述，在此不予赘述。

39、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。