容器智能调度方法、智能计算云操作系统以及计算平台与流程

本技术属于数据处理领域，尤其涉及一种容器智能调度方法、智能计算云操作系统及计算平台。

背景技术：

1、当下随着人工智能的飞速发展，功能各异的智能计算平台不断涌现。其中智能计算云操作系统能够实现对超算平台硬件与软件资源的控制与管理。平台系统需要支持丰富的系统软件，以解决运行应用类型单一、资源利用率低的问题。

2、由于智能计算云操作系统主要用于运行各类存储在容器中的深度学习模型，通过容器封装应用资源实现资源隔离和环境隔离，支持应用跨节点迁移和高性能计算，提供容器镜像仓库和资源调度系统，实现快速部署和弹性扩展。容器化部署能够自适应应用需求，实现秒级部署和启动，节省时间和人力成本。

3、目前，容器调度主要依赖于容器编排工具，如kubernetes、docker swarm等。这些工具通过集成的资源调度系统来管理和调度容器在集群中的运行位置。它们根据容器的资源需求、负载情况等动态调整容器的位置，以实现最优的资源利用和负载均衡。这些现有的容器调度方式基本上是静态规则和基于策略的调度方法，无法满足复杂任务下的容器调度需求，导致容器集群的性能和资源利用率较低。

技术实现思路

1、本技术实施例提供了一种容器智能调度方法、智能计算云操作系统及计算平台，可以解决现有的容器调度方式基本上是静态规则和基于策略的调度方法，无法满足复杂任务下的容器调度需求，导致容器集群的性能和资源利用率较低。

2、第一方面，本技术实施例提供了一种容器智能调度方法，应用于计算平台的服务器，所述计算平台还包括计算机设备，所述服务器与所述计算机设备通信连接，所述计算机设备搭载的操作系统内设置有多个预设容器；所述方法包括：

3、在所述计算平台存在待运行的任务信息时，获取多个所述预设容器的第一运行信息；其中，待运行的所述任务信息包括任务目标和运行数据；

4、根据所述任务目标构建目标函数，将所述目标函数和所述运行数据输入至预设的优化模型，所述优化模型分别用于计算所述运行数据在多个所述预设容器中运行的所述目标函数的值；

5、根据多个所述目标函数的值在多个所述预设容器中确定目标容器；

6、将所述目标容器对应的所述第一运行信息和所述运行数据输入至预设的调度模型，所述调度模型输出所述目标容器对应的调度信息；

7、根据所述调度信息控制所述目标容器运行待运行的所述任务信息对应的所述运行数据。

8、在一些实施例中，所述根据所述任务目标构建目标函数，包括：对所述任务目标进行特征提取，获取所述任务目标对应的目标特征信息；对所述目标特征信息进行编码，获取所述目标特征信息对应的目标编码信息；根据所述目标编码信息构建所述目标函数。

9、在一些实施例中，所述优化模型包括多个强化学习模型，每个强化学习模型对应一个所述预设容器；所述将所述目标函数和所述运行数据输入至预设的优化模型，包括：将所述目标函数和所述运行数据输入至多个所述强化学习模型，所述强化学习模型用于在对应的所述预设容器中运行所述运行数据，生成运行结果信息，并根据所述运行结果信息计算所述目标函数的值。

10、示例性的，所述第一运行信息包括所述预设容器对应的第一存储空间信息；在所述将所述目标函数和所述运行数据输入至预设的优化模型之前，还包括：根据所述容器类型构建运行环境；根据所述运行环境构建待优化的所述强化学习模型；将所述目标函数和所述运行数据输入至待训练的所述强化学习模型，所述强化学习模型用于在多个所述运行环境中分别运行所述运行数据，生成预测结果信息；所述预测结果信息包括所述预设容器对应的第二存储空间信息；根据所述第一存储空间信息和所述第二存储空间信息计算奖励信息；根据根据所述奖励信息完成对所述强化学习模型的优化。

11、示例性的，所述根据所述第一存储空间信息和所述第二存储空间信息计算奖励信息，包括：根据所述第一存储空间信息和所述第二存储空间信息计算存储空间变化信息；基于预设奖励公式，根据所述存储空间变化信息确定出所述奖励信息；所述预设奖励公式的表达式为：

12、；

13、；

14、式中为所述奖励信息的值，为所述存储空间变化信息，为所述第一存储空间信息，为所述第二存储空间信息，为完成任务的时间，为预设的最长允许时间，为任务完成度的量化评分，和分别表示人工智能处理器卡 mlu和内存的额外消耗量，和分别表示不同的权重系数。

15、示例性的，所述根据根据所述奖励信息完成对所述强化学习模型的优化，包括：采用预设优化算法根据所述奖励信息完成对所述强化信息模型的优化，其中，所述预设优化算法包括角色评分算法、深度确定性策略梯度算法、信赖域策略优化算法和近似策略优化算法的任一项。

16、在一些实施例中，所述第一运行信息包括所述目标容器当前执行的任务的第一任务等级，待运行的所述任务信息还包括所述任务信息对应的第二任务等级；所述将所述目标容器对应的所述第一运行信息和所述运行数据输入至预设的调度模型，所述调度模型输出所述目标容器对应的调度信息，包括：当所述第一任务等级小于或等于所述第二任务等级时，将多个所述第一运行信息和所述运行数据输入至所述调度模型，以使得所述调度模型根据所述第一运行信息在多个所述预设容器中确定空闲容器，并输出第一调度指令和第二调度指令，所述第一调度指令用于将所述目标容器当前执行的任务转移至所述空闲容器中执行，所述第二调度指令用于控制所述目标容器运行所述运行数据；当所述第一任务等级大于所述第二任务等级时，将所述目标容器的第一运行信息和所述运行数据输入至所述调度模型，以使得所述调度模型输出第三调度指令，所述第三调度指令用于控制所述目标容器在执行完成当前的任务后运行所述运行数据。

17、在一些实施例中，在所述根据所述调度信息控制所述目标容器运行待运行的所述任务信息对应的所述运行数据之后，还包括:获取多个所述预设容器的第二运行信息;将多个所述第二运行信息输入至所述调度模型，所述调度模型输出多个所述预设容器对应的调度信息。

18、第二方面，本技术实施例提供了一种智能计算云操作系统，应用于计算平台的服务器，所述计算平台还包括计算机设备，所述服务器与所述计算机设备通信连接，所述计算机设备搭载的操作系统内设置有多个预设容器；所述系统包括：

19、获取模块，用于在所述计算平台存在待运行的任务信息时，获取多个所述预设容器的第一运行信息；其中，待运行的所述任务信息包括任务目标和运行数据；

20、计算模块，用于根据所述任务目标构建目标函数，将所述目标函数和所述运行数据输入至预设的优化模型，所述优化模型分别用于计算所述运行数据在多个所述预设容器中运行的所述目标函数的值；

21、确定模块，用于根据多个所述目标函数的值在多个所述预设容器中确定目标容器；

22、调度模块，用于将所述目标容器对应的所述第一运行信息和所述运行数据输入至预设的调度模型，所述调度模型输出所述目标容器对应的调度信息；

23、运行模块，用于根据所述调度信息控制所述目标容器运行待运行的所述任务信息对应的所述运行数据。

24、第三方面，本技术实施例提供了一种计算平台，包括服务器和计算机设备，所述服务器与所述计算机设备通信连接，所述计算机设备搭载的操作系统内设置有多个预设容器；

25、其中，所述服务器包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本技术任一实施例所提供的容器智能调度方法。

26、本技术实施例与现有技术相比存在的有益效果是：

27、本技术实施例提供的技术方案中，首先，在所述计算平台存在待运行的任务信息时，获取多个所述预设容器的第一运行信息；其中，待运行的所述任务信息包括任务目标和运行数据；然后，根据所述任务目标构建目标函数，将所述目标函数和所述运行数据输入至预设的优化模型，所述优化模型分别用于计算所述运行数据在多个所述预设容器中运行的所述目标函数的值；再然后，根据多个所述目标函数的值在多个所述预设容器中确定目标容器；进一步地，将所述目标容器对应的所述第一运行信息和所述运行数据输入至预设的调度模型，所述调度模型输出所述目标容器对应的调度信息；最后，根据所述调度信息控制所述目标容器运行待运行的所述任务信息对应的所述运行数据。

28、本技术实施例中，所提供的方法能够通过在计算平台存在待运行的任务信息时，获取预设容器的包括任务目标和运行数据的第一运行信息，并根据任务目标构建目标函数，能针对不同任务信息构建对应的目标函数。再将目标函数和运行数据输入至预设的优化模型，优化模型分别用于计算运行数据在多个预设容器中运行的目标函数的值，以准确根据多个目标函数的值在多个预设容器中确定目标容器。最终将目标容器对应的第一运行信息和运行数据输入至预设的调度模型，以输出目标容器对应的调度信息，以准确控制运行数据的运行。进而满足了复杂任务下的容器调度需求，提升了容器集群的性能和资源利用率。

29、与现有容器调度方式相比，本技术提出的容器智能调度方法具有以下区别：

30、（1）传统的容器调度方式往往基于静态规则或简单的策略进行调度，而智能调度方法利用预设的优化模型，结合任务目标和运行数据，动态构建目标函数，并通过优化模型实现对多个预设容器的智能选择，从而实现动态优化调度。

31、（2）容器智能调度方法将任务目标作为调度过程的重要考量因素之一。通过根据任务目标构建目标函数，并利用优化模型对目标函数进行计算和优化，智能调度方法能够更加精准地满足用户需求，提高容器调度的效率和质量。

32、（3）智能调度方法将运行数据纳入调度过程中，根据运行数据动态调整目标函数和优化模型，实现对容器调度的实时响应和优化。这种数据驱动的调度方式能够更好地适应不同的运行环境和工作负载，提高调度的灵活性和适应性。