一种资源调度管理方法、装置及云平台与流程

本发明涉及资源管理技术领域，具体涉及一种资源调度管理方法、装置及云平台。

背景技术：

在现有技术中，随着云计算技术的兴起，云平台作为提供虚拟计算资源和存储资源的终端设备，向中小企业及个人提供服务。而为了获得最优的分配资源及减少资源碎片的浪费，现有云平台使用的是资源调度器及集群管理工具；但由于在使用现有的资源调度器及集群管理工具向用户提供云资源时，其众多同层级的不同云平台的调度器混合工作，使资源调度过程无法进行统一管理，而导致云平台的资源利用率不高。

技术实现要素：

有鉴于此，本发明实施例提供了一种资源调度管理方法、装置及云平台，以解决不同云平台之间无法进行统一管理，而导致云平台资源利用率不高的问题。

根据第一方面，本发明实施例提供了一种资源调度方法，包括：

获取第一调度信息；基于所述第一调度信息对第一平台数据进行资源调度，得到第一数据信息，同时记录所述第一数据信息的资源调度策略，得到第二调度信息；根据所述第二调度信息对第二平台数据进行资源调度，得到第二数据信息。

本发明实施例提供的资源调度管理方法，通过获取第一调度信息，并记录第一调度信息在第一平台上所执行的调度流程，之后生成第二调度信息，并利用第二调度信息进行资源调度，通过记录调度信息在云平台上的调度策略从而实现对多个云平台资源调度策略的统一管理，从而提高云平台的资源利用率。

结合第一方面，在第一方面第一实施方式中，基于所述第一调度信息对第一平台数据进行资源调度，得到第一数据信息，还包括：基于所述第一调度信息进行数据转译，得到第一转译信息；利用所述第一转译信息对第一平台数据进行资源调度，得到第一数据信息。

本发明实施例提供的资源调度管理方法，通过数据转译，以兼容不同云平台的调度策略，从而提高云平台的资源利用率及资源调度的灵活性。

结合第一方面，在第一方面第二实施方式中，所述记录所述第一数据信息的资源调度策略，得到第二调度信息，包括：获取第一平台数据集群中的至少2个节点的资源数据；利用所述资源数据执行预设调度策略，得到预设调度信息；基于所述预设调度信息提取所述资源调度策略，获得第一调度信息。

本发明实施例提供的资源调度管理方法，通过获取平台数据集群的资源数据，并对数据资源实施预设调度策略，当完成预设资源调度后，再提取其实施的资源调度策略，从而根据资源调度策略获得第一调度信息，在保证资源调度顺利进行的同时还能提高资源调度的利用率。

结合第一方面，在第一方面第三实施方式中，所述根据所述第二调度信息对第二平台数据进行资源调度，得到第二数据信息，包括：获取第二平台数据中的资源调度策略；利用所述第二平台数据中的资源调度策略及第二调度信息进行联合资源调度，获得第二数据信息。

本发明实施例提供的资源调度管理方法，通过利用所述第二平台数据中的资源调度策略及第二调度信息进行联合资源调度，使其用户对需要执行的调度策略进行确定，从而保证资源调度结果的准确性。

结合第一方面，在第一方面第四实施方式中，所述根据所述第二调度信息对第二平台数据进行资源调度，得到第二数据信息之前，还包括：基于所述第二调度信息进行转译，得到第二转译信息；利用所述第二转译信息进行资源调度。

本发明实施例提供的资源调度管理方法，通过数据转译，以兼容不同云平台的调度策略，从而提高云平台的资源利用率及资源调度的灵活性。

根据第二方面，本发明实施例提供了一种资源调度管理装置，包括：获取模块，用于获取第一调度信息；第一处理模块，用于基于所述第一调度信息对第一平台数据进行资源调度，得到第一数据信息，同时记录所述第一数据信息的资源调度策略，得到第二调度信息；第二处理模块，用于根据所述第二调度信息对第二平台数据进行资源调度，得到第二数据信息。

结合第二方面，在第一方面第二实施方式中，所述第一处理模块，包括：转译子模块，用于基于所述第一调度信息进行数据转译，得到第一转译信息；第一调度子模块，用于利用所述第一转译信息对第一平台数据进行资源调度，得到第一数据信息。

本发明实施例提供的资源调度管理装置，通过获取模块获取第一调度信息，之后使用第一处理模块对第一云平台进行资源调度，同时记录第一云平台资源调度策略并发送给第二处理模块，第二处理模块根据第一云平台所记录的调度流程对第二云平台进行资源调度，从而实现对资源调度的统一管理，以及提高云平台的资源利用率。

根据第三方面，本发明实施例提供了一种云平台，包括：调度器，所述调度器与资源调度管理装置连接，所述调度器用于获取资源调度信息；所述资源调度管理装置用于执行第一方面或第一方面的任意一种实施方式中所述的资源调度方法。

根据第四方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的资源调度管理方法。

根据第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的资源调度管理方法。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明实施例提供的一种资源调度管理方法的流程框图；

图2是本发明实施例提供的一种可选的资源调度管理方法步骤s11的流程框图；

图3是本发明实施例提供的一种资源调度管理装置的结构框图；

图4是本发明实施例提供的一种云平台的结构框图；

图5是本发明实施例提供的一种电子设备的结构框图。

附图标记

10-获取模块；11-第一处理模块；12-第二处理模块；13-调度器；14-资源调度装置；15-云平台；20-处理器；21-存储器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，还需要说明的是通常云平台是由不同的地区的数据中心，通过专线或公网的形式组成一个大的云平台资源池。但是从每一个独立数据中心自身业务或定位的角度来看，云计算资源的管理平台可能很难做到使用统一的技术栈来完成各个地区的云平台建设。例如：地区a的数据中心主要提供以gpu为主的人工智能相关领域的算力，地区b的数据中心主要提供以cpu为主的科学计算类算力。地区a使用的云计算调度管理平台调度策略以公平调度策略为主，而地区b的云平台以先来先服务调度策略为主。

而本发明实施例所提供的一种资源调度管理方法，可以应用在众多跨区域多平台间，其中所应用的云平台包括调度器和资源调度管理装置，其具体的资源调度管理装置可以包括：获取模块、第一处理模块及第二处理模块；具体的，本发明实施例提供一种资源调度管理方法，如图1所示，该资源调度管理方法，包括：

s10，获取第一调度信息。

在本实施例中，第一调度信息为当前云平台所需要执行的流程步骤，该第一调度信息可以根据用户需求进行设置；例如：用户向数据处理中心提交了一个任务pod-xm；任务到达第一云平台，第一云平台使用了对应的策略(例如：scheduler-1的scheduler-polices-fifo)来完成资源调度及服务部署。

s11，基于第一调度信息对第一平台数据进行资源调度，得到第一数据信息，同时记录第一数据信息的资源调度策略，得到第二调度信息。

在本实施例中，第一数据信息是第一云平台执行/实施用户所指定的流程步骤/策略之后所得到或输出的数据结果。例如：当前第一云平台使用了scheduler-1的scheduler-polices-fifo完成了资源调度及服务部署。而为了能够进行统一管理第二云平台也需要使用scheduler-polices-fifo调度策略完成资源调度。因此第二云平台需要获取第一云平台的第一调度信息，而在第二平台实施的第一调度信息此时为第二调度信息。若云平台之间所使用的调度策略不一致，则在获取调度信息之间还需要将调度信息进行转译，从而保证数据传输的统一性。

s12，根据第二调度信息对第二平台数据进行资源调度，得到第二数据信息。在本实施例中，所得到的第二数据信息是在不同云平台中实施第二调度信息及不同云平台默认设置的资源调度后获得数据资源。具体的该第二数据信息还可以是第二平台通过获取并转译第一平台的调度信息得到第二调度信息，其中第二调度信息包括了第一云平台所的scheduler-1所执行的资源调度策略即scheduler-polices-fifo。由于第二云平台使用的资源管理器是scheduler-2，根据第二调度信息要求，第二云平台最终完成的资源调度应该为使用scheduler-2的scheduler-polices-fifo完成了本次资源调度。

本发明实施例提供的资源调度方法，通过获取第一调度信息，并记录第一调度信息在第一平台上所执行的调度流程，之后生成第二调度信息，并利用第二调度信息进行资源调度，通过记录调度信息在云平台上的调度策略从而实现对多个云平台资源调度策略的统一管理，从而提高云平台的资源利用率。

可选的，如图2所示，步骤s11，还可以是：

s111,基于第一调度信息进行数据转译，得到第一转译信息。

在本实施例中，可以将第一调度信息送入转译器中，得到第一转译信息，在本实施例中，第一转译信息是将目标云平台所设置的默认执行策略转换为用统一指定的策略，例如：第一云平台使用的是资源资源调度管理是kubernetes，默认调度策略使用的是scheduler-polices-fair；第二云平台使用的是kubernetes，默认调度策略使用的scheduler-polices-gang；当用户向云平台提交了一个任务pod-xm；希望任务到达第一云平台使用了scheduler-polices-fair完成了资源调度及服务部署，并通过复现传播器把pod-xm任务部署到第二云平台中。并且还需要将第一云平台默认的调度策略在第二云平台中执行scheduler-polices-fair，而不是scheduler-polices-gang。

s112,利用第一转译信息对第一平台数据进行资源调度，得到第一数据信息。

在本实施例中，第一数据信息可以包括流程信息及所调用数据信息。

可选的，步骤s11，还可以是：

s113，获取第一平台数据集群中的至少2个节点的资源数据。

在本实施例中，资源数据是预先设置在云平台或云服务器中需要调取的数据资源。

s114，利用所述资源数据执行预设调度策略，得到预设调度信息。

在本实施例中，预设调度策略由用户给出，或指定。通过用户指定从而明确处理流程，保证结果的准确性。例如：第一云平台使用了scheduler-polices-fifo完成资源调度。预设调度信息为当前平台所执行的资源调度后所获得的资源使用信息。

s115，基于所述预设调度信息提取所述资源调度策略，获得第二调度信息。

在本实施例中，第二调度信息是从所获得的预设调度信息中，获取预设调度信息所执行的调度策略，即为第二调度信息。

可选的，在步骤s114之前，可以包括：基于第二调度信息进行转译，得到第二转译信息；利用第二转译信息进行资源调度。

在本实施例中，通过记录当前调度器的每一次资源决策流程，调度成功后，通过集群对各个节点的资源信息进行统计，以及当每一次存在新的服务发布在集群中，设置集群中的各个管理及协同组件的影响。通过记录器将每一次调度完整记录，并将其调度决策发送给其他云平台进行下一个调度器的复现转译，当下一个调度器的资源调度装置接收到调度决策后，会根据其所在平台的调度器基本信息进行转译，转译成功后，这个调度器就可以使用上一次调度器做出的决策，从而完成复现操作了，从而提高云平台的资源利用率。

可选的，步骤s12，还可以是：

s121，获取第二平台数据中的资源调度策略。

在本实施例中，当确定出需要进行资源调度的第二平台后，需要先从第二平台中提取第二平台默认的资源调度策略，例如：第一云云平台使用的默认使用调度策略是scheduler-polices-fifo，第二云平台默认使用的调度策略是scheduler-polices-fair。则第二平台在复现第一平台任务调度时，也要从默认调度策略scheduler-polices-fair切换为scheduler-polices-fifo。

s122，利用所述第二平台数据中的资源调度策略及第二调度信息进行联合资源调度，获得第二数据信息。

在本实施例中，可以通过记录器获取第一平台的资源调度策略，之后结合第二平台中的资源调度策略，或将第二平台中的资源调度策略替换为第一平台的资源调度策略，之后根据所确定的资源调度策略对第二平台数据中的资源信息进行调度提取。从而满足任务调度策略统一及灵活性。

可选的，第一平台和第二平台可以是公有云平台或混合云平台。这其中，云平台的资源调度策略包含有多种，如fifoscheduler，即先来先服务；capacityscheduler容量调度，它是以队列为单位划分资源；fairscheduler多用户调度器，相比容量调度多用户调度器的资源分配更为均衡，能够保证云平台集群每一个节点都尽可能承当相当量的云计算任务；gangscheduler批任务调度器，主要针对这批任务提交时要么全都执行，要么全都不执行。

本发明实施例提供一种资源调度管理装置，如图3所示，该资源调度管理装置包括：

获取模块10，用于获取第一调度信息，详细内容参考上述方法实施例的步骤s10的相关描述。

第一处理模块11，用于基于第一调度信息对第一平台数据进行资源调度，得到第一数据信息，同时记录第一数据信息的资源调度策略，得到第二调度信息，详细内容参考上述方法实施例的步骤s11的相关描述。

第二处理模块12，用于根据第二调度信息对第二平台数据进行资源调度，得到第二数据信息，详细内容参考上述方法实施例的步骤s12的相关描述。

本实施例提供的资源调度管理装置，通过获取模块获取第一调度信息，之后使用第一处理模块对第一云平台进行资源调度，同时记录第一云平台资源调度策略并发送给第二处理模块，第二处理模块根据第一云平台所记录的调度流程对第二云平台进行资源调度，从而实现对资源调度的统一管理，以及提高云平台的资源利用率。

可选的，在第一处理模块11中，还包括：

转译子模块111，用于基于第一调度信息进行数据转译，得到第一转译信息，详细内容参考上述方法实施例的步骤s111的相关描述。

第一调度子模块112，用于利用第一转译信息对第一平台数据进行资源调度，得到第一数据信息，详细内容参考上述方法实施例的步骤s112的相关描述。

本发明实施例提供一种云平台，具体如图4所示：调度器13，调度器13与资源调度管理装置14连接，调度器13用于获取资源调度信息；在资源调度管理装置14中设置有记录器，用于记录调度器13所执行的流程，传送器，用于接收或发送调度器13的调度信息，转译器用于将不同云平台的调度器13的调度信息转换为当前执行资源调度的调度器可执行的流程信息。而在实际使用中，多个云平台14之间进行数据传输，从而实现对资源调度的统一管理，以及提高云平台14的资源利用率。在图4中通过省略号来表示所省略的云平台数量。

另外，本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器20和存储器21，其中处理器20和存储器21可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器20可以为中央处理器(centralprocessingunit，cpu)。处理器20还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器21作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的资源调度方法对应的程序指令/模块(例如，图3所示的获取模块10、第一处理模块11、第二处理模块12)。处理器20通过运行存储在存储器21中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的资源调度管理方法。

存储器21可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器20所创建的数据等。此外，存储器21可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器21可选包括相对于处理器20远程设置的存储器，这些远程存储器可以通过网络连接至处理器20。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器21中，当被所述处理器20执行时，执行如图1-2所示实施例中的资源调度管理方法。

上述电子设备具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。