一种边端协同智能资源调度方法、装置、终端及存储介质与流程

1.本发明涉及边端设备资源调度领域，具体涉及一种边端协同智能资源调度方法、装置、终端及存储介质。


背景技术：

2.为了应对计算多元化的需求，越来越多的场景开始引入npu、gpu、fpga等硬件进行加速，特别是在人工智能领域，目前以npu为代表的异构计算已成为加速ai创新的新一代计算架构。用户拥有的智能设备在不断增加，需要用到ai功能的场景在不断丰富。在这样的背景下，对多种设备之间ai能力的协同需求逐渐增加。如何把这些零散的、分布在各个设备之中的ai能力进行整合，并针对不同的场景，根据用户需求，找到最优的设备组合为用户提供服务，是当下需要探索的问题。
3.多异构资源在运行多种任务场景下，为了保证计算资源的有效利用、公平性、互斥管理、快速响应、满载下队列维护，需要一套高效精细的分配原则和调度管理机制。如图1所示为边端设备协同拓扑结构示意图，为了充分发挥边缘服务器（大算力、高时延、强依赖通信网络）和嵌入式智能终端（低时延、小算力、弱依赖通信网络）的算力优势，需要考虑边端设备之间的协同设计，使嵌入式边缘设备更好地管理嵌入式智能终端，实现两种设备资源的统一调度。然而不同的类型指令集、不同的体系架构的计算资源很难进行统一的合理的调度，难以针对不同的深度学习任务进行合理的资源分配与管理。随着计算规模、复杂度的增加，这种现象更加凸显。


技术实现要素：

4.为解决上述问题，本发明提供一种边端协同智能资源调度方法、装置、终端及存储介质，通过设备虚拟化技术解决多异构资源抽象问题，通过面向多异构资源管理的调度策略设计技术解决多异构资源的精细化分配与管理，实现一种高效调度机制，对深度学习任务使用的异构资源进行精细化管理。
5.第一方面，本发明的技术方案提供一种边端协同智能资源调度方法，包括以下步骤：将多异构边端设备虚拟化；采集并统计边端设备的资源条件；根据边端设备的资源条件，将云端预训练模型下发到相应边端设备；根据作业资源需求和作业所需模型，将作业分配到相应边端设备；在所分配到的边端设备上调用相应模型执行作业；将作业执行结果反馈给云端或资源调度平台。
6.进一步地，将多异构边端设备虚拟化具体为：将多异构边端设备虚拟化为系统大小的逻辑单元。
7.进一步地，多异构边端设备包括边缘服务器和嵌入式智能终端，边缘服务器与多
个嵌入式智能终端通信；边端设备的资源条件包括边端设备算力资源和带宽资源的可利用资源、成本、质量和时延。
8.进一步地，将作业执行结果反馈给云端或资源调度平台，具体为：判断任务是否完成；若已完成则将结果反馈给云端，若未完成则将结果反馈给资源调度平台，由资源调度平台将结果作为下一次作业分配到相应边端设备。
9.第二方面，本发明的技术方案提供一种边端协同智能资源调度装置，包括，虚拟化模块：将多异构边端设备虚拟化；资源条件采集统计模块：采集并统计边端设备的资源条件；模型下发模块：根据边端设备的资源条件，将云端预训练模型下发到相应边端设备；作业下发模块：根据作业资源需求和作业所需模型，将作业分配到相应边端设备；作业执行模块：在所分配到的边端设备上调用相应模型执行作业；结果反馈模块：将作业执行结果反馈给云端或资源调度平台。
10.进一步地，虚拟化模块将多异构边端设备虚拟化具体为：将多异构边端设备虚拟化为系统大小的逻辑单元。
11.进一步地，多异构边端设备包括边缘服务器和嵌入式智能终端，边缘服务器与多个嵌入式智能终端通信；边端设备的资源条件包括边端设备算力资源和带宽资源的可利用资源、成本、质量和时延。
12.进一步地，结果反馈模块将作业执行结果反馈给云端或资源调度平台，具体为：判断任务是否完成；若已完成则将结果反馈给云端，若未完成则将结果反馈给资源调度平台，由资源调度平台将结果作为下一次作业分配到相应边端设备。
13.第三方面，本发明的技术方案提供一种终端，包括：存储器，用于存储边端协同智能资源调度程序；处理器，用于执行所述边端协同智能资源调度程序时实现如上述任一项所述边端协同智能资源调度方法的步骤。
14.第四方面，本发明的技术方案提供一种计算机可读存储介质，所述可读存储介质上存储有边端协同智能资源调度程序，所述边端协同智能资源调度程序被处理器执行时实现如上述任一项所述边端协同智能资源调度方法的步骤。
15.本发明提供的一种边端协同智能资源调度方法、装置、终端及存储介质，相对于现有技术，具有以下有益效果：通过设备虚拟化技术，对边端设备进行虚拟化，将虚拟化设备透传到容器中进行使用，实现各种资源的统一抽象，结合智能自主调度策略，使得模型可以自动化地学习到合适的参数和配置而无需人工干预，简化了设备管理和用户使用，大大提高了边端设备协同工作的效率和合理性。
附图说明
16.为了更清楚的说明本技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为边端设备协同拓扑结构示意图。
18.图2为本发明实施例一提供的一种边端协同智能资源调度方法原理示意图。
19.图3为本发明实施例一提供的一种边端协同智能资源调度方法流程示意图。
20.图4为本发明实施例二提供的一种边端协同智能资源调度装置结构示意框图。
21.图5为本发明实施例三提供的一种终端的结构示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.实施例一本实施例一提供一种边端协同智能资源调度方法，如图2所示为该方法原理流程示意图，由资源调度平台智能，首先将边端设备虚拟化，然后统一资源抽象，将资源监听上报，再将设备资源分配，执行作业，若任务完成则将结果反馈给云端，若任务未完成需将作业下发到下一级设备，则将结果反馈给资源调度平台重新分配资源。
24.如图3所示，本实施例一提供的边端协同智能资源调度方法具体包括以下步骤。
25.s101，将多异构边端设备虚拟化。
26.需要说明的是，多异构边端设备包括边缘服务器1和嵌入式智能终端2，边缘服务器1与多个嵌入式智能终端2通信。
27.本实施例将多异构边端设备虚拟化具体为将多异构资源虚拟化为系统大小的逻辑单元，用于多个容器共享系统的计算能力。
28.s102，采集并统计边端设备的资源条件。
29.本实施例统计边端设备的资源条件以供后续训练模型和作业下发，具体的本实施例所采集和统计的边端设备资源条件包括边端设备算力资源和带宽资源的可利用资源、成本、质量和时延。
30.s103，根据边端设备的资源条件，将云端预训练模型下发到相应边端设备。
31.需要说明的是，本实施例上报局域网内各边端设备的资源条件，资源调度平台基于所收集的资源条件，将云端的预训练模型下发给不同的边端设备。
32.s104，根据作业资源需求和作业所需模型，将作业分配到相应边端设备。
33.需要说明的是，本实施例将作业分配到边缘服务器或嵌入式智能终端，如由嵌入式智能终端完成粗略分类，配合边缘服务器完成进一步地精细识别。
34.s105，在所分配到的边端设备上调用相应模型执行作业。
35.s106，将作业执行结果反馈给云端或资源调度平台。
36.作业执行一次后可能执行完任务，也可能未执行完任务需要继续执行，因此首先判断任务是否完成，若已完成则将结果反馈给云端，若未完成则将结果反馈给资源调度平台，由资源调度平台将结果作为下一次作业分配到相应边端设备。
37.需要说明的是，作业执行过程中，资源调度平台不断与局域网内其他边端设备进行数据状态同步。
38.本实施例提供的边端协同智能资源调度方法，通过设备虚拟化技术，对边端设备进行虚拟化，将虚拟化设备透传到容器中进行使用，实现各种资源的统一抽象，结合智能自主调度策略，使得模型可以自动化地学习到合适的参数和配置而无需人工干预，简化了设备管理和用户使用，大大提高了边端设备协同工作的效率和合理性。
39.实施例二基于实施例一提供的边端协同智能资源调度方法，本实施例提供一种边端协同智能资源调度装置，用于实现前述的方法。
40.如图4所示，本实施例提供的装置配置在资源调度平台，包括以下功能模块。
41.虚拟化模块101：将多异构边端设备虚拟化。
42.具体的，将多异构边端设备虚拟化为系统大小的逻辑单元，用于多个容器共享系统的计算能力。
43.需要说明的是，多异构边端设备包括边缘服务器1和嵌入式智能终端2，边缘服务器1与多个嵌入式智能终端2通信。
44.资源条件采集统计模块102：采集并统计边端设备的资源条件。
45.边端设备的资源条件包括边端设备算力资源和带宽资源的可利用资源、成本、质量和时延。
46.模型下发模块103：根据边端设备的资源条件，将云端预训练模型下发到相应边端设备。
47.作业下发模块104：根据作业资源需求和作业所需模型，将作业分配到相应边端设备。
48.作业执行模块105：在所分配到的边端设备上调用相应模型执行作业。
49.结果反馈模块106：将作业执行结果反馈给云端或资源调度平台。
50.具体地，结果反馈模块106判断任务是否完成，若已完成则将结果反馈给云端，若未完成则将结果反馈给资源调度平台，由资源调度平台将结果作为下一次作业分配到相应边端设备。
51.本实施例的边端协同智能资源调度装置用于实现前述的边端协同智能资源调度法，因此该装置中的具体实施方式可见前文中的边端协同智能资源调度方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
52.另外，由于本实施例的边端协同智能资源调度装置用于实现前述的边端协同智能资源调度方法，因此其作用与上述方法的作用相对应，这里不再赘述。
53.实施例三图5为本发明实施例提供的一种终端装置500的结构示意图，包括：处理器510、存储器520及通信单元530。所述处理器510用于实现存储器520中保存的边端协同智能资源调度程序时实现以下步骤：
将多异构边端设备虚拟化；采集并统计边端设备的资源条件；根据边端设备的资源条件，将云端预训练模型下发到相应边端设备；根据作业资源需求和作业所需模型，将作业分配到相应边端设备；在所分配到的边端设备上调用相应模型执行作业；将作业执行结果反馈给云端或资源调度平台。
54.本发明通过设备虚拟化技术，对边端设备进行虚拟化，将虚拟化设备透传到容器中进行使用，实现各种资源的统一抽象，结合智能自主调度策略，使得模型可以自动化地学习到合适的参数和配置而无需人工干预，简化了设备管理和用户使用，大大提高了边端设备协同工作的效率和合理性。
55.该终端装置500包括处理器510、存储器520及通信单元530。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
56.其中，该存储器520可以用于存储处理器510的执行指令，存储器520可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。当存储器520中的执行指令由处理器510执行时，使得终端500能够执行以下上述方法实施例中的部分或全部步骤。
57.处理器510为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器520内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit，简称ic) 组成，例如可以由单颗封装的ic 所组成，也可以由连接多颗相同功能或不同功能的封装ic而组成。举例来说，处理器510可以仅包括中央处理器(central processing unit，简称cpu)。在本发明实施方式中，cpu可以是单运算核心，也可以包括多运算核心。
58.通信单元530，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。
59.实施例四本发明还提供一种计算机存储介质，这里所说的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：rom）或随机存储记忆体（英文：random access memory，简称：ram）等。
60.计算机存储介质存储有边端协同智能资源调度程序，所述边端协同智能资源调度程序被处理器执行时实现以下步骤：将多异构边端设备虚拟化；采集并统计边端设备的资源条件；根据边端设备的资源条件，将云端预训练模型下发到相应边端设备；根据作业资源需求和作业所需模型，将作业分配到相应边端设备；在所分配到的边端设备上调用相应模型执行作业；
将作业执行结果反馈给云端或资源调度平台。
61.本发明通过设备虚拟化技术，对边端设备进行虚拟化，将虚拟化设备透传到容器中进行使用，实现各种资源的统一抽象，结合智能自主调度策略，使得模型可以自动化地学习到合适的参数和配置而无需人工干预，简化了设备管理和用户使用，大大提高了边端设备协同工作的效率和合理性。
62.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端（可以是个人计算机，服务器，或者第二终端、网络终端等）执行本发明各个实施例所述方法的全部或部分步骤。
63.在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
64.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
65.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
66.以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。