任务处理方法、边缘计算设备、计算机设备、介质与流程

文档序号:28418868发布日期:2022-01-11 20:49阅读:91来源:国知局
任务处理方法、边缘计算设备、计算机设备、介质与流程

1.本公开涉及边缘计算技术领域,特别涉及一种任务处理方法、边缘计算设备、计算机设备及计算机可读介质。


背景技术:

2.mec(multi-access edge computing/mobile edge computing,移动边缘计算)作为具有运营商特色、网络侧边缘部署的一种边缘计算备受关注,也普遍被认为是5g两大关键的业务使能技术之一,尤其是其计算任务能力。随着各种运维业务的不断拓展,考虑到运维网络未来可能的发展变化,对实时性和智能化的要求越来越高,希望提高mec的算力,实现mec智能运维。
3.但是,在近距离边缘云的情况下,虽然使用了mec的近距离边缘云计算能力,但是mec的算力有限,尤其在面对一些需要实时解决的紧急任务时,导致无法及时处理任务或面临高延迟。


技术实现要素:

4.本公开针对现有技术中存在的上述不足,提供一种任务处理方法、网管系统、独立计算节点、计算机设备及计算机可读介质。
5.第一方面,本公开实施例提供一种任务处理方法,包括:
6.接收网络设备发送的任务;
7.确定所述任务的分配类型,并根据所述分配类型将所述任务划分为任务单元,并将所述任务单元放入任务池;
8.根据所述任务池中各个任务单元的类型,确定所述任务池中各个任务单元的下发优先级,所述任务单元的类型为所述任务单元所属任务的分配类型;
9.根据所述下发优先级确定待处理的任务单元;
10.若本边缘计算设备当前处理能力不满足预设第一要求,则确定第一网元设备,并将所述待处理的任务单元发送到所述第一网元设备,以使所述第一网元设备处理所述待处理的任务单元。
11.在一些实施例中,所述分配类型包括任务、子任务、迭代任务和迭代子任务。
12.在一些实施例中,所述任务中包括任务类型,所述确定所述任务的分配类型之前,还包括:根据所述任务的任务类型为所述任务配置算法;
13.所述确定所述任务的分配类型,包括:
14.若根据所述任务类型确定出不能将所述任务划分为子任务,且根据所述算法确定出不能将所述任务划分为迭代任务,则确定所述任务的分配类型为任务;
15.若根据所述任务类型确定出不能将所述任务划分为子任务,且根据所述算法确定出能将所述任务划分为迭代任务,则确定所述任务的分配类型为迭代任务;
16.若根据所述任务类型确定出能将所述任务划分为子任务,且根据所述算法确定出
不能将所述子任务划分为迭代子任务,则确定所述任务的分配类型为子任务;
17.若根据所述任务类型确定出能将所述任务划分为子任务,且根据所述算法确定出能将所述子任务划分为迭代子任务,则确定所述任务的分配类型为迭代子任务。
18.在一些实施例中,所述根据所述任务池中各个任务单元的类型,确定所述任务池中的各个任务单元的下发优先级,包括:
19.若所述任务池中各个任务单元的类型包括任务,则根据所述任务已配置的权重、调度频次和任务执行期限确定所述任务池中的各个任务单元的下发优先级;
20.若所述任务池中各个任务单元的类型包括任务和子任务,则确定所述任务池中各个任务单元所属的任务,并根据所述任务已配置的权重、调度频次、任务执行期限和子任务序号确定所述任务池中各个任务单元的下发优先级;
21.若所述任务池中各个任务单元的类型包括任务和迭代任务,则确定所述任务池中各个任务单元所属的任务,并根据所述任务已配置的权重、调度频次、任务执行期限和迭代次序确定所述任务池中各个任务单元的下发优先级;
22.若所述任务池中的各个任务单元的类型包括任务、子任务和迭代任务,或者,所述任务池中的各个任务单元的类型包括任务、子任务和迭代子任务,或者,所述任务池中的各个任务单元的类型包括任务、子任务、迭代任务和迭代子任务,则确定所述任务池中各个任务单元所属的任务,并根据所述任务已配置的权重、调度频次、任务执行期限、迭代次序和子任务序号确定所述任务池中的各个任务单元的下发优先。
23.在一些实施例中,所述根据所述任务池中各个任务单元的类型,确定所述任务池中的各个任务单元的下发优先级,包括:
24.若所述任务池中各任务单元的类型包括多种,则分别确定每种类型的任务单元的下发优先级,并根据每种类型的任务单元的下发优先级,确定所述任务池中的各个任务单元的下发优先级;
25.其中,根据所述任务单元所属的任务已配置的权重、调度频次和任务执行期限确定类型为任务的任务单元的下发优先级;根据子任务序号确定类型为子任务的任务单元的下发优先级;根据迭代次序确定类型为迭代任务的任务单元的下发优先级;根据迭代次序和子任务序号确定类型为迭代子任务的任务单元的下发优先级。
26.在一些实施例中,所述方法还包括:
27.若所述任务池中任务单元的类型为迭代任务或迭代子任务,且根据所述算法确定出迭代次数不固定,则当接收到所述第一网元设备返回的前一次迭代的处理结果时,若根据所述处理结果判定迭代未结束,则生成下一次迭代任务或下一次迭代子任务,并将所述下一次迭代任务或下一次迭代子任务放入所述任务池中。
28.在一些实施例中,所述方法还包括:
29.若所述分配类型为子任务或迭代子任务,则接收各第一网元设备返回的处理结果;
30.若根据所述处理结果确定相应任务已完成,且本边缘计算设备当前处理能力满足预设第二要求,则对所述处理结果迭代优化,生成模型;
31.若根据所述处理结果确定相应任务已完成,且本边缘计算设备当前处理能力不满足预设第二要求,则生成汇聚任务,确定第二网元设备,并将所述汇聚任务发送至所述第二
网元设备。
32.在一些实施例中,所述确定第一网元设备,包括:
33.获取网元数据池中各网元设备的网元数据,所述网元数据包括距离参数和性能参数;
34.确定所述距离参数和所述性能参数满足预设条件的网元设备;
35.根据所述性能参数确定所述第一网元设备。
36.在一些实施例中,所述性能参数包括:中央处理器cpu剩余空间比例、内存mem剩余空间比例、磁盘disk剩余空间比例和高速缓冲存储器cache剩余空间比例;
37.所述距离参数和所述性能参数满足预设条件包括:距离参数小于或等于第一阈值,且所述cpu剩余空间比例大于第二阈值,且所述mem剩余空间比例大于第三阈值,且所述disk剩余空间比例大于第四阈值,且所述cache剩余空间比例大于第五阈值的网元设备;
38.所述根据所述性能参数确定所述第一网元设备,包括:
39.根据所述cpu剩余空间比例、mem剩余空间比例、disk剩余空间比例和cache剩余空间比例对各个网元设备排序;
40.根据所述排序确定所述第一网元设备。
41.在一些实施例中,所述将所述待处理的任务单元发送到所述第一网元设备之后,还包括:
42.若接收到所述第一网元设备返回的任务中断消息,且本边缘计算设备当前处理能力不满足预设第三要求,则确定第三网元设备,以使所述第三网元设备处理所述任务中断消息对应的任务单元。
43.在一些实施例中,所述将所述待处理的任务单元发送到所述第一网元设备之后,还包括:
44.若在预设期限内未接收到所述第一网元设备返回的处理结果,则确定其他的第一网元设备,并所述待处理的任务单元发送到所述其他的第一网元设备。
45.第二方面,本公开实施例提供一种边缘计算设备,包括:
46.接收模块,用于接收网络设备发送的任务;
47.第一确定模块,用于确定所述任务的分配类型;
48.划分模块,用于根据所述分配类型将所述任务划分为任务单元,并将所述任务单元放入任务池;
49.第二确定模块,用于根据所述任务池中各个任务单元的类型,确定所述任务池中各个任务单元的下发优先级,所述任务单元的类型为所述任务单元所属任务的分配类型;
50.第三确定模块,用于根据所述下发优先级确定待处理的任务单元;
51.第四确定模块,用于若本边缘计算设备当前处理能力不满足预设第一要求,则确定第一网元设备;
52.发送模块,用于将所述待处理的任务单元发送到所述第一网元设备,以使所述第一网元设备处理所述待处理的任务单元。
53.第三方面,本公开实施例提供一种计算机设备,包括:
54.一个或多个处理器;
55.存储装置,其上存储有一个或多个程序;
56.当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述的任务处理方法。
57.第四方面,本公开实施例提供一种计算机可读介质,其上存储有计算机程序,其中,所述程序被执行时实现如上述的任务处理方法。
58.在本公开实施例中,边缘计算设备确定任务的分配类型,并根据分配类型将任务划分为任务单元,并将任务单元放入任务池,根据任务池中各个任务单元的类型,确定任务池中各个任务单元的下发优先级,根据下发优先级确定待处理的任务单元。若本边缘计算设备当前处理能力不满足预设第一要求,则确定第一网元设备,并将待处理的任务单元发送到第一网元设备,以使第一网元设备处理待处理的任务单元。本公开实施例在边缘计算设备算力资源不足时,基于联邦学习思路,将当前任务拆分为多个任务单元,从周边网元群中选择第一网元设备对任务单元进行处理,实现任务的转移计算,共享第一网元设备的算力,提升了边缘计算设备的算力,同时降低任务计算延时。本公开实施例尤其适用于紧急实时任务,能够快速将紧急实时任务转移到其他网元设备,降低任务计算延时。
附图说明
59.图1是本公开实施例提供的一种任务处理方法的流程图;
60.图2是本公开实施例提供的一种任务处理方法的另一流程图;
61.图3是本公开实施例提供的一种任务处理方法的另一流程图;
62.图4是本公开实施例提供的一种任务处理方法的另一流程图;
63.图5是本公开实施例提供的一种任务处理方法的另一流程图;
64.图6是本公开实施例提供的一种边缘计算设备的结构示意图。
具体实施方式
65.为使本领域的技术人员更好地理解本公开的技术方案,下面结合附图对本公开提供的报文传输方法、接入网关、计算机可读介质进行详细描述。
66.在下文中将参考附图更充分地描述示例实施例,但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之,提供这些实施例的目的在于使本公开透彻和完整,并将使本领域技术人员充分理解本公开的范围。
67.在不冲突的情况下,本公开各实施例及实施例中的各特征可相互组合。
68.如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
69.本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由
……
制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
70.除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
71.mec可以提供各种资源或业务调度优化算法,mec并不是智能化节点,受限于硬件资源,难以支撑复杂的模型训练和模型优化。mec与多个网元设备连接,为了增加mec的算力,及时处理任务或降低高延迟,基于联邦学习思路,本公开提出一种任务处理方法、边缘计算设备、计算机设备及计算机可读介质。
72.图1示出本公开实施例提供的任务处理方法的流程图。该任务处理方法可应用于边缘计算设备,即mec。如图1所示,本实施例提供的任务处理方法包括以下步骤。
73.步骤101,接收网络设备发送的任务。
74.在该步骤中,mec接收网络设备发送的任务,该任务可以是周期性的任务,也可以是紧急实时任务。该网络设备发送给mec的任务中包括任务类型和该任务类型对应的任务内容。任务内容可以包括操作对象,操作时间,任务力度,任务完整目标或者部分目标,任务计算所用的计算网络结构,任务计算使用的各种超参数等参数,任务类型可以包括:kpi(key performance indicato,关键绩效指标法)异常检测模型训练、rf(radio frequency,射频)指纹库模型训练等。
75.步骤102,确定任务的分配类型。
76.在该步骤中,mec确定每一个任务的分配类型。所述分配类型包括任务、子任务、迭代任务和迭代子任务。mec接收到的每一个任务可以按照任务分配,也可以按照子任务分配,也可以按照迭代任务分配,也可以按照迭代子任务分配,需确定接收到的任务相匹配的分配类型。
77.步骤103,根据分配类型将任务划分为任务单元,并将任务单元放入任务池。
78.在该步骤中,mec根据分配类型将任务划分为任务单元,所述任务单元的类型为任务单元所属任务的分配类型。即分配类型为任务时,则任务单元的类型即为任务。分配类型为子任务时,则将任务划分为各个子任务,任务单元的类型为子任务,子任务的个数mec预先配置,按照配置的固定个数进行划分。分配类型为迭代任务时,则将任务划分为迭代任务,任务单元的类型为迭代任务,迭代次数可以固定也可以不固定,当迭代次数固定时,按照固定个数配置迭代任务;当迭代任务的个数不固定时,只划分出一个迭代任务。分配类型为迭代子任务时,则将任务划分为迭代子任务,任务单元的类型为迭代子任务,迭代次数可以固定也可以不固定,当迭代次数固定时,按照固定个数配置迭代子任务,当迭代任务的个数不固定时,只划分出一个迭代子任务。针对各个任务,将划分出的任务单元都放入任务池。
79.步骤104,根据任务池中各个任务单元的类型,确定任务池中各个任务单元的下发优先级。
80.在该步骤中,任务池中的每一个任务单元都要确定其对应的下发优先级,将任务池中的所有任务单元进行排序,排序在前的任务单元的下发优先级高,排序在后的任务单元的下发优先级低。在确定任务池中各个任务单元的下发优先级时,需考虑各个任务单元的类型。
81.需要说明的是,任务池中的任务单元是实时更新的,下发优先级也是实时更新的。当任务池中增加一个任务单元时,就要重新将任务池中的所有任务单元进行排序,重新确定任务池中各个任务单元的下发优先级。
82.步骤105,根据下发优先级确定待处理的任务单元。
83.在该步骤中,mec找出任务池中下发优先级最高的任务单元,将其作为待处理的任务单元。
84.步骤106,若本边缘计算设备当前处理能力不满足预设第一要求,则确定第一网元设备。
85.在该步骤中,若mec当前处理能力不满足预设第一要求,即待处理的任务单元的任务消耗资源超过了mec的当前处理能力,mec的空闲算力资源不足,则所述待处理的任务单元需要进行任务转移,并确定任务转移的对应第一网元设备。
86.若mec当前处理能力满足预设第一要求,即mec可以处理所述待处理任务,则mec处理该待处理的任务单元。此处的第一网元设备可以是预先指定的,也可以任意的网元设备。
87.步骤107,将待处理的任务单元发送到第一网元设备,以使第一网元设备处理待处理的任务单元。
88.在该步骤中,mec将待处理的任务单元发送到第一网元设备,下发的任务单元中包括任务单元对应的任务类型,操作对象,操作时间,任务力度,任务计算使用的各种超参数等参数。第一网元设备可以根据任务单元中携带的参数找到相适应的算法和迭代函数,并使用本地的检测样本数据库中的数据,处理所述待处理的任务。在第一网元设备处理完所述待处理的任务单元之后都要向mec返回处理结果,若mec接收到该处理结果,则确定待处理的任务单元完成,若mec未接收到该处理结果,则确定待处理的任务单元未完成。
89.例如,当待处理的任务单元的类型为子任务时,第一网元设备可以基于高斯检测算法执行该子任务。当待处理的任务单元的类型为迭代任务和迭代子任务时,第一网元设备可以基于holt-winters算法执行该迭代任务和迭代子任务。
90.需要说明的是,mec为中心网元,第一网元设备为计算网元。默认第一网元设备可以适用所有的算法,即默认在第一网元设备预先保存所有会用到的算法。mec可以对待处理的任务单元加密之后下发,第一网元设备使用预先约定好的密钥对其解密。
91.本公开实施例在边缘计算设备算力资源不足时,基于联邦学习思路,将当前任务拆分为多个任务单元,从周边网元群中选择第一网元设备对任务单元进行处理,实现任务的转移计算,共享第一网元设备的算力,提升了边缘计算设备的算力,同时降低任务计算延时。本公开实施例尤其适用于紧急实时任务,能够快速将紧急实时任务转移到其他网元设备,降低任务计算延时。
92.进一步的,所述任务中包括任务类型,所述确定任务的分配类型之前,还包括:根据任务的任务类型为任务配置算法。
93.在该步骤中,mec根据每一个任务的任务类型配置算法。在需要迭代的场景还需根据算法配置迭代函数。此处需说明的是,不需要将配置的算法和迭代函数发到网元,网元可以在本地存储的算法找到与接收到的待处理的任务单元相匹配的算法和迭代函数。
94.图2示出本公开实施例提供的任务处理方法的另一流程图。如图2所示,所述确定所述任务的分配类型(即步骤102),包括:
95.步骤201,若根据任务类型确定出不能将任务划分为子任务,且根据算法确定出不能将任务划分为迭代任务,则确定任务的分配类型为任务。
96.步骤202,若根据任务类型确定出不能将任务划分为子任务,且根据算法确定出能将任务划分为迭代任务,则确定任务的分配类型为迭代任务。
97.步骤203,若根据任务类型确定出能将任务划分为子任务,且根据算法确定出不能将子任务划分为迭代子任务,则确定任务的分配类型为子任务。
98.步骤204,若根据任务类型确定出能将任务划分为子任务,且根据算法确定出能将子任务划分为迭代子任务,则确定任务的分配类型为迭代子任务。
99.在步骤201-步骤204中,mec根据任务类型确定任务能不能拆分成子任务,即根据任务类型和该任务中任务类型对应的操作对象、操作时间等参数确定任务能不能拆分成子任务。mec根据预先配置的与所述任务匹配的算法确定任务能不能拆分成迭代任务,并根据与所述任务匹配的算法确定子任务能不能拆分成迭代子任务。以确定出任务的分配类型为四种,包括任务、子任务、迭代任务和迭代子任务。
100.例如,若任务的任务类型为kpi异常检测的模型训练,根据任务类型判断可以对该任务拆分子任务,子任务也可以拆分成迭代子任务。kpi异常检测的模型训练需要对1000个小区进行异常检测模型训练,可以按100个小区进行拆分子任务,每个子任务下可以拆封出迭代梯度和超参的迭代子任务。此时,每个第一网元设备的迭代的处理结果为梯度、超参和模型的输出数据。
101.进一步的,图3示出本公开实施例提供的任务处理方法的另一流程图。如图3所示,所述根据所述任务池中各个任务单元的类型,确定所述任务池中的各个任务单元的下发优先级(即步骤104),包括:
102.步骤301,若任务池中各个任务单元的类型包括任务,则根据任务已配置的权重、调度频次和任务执行期限确定任务池中的各个任务单元的下发优先级。
103.mec预先为每一个任务配置对应的权重、调度频次和任务执行期限,根据任务类型配置对应的权重、调度频次和任务执行期限。调度频次为一个周期调度一个任务的次数。任务执行期限为任务的有效期限,每一个任务需在有效期限内完成。一般情况,任务执行期限小于任务的调度周期。调度频次高的任务优先下发,权重高的任务优先下发,任务执行期限低的任务优先下发。
104.当分配类型为迭代任务和迭代子任务时,预先确定迭代任务和迭代子任务的迭代次数是否固定,在迭代次数固定时,配置该固定值,当预先对每个任务划分任务单元时,按照固定的迭代次数划分迭代任务和迭代子任务;在迭代次数不固定时,当预先对每个任务划分任务单元时,每个任务只划分一个迭代任务或迭代子任务。当分配类型为迭代子任务和子任务时,预先配置子任务的个数,当预先对每个任务划分任务单元时,按照固定的子任务的个数划分迭代子任务和子任务。
105.在该步骤中,若任务池中各个任务单元的类型只包括任务,则先按照权重由大到小的顺序,对各任务排序。再按照调度频次由大到小的顺序,对权重相同的任务排序。再按照任务执行期限由小到大的顺序对权重相同、调度频次也相同的任务排序。排序靠前的下发优先级高,排序靠后的下发优先级低。对任务进行排序时,优先考虑权重,再考虑调度频次,再考虑任务执行期限。定义此种排序方法为任务排序方法。
106.例如,任务池中一共有四个任务,任务1对应的权重、调度频次和任务执行期限分别为5,2,3,任务2对应的权重、调度频次和任务执行期限分别为5,6,3,任务3对应的权重、调度频次和任务执行期限分别为5,2,4,任务4对应的权重、调度频次和任务执行期限分别为10,2,4。则最终的排序结果为,任务4,任务2,任务1,任务3。
107.步骤302,若任务池中各个任务单元的类型包括任务和子任务,则确定任务池中各个任务单元所属的任务,并根据任务已配置的权重、调度频次、任务执行期限和子任务序号确定任务池中各个任务单元的下发优先级。
108.在该步骤中,若任务池中各个任务单元的类型包括任务和子任务,则先按照所述任务排序方法对各任务排序,再按照子任务序号由小到大的顺序,对每个任务分支下的各个子任务排序。排序靠前的任务单元的下发优先级高,排序靠后的任务单元的下发优先级低。
109.步骤303,若任务池中各个任务单元的类型包括任务和迭代任务,则确定任务池中各个任务单元所属的任务,并根据任务已配置的权重、调度频次、任务执行期限和迭代次序确定任务池中各个任务单元的下发优先级。
110.在该步骤中,若任务池中各个任务单元的类型包括任务和迭代任务,则先按照所述任务排序方法对各任务排序。再按照迭代次序由大到小的顺序,对每个任务分支下的各个迭代任务排序。排序靠前的任务单元的下发优先级高,排序靠后的任务单元的下发优先级低。
111.步骤304,若任务池中的各个任务单元的类型包括任务、子任务和迭代任务,或者,任务池中的各个任务单元的类型包括任务、子任务和迭代子任务,或者,任务池中的各个任务单元的类型包括任务、子任务、迭代任务和迭代子任务,则确定任务池中各个任务单元所属的任务,并根据任务已配置的权重、调度频次、任务执行期限、迭代次序和子任务序号确定任务池中的各个任务单元的下发优先级。
112.在该步骤中,若任务池中各个任务单元的类型包括任务、子任务、迭代任务,则先按照所述任务排序方法对各任务排序。再按照迭代次序由大到小的顺序,对每个任务分支下的各个迭代任务排序。再按照子任务序号由小到大的顺序,对每个任务分支下的各个子任务排序。排序靠前的任务单元的下发优先级高,排序靠后的任务单元的下发优先级低。
113.在该步骤中,若任务池中各个任务单元的类型包括任务、子任务、迭代子任务,则先按照所述任务排序方法对各任务排序。再按照子任务序号由小到大的顺序,对每个任务分支下的各个子任务排序。再按照迭代次序由大到小的顺序和子任务序号由小到大的顺序,对每个任务分支下的各个迭代子任务排序。排序靠前的任务单元的下发优先级高,排序靠后的任务单元的下发优先级低。
114.例如,一个任务划分为两个子任务,并且一个子任务划分为两个迭代子任务,则最终的排序结果为,2次迭代子任务1,2次迭代子任务2,1次迭代子任务1,1次迭代子任务1。下发优先级依次降低。
115.在一些实施例中,所述根据任务池中各个任务单元的类型,确定任务池中的各个任务单元的下发优先级,包括:若任务池中各任务单元的类型包括多种,则分别确定每种类型的任务单元的下发优先级,并根据每种类型的任务单元的下发优先级,确定任务池中的各个任务单元的下发优先级。
116.其中,根据任务单元所属的任务已配置的权重、调度频次和任务执行期限确定类型为任务的任务单元的下发优先级;根据子任务序号确定类型为子任务的任务单元的下发优先级;根据迭代次序确定类型为迭代任务的任务单元的下发优先级;根据迭代子任务的迭代次序和子任务序号确定类型为迭代子任务的任务单元的下发优先级。
117.在该步骤中,根据每种类型的任务单元的下发优先级,确定任务池中的各个任务单元的下发优先级。即对每种类型的任务单元的下发优先级进行汇总,得出任务池中的各个任务单元的下发优先级,具体汇总的过程参照上述步骤301-步骤304的说明。确定任务单元的下发优先级时,优先考虑任务单元所属的任务已配置的权重、调度频次和任务执行期限,再考虑迭代次数,再考虑子任务序号。
118.在一些实施例中,所述方法还包括:
119.若任务池中任务单元的类型为迭代任务或迭代子任务,且根据算法确定出迭代次数不固定,则当接收到第一网元设备返回的前一次迭代的处理结果时,若根据所述处理结果判定迭代未结束,则生成下一次迭代任务或下一次迭代子任务,并将下一次迭代任务或下一次迭代子任务放入所述任务池中。
120.在该步骤中,若任务池中任务单元的类型为迭代任务或迭代子任务,且根据算法确定出迭代次数不固定,除第一次迭代任务或第一次迭代子任务以外的迭代任务或迭代子任务都需要新生成。新生成的迭代任务或迭代子任务放入任务池中,重新计算任务池中的各个任务单元的下发优先级,并在新生成的迭代任务或迭代子任务下发优先级最优时,将其发送至第一网元设备。直至mec接收到某一次第一网元设备返回的处理结果,并根据处理结果判断迭代完成,则不再生成新的迭代任务或迭代子任务。
121.进一步的,图4示出本公开实施例提供的任务处理方法的另一流程图。如图4所示,所述方法还包括:
122.步骤401,若分配类型为子任务或迭代子任务,则接收各第一网元设备返回的处理结果。
123.步骤402,若根据处理结果确定相应任务已完成,且本边缘计算设备当前处理能力满足预设第二要求,则对处理结果迭代优化,生成模型。
124.步骤403,若根据处理结果确定相应任务已完成,且本边缘计算设备当前处理能力不满足预设第二要求,则生成汇聚任务,确定第二网元设备,并将汇聚任务发送至第二网元设备。
125.在步骤401-步骤403中,若分配类型为子任务或迭代子任务,则需要汇聚各第一网元设备返回的处理结果。当mec当前处理能力满足预设第二要求,即本身算例足够处理汇聚任务时,对各第一网元设备返回的处理结果迭代优化,生成模型。当mec当前处理能力不满足预设第二要求,即本身算例不足够处理汇聚任务时,生成汇聚任务,确定第二网元设备,并将汇聚任务发送至第二网元设备。
126.需要说明的是,此处的汇聚任务不用拆分。第二网元设备可以指定,也可以是任意的网元设备。汇聚的过程可以涉及多种算法,此处不作限定。
127.例如,每个第一网元设备的迭代的处理结果为梯度、超参和模型的输出数据。则汇聚任务完成输出的结果为梯度和超参。
128.进一步的,图5示出本公开实施例提供的任务处理方法的另一流程图。如图5所示,所述确定第一网元设备(即步骤106),包括:
129.步骤501,获取网元数据池中各网元设备的网元数据。
130.其中,所述网元数据包括距离参数和性能参数。性能参数即表明网元负荷能力的参数,
131.在mec中预先建立网元数据池,mec周期性采集连接的各网元的网元数据,保存在网元数据池中。网元数据池中的数据是实时更新的。需要说明的是,网元数据的采集周期与待处理的任务单元的下发周期不一致,网元数据的采集过程与待处理的任务单元的下发的过程彼此独立。
132.步骤502,确定距离参数和性能参数满足预设条件的网元设备。
133.在该步骤中,先根据距离参数和性能参数确定网元集。
134.步骤503,根据性能参数确定第一网元设备。
135.在该步骤中,根据性能参数从满足预设条件的网元设备中确定第一网元设备,所述第一网元设备即为mec当前周期确定出的算力最优的网元设备。
136.在一些实施例中,所述性能参数包括:中央处理器cpu剩余空间比例、内存mem剩余空间比例、磁盘disk剩余空间比例和高速缓冲存储器cache剩余空间比例;距离参数和性能参数满足预设条件包括:距离参数小于或等于第一阈值,且cpu剩余空间比例大于第二阈值,且mem剩余空间比例大于第三阈值,且disk剩余空间比例大于第四阈值,且cache剩余空间比例大于第五阈值的网元设备。
137.需要说明的是,在指定接收待处理的任务单元的第一网元设备时,考虑距离mec较近的网元和中央处理器cpu剩余空间比例、内存mem剩余空间比例、磁盘disk剩余空间比例和高速缓冲存储器cache剩余空间比例的值均较大的网元,即考虑距离mec较近的网元和算力要优的网元。还需要保证选出的网元设备在线。
138.所述根据所述性能参数确定所述第一网元设备,包括:根据cpu剩余空间比例、mem剩余空间比例、disk剩余空间比例和cache剩余空间比例对各个网元设备排序;根据排序确定第一网元设备。
139.在上述步骤中,先按照cpu剩余空间比例由大到小的顺序,对各网元设备排序。再按照mem剩余空间比例由大到小的顺序,对cpu剩余空间比例相同的网元设备排序。再按照disk剩余空间比例由大到小的顺序对cpu剩余空间比例相同、mem剩余空间比例也相同的网元设备排序。再按照cache剩余空间比例由大到小的顺序对cpu剩余空间比例相同、mem剩余空间比例也相同、disk剩余空间比例也相同的网元设备排序。排序靠前的下发优先级高,排序靠后的下发优先级低。第一网元设备是序列中排在第一位的网元设备,即该第一网元设备是序列中算力最强的网元设备。
140.在本公开实施例中,在mec算力资源不足时基于联邦学习思路,从周边网元群中选择一个足够算力的第一网元设备进行任务的转移计算,共享网元设备的算力,提升了mec的边缘计算能力,同时降低任务计算延时。
141.在一些实施例中,所述将待处理的任务单元发送到所述第一网元设备(步骤107)之后,还包括:
142.若接收到第一网元设备返回的任务中断消息,且本边缘计算设备当前处理能力不满足预设第三要求,则确定第三网元设备,以使第三网元设备处理任务中断消息对应的任务单元。
143.在该步骤中,若mec接收到第一网元设备返回的任务中断消息,且mec当前处理能力不满足预设第三要求,即mec的算力不足够处理任务中断消息对应的任务单元,则重新确定第三网元设备,以使第三网元设备处理任务中断消息对应的任务单元。
144.在一种优选的实施方式中,第三网元设备也可以接收处理任务中断消息对应的任务单元中未完成的部分任务。
145.本公开实施例中,在第一网元设备发生任务处理中断时可以将任务快速转移到其它第一网元设备,经过有限次的任务转移,最终完成任务计算。
146.在一些实施例中,所述将待处理的任务单元发送到所述第一网元设备(步骤107)之后,还包括:
147.若在预设期限内未接收到第一网元设备返回的处理结果,则确定其他的第一网元设备,并待处理的任务单元发送到其他的第一网元设备。
148.在确定每个任务的分配类型,并根据分配类型将每个任务划分为任务单元之后,为每一个任务单元分配预设期限,即任务单元的执行期限。若在预设期限内未接收到第一网元设备返回的处理结果,表明预设期限内第一网元设备未完成任务,则确定其他的第一网元设备,并将待处理的任务单元发送到其他的第一网元设备。
149.本公开实施例中,尤其当任务是紧急实时任务,在mec算力资源不足时基于联邦学习思路,从周边网元群中快速选择一个足够算力的其他的第一网元设备进行任务的转移计算,提升mec的边缘计算能力,同时降低任务计算延时。
150.图6示出本公开实施例提供的边缘计算设备的结构示意图。基于与图1对应的实施例相同的技术构思,如图6所示,本公开实施例提供的边缘计算设备,包括如下模块。
151.接收模块11,用于接收网络设备发送的任务。
152.第一确定模块12,用于确定所述任务的分配类型。
153.划分模块13,用于根据所述分配类型将所述任务划分为任务单元,并将所述任务单元放入任务池。
154.第二确定模块14,用于根据所述任务池中各个任务单元的类型,确定所述任务池中各个任务单元的下发优先级,所述任务单元的类型为所述任务单元所属任务的分配类型。
155.第三确定模块15,用于根据所述下发优先级确定待处理的任务单元。
156.第四确定模块16,用于若本边缘计算设备当前处理能力不满足预设第一要求,则确定第一网元设备。
157.发送模块17,用于将所述待处理的任务单元发送到所述第一网元设备,以使所述第一网元设备处理所述待处理的任务单元。
158.在一些实施例中,所述分配类型包括任务、子任务、迭代任务和迭代子任务。
159.在一些实施例中,所述任务中包括任务类型,所述确定所述任务的分配类型之前,还包括:根据所述任务的任务类型为所述任务配置算法;
160.所述第一确定模块12,具体用于:
161.若根据所述任务类型确定出不能将所述任务划分为子任务,且根据所述算法确定出不能将所述任务划分为迭代任务,则确定所述任务的分配类型为任务。
162.若根据所述任务类型确定出不能将所述任务划分为子任务,且根据所述算法确定出能将所述任务划分为迭代任务,则确定所述任务的分配类型为迭代任务。
163.若根据所述任务类型确定出能将所述任务划分为子任务,且根据所述算法确定出不能将所述子任务划分为迭代子任务,则确定所述任务的分配类型为子任务。
164.若根据所述任务类型确定出能将所述任务划分为子任务,且根据所述算法确定出能将所述子任务划分为迭代子任务,则确定所述任务的分配类型为迭代子任务。
165.在一些实施例中,所述第二确定模块14,具体用于:
166.若所述任务池中各个任务单元的类型包括任务,则根据所述任务已配置的权重、调度频次和任务执行期限确定所述任务池中的各个任务单元的下发优先级。
167.若所述任务池中各个任务单元的类型包括任务和子任务,则确定所述任务池中各个任务单元所属的任务,并根据所述任务已配置的权重、调度频次、任务执行期限和子任务序号确定所述任务池中各个任务单元的下发优先级。
168.若所述任务池中各个任务单元的类型包括任务和迭代任务,则确定所述任务池中各个任务单元所属的任务,并根据所述任务已配置的权重、调度频次、任务执行期限和迭代次序确定所述任务池中各个任务单元的下发优先级。
169.若所述任务池中的各个任务单元的类型包括任务、子任务和迭代任务,或者,所述任务池中的各个任务单元的类型包括任务、子任务和迭代子任务,或者,所述任务池中的各个任务单元的类型包括任务、子任务、迭代任务和迭代子任务,则确定所述任务池中各个任务单元所属的任务,并根据所述任务已配置的权重、调度频次、任务执行期限、迭代次序和子任务序号确定所述任务池中的各个任务单元的下发优先级。
170.在一些实施例中,所述第二确定模块14,具体用于:
171.若所述任务池中各任务单元的类型包括多种,则分别确定每种类型的任务单元的下发优先级,并根据每种类型的任务单元的下发优先级,确定所述任务池中的各个任务单元的下发优先级。
172.其中,根据所述任务单元所属的任务已配置的权重、调度频次和任务执行期限确定类型为任务的任务单元的下发优先级;根据子任务序号确定类型为子任务的任务单元的下发优先级;根据迭代次序确定类型为迭代任务的任务单元的下发优先级;根据迭代次序和子任务序号确定类型为迭代子任务的任务单元的下发优先级。
173.在一些实施例中,所述边缘计算设备还包括:
174.第一生成模块,用于若所述任务池中任务单元的类型为迭代任务或迭代子任务,且根据所述算法确定出迭代次数不固定,则当接收到所述第一网元设备返回的前一次迭代的处理结果时,若根据所述处理结果判定迭代未结束,则生成下一次迭代任务或下一次迭代子任务。
175.存储模块,用于将所述下一次迭代任务或下一次迭代子任务放入所述任务池中。
176.在一些实施例中,所述边缘计算设备还包括:
177.所述接收模块11还用于若所述分配类型为子任务或迭代子任务,则接收各第一网元设备返回的处理结果。
178.第二生成模块,用于若根据所述处理结果确定相应任务已完成,且本边缘计算设备当前处理能力满足预设第二要求,则对所述处理结果迭代优化,生成模型。
179.所述发送模块17还用于若根据所述处理结果确定相应任务已完成,且本边缘计算设备当前处理能力不满足预设第二要求,则生成汇聚任务,确定第二网元设备,并将所述汇聚任务发送至所述第二网元设备。
180.在一些实施例中,所述第四确定模块16,具体用于:
181.获取网元数据池中各网元设备的网元数据,所述网元数据包括距离参数和性能参数。
182.确定所述距离参数和所述性能参数满足预设条件的网元设备。
183.根据所述性能参数确定所述第一网元设备。
184.在一些实施例中,所述性能参数包括:中央处理器cpu剩余空间比例、内存mem剩余空间比例、磁盘disk剩余空间比例和高速缓冲存储器cache剩余空间比例。
185.所述距离参数和所述性能参数满足预设条件包括:距离参数小于或等于第一阈值,且所述cpu剩余空间比例大于第二阈值,且所述mem剩余空间比例大于第三阈值,且所述disk剩余空间比例大于第四阈值,且所述cache剩余空间比例大于第五阈值的网元设备。
186.所述第四确定模块16,具体用于:
187.根据所述cpu剩余空间比例、所述mem剩余空间比例、所述disk剩余空间比例和所述cache剩余空间比例对各个网元设备排序。
188.根据排序确定第一网元设备。
189.在一些实施例中,所述边缘计算设备,还包括:
190.第五确定模块,用于若接收到所述第一网元设备返回的任务中断消息,且本边缘计算设备当前处理能力不满足预设第三要求,则确定第三网元设备,以使所述第三网元设备处理所述任务中断消息对应的任务单元。
191.在一些实施例中,所述边缘计算设备,还包括:
192.第六确定模块,用于若在预设期限内未接收到所述第一网元设备返回的处理结果,则确定其他的第一网元设备,并所述待处理的任务单元发送到所述其他的第一网元设备。
193.本公开实施例还提供了一种计算机设备,该计算机设备包括:一个或多个处理器以及存储装置;其中,存储装置上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如前述各实施例所提供的任务处理方法。
194.本公开实施例还提供了一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被执行时实现如前述各实施例所提供的任务处理方法。
195.本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问
的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
196.本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本发明的范围的情况下,可进行各种形式和细节上的改变。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1