边缘算力网络中的异常算力联邦检测方法、系统及介质

本技术属于边缘算力网络，具体涉及一种边缘算力网络中的异常算力联邦检测方法、系统及介质。

背景技术：

1、边缘算力网络主要是由边缘计算节点(这些节点可能是智能手机、路由器、物联网设备等)与网络设备协同构建一种新兴的分布式计算机架构，旨在将分散部署的边缘计算节点互相连通、统筹调度，将计算任务分发到网络中的设备，实现网络和计算资源的优化和高效利用，为用户提供最佳的资源分配和连接方案。因此，边缘算力网络在各种应用场景中都具有广阔的前景，如智能制造、智慧城市、智能交通等。

2、在边缘算力网络的实际应用过程中，经常会涉及到大量的数据传输和处理。在边缘算力网络中，节点分布广泛，每个节点都可能包含着不同的数据和隐私信息，这些信息不适合直接传输到中心化服务器进行处理和分析，因为这可能会导致数据泄露和隐私侵犯的问题。由于边缘计算节点的计算能力、存储能力和带宽等资源限制，节点的算力异常情况时有发生。算力异常可能会导致节点的计算速度变慢、任务执行失败等问题，进而影响整个系统的性能和可靠性。

3、目前，针对边缘算力异常检测的研究还比较少，而传统的异常检测方法往往无法直接应用于边缘算力节点中，因为这些方法可能需要大量的数据传输和中央处理，会导致较高的延迟和能耗。因此，如何在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，提高边缘计算系统的性能和可靠性，是当前亟待解决的问题。

技术实现思路

1、本发明的主要目的在于提出一种边缘算力网络中的异常算力联邦检测方法、系统及介质，在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，提高边缘计算系统的性能和可靠性。

2、为了实现上述目的，提出一种边缘算力网络中的异常算力联邦检测方法、系统及介质，所述边缘算力网络中的异常算力联邦检测方法包括以下步骤：

3、s1.边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，对边缘资源池进行算力异常监控，建立算力异常检测运行机制，包括用户业务请求，需求解析模块分析用户业务需求，资源调度模块管理边缘资源池和边缘网关，业务部署及故障监控模块协助需求解析模块确定业务部署位置和资源，并对边缘资源池进行异常检测；

4、s2.提出聚合边缘服务节点和边缘节点之间通信的联邦异常检测框架，该框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素，所述异常检测系统包括：客户端请求算力注册、服务器节点初始化全局模型、服务器节点选择客户端本地训练、服务器节点模型聚合、客户端算力异常检测；

5、s3.通过基于cnn-bilstm的异常检测模型来识别异常算力；

6、s4.准备hdfs数据集与pagerank数据集，准备实验环境进行本地训练，采用精准率precision、召回率recall及f1值评价指标，得出实验结果与分析。

7、作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s1具体步骤为：

8、首先用户业务请求，需求解析模块分析用户业务需求，将用户业务需求转换为算力需求、网络需求，确定业务部署位置、资源信息；

9、资源调度模块管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；

10、业务部署，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；

11、故障监控模块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，故障监控模块，结合需求模块结果重新为用户提供业务部署位置和资源。

12、作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s2具体步骤为：

13、所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；

14、所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；

15、所述异常检测系统，该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。

16、作为本发明的较佳实施例，本发明所述步骤边缘算力网络中的异常算力联邦检测方法的s2中所述客户端请求算力注册具体操作为：

17、设存在k个客户端与一个服务器节点s，客户端用k＝{1,2,...,k}表示，每个客户端i的注册时间为ri，客户端i具备存储大小表示为mi，计算能力大小表示为ci：

18、

19、其中，fi表示客户端i在一个时间窗口内完成的浮点运算次数，ti是该时间窗口的长度，ci表示客户端i的浮点运算次数/秒；客户端i到服务器节点的距离用di,s表示：

20、

21、其中，(xi,yi)表示客户端i位置，(xs,ys)表示服务器节点s位置；

22、所述边缘算力网络中的异常算力联邦检测方法的步骤s2中所述服务器节点初始化全局模型包括bert词嵌入层、卷积层、双向lstm层、线性层，此模型的输入为一个batch_size大小的文本序列，其中每个文本都被表示为一个形状为sequence_length,768的矩阵，模型的输出是每个文本属于两个类别中的哪一个的概率，由softmax函数计算得到；

23、假设w0是全局模型初始参数，那么服务器节点在联邦学习开始时用表达式来初始化全局模型参数；

24、其中，表示初始的全局模型参数，服务器节点和客户端之间需要进行通信，最大通信次数(communication rounds)为t，每次通信的周期为t，初始时，通信周期t的值为1；

25、所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述服务器节点选择客户端本地训练具体为：在通信周期t内，服务器节点s随机选择k个客户端参与训练，其中k≤k，服务器节点s将初始化全局模型w0发送给这些选中的客户端，设每个客户端i上有一个数据集其中[1,k]表示整数范围，每个客户端i根据自己本地的数据集进行本地训练，并生成一个局部模型参数其中是客户端i使用本地数据进行训练得到的损失函数，表示该损失函数相对于模型参数的梯度，η表示学习率，客户端i的本地训练迭代次数用li表示。

26、作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述服务器节点模型聚合具体为：在通信周期为t时，选取客户端模型参数集合其中表示客户端i在通信周期t的模型参数，聚合全局模型参数更新表示为：

27、

28、其中|d|表示所有客户端的本地数据量，这个公式表示了一个加权平均，每个客户端i的贡献由其样本数量|di|加权；当t＝t时与直到模型收敛时，向各个客户端发送最终全局模型参数，进行异常检测，否则接着执行服务器节点选择客户端本地训练。

29、作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s2中的所述客户端算力异常检测具体为：所有参与联邦训练的客户端节点，使用服务器节点最终聚合完成并下发模型权重参数更新本地全局网络模型，即对本地数据进行处理，通过异常检测模型判断分类结果是否为异常类型，若是则为异常算力，否则为正常算力。

30、作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s3中所述基于cnn-bilstm异常检测模型具体为：

31、包括数据采集与数据解析，所述数据采集根据边缘计算节点输出非结构化的日志数据进行分析，使用drain方法进行结构化处理，日志解析通过从hdfs中生成的结构化原始日志片段中删除冗余信息，提取日志事件时间信息和内容信息；

32、还包括当客户端对本地数据进行处理时，整体模型由bert预训练模型对输入的文本进行编码，并通过卷积神经网络cnn和双向长短期记忆网络bilstm进行特征提取和分类。

33、作为本发明的较佳实施例，本发明所述边缘算力网络中的异常算力联邦检测方法的步骤s4具体为：

34、s401.准备hdfs数据集，所述hdfs数据集包含了各种类型的日志数据，日志数据中包含了各种事件和错误信息；准备pagerank日志数据集，所述pagerank日志数据集用于测试分布式计算框架的性能和可扩展性，通过分析日志数据集，提取出节点之间的通信情况，进行算力异常检测；

35、s402.准备实验环境，联邦异常检测架构参数设置分别为客户端数量k＝2,最大通信次数为t＝20，初始值t＝1，客户端i本地训练迭代次数li＝2，每次通信客户端选择数量为2，学习率η＝0.1，客户端i分别使用hdfs与pagerank数据集进行本地训练，数据集划分按照7：3，分别表示为客户端训练集和客户端验证集；

36、s403.采用精准率precision、召回率recall和f1值为评价指标，计算公式为：

37、

38、

39、

40、其中，tp表示成功检测出的异常日志序列量，fp表示正常日志序列被一场检测模型判断为异常的数量，fn表示异常日志序列数量被异常检测模型判断为正常的数量；

41、s404.多个客户端分别使用hdfs与pagerank部分数据集进行验证，采用精确率、召回率和f1值三个衡量标准,并选取三种当前基于日志分析的异常检测算法：主成分分析pca、loganomaly和deeplog进行对比。

42、一种边缘算力网络中的异常算力联邦检测系统，采用了如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法，所述检测系统包括：

43、需求解析模块，用于分析用户业务需求，将其转换为算力需求、网络需求，确定业务部署位置、资源信息；

44、资源调度模块，用于管理边缘资源池和边缘网关，根据需求解析模块的结果，为用户弹性分配相应的计算、存储、网络资源；

45、业务部署模块，通过资源调度模块中的网络调度和资源调度相互协作，将用户计算任务路由到处理节点；

46、故障监控模块，用于块协助需求解析模块确定业务部署位置和资源，对边缘资源池进行异常检测，当某个边缘算力节点在处理计算任务过程中发生异常，结合需求模块结果重新为用户提供业务部署位置和资源；

47、另外还包括一联邦异常检测框架，所述联邦异常检测框架包括聚合边缘服务节点、边缘节点及异常检测系统三要素；

48、所述聚合边缘服务节点为联邦异常检测架构中的服务器节点，其功能为初始化预训练模型和联邦异常检测全局模型；聚合由边缘资源池上传的参数，直到模型收敛及达到最大通信次数中的任意一种；

49、所述边缘节点为联邦异常检测架构中的客户端，其功能为执行用户业务计算、本地数据采集、接收由服务器下发的初始化全局模型，以及之后循环迭代的全局模型进行本地训练，接收由服务器发送的预训练模型；

50、所述异常检测系统包括：该系统将全局异常检测模型部署在每个客户端，以检测算力异常情况，一旦发生异常，及时将警告信息发送到故障监控模块，协助算力编排系统调度计算资源。

51、一种计算机可读介质，所述程序被处理器执行时实现如权利要求1至8中任一所述的边缘算力网络中的异常算力联邦检测方法。

52、本发明的有益效果是：

53、1、本发明中通过建立所述算力异常检测运行机制，以保证算力资源的高效利用。

54、2、本发明中边缘算力网络通过按需、灵活、高效联合调度网络资源和算力资源保障用户业务体验，在赋予其提供算力服务资格前，在边缘算力节点上保证数据与隐私安全并进行实时的异常检测，有效地提高了边缘计算系统的性能和可靠性。

55、3、发明中通过采用异常检测系统，达到帮助用户减少经济损失的目的。