一种基于响应时间实时均衡的联邦学习高效通信方法

1.本发明属于联邦机器学习领域，涉及一种基于响应时间实时均衡的联邦学习高效通信方法。


背景技术：

2.随着智能边缘设备的普及应用，个性化、低延迟的人工智能应用需求，如人脸识别、智能驾驶、智能监控等不断涌现。传统的机器学习算法(ml，machine learning)通常采用基于云的集中式学习方式，其需要边缘设备将自身所采集和产生的海量原始数据，如图片、视频、位置等数据通过移动网络上传至云服务器，并由云服务器集中完成模型的训练和推理。集中式学习方式虽然可以训练更加准确的人工智能模型，但存在高传输延时、高网络带宽压力以及用户隐私泄露等弊端。为解决这一问题，基于联邦学习(fl,federated learning)的分布式机器学习框架应运而生。
3.联邦学习允许多个分布式边缘设备在云服务器的统一协调下，协作完成一个全局模型的训练，而无需传输自身所采集的原始数据。在标准的联邦学习训练过程中，每个边缘设备会先从云服务器下载当前最新的全局模型，然后利用自身所采集的原始数据在本地完成局部模型训练。在每轮通信迭代前，将局部模型更新发送至云服务器，云服务器聚合各个终端发送的局部更新，得到更新的全局模型。最后，不断重复这一过程，直至全局模型收敛。与直接传输原始数据的集中式学习方法相比，fl选择上传训练后的被本地模型更新，能有效地降低对云端的网络带宽压力，同时保护用户的隐私。
4.然而，由于联邦学习环境中终端设备资源或者数据异构，straggle问题一直是制约联邦学习高效通信的一个重要瓶颈。具体的，联邦学习系统通常包含大量的异构设备，这些设备具有不同的计算能力或者通信带宽，且数据异构，不同设备对于云服务器具有不同的响应速度(主要指单次通信迭代，云服务器下发训练任务直至收到终端设备响应的时间)。因此，在传统的同步通信模式中，每轮通信迭代云服务器都必须等待响应速度最慢的终端设备传输本地模型更新来完成全局模型的聚集，这就极大的延长了联邦学习的模型训练时间，从而造成了严重的通信开销。目前，为解决straggle问题，研究学者对其进行了大量研究，其主要包括两类：一类是基于客户端选择的方法，另一类是基于异步通信的方法。基于客户端选择的方法主要是通过仅仅选择一部分响应时间快的设备而忽略响应慢的设备来参与全局模型的聚合，加快模型的收敛速度，从而减少全局模型训练的等待时间。基于异步通信的方法则是要求云服务器在每轮通信迭代，无需等待响应最慢的设备，而在收到一个或多个终端的本地更新后就聚合全局模型，来减少云服务器的训练等待时间，从而提高联邦学习的通信效率。
5.以上两类方法虽然已被证明能在一定程度上减少了模型训练的等待时间，提高了联邦学习的通信效率。但是，这些研究从本质上来说都是通过增加响应快的设备与云服务器的交互频率，而忽略了响应慢的本地模型更新。然而，响应慢的设备通常是一些重要的本地模型更新，从而，这些方法通常会造成训练模型准确率的降低，同时，也会造成联邦学习
的不均衡计算，与标准的联邦学习初衷相违背。因此，如何减少联邦学习通信等待延时，均衡的聚合终端设备传输的本地模型更新，同时提高训练模型的性能是联邦学习通信效率问题中需要深入研究的开放性问题。
6.事实上，终端设备计算能力异构是影响联邦学习通信等待的最重要因素。在联邦学习场景中，终端设备通常具有不同的计算能力，且计算能力是决定模型训练时间最重要的因素。即使是规模较小的本地数据，计算能力弱的设备通常也需要较长的训练时间。因此，计算能力异构可能是导致联邦学习通信等待的本质原因。如果我们能够从本质上调节设备的计算资源异构性，减少云服务器的通信等待延时时间；同时，从根本上调节设备的全局模型聚合频率，提高低响应设备的模型训练参与度，那么，在减少模型训练等待延时的同时会提高训练模型的准确率。
7.综上所述，为弥补传统集中式机器学习模型训练所引起的高传输延时、高网络带宽压力以及用户隐私泄露等弊端，基于的分布式机器学习框架应运而生。然而，由于联邦学习环境中终端设备资源或者数据异构，straggle问题一直是制约联邦学习高效通信的一个重要瓶颈。为解决这一问题，现有的基于客户端选择或者基于异步通信的方法，通过忽略或者降低低响应设备的模型训练参与度的方式，减少了模型训练的等待延时，从一定程度上解决了straggle问题。但是，这些研究增加了高响应设备与云中心的交互频率，而忽略了低响应且重要的本地模型更新，这不仅会造成联邦学习的不均衡计算，同时也会造成训练模型性能的严重降低。而终端设备计算资源异构可能是引起straggle问题的本质原因，因此，为更高效的联邦学习通信，需充分地对设备的计算资源异构性进行合理调节，减少由计算资源异构所引起的通信等待延时时间。同时，需要从根本上调节设备的全局模型聚合频率，提高低响应设备的模型训练参与度，提高训练模型的精确度。
8.基于上述背景，本发明提出了一种简单易实现的基于响应时间实时均衡的联邦学习高效通信方法及系统，为联邦学习高通信等待延时问题的解决奠定基础。


技术实现要素：

9.有鉴于此，本发明的目的在于提供一种基于响应时间实时均衡的联邦学习高效通信方法。首先，在预先设定的簇迭代训练中，每个响应的终端设备分别根据自身的本地模型计算时间，均衡的划分至预先设定的计算簇中，使得每个计算簇在每轮簇迭代训练的模型训练时间均衡，从而间接减少簇间的通信等待延时时间。随后，在每个计算簇中选择一个计算资源最多的设备作为簇的head节点，构建基于“云服务器-head节点-终端设备”一体的分层通信架构，从通信结构上间接增加了低响应设备的模型训练参与度。然后，在每轮簇迭代训练中，设计加权协作的训练机制，使得响应快的设备能够帮助响应慢的设备进行训练，加快了簇内模型训练速度，减少了簇内训练的通信等待延时时间。同时，为响应慢的设备设置更高的模型更新权重，进一步的增加了低响应设备的模型训练参与度，提高了训练模型的准确率。本发明通过对异构的计算设备进行动态逻辑分组，构建基于“云服务器-head节点-终端设备”一体的动态分层通信架构，减少了由于设备计算资源异构所引起的通信等待延时，并从通信结构和簇内模型聚集更新操作上，间接增加了低响应设备的簇间和簇内模型训练参与度，提高了训练模型的准确率。
10.为达到上述目的，本发明提供如下技术方案：
11.一种基于响应时间实时均衡的联邦学习高效通信方法，该方法包括以下步骤：
12.s1：初始化，定义为设备集合，n为设备个数，和分别为所有设备所采集的本地隐私数据和计算能力集合，和分别为簇以及簇的head节点集合，m为簇个数，云服务器初始化全局模型ω0，全局模型训练轮数t，簇内模型训练轮数h；
13.s2：动态分层通信架构构建，根据给定的设备计算能力以及设备的数据集合动态的将终端设备划分至给定的计算簇中，使得每个计算簇在当前迭代轮次h∈h的簇模型训练时间均衡，并构建基于“云服务器-head节点-终端设备”的动态分层通信架构；
14.s3：簇内加权协作训练，每个簇的head的节点分别进行簇内加权协作训练，得到每个簇在当前迭代轮次h∈h的簇内模型更新
15.s4：簇间模型聚集，每个计算簇的head节点分别将获得的簇模型更新上传至云服务器，云服务器对上传的簇模型更新进行聚集操作，得到下一轮迭代的全局模型ω
t+1
；
16.s5：全局模型分发，云服务器将更新的全局模型ω
t+1
下发给所有计算设备，模型训练进入下一轮迭代。
17.可选的，所述s2具体包括以下步骤：
18.s2-1：所有终端设备从云服务器获取迭代轮次t∈t的全局模型ω
t
(t＝0,1,2,...,t)；
19.s2-2：所有终端设备根据各自的本地隐私数据以及全局模型ω
t
并行地进行本地模型训练，对于设备有如下计算公式：
[0020][0021]
其中，e∈e为终端设备的本地模型训练轮次，和为终端设备在本地迭代轮次e和e-1的本地模型更新，b∈b为训练块大小，η和分别为学习率和梯度函数；
[0022]
s2-3：记簇内迭代训练轮次h∈h，得到经过e轮本地模型训练的终端设备集合为s且s中每个设备的本地模型更新为则分别预测评估将设备划分至每个簇的簇模型训练时间对于设备有如下计算公式：
[0023][0024]
s2-4：将设备分配至使得簇间训练时间差异最小的簇中，对于簇有如下计算公式：
[0025][0026]
s2-5：更新每个簇的簇模型训练时间
[0027]
重复s2-3至s2-5，直至集合s中所有设备划分完成为止，得到当前迭代轮数h∈h的一次簇划分结果；
[0028]
s2-6，在每个簇中，选择一个计算能力最强的设备作为簇的head节点，并构建基于“云服务器-head节点-终端设备”一体的逻辑分层架构。
[0029]
可选的，所述s3具体包括以下步骤：
[0030]
s3-1：分别统计每个设备直至迭代轮次h∈h，训练得到本地模型更新的总频次
[0031]
s3-2：分别计算每个设备在当前迭代轮次h∈h的簇内模型聚集权重其计算公式如下：
[0032][0033]
s3-3：计算每个簇在当前迭代轮次h∈h的簇内模型更新，对于簇其计算公式如下：
[0034][0035]
其中，表示簇在簇内迭代轮次(h-1)的簇模型更新；
[0036]
不断重复s2～s3，直至每个簇迭代训练h轮为止，得到经过h轮迭代训练的簇模型更新
[0037]
可选的，所述s4具体包括以下步骤：
[0038]
s4-1，每个计算簇的head节点将训练得到的簇模型更新传输至云服务器；
[0039]
s4-2，云服务器对所有上传的簇模型更新进行聚集操作，并得到下一轮迭代的全局模型ω
t+1
，其计算公式如下：
[0040][0041]
其中，ω
t
为第t轮迭代的全局模型。
[0042]
可选的，所述s5具体包括以下步骤：
[0043]
s5-1，清空簇集合簇的head节点集合每个簇的簇模型训练时间以及经过h轮迭代训练的簇模型更新每个设备直至迭代
轮次h∈h，训练得到本地模型更新的总频次簇内模型聚集权重
[0044]
s5-2，云服务器将更新的全局模型ω
t+1
下发给所有计算设备，模型训练进入下一轮迭代；
[0045]
不断重复s2～s5，直至t轮全局模型训练迭代为止，全局模型训练结束，得到收敛后的全局模型ω
t
。
[0046]
一种基于响应时间实时均衡的联邦学习高效通信系统，该系统包括以下模块：
[0047]
初始化模块，用于初始化簇集合簇head节点集合全局模型ω0，全局模型训练轮数t，簇内模型训练轮数h，每个簇的簇模型训练时间每个设备在迭代轮次h∈h的累计通信频率以及簇内模型聚集权重
[0048]
动态分层通信架构构建模块，用于将资源异构的计算设备集合根据其设备每轮迭代训练的本地模型训练时间，进行动态分组，并构建基于“云服务器-head节点-终端设备”的动态分层通信架构，包含以下子模块：
[0049]
全局模型获取子模块，用于所有终端设备从云服务器获取的当前迭代轮次t∈t的全局模型ω
t
(t＝0,1,2,...,t)；
[0050]
并行训练子模块，用于所有终端设备并行地根据其本地隐私数据以及全局模型ω
t
进行本地模型训练；
[0051]
本地模型存储子模块，用于存储簇内迭代训练轮次h∈h，经过e轮本地模型训练的终端设备集合为s以及s中每个设备的本地模型更新
[0052]
簇模型训练时间评估子模块，用于评估集合s中每个设备划分至每个簇的簇模型训练时间
[0053]
簇间训练时间评估子模块，用于评估将设备分配至每个簇所得到的簇间训练时间差异
[0054]
设备划分子模块，用于将设备分配至簇间训练时间差异φj最小的簇中；
[0055]
中间变量更新子模块，用于更新每个簇在当前迭代轮次h∈h的簇模型训练时间
[0056]
循环子模块，用于循环执行设备划分子模块，直至集合s中的所有设备划分完成为止；
[0057]
head节点选取子模块，用于从每个簇中，选取一个当前计算能力最强的设备作为簇的head节点，构建基于“云服务器-head节点-终端设备”一体的逻辑分层架构；
[0058]
簇内加权协作训练模块，用于每个簇的head节点分别进行簇内加权协作训练，得到每个簇在当前迭代轮次h∈h的簇模型更新包含以下子模块：
[0059]
设备通信频率计算子模块，用于统计每个计算设备在迭代轮次h∈h的累计通信频次
[0060]
簇内模型更新权重计算子模块，用于计算每个计算设备在当前迭代轮次h∈h的簇内模型聚集权重
[0061]
簇内模型更新子模块，用于计算每个簇在当前迭代轮次h∈h的簇内模型更新
[0062]
簇内模型参数分发子模块，用于将计算得到的簇模型更新分发给已经空闲的终端设备；
[0063]
迭代训练模块，用于不断重复动态分层通信架构构建模块以及簇内加权协作训练模块，直至每个簇迭代训练h轮为止，得到经过h轮迭代训练的簇模型更新
[0064]
簇间模型聚集模块，用于每个簇的head节点分别将获得的簇模型更新上传至云服务器，云服务器对上传的簇模型进行聚集操作，得到下一轮迭代的全局模型ω
t+1
，包括以下子模块：
[0065]
簇内模型更新传输子模块，用于每个计算簇的head节点将训练得到的簇模型更新传输至云服务器；
[0066]
全局模型聚集子模块，用于云服务器对所有上传的簇模型更新进行聚集操作，并得到下一轮迭代的全局模型ω
t+1
；
[0067]
全局模型分发模块，用于云服务器将更新的全局模型ω
t+1
下发给所有计算设备，模型训练进入下一轮迭代，包括以下子模块：
[0068]
参数重置模块，用于清空上一轮全局模型迭代划分得到的簇集合簇的head节点集合重置簇模型训练时间以及簇模型更新每个设备的累计通信总频次以及簇内模型聚集权重
[0069]
全局模型下发子模块，云服务器下发全局模型ω
t+1
给所有的终端设备；
[0070]
全局模型迭代训练子模块，用于不断重复动态分层通信架构构建模块、簇内加权协作训练模块、簇间模型聚集模块以及全局模型分发模块，直至得到收敛的全局模型ω
t
，全局模型训练结束。
[0071]
本发明的有益效果在于：
[0072]
本发明通过对响应时间不同的异构设备进行实时均衡，构建“云服务器-head节点-终端设备”一体的动态分层通信架构，从通信结构上间接减少了簇间聚集的通信等待延时以及增加了低响应设备的簇间训练参与度；同时，设计簇内加权协作训练机制，提高了簇内模型的训练速度以及增加了低响应设备的簇内模型训练参与度，提高了训练模型的训练精度。
[0073]
(1)本发明所提方法及系统，提出了一个解决联邦学习高通信等待延时问题的新
思路，通过实时均衡每个簇模型的响应时间，将异构的计算设备进行逻辑分组，并构建基于“云服务器-head节点-终端设备”的动态分层架构，从本质上减少了由资源异构引起的全局模型训练等待延时时间以及间接增加了全局模型训练中低响应设备的训练参与度；
[0074]
(2)本发明所提方法及系统，设计了一个加权的簇内协作训练机制，通过增加高响应设备与簇head节点的通信频率，提高了簇内模型训练的速度，减少了簇内模型训练等待延时时间，同时通过设计加权的簇模型更新方式，间接提高了低响应设备的簇内模型训练参与度，提高了模型的训练精度。
[0075]
(3)本发明所提方法及系统，通过构建基于“云服务器-head节点-终端设备”一体的动态分层通信架构，改变了传统的终端设备与云服务器通信方式，减少了终端设备与云服务器的模型更新传输比特数，从而减少了终端与云服务器的通信开销，同时具有较低的算法复杂度，更有利于联邦学习在实际场景中的应用。
[0076]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0077]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0078]
图1为本发明实施例提供的总体方法流程图。
[0079]
图2为本发明实施例提供的具体步骤流程图。
[0080]
图3为本发明实施例提供的工作原理图。
[0081]
图4为本发明实施例提供的一种基于响应时间实时均衡的联邦学习高效通信系统的模块设计示意图。
具体实施方式
[0082]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0083]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0084]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或
暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0085]
以12个终端设备使用mnist数据集联合训练多层感知机(mlp)模型为例，来阐述本发明的具体实施步骤，目标是减少全局模型的训练等待时间以及提高最终训练模型的准确率。记mlp模型的表达式为其中，xi为样本的特征向量，y为模型的输出，ωi为模型参数，f为激活函数，b为偏置，|d|表示总的样本数。
[0086]
本发明技术方案所提供方法可采用计算机软件技术实现自动运行流程，图1是本发明实施例的总体方法流程图，参见图1，结合图2本发明实施例的具体步骤流程图以及图3本发明实施例工作原理图，图4为本发明实施例提供的一种基于响应时间实时均衡的联邦学习高效通信系统的模块设计示意图。
[0087]
本发明一种基于响应时间实时均衡的联邦学习高效通信方法的实施例具体步骤包括：
[0088]
步骤s1，初始化，定义为设备集合，n为设备个数，和分别为所有设备所采集的本地隐私数据和计算能力集合，簇集合为和分别为簇以及簇的head节点集合，m为簇个数，云服务器初始化全局模型ω0，全局模型训练轮数t，簇内模型训练轮数h；
[0089]
实施例中，定义设备个数n为12，设备集合表示为所有设备所采集的本地隐私数据集合表示为所有设备的计算能力用表示，簇个数m为3，簇集合以及簇的head节点集合分别表示为以及全局模型用ω0表示，全局模型训练轮数t为50，簇内模型训练轮数h为20。
[0090]
步骤s2，动态分层通信架构构建，根据给定的设备计算能力以及设备的数据集合动态的将终端设备划分至给定的计算簇中，使得每个计算簇在当前迭代轮次h∈h的簇模型训练时间均衡，并构建基于“云服务器-head节点-终端设备”的动态分层通信架构，包括以下子步骤：
[0091]
实施例中，终端设备根据其各自的计算能力以及设备的数据集合动态的将终端设备划分至给定的计算簇中，使得每个计算簇在当前迭代轮次h＝0的簇模型训练时间均衡，并构建基于“云服务器-head节点-终端设备”的动态分层通信架构，具体实现如下：
[0092]
步骤s2-1，所有终端设备从云服务器获取迭代轮次t∈t的全局模型ω
t
(t＝0,1,2,...,t)；
[0093]
实施例中，所有终端设备从云服务器获取迭代轮次t＝0的全局模型更新ω0；
[0094]
步骤s2-2，所有终端设备根据各自的本地隐私数据以及全局模型ω
t
并行地进行本地模型训练，以设备为例，有如下计算公式：
[0095][0096]
其中，e∈e为终端设备的本地模型训练轮次，和为终端设备在本地迭代轮次e和e-1的本地模型更新，b∈b为训练块大小，η和分别为学习率和梯度函数；
[0097]
实施例中，设置本地模型训练轮数e＝5，训练块大小b＝4，学习率η＝0.01，所有终端设备根据各自的本地隐私数据集合以及全局模型ω0进行本地模型训练，以用户为例，其本地模型参数更新公式如下：
[0098][0099]
步骤s2-3，记簇内迭代训练轮次h∈h，得到经过e轮本地模型训练的终端设备集合为s且s中每个设备的本地模型更新为则分别预测评估将设备划分至每个簇的簇模型训练时间以设备为例，有如下计算公式：
[0100][0101]
实施例中，当簇内迭代训练轮次h＝0时，得到经过e＝5轮训练的本地模型训练的终端设备集合s，且集合s中每个设备本地模型更新分别表示为则分别预测将任意设备划分至每个簇的簇模型训练时间以用户为例，其将划分至簇的簇模型训练时间γ1表示为：
[0102][0103]
步骤s2-4，将设备分配至使得簇间训练时间差异最小的簇中，以簇为例，有如下计算公式：
[0104][0105]
实施例中，计算将设备分配至每个簇时，引起的簇间训练时间差异并将设备划分至使得最小的簇中，以用户为例，其将划分至簇为例，有:
[0106][0107]
步骤s2-5，更新每个簇的簇模型训练时间
[0108]
实施例中，更新每个簇的簇模型训练时间以用户为例，其将
划分至簇为例，有：
[0109][0110]
重复步骤s2-3至步骤s2-5，直至集合s中所有设备划分完成为止，得到当前迭代轮数h∈h的一次簇划分结果；
[0111]
实施例中，重复步骤s2-3至步骤s2-5，直至集合中所有设备划分完成为此，得到当前迭代轮数h＝0的一次簇划分结果，其簇结果表示为划分完成为此，得到当前迭代轮数h＝0的一次簇划分结果，其簇结果表示为以及
[0112]
步骤s2-6，在每个簇中，选择一个计算能力最强的设备作为簇的head节点，并构建基于“云服务器-head节点-终端设备”一体的逻辑分层架构；
[0113]
实施例中，分别在以及中选择一个计算能力最强的设备以及作为簇的head节点；
[0114]
步骤s3，簇内加权协作训练，每个簇的head的节点分别进行簇内加权协作训练，得到每个簇在当前迭代轮次h∈h的簇内模型更新包括以下子步骤：
[0115]
实施例中，簇以及中的每个head节点，分别进行簇内加权协作训练，得到每个簇在当前迭代轮次h∈h的簇内模型更新具体实现如下：
[0116]
步骤s3-1，分别统计每个设备直至迭代轮次h∈h，训练得到本地模型更新的总频次
[0117]
实施例中，分别统计集合中所有设备在迭代轮次h＝0时的累计通信频率
[0118]
步骤s3-2，分别计算每个设备在当前迭代轮次h∈h的簇内模型聚集权重其计算公式如下：
[0119][0120]
实施例中，分别计算每个设备在迭代轮次h＝0的簇内模型聚集权重以为例，其计算公式如下：
[0121][0122]
步骤s3-3，计算每个簇在当前迭代轮次h∈h的簇内模型更新，以簇为例，其计算公式如下：
[0123][0124]
其中，表示簇在簇内迭代轮次(h-1)的簇模型更新。
[0125]
实施例中，计算个簇在迭代轮次h＝0时的簇模型更新，以簇为例，其计算公式如下：
[0126][0127]
不断重复步骤s2～s3，直至每个簇迭代训练h轮为止，得到经过h轮迭代训练的簇模型更新
[0128]
实施例中，不断重复步骤s2～s3，直至每个簇迭代训练h＝20轮为止，得到经过h＝20轮迭代训练的簇模型更新
[0129]
步骤s4，簇间模型聚集，每个计算簇的head节点分别将获得的簇模型更新上传至云服务器，云服务器对上传的簇模型更新进行聚集操作，得到下一轮迭代的全局模型ω
t+1
，包括以下子步骤：
[0130]
实施例中，计算每个簇的head节点分别将获得的簇模型更新上传至云服务器，云服务器对上传的簇模型更新进行聚集操作，得到下一轮迭代的全局模型更新ω1，具体实现如下：
[0131]
步骤s4-1，每个计算簇的head节点将训练得到的簇模型更新传输至云服务器；
[0132]
实施例中，每个计算簇的head节点将训练得到的簇模型更新传输至云服务器；
[0133]
步骤s4-2，云服务器对所有上传的簇模型更新进行聚集操作，并得到下一轮迭代的全局模型ω
t+1
，其计算公式如下：
[0134][0135]
其中，ω
t
为第t轮迭代的全局模型。
[0136]
实施例中，云服务器对所有上传的簇模型更新进行聚集操作，并得到下一轮迭代的全局模型更新ω1，其计算公式如下：
[0137][0138]
步骤s5，全局模型分发，云服务器将更新的全局模型ω
t+1
下发给所有计算设备，模型训练进入下一轮迭代，包括以下子步骤：
[0139]
实施例中，云服务器将更新的全局模型ω1下发给所有计算设备，具体实现如下：
[0140]
步骤s5-1，清空簇集合簇的head节点集合每个簇的簇模型训练时间以及经过h轮迭代训练的簇模型更新每个设备直至迭代轮次h∈h，训练得到本地模型更新的总频次簇内模型聚集权重
[0141]
实施例中，置簇集合簇的head节点集合每个簇的簇模型训练时间{γ1＝0,γ2＝0,γ3＝0}以及经过h＝20轮迭代训练的簇模型更新每个设备直至迭代轮次h＝20，训练得到本地模型更新的总频次簇内模型聚集权重
[0142]
步骤s5-2，云服务器将更新的全局模型ω
t+1
下发给所有计算设备，模型训练进入下一轮迭代。
[0143]
实施例中，云服务器将将更新的全局模型ω1下发给所有计算设备，模型训练进入下一轮迭代。
[0144]
不断重复步骤s2～s5，直至t轮全局模型训练迭代为止，全局模型训练结束，得到收敛后的全局模型ω
t
。
[0145]
实施例中，不断重复步骤s2～s5，直至t＝50轮全局模型训练迭代为止，全局模型训练结束，得到收敛后的全局模型ω
50
。
[0146]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。