一种多小区联邦学习模型训练方法

1.本发明属于机器学习领域，涉及一种多小区联邦学习模型训练方法。


背景技术：

2.通信技术及物联网技术的迅猛发展产生了海量的数据，其中不乏用户敏感信息和安全信息，然而，由于无线网络的不稳定性和资源高度受限，重要信息在传输过程中可能发生消息泄露或丢失。联邦学习技术作为典型分布式学习技术允许设备使用个人收集的数据在本地训练学习模型，设备之间仅需交互模型参数，从而可避免了大量数据通过无线链路传输，在保护用户隐私和保证信息安全的同时，可实现多用户共享相同模型。
3.现有联邦学习算法多考虑小区内模型训练，较少涉及多个蜂窝基站之间的模型共享；此外，现有研究较少考虑不同基站模型更新速度差异、多次迭代模型更新差异值以及无线网络带宽资源对模型参数传输性能影响，导致算法性能严重受限。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种多小区联邦学习模型训练方法。
5.为达到上述目的，本发明提供如下技术方案：
6.一种多小区联邦学习模型训练方法，包括以下步骤：
7.s1：各小区用户基于本地数据训练用户本地模型，并将本地模型参数发送至所关联基站；
8.s2：各基站接收所关联用户发送的用户本地模型参数，对模型进行全局聚合，生成基站全局模型；
9.s3：各基站记录基站全局模型迭代次数，并周期性广播至邻居基站；
10.s4：各基站计算其全局模型迭代次数与邻居基站模型迭代次数之间的差异，判断差异值是否高于预先设定的迭代次数差异门限值，若是，则执行s5，否则，执行s6；
11.s5：基站暂停模型迭代，返回s4；
12.s6：各基站计算模型更新差异；
13.s7：判断模型更新差异值是否低于模型更新差异门限值，若是，则执行s8，否则，执行s9；
14.s8：基站持续进行模型迭代更新，并计算模型更新差异值，返回s7；
15.s9：基站检测可用带宽是否低于可用带宽门限值，若是，则执行s10，否则，执行s11；
16.s10：基站判断模型中各权值更新差异值，并与门限值对比，若权值更新差异值高于门限值，则将对应权值发送至邻居基站，转至s12；
17.s11：基站将当前时刻的全局模型参数发送至邻居基站，并重置模型更新差异；
18.s12：各基站根据所接收的全局模型参数对本地模型进行更新，判断模型是否已经收敛，若是，则完成模型训练，否则，返回s1。
19.进一步，在所述步骤s1中，各小区用户基于本地数据训练用户本地模型，并将本地模型参数发送至所关联基站，具体为：包括n个小区，每个小区由一个蜂窝基站及多个用户组成，令小区n的用户数为u
n
，1≤n≤n。各用户从外部环境收集数据作为模型训练的输入，小区n中用户i的输入表示为其中x
n,i,m
为小区n中用户i收集的第m个样本，1≤m≤m
i
，m
i
为小区n中用户i收集的样本数量，小区n中用户i输出可表示为用户基于x
n,i
和y
n,i
训练用户本地模型，令表示小区n中用户i第t次迭代对应的本地模型参数集，其中，为小区n中用户i第t次迭代对应本地模型第k个参数，1≤k≤k，k为模型参数数量，小区n中用户i通过蜂窝上行链路将发送至基站n。
20.进一步，在所述步骤s2中，基站接收所关联用户发送的用户本地模型参数，对模型进行全局聚合，生成基站全局模型，具体为：基站n接收来自其所关联用户发送的本地模型参数基于加权平均执行全局模型参数聚合，令表示基站n第t次迭代确定的全局模型参数，其中，为基站n第t次迭代对应全局模型的第k个参数,1≤k≤k，建模为其中，g
n,i
为基站n中用户i的权重，基站进而将发送至其所关联的用户，用于用户后续迭代。
21.进一步，在所述步骤s3中，各基站记录基站全局模型迭代次数，并周期性广播至邻居基站，具体为：令t
n
表示基站n处聚合模型迭代次数，基站n将t
n
值周期性发送至其邻居基站。
22.进一步，在所述步骤s4中，各基站计算其全局模型迭代次数与邻居基站模型迭代次数之间差异，判断差异值是否高于预先设定的迭代次数差异门限值，具体为：令ψ
n
表示基站n的邻居基站集合，基站n接收各邻居基站发送的聚合模型迭代次数，令表示基站n的邻居基站n1∈ψ
n
当前聚合模型迭代次数，δt表示基站n与邻居基站最大迭代次数差异值，即：若δt
n
＞δt
th
，即基站n当前迭代次数差异高于迭代次数差异值门限，则基站n暂停模型迭代，直至差异值低于门限值。
23.进一步，在所述步骤s6中，各基站计算模型更新差异，具体为：各基站计算当前迭代与前一次迭代对应全局模型的差异，令δω
n,t
表示基站n第t次迭代与前次迭代对应模型的差异值，建模为
24.进一步，在所述步骤s7中，判断模型更新差异值是否低于模型更新差异门限值，具体为：令δω
th
为模型更新差异值门限，基站n比较δω
n,t
与δω
th
，若δω
n,t
＜δω
th
，则基站持续进行模型迭代更新，否则，检测可用带宽是否低于可用带宽门限值。
25.进一步，在所述步骤s8中，基站持续进行模型迭代更新，直至更新差异值超过模型更新差异门限值。
26.进一步，在所述步骤s9中，基站检测可用带宽是否低于可用带宽门限值，具体为：
令b
n,t
为基站n在第t次迭代时的可用带宽，为基站n的可用带宽门限值，基站n比较b
n,t
与若则基站判断模型中各权值更新差异值，否则，基站将当前时刻的全局模型参数发送至邻居基站。
27.进一步，在所述步骤s10中，基站判断模型中各权值更新差异值，并与门限值对比，具体为：令δω
n,t,k
表示基站n的模型中第k个权值的更新差异值，建模为令δω
′
th
表示模型权值更新差异门限值，若δω
n,t,k
≥δω
′
th
，则基站n将发送至邻居基站，否则，基站n不发送
28.进一步，在所述步骤s11中，基站将当前时刻的全局模型参数发送至邻居基站，具体为：基站n将聚合模型的全部参数，即发送至邻居基站，1≤n≤n。
29.在所述步骤s12中，各基站根据收到的全局模型参数对本地模型进行更新，并判断模型是否收敛，具体为：基站n接收来自其邻居基站的全局模型n1∈ψ
n
，基站n的模型参数更新为：其中，h
n
为基站n的权重；全局模型收敛准则为n1∈ψ
n
，其中，ε为各小区全局模型收敛门限值。
30.本发明的有益效果在于：本发明基于分布式学习框架，在多个小区之间实现联邦学习模型训练，通过引入迭代同步机制，可实现多个小区之间的模型同步；通过引入累积更新机制和部分参数更新机制，可有效提高无线链路资源的利用率。
31.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
32.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
33.图1为多小区联邦学习模型训练系统框架图；
34.图2为多小区联邦学习模型训练流程图。
具体实施方式
35.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相
互组合。
36.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
37.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
38.图1为多小区联邦学习模型训练，此架构包括多个小区，每个小区由一个蜂窝基站及多个用户组成，其中：
39.小区：由一个蜂窝基站和多个用户构成，且各小区的用户均关联于蜂窝基站，用户和基站之间基于无线链路进行传输。
40.蜂窝基站：收集所关联用户的本地模型并基于加权平均进行全局聚合，进而将聚合后的基站全局模型返回给用户，用以更新用户本地模型；基站也将全局模型发送至邻居基站，用以更新邻居基站的全局模型。
41.小区用户：主要用于收集本地数据，并基于本地数据训练用户本地模型，并将本地模型通过无线链路发送给基站用以实现基站全局聚合。
42.数据集：为用户收集的本地数据集合，用户基于该数据集中的数据样本训练本地模型。
43.图2为本发明所述方法中的多小区联邦学习模型训练流程图，具体包括以下步骤：
44.步骤1、用户训练本地模型；
45.假设有n个小区，每个小区由一个蜂窝基站及多个用户组成，令小区n的用户数为u
n
，1≤n≤n。各用户从外部环境收集数据作为模型训练的输入，小区n中用户i的输入表示为其中x
n,i,m
为小区n中用户i收集的第m个样本，1≤m≤m
i
，m
i
为小区n中用户i收集的样本数量，小区n中用户i的输出表示为用户基于x
n,i
和y
n,i
训练用户本地模型，令表示小区n中用户i第t次迭代对应的本地模型参数集，其中，为小区n中用户i第t次迭代对应本地模型第k个参数，1≤k≤k，k为模型参数数量，小区n中用户i通过蜂窝上行链路将发送至基站n；
46.步骤2、基站进行全局聚合生成基站全局模型；基站n接收来自其所关联用户发送的本地模型参数基于加权平均执行全局模型参数聚合，令表示基站n第t次迭代确定的全局模型参数，其中，为基站n第t次迭代对应全局模型的第k个参数,1≤k≤k，建模为其中，g
n,i
为基站n中用户i的权重，基站进而将
发送至其所关联的用户，用于用户后续迭代；
47.步骤3、各基站记录模型迭代次数，并将其周期性广播至邻居基站；令t
n
表示基站n处聚合模型迭代次数，基站n将t
n
值周期性发送至其邻居基站；
48.步骤4、各基站判断模型迭代次数差异值是否高于预先设定的迭代次数差异门限值；令ψ
n
表示基站n的邻居基站集合，基站n接收各邻居基站发送的聚合模型迭代次数，令表示基站n的邻居基站n1∈ψ
n
当前聚合模型迭代次数，δt表示基站n与邻居基站最大迭代次数差异值，即：
49.步骤5、若δt
n
＞δt
th
，即基站n当前迭代次数差异高于迭代次数差异值门限，则基站n暂停模型迭代，直至差异值低于门限值；
50.步骤6、若当前迭代次数差异低于迭代次数差异值门限，各基站判断模型更新差异值是否高于预先设定的模型更新差异门限值；各基站计算当前迭代与前一次迭代对应全局模型的差异，令δω
n,t
表示基站n第t次迭代与前次迭代对应模型的差异值，建模为令δω
th
为模型更新差异值门限，基站n比较δω
n,t
与δω
th
。；
51.步骤7、若δω
n,t
＜δω
th
，即模型更新差异值低于模型更新差异门限值，基站不发送全局模型，并将模型更新差异值进行累积，直至该差异值高于门限值。
52.步骤8、若模型更新差异值高于模型更新差异门限值，基站判断当前可用带宽是否高于预先设定的可用带宽门限值；令b
n,t
为基站n在第t次迭代时的可用带宽，为基站n的可用带宽门限值，基站n比较b
n,t
与若则当前可用带宽低于可用带宽门限值，否则当前可用带宽高于可用带宽门限值；
53.步骤9、若当前可用带宽低于可用带宽门限值，令δω
n,t,k
表示基站n的模型中第k个权值的更新差异值，建模为令δω
′
th
表示模型权值更新差异门限值，若δω
n,t,k
≥δω
′
th
，则基站n将发送至邻居基站，否则，基站n不发送
54.步骤10、若当前可用带宽高于可用带宽门限值，基站向邻居基站发送全局模型，并重置模型更新差异值；基站n将聚合模型的全部参数，即发送至邻居基站，1≤n≤n；
55.步骤11、各基站根据收到的全局模型参数对模型进行更新；基站n接收来自其邻居基站的全局模型n1∈ψ
n
，基站n的模型参数更新为：其中，h
n
为基站n的权重；
56.步骤12、基站判断模型是否收敛；全局模型收敛准则为其中，ε为各小区全局模型收敛门限值，若符合该收敛准则，则完成此次联邦学习模型训练，否则返回步骤1。
57.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技
术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。