一种联邦边缘学习梯度聚合方法、装置、系统与流程

本发明涉及信息与通信，具体涉及一种联邦边缘学习梯度聚合方法、装置、系统。

背景技术：

1、随着通信和人工智能(ai，artifitial intelligence)的蓬勃发展，下一代通信有望实现对海量多址接入和泛在智能的原生支持。作为一种有前景的分布式学习范式，联邦学习(fl，federated learning)支持在多个边缘设备上进行协作训练。然而，由于有限的通信资源和爆炸性增加的边缘设备数量之间的冲突，参数服务器(ps，parameter senter)和设备之间的通信成为fl的关键瓶颈。幸运的是，fl中的ps仅需要聚合梯度，通常是局部梯度的平均值，而不是每个设备单独的局部梯度。利用fl的这一特性，空中计算联邦学习(oa-fl，over-the-air federated learning)被提出。oa-fl利用电磁波叠加特性，在无线多址信道中上传梯度，在空中完成局部梯度聚合，显着降低了fl上传本地梯度的通信成本。

2、尽管空中计算联邦学习具有上述优势，然而信道衰落和信道噪声仍不可避免地会导致梯度聚合中的通信错误，这造成了空中计算联邦学习模型的学习性能恶化。先前的研究工作试图减轻衰落信道的影响，例如在发射机端的信道反转，其中发射机采用预编码器来补偿由衰落信道引起的幅度和相位失真。然而，信道反转可能会放大信道噪声，尤其是当某些设备处于深度衰落时。为了克服信道反转的这一缺点，联合优化发射机和接收机的波束成形向量能避免了发射机段严格的信道反转，进而缓解了衰落信道引发的学习性能下降。尽管上述信道均衡梯度聚合方法有效地减轻了衰落信道的影响，但它的主要局限性是依赖于通过信道估计获得的完美信道状态信息(csi，channel state information)。通常，服务器基于设备发送的导频或训练符号来估计csi，并将估计的csi在下行链路控制信道中反馈给设备。然而，csi估计和反馈中不可避免的错误会损害基于完美csi的信道均衡方法的梯度聚合性能，从而导致学习性能的额外损失。为了应对csi反馈中的错误，一些不依赖于发射机处的csi(csit-free)梯度聚合方案被提出。然而，csit-free的方案仍然需要在服务器端估计csi。为了实现足够小的信道估计误差，信道估计所需的训练符号的数量至少等于设备的数量。这造成了发送训练符号的巨大通信开销，尤其是当设备数量很大时。

技术实现思路

1、本发明针对现有技术中的缺点，提供了一种联邦边缘学习梯度聚合方法、装置、系统，解决了空中计算联邦学习信道估计通信开销较大、学习性能损失的问题。

2、为了解决上述技术问题，本发明通过下述技术方案得以解决：

3、一种联邦边缘学习梯度聚合方法，包括以下步骤：

4、获取训练符号向量，并基于所述训练符号向量计算波束赋形向量；

5、获取无线信道中的发送信号，并基于所述发送信号计算信号矩阵；

6、基于所述波束赋形向量和信号矩阵计算聚合梯度，并计算最小化全局损失函数；

7、基于所述聚合梯度和最小化全局损失函数更新全局模型，并判断更新后的全局模型是否收敛，若收敛，则结束，反之则继续更新全局模型。

8、可选的，计算波束赋形向量，包括以下步骤：

9、基于所述训练符号向量计算训练接收信号，并基于所述训练接受信号计算波束赋形向量。

10、可选的，计算训练接收信号的公式为：

11、其中，表示第t训练轮次的信道信息矩阵，其第k列表示第k个用户到服务器的信道信息向量，k表示边缘设备的数量；表示在第t训练轮次，边缘设备k从梯度分布中采样长度为m的训练符号向量；表示信道噪声矩阵，其元素由独立同分布复高斯分布采样得到，表示噪声方差；表示nr×m的复数矩阵，nr表示服务器的天线根数；

12、计算波束赋形向量的公式为：

13、其中，a＝[a1/a，…，ak/a]t表示归一化的设备聚合权重，表示整个系统内数据集的样本数目，t表示任务训练的最大通信轮次；(·)h为矩阵共轭转置。

14、可选的，基于所述发送信号计算信号矩阵的计算公式为：

15、其中，表示发送信号。

16、可选的，计算聚合梯度的公式为：

17、

18、其中，⊙为逐元素乘积，为取实部操作，为取虚部操作，表示波束赋形向量；y(t)表示信号矩阵；s表示随机翻转向量。

19、可选的，判断更新后的全局模型是否收敛，包括以下步骤：

20、将更新后的全局模型通过无差错广播信道回传给每个边缘设备；

21、判断通信轮次是否大于最大通信轮次，若是，则收敛，反之则未收敛。

22、一种联邦边缘学习梯度聚合装置，所述联邦边缘学习梯度聚合装置执行如上述任意一项所述的联邦边缘学习梯度聚合方法，包括参数服务器，所述参数服务器执行如下步骤：

23、接收训练符号向量后，基于所述训练符号向量计算训练接收信号，并基于所述训练接收信号计算波束赋形向量；

24、基于同步发送的发送信号计算接收到的信号矩阵，并基于所述信号矩阵和波束赋形向量计算聚合梯度；

25、基于聚合梯度以及最小化全局损失函数更新全局模型，判断更新后的全局模型是否收敛，若收敛，则结束，反之则继续更新全局模型。

26、可选的，还包括两组以上的单天线边缘设备，两组以上的单天线边缘设备执行如下步骤：

27、每组所述单天线边缘设备同步发送训练符号向量，以供参数服务器计算波束赋形向量；

28、每组所述单天线边缘设备进行梯度下降处理，计算局部梯度，并基于梯度计算发送信号后，同步发送至无线信道中，以供参数服务器计算聚合梯度并更新全局模型。

29、一种联邦边缘学习梯度聚合系统，所述系统执行如上述任意一项所述的联邦边缘学习梯度聚合方法，包括第一计算单元、第二计算单元、第三计算单元和更新判断单元；

30、所述第一计算单元用于获取训练符号向量，并基于所述训练符号向量计算波束赋形向量；

31、所述第二计算单元用于获取无线信道中的发送信号，并基于所述发送信号计算信号矩阵；

32、所述第三计算单元用于基于所述波束赋形向量和信号矩阵计算聚合梯度，并计算最小化全局损失函数；

33、所述更新判断单元用于基于所述聚合梯度和最小化全局损失函数更新全局模型，并判断更新后的全局模型是否收敛，若收敛，则结束，反之则继续更新全局模型。

34、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述任意一项所述的联邦边缘学习梯度聚合方法。

35、采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

36、通过一定数量的训练符号向量设计收端波束赋形向量，从而避免了信道估计，以减小空中计算联邦学习的信道估计开销和梯度聚合误差，解决了空中计算联邦学习信道估计通信开销较大的问题和学习性能损失问题。