基于模拟退火的能耗与联邦学习性能的联合优化方法、装置、可存储介质及设备

本发明涉及通信，尤其涉及一种基于模拟退火的能耗与联邦学习性能的联合优化方法、装置、可存储介质及设备。

背景技术：

1、随着移动通信和物联网的发展，设备产生的数据量激增，用户越来越注重数据的隐私保护，因此传统的将数据发送到云端服务器进行集中式机器学习已不能满足要求，作为分布式机器学习的联邦学习得到了人们的关注。在联邦学习中，用户使用本身的数据协作训练一个局部模型，然后上传给中央服务器进行安全聚合，并构建新的全局模型，之后中央服务器将全局模型传输给用户以更新其局部模型，迭代这个过程，直到达到全局模型的精度要求。相比于集中式学习和分布式现场学习，联邦学习有效地解决了数据隐私保护问题和“数据孤岛”现象，使数据的价值得到更大的发挥，提高了人工智能算法的性能。然而，由于通信资源的有限性，并不是所有的用户都能参与联邦学习，同时由于无线链路传输的不可靠性，可能存在错包率影响联邦学习的性能。因此，在无线网络中，如何制定合理有效的用户调度与资源分配策略，对联邦学习性能以及终端能耗有很大影响。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种基于模拟退火的能耗与联邦学习性能的联合优化方法、装置、可存储介质及设备，解决现有技术中联邦学习的用户调度与资源分配策略不合理，影响联邦学习性能与用户能耗之间的平衡的问题。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、第一方面，本发明提供了一种基于模拟退火的能耗与联邦学习性能的联合优化方法，包括：

4、获取参与联邦学习用户的总能耗以及考虑错包率引起的总收敛间隔，确定系统总代价函数及约束条件，构建总代价函数最小化的优化问题；

5、对所述优化问题进行求解，获取最优用户选择、最优带宽分配和最优发送功率；

6、获取最优用户选择中的用户，使所述用户按照所述最优带宽分配与最优发送功率参与联邦学习。

7、结合第一方面，进一步的，所述获取最优用户选择中的用户，使所述用户按照所述最优带宽分配与最优发送功率参与联邦学习，包括：

8、获取最优用户选择、最优带宽分配和最优发送功率的数据训练局部模型，并将所述局部模型进行安全聚合，构建全局模型。

9、结合第一方面，进一步的，所述参与联邦学习用户的总能耗包括训练其局部模型所需的训练能耗和通信能耗；

10、所述通信能耗的计算公式为：

11、

12、式中，eiup为用户i的通信能耗，tiup为用户i将训练完的模型上传到基站所需的上传时延，pi为用户i的发送功率，bi为分配给用户i的带宽，hi为用户i的信道增益，n0为噪声功率，l为神经网络模型w数据大小；

13、所述训练能耗的计算公式为：

14、

15、

16、式中，eicomp为用户i在一轮全局迭代中训练其局部模型所需的训练能耗，ticomp为用户i通过其局部数据集训练局部模型的训练时延，di为用户i的样本数据量，fi为用户i的cpu每秒转的圈数，ci表示用户i处理一个样本数据cpu转的圈数，为达到所需精度ε需要的局部迭代次数，θ是一个由全局模型决定的常数，κ为一个由开关电容决定的常数；κfi2为用户i计算一圈cpu所需能耗；为训练di个样本数据cpu转的圈数；

17、所述错包率为传输局部模型时出现的错包率；所述错包率的表达式为：

18、

19、式中，m0是一个阈值，qi为传输局部模型时出现的错包率；

20、所述考虑错包率引起的总收敛间隔的表达式为：

21、

22、式中，ai为用户i是否被选择，ζ1、ζ2和μ均为大于0的常数。

23、结合第一方面，进一步的，所述系统总代价函数的定义表达式为：

24、

25、式中，γ为加权系数，c为系统总代价函数；

26、所述系统的优化问题为：

27、

28、约束条件为：

29、(1)ai∈{0,1},

30、(2)

31、(3)

32、(4)

33、(5)bi≥0,

34、其中，

35、式中，p为系统的优化问题，b为系统总带宽，t为联邦学习中一轮全局迭代允许的最大总时间，为用户i的最大发送功率，为基站传输全局模型到用户i的广播时延，pd为基站的发送功率，集合i'为参与联邦学习的用户集合，约束条件(1)表示ai是0-1变量，ai＝1表示用户i被选择，否则ai＝0；约束条件(2)表示分配给所有参与联邦学习的用户的带宽总和不能超过总带宽b；约束条件(3)表示参与联邦学习的用户一轮全局迭代的总时延不能超过允许的最大总时延t；约束条件(4)是对用户的发送功率约束；约束条件(5)是对用户的带宽分配约束。

36、结合第一方面，进一步的，所述对所述优化问题进行求解，获取最优用户选择、最优带宽分配和最优发送功率，包括以下步骤：

37、初始化用户选择和用户的带宽分配；

38、根据所述用户选择和所述用户的带宽分配，基于模拟退火求解得到最优发送功率；

39、根据所述用户选择和所述最优发送功率，基于kkt条件求解得到最优带宽分配；

40、重复最优发送功率和最优带宽分配的求解步骤，当系统总代价函数达到收敛时，确定每个用户对系统总代价函数的贡献值；

41、当对系统总代价函数贡献值最大的用户参与联邦学习时，更新用户选择，并初始化用户的带宽分配，重复最优发送功率和最优带宽分配的求解步骤；

42、当对系统总代价函数贡献值最大的用户不参与联邦学习时，得到总代价函数最小时的最优决策，所述最优决策包括最优用户选择、最优带宽分配和最优发送功率；

43、其中，所述每个用户对系统总代价函数的贡献值定义为：

44、

45、式中，ηi为每个用户对系统总代价函数的贡献值。

46、结合第一方面，进一步的，所述根据所述用户选择和所述用户的带宽分配，基于模拟退火求解得到最优发送功率，包括：

47、确定用户选择和用户的带宽分配，优化发送功率；

48、所述优化问题p等效为p1：

49、

50、约束条件为：

51、(1)

52、(2)

53、式中，p1为优化问题p的等效问题；

54、根据p1的约束条件(2)，确定参与联邦学习的用户的最小发送功率；

55、根据所述最小发送功率和p1的约束条件(1)，在范围内，基于模拟退火求解得到最优发送功率；所述pimin为参与联邦学习的用户的最小发送功率。

56、结合第一方面，进一步的，所述根据所述用户选择和所述最优发送功率，基于kkt条件求解得到最优带宽分配，包括：

57、确定用户选择和用户的带宽分配，优化带宽分配；

58、所述优化问题p等效为p2，所述p2的目标函数为：

59、

60、式中，p2为优化问题p的等效问题；

61、约束条件为：

62、(1)

63、(2)

64、(3)bi≥0,

65、当考虑p2的约束条件(2)时，确定参与联邦学习的用户的最小带宽分配为：

66、

67、式中，bimin为确定参与联邦学习的用户的最小带宽分配；

68、当不考虑p2的约束(2)时，将p2简化为p3，所述p3的目标函数为：

69、

70、式中，p3为优化问题p2简化后的问题；

71、约束条件为：

72、(1)

73、基于kkt条件求解优化问题p3，所述p3的目标函数关于bi单调递减，当p3的约束条件(1)取等号时，所述带宽分配最大；

74、所述优化问题p2的目标函数关于bi单调递减，当所述带宽分配取满足所有约束的最大值时最优，即取确定参与联邦学习的用户的最小带宽分配和p3的目标函数中求得的最大的解，作为最优带宽分配。

75、第二方面，本发明提供一种基于模拟退火的能耗与联邦学习性能的联合优化装置，包括：

76、构建问题模块，用于获取参与联邦学习用户的总能耗以及考虑错包率引起的总收敛间隔，确定系统总代价函数及约束条件，构建总代价函数最小化的优化问题；

77、求解问题模块，用于对所述优化问题进行求解，获取最优用户选择、最优带宽分配和最优发送功率；

78、联邦学习模块，用于获取最优用户选择中的用户，使所述用户按照所述最优带宽分配与最优发送功率参与联邦学习。

79、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面任一项所述的基于模拟退火的能耗与联邦学习性能的联合优化方法。

80、第四方面，本发明提供一种设备，包括：

81、存储器，用于存储指令；

82、处理器，用于执行所述指令，使得所述设备执行实现如第一方面任一项所述的基于模拟退火的能耗与联邦学习性能的联合优化方法的操作。

83、与现有技术相比，本发明所达到的有益效果：

84、本发明公开了一种基于模拟退火的能耗与联邦学习性能的联合优化方法，包括获取参与联邦学习用户的总能耗以及考虑错包率引起的总收敛间隔，确定系统总代价函数及约束条件，构建总代价函数最小化的优化问题；对所述优化问题进行求解，获取最优用户选择、最优带宽分配和最优发送功率；获取最优用户选择中的用户，使所述用户按照所述最优带宽分配与最优发送功率参与联邦学习。本发明针对联邦学习无线网络场景，考虑到无线链路传输的不可靠性可能引起的错包率对联邦学习性能的影响，综合考虑将用户的终端总能耗与考虑错包率带来的收敛间隔定义为系统的代价函数，联合考虑了联邦学习过程中学习性能与用户的利益，通过联合优化用户选择、用户的发送功率及带宽分配，保障联邦学习性能的同时，降低了用户的终端能耗，实现了用户能耗与联邦学习性能的平衡优化。