联邦学习参与方贡献量评估方法、系统、介质、电子设备

本发明涉及数据处理的，特别是涉及一种联邦学习参与方贡献量评估方法、系统、介质、电子设备。

背景技术：

1、参与方对联邦学习的贡献包含训练数据资源贡献、算力资源贡献以及网络资源贡献。所有参与方贡献本地的训练数据共同构成了联邦学习任务的数据资源。参与方还需要使用本地的硬件资源，如gpu、计算模型梯度或者模型参数。参与方需要保持和全局服务器间的网络通信，并且在一个全局周期内要发送和接收与全局模型大小相同数量级的数据，这要求参与方购买和安装足够的网络资源。此外，参与方可能遭受恶意攻击，并存在隐私泄露的风险。

2、一个合理的贡献量评估机制，有助于制定优选参与方的策略，从而增强联邦学习的安全和高效；还能制定激励参与方的策略，从而提高参与方的积极性并吸引更多数据拥有者加入该联邦学习任务。因为参与方为联邦学习贡献了数据、算力以及网络资源，并且还要承受数据泄露的风险，所以如果没有公平公正的贡献评估机制和激励机制，那么就会削弱数据拥有者加入联邦学习任务的积极性，所以建立和完善对参与方贡献量的评估机制是必要的。

3、联邦学习是多参与方协作训练全局模型的过程，是合作博弈。合作博弈的成员是联邦学习参与方；合作博弈的纯收益是训练完成后的全局模型在测试集上的精度；合作博弈的成员的贡献量是参与方在联邦学习任务中的贡献量。夏普利值于2012年获得诺贝尔经济学奖，被证明同时满足效率、对称性、虚拟性和可加性，能准确地评估合作博弈成员的贡献量，而联邦学习过程是合作博弈，故夏普利值能准确地评估参与方的贡献量。又因为夏普利值的计算过程只涉及纯收益，即模型精度，所以不会侵害参与方数据隐私。但是，计算联邦学习参与方的夏普利值需要让所有可能的参与方组合分别开展该联邦学习任务，并计算参与方在每个联邦学习任务中的合作盈余。这个过程所需开展的联邦学习任务的数量为指数级，会带来巨大的计算量，使得直接计算参与方的夏普利值不具有可行性。因此，需要研究计算联邦学习参与方夏普利值近似值的算法。

4、其中，基于蒙特卡洛算法的近似算法运行速度较快的本质原因是对参与计算夏普利值的参与方组合进行了筛选。各参与方的夏普利值依赖于每次迭代时各参与方在排列中的位置，而由于蒙特卡洛算法的随机性，无法保证在排列的同一个位置上各参与方出现的次数是相等的，所以各参与方的夏普利值存在随机性。

5、此外，夏普利值的原始值的计算过程中只使用额外模型的最终状态和初始状态，不使用中间状态，所以中间状态的波动不会影响夏普利值的原始值。而将联邦学习某参与方的夏普利值分解为该参与方在所有周期的夏普利值的和的近似算法，在计算过程中，引入了全局模型和额外模型的中间状态，所以全局模型的中间状态的波动会影响联邦学习参与方的夏普利值，造成误差。

6、因此，近似效果较好、评估准确度较高、运行速度较快的主流近似算法，依然存在着由于蒙特卡洛算法的随机性导致的近似误差、以及由于全局模型中间状态波动导致的近似误差，所以在评估准确度方面仍然有提升的空间。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种联邦学习参与方贡献量评估方法、系统、介质、电子设备，有效地避免了蒙特卡洛算法的随机性导致的近似误差，提高了参与方贡献量评估的准确度。

2、第一方面，本发明提供一种联邦学习参与方贡献量评估方法，所述方法包括以下步骤：在联邦学习的每个全局周期内一次性筛选参与计算夏普利值的参与方组合；对于筛选出的参与方组合中的每个参与方，将每个全局周期的夏普利值之和作为所述参与方在所述联邦学习中的夏普利值。

3、在第一方面的一种实现方式中，在联邦学习的每个全局周期内一次性筛选参与计算夏普利值的参与方组合包括：

4、将联邦学习的一个全局周期中的参与方的组合按照长度从小到大排序；

5、按顺序遍历所有组合，判断当前组合中的参与方的额外模型精度v(c)是否满足筛选条件|v(c)-vt|＜bound，其中vt表示全局模型在周期t的训练后的精度，bound表示自定义阈值；若所述当前组合不满足所述筛选条件，则放弃所述当前组合之后的包含所述当前组合的组合。

6、在第一方面的一种实现方式中，还包括当组合仅包含一个参与方时，获取所述参与方的额外模型精度与模型初始精度的差值，并对所述差值进行缩放，以缩放后的差值作为所述参与方的合作盈余。

7、在第一方面的一种实现方式中，所述合作盈余为(n-1)！·|v(c)-v0|÷n！÷|vt-v0|·|vt-vt-1|，其中n表示参与方数量，v(c)表示额外模型精度，vt表示全局模型周期t训练后的精度，v0表示全局模型初始精度，vt-1表示全局模型在周期t-1训练后的精度，！表示阶乘，||表示绝对值。

8、在第一方面的一种实现方式中，参与方u在联邦学习中的夏普利值为其中，svu表示参与方u在联邦学习中的夏普利值，表示参与方u在周期t中的夏普利值，t表示联邦学习的全局周期数。

9、在第一方面的一种实现方式中，还包括计算参与方u在联邦学习中的贡献比例其中n表示参与方数量。

10、在第一方面的一种实现方式中，还包括将参与方u在所述联邦学习中的夏普利值修正为其中，vt表示全局模型完成训练后的精度，v0表示全局模型初始精度。

11、第二方面，本发明提供一种联邦学习参与方贡献量评估系统，所述系统包括筛选模块和评估模块；

12、所述筛选模块用于在联邦学习的每个全局周期内一次性筛选参与计算夏普利值的参与方组合；

13、所述评估模块用于对于筛选出的参与方组合中的每个参与方，将每个全局周期的夏普利值之和作为所述参与方在所述联邦学习中的夏普利值。

14、第三方面，本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的联邦学习参与方贡献量评估方法。

15、第四方面，本发明提供一种电子设备，包括：处理器及存储器；

16、所述存储器用于存储计算机程序；

17、所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的联邦学习参与方贡献量评估方法。

18、如上所述，本发明的联邦学习参与方贡献量评估方法、系统、介质、电子设备，具有以下有益效果：

19、(1)在每个全局周期内一次性筛选出参与计算夏普利值的参与方组合，而不再使用蒙特卡洛算法进行筛选，在保证运行速度的前提下，避免了由于蒙特卡洛算法随机性导致的近似误差，提高了参与方贡献量评估的准确度；

20、(2)减少了算法的时间复杂度，提升了效率；

21、(3)减小由于模型中间状态波动导致的误差；

22、(4)具有对夏普利值原始值的最优近似度，以及对参与方贡献量的最优的评估准确度。

技术特征：

1.一种联邦学习参与方贡献量评估方法，其特征在于：所述方法包括以下步骤：

2.根据权利要求1所述的联邦学习参与方贡献量评估方法，其特征在于：在联邦学习的每个全局周期内一次性筛选参与计算夏普利值的参与方组合包括：

3.根据权利要求1所述的联邦学习参与方贡献量评估方法，其特征在于：还包括当组合仅包含一个参与方时，获取所述参与方的额外模型精度与模型初始精度的差值，并对所述差值进行缩放，以缩放后的差值作为所述参与方的合作盈余。

4.根据权利要求3所述的联邦学习参与方贡献量评估方法，其特征在于：所述合作盈余为(n-1)！·|v(c)-v0|÷n！÷|vt-v0|·|vt-vt-1|，其中n表示参与方数量，v(c)表示额外模型精度，vt表示全局模型周期t训练后的精度，v0表示全局模型初始精度，vt-1表示全局模型在周期t-1训练后的精度，！表示阶乘，||表示绝对值。

5.根据权利要求1所述的联邦学习参与方贡献量评估方法，其特征在于：参与方u在联邦学习中的夏普利值为其中，svu表示参与方u在联邦学习中的夏普利值，表示参与方u在周期t中的夏普利值，t表示联邦学习的全局周期数。

6.根据权利要求1所述的联邦学习参与方贡献量评估方法，其特征在于：还包括计算参与方u在联邦学习中的贡献比例其中n表示参与方数量。

7.根据权利要求6所述的联邦学习参与方贡献量评估方法，其特征在于：还包括将参与方u在所述联邦学习中的夏普利值修正为其中，vt表示全局模型完成训练后的精度，v0表示全局模型初始精度。

8.一种联邦学习参与方贡献量评估系统，其特征在于：所述系统包括筛选模块和评估模块；

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的联邦学习参与方贡献量评估方法。

10.一种电子设备，其特征在于，包括：处理器及存储器；

技术总结
本发明提供一种联邦学习参与方贡献量评估方法、系统、介质、电子设备，所述方法包括以下步骤：在联邦学习的每个全局周期内一次性筛选参与计算夏普利值的参与方组合；对于筛选出的参与方组合中的每个参与方，将每个全局周期的夏普利值之和作为所述参与方在所述联邦学习中的夏普利值。本发明的联邦学习参与方贡献量评估方法、系统、介质、电子设备有效地避免了蒙特卡洛算法的随机性导致的近似误差，提高了参与方贡献量评估的准确度。

技术研发人员：祝永新,郑小盈,邱天晨
受保护的技术使用者：中国科学院上海高等研究院
技术研发日：
技术公布日：2024/1/16