一种隐私保护的双向可验证联邦学习方法与流程

本发明涉及一种隐私保护的双向可验证联邦学习方法，属于联邦学习。

背景技术：

1、随着大数据技术的发展，社会活动中产生和搜集的数据和信息量急剧增加，联邦学习逐渐成为一种流行的分布式机器学习范式。它可以使设备机构在不共享自身原始数据的情况下参与模型训练，缓解了由于收集不同数据集而导致的数据隐私问题，有效地缓解了数据孤岛的情况。然而，在联邦学习中共享的模型梯度也会泄露参与者的私有信息，这就导致模型容易受到攻击，例如，模型反演攻击、成员推理攻击。

2、针对上述问题，现有的技术方案大多只关注本地模型信息上传时遭遇的攻击，比如梯度泄露攻击，通过不同的加密方案来对共享梯度信息进行加密来保障用户的隐私安全，例如同态加密、函数加密、秘密共享等方案。但是大多没有考虑过训练过程中，多次迭代导致的中间模型泄露，也可能会导致攻击者获得某一用户的敏感信息；考虑到此方面的研究中也存在着服务器无法检查上传信息，攻击者伪装成普通客户上传错误信息来扰乱训练过程的不足。同时，恶意服务器也可能会伪造聚合结果来影响本地模型训练效果。

技术实现思路

1、本发明所要解决的技术问题是提供一种隐私保护的双向可验证联邦学习方法，从多方面分析加强安全设计应用，提高联邦学习过程中安全性与防护性。

2、本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种隐私保护的双向可验证联邦学习方法，基于聚合服务器、以及各个客户端，结合可信第三方kgc，按如下步骤a至步骤b，针对待训练目标全局模型执行联邦学习，获得训练后目标全局模型；

3、步骤a.基于可信第三方kgc初始化公共参数pm分发至聚合服务器、以及各个客户端，聚合服务器产生密钥，各客户端分别产生密钥，然后进入步骤b；

4、步骤b.根据预设最大训练轮数t，基于各轮训练下各客户端分别对待训练目标全局模型训练获得本地模型参数，结合经可信第三方kgc确定的稳定通信列表，进行各稳定通信客户端本地模型参数的更新，进而在第t轮训练下获得训练后目标全局模型。

5、作为本发明的一种优选技术方案：所述步骤b包括步骤b1至步骤b5；

6、步骤b1.初始化训练轮数t＝1，并进入步骤b2；

7、步骤b2.各客户端分别在第t轮训练下对待训练目标全局模型训练获得本地模型参数，并构建认证加密标签，上传至聚合服务器，然后进入步骤b3；

8、步骤b3.基于聚合服务器与可信第三方kgc之间关于密钥的通信交互，确定稳定通信列表，然后进入步骤b4；

9、步骤b4.聚合服务器针对稳定通信列表中各客户端上传的认证加密标签，执行模型参数聚合，当t＝t时，则获得训练后目标全局模型，当t≠t时，则进入步骤b5；

10、步骤b5.针对t的值进行加1更新，然后返回步骤b2。

11、作为本发明的一种优选技术方案：所述步骤b2包括如下步骤b2-1至步骤b2-2；

12、步骤b2-1.各客户端分别在第t轮训练下对待训练目标全局模型训练获得本地模型参数wi,t，并根据xi,t＝wi,t||δ·ki,t||0，获得各客户端分别在第t轮训练下对应的xi,t，再进入步骤b2-2；其中，ki,t∈zp，zp是安全大素数p的剩余类，当t≠t时，则δ＝1，当t＝t时，则δ＝0，t表示预设最大训练轮数；

13、步骤b2-2.首先，各客户端分别根据计算获得在第t轮训练下对应的ci,t、ti,t，其中，h0(t)、h1(t)分别表示h0和h1针对以t为自变量的函数运算；

14、然后，各客户端分别根据计算获得据v、v’，并按计算获得各客户端分别在第t轮训练下的验证密钥cvki,t，再基于非交互零知识证明体制，各客户端分别根据ci,t、cvki,t，执行函数nizk.prove，获得各客户端分别在第t轮训练下对应的零知识证明πi,t；

15、最后，各客户端分别组合第t轮训练下对应的认证加密标签(ci,t,ti,t,πi,t)，并上传至聚合服务器，再进入步骤b3。

16、作为本发明的一种优选技术方案：所述步骤b3包括如下步骤b3-1至步骤b3-4；

17、步骤b3-1.聚合服务器根据构建聚合服务器在第t轮训练下的公钥并针对所接收各认证加密标签对应的客户端，分别发送公钥pka,t，同时广播将该各客户端所构通信客户端列表u1，然后进入步骤b3-2；

18、步骤b3-2.通信客户端列表u1中各客户端分别根据所接收公钥pka,t，按计算获得在第t轮训练下对应的辅助信息并结合构成上传至可信第三方kgc，然后进入步骤b3-3；其中，表示通信客户端列表u1中客户端的数量，表示通信客户端列表u1中第个客户端的密钥，表示通信客户端列表u1中第个客户端在第t轮训练下对应的辅助信息，表示通信客户端列表u1中第个客户端在第t轮训练下的验证密钥；

19、步骤b3-3.可信第三方kgc针对所接收各对应客户端构成的通信客户端列表u2，获得通信客户端列表u1与通信客户端列表u2之间的交集，即稳定通信列表u3，由可信第三方kgc针对稳定通信列表u3中各客户端上传的辅助信息进行整体验证，若验证成功，则聚合稳定通信列表u3中各客户端上传辅助信息，获得(aut,svkt)，并将辅助信息aut与稳定通信列表u3发送至聚合服务器，将辅助信息svkt发送至稳定通信列表u3中各客户端，再进入步骤b4；若验证失败，则丢弃稳定通信列表u3中各客户端上传的辅助信息，并进入步骤b3-4；

20、步骤b3-4.可信第三方kgc请求稳定通信列表u3中各客户端重新按步骤b3-2，向可信第三方kgc上传辅助信息，并返回步骤b3-3。

21、作为本发明的一种优选技术方案：所述步骤b3-3中，由可信第三方kgc按如下操作，针对稳定通信列表u3中各客户端上传的辅助信息进行整体验证；

22、首先按计算获得辅助信息aut；接着基于perdersen承诺体制，按计算获得v、v’；然后验证判断aut是否满足等式以及是则验证成功，按计算获得辅助信息svkt，并将辅助信息aut与稳定通信列表u3发送至聚合服务器，将辅助信息svkt发送至稳定通信列表u3中各客户端，再进入步骤b4；否则验证失败，丢弃稳定通信列表u3中各客户端上传的辅助信息，并进入步骤b3-4；其中，表示稳定通信列表u3中客户端的数量，表示稳定通信列表u3中第个客户端在第t轮训练下对应的辅助信息，表示稳定通信列表u3中第个客户端在第t轮训练下的验证密钥

23、作为本发明的一种优选技术方案：所述步骤b4包括如下步骤b4-1至步骤b4-4；

24、步骤b4-1.聚合服务器基于非交互零知识证明体制，执行验证函数nizk.verify，分别验证稳定通信列表u3中各客户端上传的的可靠性，若各均可靠，则进入步骤b4-3；若存在不可靠的则进入步骤b4-2；

25、步骤b4-2.聚合服务器丢弃各不可靠并请求该各不可靠的客户端重新按步骤b2，向聚合服务器上传认证加密标签，并返回步骤b4-1；

26、步骤b4-3.聚合服务器按计算获得ct，并按计算获得xt，若t＝t时，则xt即为t轮训练后目标全局模型参数，进而获得训练后目标全局模型；若t≠t时，则进一步按计算获得tt，并结合xt发送至稳定通信列表u3中各客户端，然后进入步骤b4-4；

27、步骤b4-4.稳定通信列表u3中各客户端分别验证是否成立，是则稳定通信列表u3中各客户端之间交互计算获得稳定通信列表u3中各客户端分别按获得模型聚合参数并更新本地模型参数然后进入步骤b5；否则直接进入步骤b5。

28、作为本发明的一种优选技术方案：所述各客户端分别与聚合服务器之间的通信链路为安全通信链路。

29、本发明所述一种隐私保护的双向可验证联邦学习方法，采用以上技术方案与现有技术相比，具有以下技术效果：

30、(1)本发明所设计一种隐私保护的双向可验证联邦学习方法，基于聚合服务器、各个客户端，结合可信第三方kgc，引入稳定通信客户端分析，针对待训练目标全局模型执行联邦学习，获得训练后目标全局模型；设计采用双重模式来保障中间模型的安全性，在训练期间通过参数设计实现模型聚合结果密文状态，使得攻击者无法根据多轮聚合结果推测客户端本地模型梯度信息，非数据拥有者也无法得到其隐私数据，在有效保障客户端隐私安全的同时，有效解决了客户端掉线问题；并且设计实现了双向可验证，密文加解密功能直接交于客户端和聚合服务器实现，无需依靠可信第三方机构，避免了泄露加密安全参数的可能，此外客户端的模型训练设置使得无需考虑权重泄露问题，并且设计利用非交互零知识证明保证了上传密文的可验证性。