数据处理方法、系统、装置、计算机设备及存储介质与流程

文档序号:36238968发布日期:2023-12-01 22:38阅读:35来源:国知局
数据处理方法与流程

本发明涉及数据安全,具体涉及数据处理方法、系统、装置、计算机设备及存储介质。


背景技术:

1、随着智能终端设备的快速普及,大量的个人信息数据被各种网络平台采集,极易导致个人信息泄露。近年来,不仅个人对隐私数据的保密愈发关注,相关部门也相继出台了许多网络个人隐私保护和网络安全建设方面的法律法规。在人工智能领域,对神经网络模型训练时往往需要由中心服务器汇总多台客户端的参数,再进行模型训练,在客户端将数据发送给中心服务器的过程中容易导致数据泄露。联邦学习作为一种分布式的机器学习模式,无需让数据离开本地客户端,进而保护数据隐私。现有的在联邦学习的数据保护过程中,通常需要有专门的密钥管理机构分发密钥,一旦密钥管理机构被攻击或不可信,就容易导致密钥泄露,进而导致客户端的数据泄露。


技术实现思路

1、有鉴于此,本发明提供了一种数据处理方法、系统、装置、计算机设备及存储介质,以解决模型训练过程中数据泄露的问题。

2、第一方面,本发明提供了一种数据处理方法,应用于目标服务器,所述目标服务器与其他服务器连接,所述目标服务器与第一客户端连接,所述其他服务器与第二客户端连接,所述第一客户端以及所述第二客户端用于对同一待训练模型进行训练,所述方法包括:

3、接收所述第一客户端发送的第一训练参数密文,所述第一训练参数密文是利用所述目标服务器与所述其他服务器的公钥对第一训练参数加密得到的,所述第一训练参数是基于待训练模型的增量、损失函数值以及本地训练数据数量计算得到的;

4、基于对所有所述第一训练参数密文的汇总,得到第一参数密文;

5、将所述第一参数密文发送给所述其他服务器,并接收所述其他服务器发送的第二参数密文,所述第二参数密文是其他服务器汇总第二训练参数密文得到的;

6、基于所述第一参数密文以及所述第二参数密文,得到当前训练参数密文;

7、基于目标服务器的私钥和所述当前训练参数密文计算得到第一参数,并将所述第一参数发送给所述其他服务器;

8、接收所述其他服务器发送的第二参数,所述第二参数是基于其他服务器的私钥和所述当前训练参数计算得到的;

9、基于所述第一参数以及所述第二参数对所述当前训练参数密文进行解密,得到当前训练参数;

10、根据所述当前训练参数更新所述第一客户端以及所述第二客户端中待训练模型的参数,以得到目标模型。

11、本实施例提供的数据处理方法,采用的门限加密方法涉及多个服务器,将解谜任务分配到每个服务器,当所有服务器参与到解密过程中(即计算第一参数和第二参数)才能得到正确的解密结果,从而对数据起到保护作用。在数据处理过程中,可根据客户端的地域、网络信号、服务器带宽等信息建立客户端与服务器之间的通信关系,由每个服务器接收其对应的客户端发送的数据,然后初步汇总得到第一参数密文和第二参数密文,再在目标服务器和其他服务器之间进行数据汇总,得到当前参数密文,基于当前训练参数密文和各服务器的私钥进行联合解密,能够对网络通信效率进行有效地改善。

12、在一种可选的实施方式中,所述公钥按照如下方式确定:

13、获取第一计算参数,以得到所述目标服务器的私钥;

14、基于所述目标服务器的私钥,得到所述目标服务器的第二计算参数;

15、接收所述其他服务器的第二计算参数,所述第二计算参数是基于所述其他服务器的私钥得到的,所述其他服务器的私钥是基于所述第一计算参数得到的;

16、基于所述第一计算参数以及所述第二计算参数,确定所述公钥。

17、在一种可选的实施方式中,所述公钥按照如下公式确定:

18、

19、其中,b表示公钥,n表示服务器数量,i表示第i个服务器,bi表示第二计算参数,p表示第一计算参数,ai表示第i个服务器的私钥,g表示p2的本原根,ρ=p+1,0<ai<p(p-1)。

20、在一种可选的实施方式中,所述当前训练参数按照如下方式确定:

21、

22、

23、

24、其中,m表示当前训练参数,p表示第一计算参数,c3表示当前训练参数密文的第一分量,c4表示当前训练参数密文的第二分量,ai表示第i个服务器的私钥,si表示第i个服务器的第一参数或第二参数。

25、在一种可选的实施方式中,所述接收所述第一客户端发送的第一训练参数密文,包括:

26、所述第一客户端基于本地训练数据对所述待训练模型进行训练,得到待训练模型的增量以及损失函数值,对本地训练数据数量、本地训练数据数量与所述待训练模型的增量的乘积以及本地训练数据数量与损失函数值的乘积进行加密,得到第一训练参数密文,所述第一训练参数包括本地训练数据数量、本地训练数据数量与所述待训练模型的增量的乘积以及本地训练数据数量与损失函数值的乘积;

27、接收所述第一客户端发送的第一训练参数密文。

28、在一种可选的实施方式中,所述第一训练参数密文是按照如下方式确定的:

29、c=(c1,c2)=(grmodp2,ρmbrmodp2)

30、其中,c表示第一训练参数密文,c1表示第一训练参数密文的第一分量,c2表示第一训练参数密文的第二分量,r表示随机数,p表示第一计算参数,g表示p2的本原根,ρ=p+1,c表示第一训练参数,b表示公钥。

31、第二方面,本发明提供了一种数据处理装置,应用于目标服务器,所述目标服务器与其他服务器连接,所述目标服务器与第一客户端连接,所述其他服务器与第二客户端连接,所述第一客户端以及所述第二客户端用于对同一待训练模型进行训练,所述装置包括:

32、第一密文接收模块,用于接收所述第一客户端发送的第一训练参数密文,所述第一训练参数密文是利用所述目标服务器与所述其他服务器的公钥对第一训练参数加密得到的,所述第一训练参数是基于待训练模型的增量、损失函数值以及本地训练数据数量计算得到的;

33、第一参数密文确定模块,用于基于对所有所述第一训练参数密文的汇总,得到第一参数密文;

34、第一参数密文发送模块,用于将所述第一参数密文发送给所述其他服务器,并接收所述其他服务器发送的第二参数密文,所述第二参数密文是其他服务器汇总第二训练参数密文得到的;

35、当前训练参数密文确定模块,用于基于所述第一参数密文以及所述第二参数密文,得到当前训练参数密文;

36、第一参数计算模块,用于基于目标服务器的私钥和所述当前训练参数密文计算得到第一参数,并将所述第一参数发送给所述其他服务器;

37、第二参数接收模块,用于接收所述其他服务器发送的第二参数,所述第二参数是基于其他服务器的私钥和所述当前训练参数计算得到的;

38、当前训练参数解密模块,用于基于所述第一参数以及所述第二参数对所述当前训练参数密文进行解密,得到当前训练参数;

39、模型确定模块,用于根据所述当前训练参数更新所述第一客户端以及所述第二客户端中待训练模型的参数,以得到目标模型。

40、第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的数据处理方法。

41、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的数据处理方法。

42、第五方面,本发明提供了一种数据处理系统,所述系统包括:

43、至少一个服务器,所述服务器包括目标服务器和其他服务器,所述目标服务器用于执行上述第一方面或其对应的任一实施方式的数据处理方法;

44、至少一个客户端,所述客户端包括第一客户端和第二客户端,所述第一客户端与所述目标服务器连接,所述第二客户端与所述其他服务器连接。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1