数据多方联合处理方法、系统及服务器、终端设备与流程

文档序号:37219977发布日期:2024-03-05 15:15阅读:35来源:国知局
数据多方联合处理方法、系统及服务器、终端设备与流程

本公开涉及数据处理,尤其涉及一种数据多方联合处理方法、系统及服务器、终端设备。


背景技术:

1、训练机器学习模型的数据常常被不同的组织、机构所有,尤其是具有极强隐私性的数据。由于数据安全、用户隐私、法律政策监管等方面原因,各数据所有者不愿直接交换原始数据,导致数据无法有效汇聚,从而影响机器学习的效果,制约着机器学习模型的提高。在基因组学领域,各方持有的基因组数据就更有限了,要促进更好的数据挖掘,需要大量的样本进行聚合后联合分析。如何在保证数据不泄露的前提下,联合多个数据所有方进行联合训练机器学习模型就成了数据开放共享、释放数据价值的一大挑战。


技术实现思路

1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此,本公开的一个目的在于提出一种数据多方联合处理方法,以在保证数据隐私安全的前提下,实现跨机构共享、融合数据,完成mlm建模。

3、本公开的第二个目的在于提出第二种数据多方联合处理方法。

4、本公开的第三个目的在于提出一种服务器。

5、本公开的第四个目的在于提出一种终端设备。

6、本公开的第五个目的在于提出一种数据多方联合处理系统。

7、为达上述目的,本公开第一方面实施例提出了一种数据多方联合处理方法,其中,原始数据分布在k个数据拥有方中,k为大于等于2的整数,所述方法包括:

8、生成加密密钥;将所述加密密钥发送至至少一个所述数据拥有方,以便至少一个所述数据拥有方利用所述加密密钥对自身的原始数据进行加密,得到加密数据;接收至少两个所述数据拥有方发送的加密数据,并对至少两个所述数据拥有方的加密数据进行聚合处理,得到关系矩阵;根据所述关系矩阵得到第一中间矩阵和第一扰动矩阵,并将所述第一中间矩阵和所述第一扰动矩阵发送至所述k个数据拥有方,以便所述k个数据拥有方根据所述第一扰动矩阵和自身的原始数据得到第二扰动矩阵;接收所述k个数据拥有方发送的第二扰动矩阵,并根据所述第二扰动矩阵得到目标对角矩阵,以及将所述目标对角矩阵发送至各所述数据拥有方,以便所述k个数据拥有方根据所述目标对角矩阵和所述第一中间矩阵得到自身原始数据的分布检验值。

9、本公开实施例的数据多方联合处理方法,通过生成加密密钥,并将加密密钥发送至数据拥有方,数据拥有方利用该加密密钥对自身的原始数据进行加密,得到加密数据,并将加密数据返回;得到多个返回的加密数据后,将加密数据进行聚合处理,得到相应的关系矩阵;再根据关系矩阵得到第一中间矩阵和第一扰动矩阵,并将第一中间矩阵和第一扰动矩阵发送至相应的数据拥有方,使数据拥有方根据第一扰动矩阵和自身原始数据得到第二扰动矩阵;通过接收的第二扰动矩阵得到目标对角矩阵,并将目标对角矩阵发送至数据拥有方;数据拥有方根据目标对角矩阵和第一中间矩阵得到自身原始数据的分布检验值,从而在保证数据隐私安全的前提下,实现了跨机构共享、融合数据,完成了mlm建模。

10、为达上述目的,本公开第二方面实施例提出了第二种数据多方联合处理方法,其中,原始数据分布在k个数据拥有方中,k为大于等于2的整数,所述方法包括以下步骤:

11、接收服务器发送的第一中间矩阵和第一扰动矩阵,并根据所述第一扰动矩阵和自身的原始数据得到第二扰动矩阵;将所述第二扰动矩阵发送至所述服务器,以使所述服务器根据所述第二扰动矩阵得到目标对角矩阵;接收所述服务器发送的目标对角矩阵,并根据所述目标对角矩阵和所述第一中间矩阵得到自身原始数据的分布检验值。

12、本公开实施例的另一种数据多方联合处理方法,通过接收服务器发送的第一中间矩阵和第一扰动矩阵,并根据第一扰动矩阵和自身的原始数据得到第二扰动矩阵;通过将得到的第二扰动矩阵发送至服务器,使服务器根据第二扰动矩阵得到目标对角矩阵;通过接收服务器发送的目标对角矩阵,并根据目标对角矩阵得到自身原始数据的分布检验值,从而在保证数据隐私安全的前提下,实现了跨机构共享、融合数据,完成了mlm建模。

13、为达上述目的,本公开第三方面实施例提出了一种服务器,该服务器包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上第一方面实施例所述的第一种数据多方联合处理方法。

14、为达上述目的,本公开第四方面实施例提出了一种终端设备,该终端设备包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如以上第二方面实施例所述的第二种数据多方联合处理方法。

15、为达上述目的,本公开第五方面实施例提出了一种数据多方联合处理系统,该系统包括如根据本公开第三方面实施例的服务器和本公开第四方面实施例的终端设备,其中,k为大于等于2的整数。

16、本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。



技术特征:

1.一种数据多方联合处理方法,其特征在于,原始数据分布在k个数据拥有方中,k为大于等于2的整数,所述方法包括:

2.根据权利要求1所述的数据多方联合处理方法,其特征在于,所述加密密钥包括第一随机正交矩阵和第一随机种子,所述将所述加密密钥发送至至少一个所述数据拥有方之前,所述方法还包括:

3.根据权利要求2所述的数据多方联合处理方法,其特征在于,生成所述第一随机正交矩阵,包括:

4.根据权利要求2所述的数据多方联合处理方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的数据多方联合处理方法,其特征在于,通过下式对所述加密矩阵进行聚合处理:

6.根据权利要求5所述的数据多方联合处理方法,其特征在于,利用第一预设约束性最大似然估计算法与第二预设约束性最大似然估计算法根据所述关系矩阵估计方差,得到矩阵方差和残差方差,其中,在第一轮迭代中利用所述第一预设约束性最大似然估计算法,在其他轮迭代中利用所述第二预设约束性最大似然估计算法。

7.根据权利要求5所述的数据多方联合处理方法,其特征在于,通过下式得到所述第一中间矩阵和所述第一扰动矩阵:

8.根据权利要求7所述的数据多方联合处理方法,其特征在于,通过下式得到所述目标对角矩阵:

9.根据权利要求8所述的数据多方联合处理方法,其特征在于,所述分布检验值包括beta值和卡方值。

10.一种数据多方联合处理方法,其特征在于,原始数据分布在k个数据拥有方中,k为大于等于2的整数,所述方法包括以下步骤:

11.根据权利要求10所述的数据多方联合处理方法,其特征在于,所述方法还包括:

12.根据权利要求11所述的数据多方联合处理方法,其特征在于,所述加密密钥包括第一随机正交矩阵和第一随机种子,所述服务器还根据每个数据拥有方的原始数据数量,将所述第一随机正交矩阵切分成k个第一子矩阵,其中,所述接收服务器发送的加密密钥,包括:

13.根据权利要求12所述的数据多方联合处理方法,其特征在于,所述方法还包括:

14.一种服务器,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-9中任一项所述的数据多方联合处理方法。

15.一种终端设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求10-13中任一项所述的数据多方联合处理方法。

16.一种数据多方联合处理系统,其特征在于,所述系统包括:如权利要求14所述的服务器和k个如权利要求15所述的终端设备,其中,k为大于等于2的整数。


技术总结
本公开提出了一种数据多方联合处理方法、系统及服务器、终端设备。该方法包括:生成加密密钥;将加密密钥发送至数据拥有方,数据拥有方利用加密密钥对自身的原始数据进行加密,得到加密数据;接收数据拥有方发送的加密数据,并对加密数据进行聚合处理,得到关系矩阵;根据关系矩阵得到第一中间矩阵和第一扰动矩阵,数据拥有方根据第一扰动矩阵和自身的原始数据得到第二扰动矩阵;接收数据拥有方发送的第二扰动矩阵,并根据第二扰动矩阵得到目标对角矩阵,将目标对角矩阵发送至各数据拥有方,便数据拥有方根据目标对角矩阵和第一中间矩阵得到自身原始数据的分布检验值。由此,在保证数据隐私安全的前提下,实现跨机构共享、融合数据,完成混合线性模型的联合建模。

技术研发人员:杨梦,张楚文,李士森,陈世文
受保护的技术使用者:深圳华大智造科技股份有限公司
技术研发日:
技术公布日:2024/3/4
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1