纵向联邦学习优化方法、装置、设备及存储介质与流程

文档序号:20030694发布日期:2020-02-28 10:21阅读:来源:国知局

技术特征:

1.一种纵向联邦学习优化方法,其特征在于,所述纵向联邦学习优化方法包括如下步骤:

副参与者获取主参与者发送的具有线性回归值的加密数值集合,并根据所述加密数值集合计算副加密数据;

将所述副加密数据发送至协调者,其中,所述协调者用于响应于纵向联邦模型未收敛,根据所述副加密数据更新所述协调者中的二阶导数矩阵,并根据更新后的二阶导数矩阵计算目标副梯度值;

接收所述协调者基于所述副加密数据发送的目标副梯度值,基于所述目标副梯度值更新所述副参与者中的本地模型参数,并继续执行所述副参与者获取主参与者发送的具有线性回归值的加密数值集合的步骤,直至所述协调者对应的纵向联邦模型收敛。

2.如权利要求1所述的纵向联邦学习优化方法,其特征在于,所述副参与者获取主参与者发送的具有线性回归值的加密数值集合的步骤,包括:

检测纵向联邦模型是否满足预设判定条件;

若满足,则副参与者获取所述主参与者发送的主加密数值和新加密数值,并将所述主加密数值和所述新加密数值作为所述主参与者发送的具有线性回归值的加密数值集合。

3.如权利要求1所述的纵向联邦学习优化方法,其特征在于,所述根据所述加密数值集合计算副加密数据的步骤,包括:

确定所述副参与者对应的当前迭代次数是否满足预设次数条件,

若满足,则根据所述加密数值集合计算中间结果值,并通过所述中间结果值计算副加密数据。

4.如权利要求3所述的纵向联邦学习优化方法,其特征在于,所述根据所述加密数值集合计算中间结果值,并通过所述中间结果值计算副加密数据的步骤,包括:

基于所述加密数值集合获取所述副参与者中本地模型参数的当前平均值,并获取所述当前平均值之前预设步数间隔的历史平均值;

计算所述当前平均值和所述历史平均值之间的差值,并根据所述差值计算中间结果值,通过所述中间结果值计算副加密数据。

5.如权利要求1所述的纵向联邦学习优化方法,其特征在于,所述接收所述协调者基于所述副加密数据发送的目标副梯度值的步骤,包括:

接收所述协调者基于所述副加密数据发送的目标副梯度值,其中,所述目标副梯度值由所述协调者根据目标数据更新的二阶导数矩阵获取的,所述目标数据为响应于纵向逻辑回归模型未收敛,且满足预设判定条件,将所述主加密数据和所述副参与者发送的副加密数据进行解密合并得到的。

6.如权利要求1所述的纵向联邦学习优化方法,其特征在于,所述接收所述协调者反馈的目标副梯度值的步骤,包括:

接收所述协调者反馈的目标副梯度值,其中,所述目标副梯度值由所述协调者对第一目标乘积进行拆分得到的,所述第一目标乘积为根据响应于所述纵向逻辑回归模型满足所述预设判定条件而更新的二阶导数矩阵、所述主参与者发送的主梯度值和所述副参与者发送的副梯度值合并的长向量,和预设步长之间的乘积。

7.如权利要求1所述的纵向联邦学习优化方法,其特征在于,所述接收所述协调者反馈的目标副梯度值的步骤,包括:

接收所述协调者反馈的目标副梯度值,其中,所述目标副梯度值为第二目标乘积,所述第二目标乘积为所述协调者响应于纵向逻辑回归模型未收敛,且不满足预设判定条件,计算的所述主参与者发送的主梯度值和预设的步长之间的乘积。

8.一种纵向联邦学习优化方法,其特征在于,所述纵向联邦学习优化方法包括如下步骤:

接收主参与者发送的主加密数据和副参与者发送的副加密数据,其中,所述副加密数据为根据所述副参与者中的中间结果值计算的,所述中间结果值为所述副参与者根据所述主参与者发送加密数值集合计算的,所述加密数值集合包括主加密数值和新加密数值;

响应于纵向逻辑回归模型未收敛,根据所述主加密数据和所述副加密数据更新二阶导数矩阵,并根据所述更新后的二阶导数矩阵计算目标副梯度值;

将所述目标副梯度值发送给所述副参与者,所述副参与者用于基于所述目标副梯度值更新所述副参与者中的本地模型参数,并继续执行所述副参与者获取主参与者发送的具有线性回归值的加密数值集合的步骤,直至所述协调者对应的纵向联邦模型收敛。

9.如权利要求8所述的纵向联邦学习优化方法,其特征在于,所述根据所述主加密数据和所述副加密数据更新二阶导数矩阵的步骤,包括:

判断所述纵向逻辑回归模型是否满足所述预设判定条件;

若满足,则将所述主加密数据和所述副加密数据进行解密合并,以获取目标数据;

将所述目标数据存储至预设长度的队列中,以获取目标队列,并通过所述目标队列对二阶导数矩阵进行更新。

10.如权利要求8所述纵向联邦学习优化方法,其特征在于,所述判断所述纵向逻辑回归模型是否满足所述预设判定条件的步骤之后,包括:

若不满足,则所述协调者获取所述副参与者发送的副梯度值和预设的步长之间的第一乘积,并将所述第一乘积作为目标副梯度值发送至所述副参与者。

11.一种纵向联邦学习优化装置,其特征在于,所述纵向联邦学习优化装置包括:

获取模块,用于副参与者获取主参与者发送的具有线性回归值的加密数值集合,并根据所述加密数值集合计算副加密数据;

发送模块,用于将所述副加密数据发送至协调者,其中,所述协调者用于响应于纵向联邦模型未收敛,根据所述副加密数据更新所述协调者中的二阶导数矩阵,并根据更新后的二阶导数矩阵计算目标副梯度值;

第一接收模块,用于接收所述协调者基于所述副加密数据发送的目标副梯度值,基于所述目标副梯度值更新所述副参与者中的本地模型参数,并继续执行副参与者获取主参与者发送的具有线性回归值的加密数值集合的步骤,直至所述协调者对应的纵向联邦模型收敛。

12.一种纵向联邦学习优化装置,其特征在于,所述纵向联邦学习优化装置还包括:

第二接收模块,用于接收主参与者发送的主加密数据和副参与者发送的副加密数据,其中,所述副加密数据为根据所述副参与者中的中间结果值计算的,所述中间结果值为所述副参与者根据所述主参与者发送加密数值集合计算的,所述加密数值集合包括主加密数值和新加密数值;

更新模块,用于响应于纵向逻辑回归模型未收敛,根据所述主加密数据和所述副加密数据更新二阶导数矩阵,并根据所述更新后的二阶导数矩阵计算目标副梯度值;

收敛模块,用于将所述目标副梯度值发送给所述副参与者,所述副参与者用于基于所述目标副梯度值更新所述副参与者中的本地模型参数,并继续执行所述副参与者获取主参与者发送的具有线性回归值的加密数值集合的步骤,直至所述协调者对应的纵向联邦模型收敛。

13.一种纵向联邦学习优化设备,其特征在于,所述纵向联邦学习优化设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习优化程序,所述纵向联邦学习优化程序被所述处理器执行时实现如权利要求1至10中任一项所述的纵向联邦学习优化方法的步骤。

14.一种存储介质,其特征在于,所述存储介质上存储有纵向联邦学习优化程序,所述纵向联邦学习优化程序被处理器执行时实现如权利要求1至10中任一项所述的纵向联邦学习优化方法的步骤。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1