纵向联邦学习系统优化方法、装置、设备及可读存储介质与流程

文档序号:20920647发布日期:2020-05-29 14:06阅读:来源:国知局

技术特征:

1.一种纵向联邦学习系统优化方法,其特征在于,应用于基于纵向联邦学习训练深度神经网络dnn的第一设备,所述第一设备拥有标签数据,所述dnn包括所述第一设备中的第一底层模型、交互层模型和上层模型,还包括参与纵向联邦学习的第二设备中的第二底层模型,所述方法包括以下步骤:

将所述第一设备中的第一训练数据输入所述第一底层模型得到第一底层输出;

与所述第二设备进行交互,获得所述交互层模型的交互层输出,其中,所述交互层模型用于拼接所述第一底层输出和第二底层输出,所述第二设备将第二训练数据输入所述第二底层模型得到所述第二底层输出;

将所述交互层输出输入所述上层模型,采用上层模型输出和所述标签数据计算最终误差,并后向传播所述最终误差以更新所述dnn中各层模型的模型参数,循环迭代直到满足预设停止条件时得到训练完成的目标dnn。

2.如权利要求1所述的纵向联邦学习系统优化方法,其特征在于,所述与所述第二设备进行交互,获得所述交互层模型的交互层输出的步骤包括:

采用所述第一底层输出和所述交互层模型中与所述第一设备对应的第一拼接参数计算得到第一拼接部分。

与所述第二设备基于加密和加噪声技术进行交互,获得所述第二设备对应的第二拼接部分;

采用所述交互层模型对所述第一拼接部分和第二拼接部分进行拼接,得到交互层输出。

3.如权利要求2所述的纵向联邦学习系统优化方法,其特征在于,所述与所述第二设备基于加密和加噪声技术进行交互,获得所述第二设备对应的第二拼接部分的步骤包括:

接收所述第二设备发送的第二加密底层输出,其中,所述第二设备采用预设加密算法对所述第二底层输出进行加密,得到所述第二加密底层输出;

采用所述第二加密底层输出,和所述交互层模型中与所述第二设备对应的带累积噪声的第二拼接参数,计算得到第二加密拼接部分;

对所述第二加密拼接部分进行加噪声操作,并将加噪声的第二加密拼接部分返回给所述第二设备,以供所述第二设备对所述加噪声的第二加密拼接部分进行解密,并对解密结果进行去除累积噪声操作得到第二带噪声拼接部分;

对从所述第二设备接收到的所述第二带噪声拼接部分进行去噪声操作,得到第二拼接部分。

4.如权利要求1至3任一项所述的纵向联邦学习系统优化方法,其特征在于,所述后向传播所述最终误差以更新所述dnn中各层模型的模型参数的步骤包括:

采用所述最终误差计算所述上层模型的模型参数对应的上层梯度,并根据所述上层梯度更新所述上层模型的模型参数;

根据所述最终误差计算得到交互层误差,并根据所述交互层误差和所述第一底层输出计算得到所述第一设备对应的第一拼接参数的第一梯度,以及根据所述交互层误差和所述第一拼接参数计算得到第一底层模型误差;

采用所述交互层误差和所述第一设备进行交互计算,得到所述第二设备对应的第二拼接参数的第二带噪声梯度和加密的第二底层模型误差;

采用所述第二带噪声梯度更新所述第二设备对应的带累积噪声的第二拼接参数,采用所述第一梯度更新所述第一拼接参数,以及根据所述第一底层模型误差更新所述第一底层模型的模型参数;

将所述加密的第二底层模型误差发送给所述第二设备,以供所述第二设备对加密的第二底层模型误差进行解密后,采用解密结果更新所述第二底层模型的模型参数。

5.如权利要求4所述的纵向联邦学习系统优化方法,其特征在于,所述采用所述交互层误差和所述第一设备进行交互计算,得到所述第二设备对应的第二拼接参数的第二带噪声梯度和加密的第二底层模型误差的步骤包括:

根据所述第二加密底层输出和所述交互层误差,计算得到所述第二设备对应的第二拼接参数的第二加密梯度;

对所述第二加密梯度进行加噪声操作得到加噪声的第二加密梯度并发送给所述第二设备,以供所述第二设备对所述加噪声的第二加密梯度进行解密后进行加噪声操作得到双重噪声的第二梯度,并将所述双重噪声的第二梯度和加密的累积噪声返回给所述第一设备;

根据所述交互层误差、所述加密的累积噪声和所述第二设备对应的带累积噪声的第二拼接参数计算得到加密的第二底层模型误差;

对所述双重噪声的第二梯度进行去噪声操作,得到第二带噪声梯度。

6.如权利要求1至5任一项所述的纵向联邦学习系统优化方法,其特征在于,所述将所述第一设备中的第一训练数据输入所述第一底层模型得到第一底层输出的步骤之前,还包括:

与所述第二设备进行样本对齐确定交集样本;

从样本数据集中获取所述交集样本对应的第一训练数据。

7.如权利要求1至5任一项所述的纵向联邦学习系统优化方法,其特征在于,所述目标dnn用于预测用户购买意向,所述循环迭代直到满足预设停止条件时得到训练完成的目标dnn的步骤之后,还包括:

将待预测用户的第一数据输入所述目标dnn的第一底层模型,得到第一底层预测输出;

与所述第二设备进行交互,获得所述目标dnn的交互层模型的交互层预测输出,其中,所述目标dnn的交互层模型用于拼接所述第一底层预测输出和第二底层预测输出,所述第二设备将所述待预测用户的第二数据输入所述目标dnn的第二底层模型得到所述第二底层预测输出;

将所述交互层预测输出输入所述目标dnn的上层模型,得到所述待预测用户的购买意向。

8.一种纵向联邦学习系统优化装置,其特征在于,部署于基于纵向联邦学习训练深度神经网络dnn的第一设备,所述第一设备拥有标签数据,所述dnn包括所述第一设备中的第一底层模型、交互层模型和上层模型,还包括参与纵向联邦学习的第二设备中的第二底层模型,所述方法包括以下步骤:

输入模块,用于将所述第一设备中的第一训练数据输入所述第一底层模型得到第一底层输出;

交互模块,用于与所述第二设备进行交互,获得所述交互层模型的交互层输出,其中,所述交互层模型用于拼接所述第一底层输出和第二底层输出,所述第二设备将第二训练数据输入所述第二底层模型得到所述第二底层输出;

训练模块,用于将所述交互层输出输入所述上层模型,采用上层模型输出和所述标签数据计算最终误差,并后向传播所述最终误差以更新所述dnn中各层模型的模型参数,循环迭代直到满足预设停止条件时得到训练完成的目标dnn。

9.一种纵向联邦学习系统优化设备,其特征在于,所述纵向联邦学习系统优化设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习系统优化程序,所述纵向联邦学习系统优化程序被所述处理器执行时实现如权利要求1至7中任一项所述的纵向联邦学习系统优化方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有纵向联邦学习系统优化程序,所述纵向联邦学习系统优化程序被处理器执行时实现如权利要求1至7中任一项所述的纵向联邦学习系统优化方法的步骤。


技术总结
本发明公开了一种纵向联邦学习系统优化方法、装置、设备及可读存储介质,所述方法包括:将第一设备中的第一训练数据输入第一底层模型得到第一底层输出;与第二设备进行交互,获得交互层模型的交互层输出,其中,交互层模型用于拼接第一底层输出和第二底层输出,第二设备将第二训练数据输入第二底层模型得到第二底层输出;将交互层输出输入上层模型,采用上层模型输出和标签数据计算最终误差,并后向传播最终误差以更新DNN中各层模型的模型参数,循环迭代直到满足预设停止条件时得到训练完成的目标DNN。本发明实现了使用纵向联邦学习双方的特征数据进行DNN训练。

技术研发人员:马国强;范涛;魏文斌;谭明超;郑会钿;陈天健;杨强
受保护的技术使用者:深圳前海微众银行股份有限公司
技术研发日:2019.12.30
技术公布日:2020.05.29
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1