纵向联邦学习系统优化方法、装置、设备及可读存储介质与流程

文档序号:19572574发布日期:2019-12-31 19:06阅读:来源:国知局

技术特征:

1.一种纵向联邦学习系统优化方法,其特征在于,所述纵向联邦学习系统优化方法应用于第一设备,所述第一设备与第二设备通信连接,所述纵向联邦学习系统优化方法包括以下步骤:

与所述第二设备进行样本对齐得到所述第一设备的第一样本数据,其中,所述第一样本数据与第二样本数据的数据特征不同,所述第二样本数据由所述第二设备与所述第一设备进行样本对齐得到;

采用所述第一样本数据与所述第二设备协作训练得到插补模型,其中,所述插补模型用于输入属于所述第一设备对应数据特征的数据、输出属于所述第二设备对应数据特征的数据。

2.如权利要求1所述的纵向联邦学习系统优化方法,其特征在于,所述采用所述第一样本数据与所述第二设备协作训练得到插补模型的步骤包括:

将所述第一样本数据输入所述第一设备中预置的第一部分模型得到第一输出;

将所述第一输出发送给所述第二设备,以供所述第二设备根据所述第一输出得到预置第二部分模型的第二输出,并根据所述第二样本数据和所述第二输出计算第一损失函数和第一梯度信息,根据所述第一梯度信息中与所述第二部分模型相关的梯度信息更新所述第二部分模型的参数;

根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关的梯度信息更新所述第一部分模型的参数,迭代训练直到检测到满足预设停止条件时,接收所述第二设备发送的所述第二部分模型;

将所述第一部分模型和所述第二部分模型组合得到所述插补模型。

3.如权利要求2所述的纵向联邦学习系统优化方法,其特征在于,所述将所述第一部分模型和所述第二部分模型组合得到所述插补模型的步骤之后,还包括:

将属于所述第一设备对应数据特征的本地样本数据输入所述插补模型,得到属于所述第二设备对应数据特征的预测样本数据;

采用所述本地样本数据和所述预测样本数据,对预置待训练机器学习模型进行本地训练得到目标机器学习模型。

4.如权利要求2所述的纵向联邦学习系统优化方法,其特征在于,所述第一设备中包括第一可信执行环境tee模块,所述第二设备中包括第二tee模块,

所述将所述第一输出发送给所述第二设备,以供所述第二设备根据所述第一输出得到预置第二部分模型的第二输出,根据所述第二样本数据和所述第二输出计算第一损失函数和第一梯度信息,根据所述第一梯度信息中与所述第二部分模型相关的梯度信息更新所述第二部分模型的参数包括:

对所述第一输出进行加密得到第一加密输出;

将所述第一加密输出发送给所述第二设备,以供所述第二设备在所述第二tee模块中对所述第一加密输出进行解密得到所述第一输出,根据所述第一输出得到预置第二部分模型的第二输出,并根据所述第二样本数据和所述第二输出计算第一损失函数和第一梯度信息,根据所述第一梯度信息中与所述第二部分模型相关的梯度信息更新所述第二部分模型的参数,对所述第一梯度信息中与所述第一部分模型相关的梯度信息进行加密得到加密梯度信息;

所述根据从所述第二设备接收的所述第一梯度信息中与所述第一部分模型相关的梯度信息更新所述第一部分模型的参数的步骤包括:

接收所述第二设备发送的所述加密梯度信息,并在所述第一tee模块中对所述加密梯度信息进行解密得到所述第一梯度信息中与所述第一部分模型相关的梯度信息,根据所述第一部分模型相关的梯度信息更新所述第一部分模型的参数。

5.如权利要求2所述的纵向联邦学习系统优化方法,其特征在于,所述将所述第一输出发送给所述第二设备的步骤之后,还包括:

接收所述第二设备发送的所述第二输出和所述第一损失函数;

将所述第一样本数据和所述第二输出输入预置待训练机器学习模型,得到预测标签数据;

根据所述预测标签数据和预存的本地实际标签数据,计算所述待训练机器学习模型的第二损失函数和第二梯度信息;

所述迭代训练直到检测到满足预设停止条件时,接收所述第二设备发送的所述第二部分模型的步骤包括:

根据所述第二梯度信息更新所述待训练机器学习模型的参数,迭代训练以最小化融合损失函数,直到检测到满足预设停止条件时得到目标机器学习模型,并接收所述第二设备发送的所述第二部分模型,其中,所述第一设备融合所述第一损失函数和所述第二损失函数得到所述融合损失函数。

6.如权利要求1所述的纵向联邦学习系统优化方法,其特征在于,所述第一设备中包括tee模块,所述采用所述第一样本数据与所述第二设备协作训练得到插补模型的步骤包括:

接收所述第二设备发送的第二加密样本数据,其中,所述第二设备对所述第二样本数据进行加密得到所述第二加密样本数据;

在所述tee模块中对所述第二加密样本数据进行解密得到所述第二样本数据,并根据所述第一样本数据和所述第二样本数据对待训练插补模型进行训练得到插补模型。

7.如权利要求3所述的纵向联邦学习系统优化方法,其特征在于,所述目标机器学习模型用于预测用户的购买意向,所述采用所述本地样本数据和所述预测样本数据对预置待训练机器学习模型进行本地训练得到目标机器学习模型的步骤之后,还包括:

将目标用户的第一数据输入所述插补模型得到第二数据,其中,所述第一数据的数据特征包括用户身份特征,所述第二数据的数据特征包括用户购买特征;

将所述第一数据和所述第二数据输入所述目标机器学习模型,得到所述目标用户的购买意向。

8.一种纵向联邦学习系统优化装置,所述纵向联邦学习系统优化装置部署于第一设备,所述第一设备与第二设备通信连接,其特征在于,所述纵向联邦学习系统优化装置包括:

对齐模块,用于与所述第二设备进行样本对齐得到所述第一设备的第一样本数据,其中,所述第一样本数据与第二样本数据的数据特征不同,所述第二样本数据由所述第二设备与所述第一设备进行样本对齐得到;

训练模块,用于采用所述第一样本数据与所述第二设备协作训练得到插补模型,其中,所述插补模型用于输入属于所述第一设备对应数据特征的数据、输出属于所述第二设备对应数据特征的预测数据。

9.一种纵向联邦学习系统优化设备,其特征在于,所述纵向联邦学习系统优化设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的纵向联邦学习系统优化程序,所述纵向联邦学习系统优化程序被所述处理器执行时实现如权利要求1至7中任一项所述的纵向联邦学习系统优化方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有纵向联邦学习系统优化程序,所述纵向联邦学习系统优化程序被处理器执行时实现如权利要求1至7中任一项所述的纵向联邦学习系统优化方法的步骤。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1