数据保护方法、网络结构训练方法、装置、介质及设备与流程

文档序号:26103361发布日期:2021-07-30 18:15阅读:来源:国知局

技术特征:

1.一种数据保护方法,其特征在于,所述方法包括:

获取联合训练模型的被动参与方的目标批次的参考样本的原始特征信息;

通过目标特征处理网络结构对所述原始特征信息进行处理,得到所述原始特征信息对应的目标特征信息;

其中,至少以最小化所述被动参与方的训练样本的原始训练特征信息与目标训练特征信息之间的耦合度为目标,对神经网络结构进行训练,以得到所述目标特征处理网络结构,所述目标训练特征信息为将所述原始训练特征信息作为所述神经网络结构的输入、得到的所述神经网络结构输出的与所述原始训练特征信息对应的特征信息。

2.根据权利要求1所述的方法,其特征在于,所述目标特征处理网络结构是通过如下方式训练得到的:

获取所述被动参与方的指定批次的训练样本的原始训练特征信息,以及所述神经网络结构对所述原始训练特征信息进行处理之后输出的目标训练特征信息;

获取所述神经网络结构的参数对应的目标梯度信息,其中,所述目标梯度信息是根据预设损失函数以及所述目标训练特征信息确定的,所述预设损失函数包括表征所述原始训练特征信息与所述目标训练特征信息之间的耦合度的损失函数;

根据所述目标梯度信息对所述神经网络结构的参数进行更新;

确定所述神经网络结构是否训练完成;

响应于所述神经网络结构训练完成,得到所述目标特征处理网络结构。

3.根据权利要求2所述的方法,其特征在于,所述目标梯度信息包括距离相关性梯度信息、对抗重建梯度信息、噪声正则化梯度信息中的至少一者,相应地,所述预设损失函数包括距离相关性损失函数、对抗重建损失函数、噪声正则化损失函数中的至少一者;

相应地,所述获取所述神经网络结构的参数对应的目标梯度信息,包括以下中的至少一者:

根据所述原始训练特征信息、所述目标训练特征信息、所述距离相关性损失函数,确定所述距离相关性梯度信息,其中,所述距离相关性损失函数为表征所述原始训练特征信息与所述目标训练特征信息之间的距离相关性的函数;

根据所述原始训练特征信息、第一预测特征信息、所述对抗重建损失函数,确定所述神经网络结构的参数对应的第一梯度信息,并将所述第一梯度信息经过梯度反转层处理之后的梯度信息确定为所述对抗重建梯度信息,其中,所述第一预测特征信息是根据所述目标训练特征信息进行重建得到的,所述对抗重建损失函数为表征所述第一预测特征信息与所述原始训练特征信息之间的距离的函数;

根据第二预测特征信息、噪声信息、所述噪声正则化损失函数,确定所述噪声正则化梯度信息,其中,所述第二预测特征信息是根据所述目标训练特征信息进行重建得到的,所述第一预测特征信息与所述第二预测特征信息相同或不同,所述噪声正则化损失函数为表征所述第二预测特征信息与所述噪声信息之间误差的函数。

4.根据权利要求3所述的方法,其特征在于,所述第一预测特征信息为将所述目标训练特征信息输入到特征重建网络结构中、得到的所述特征重建网络结构输出的特征信息;

在所述目标梯度信息包括所述对抗重建梯度信息,所述预设损失函数包括所述对抗重建损失函数的情况下,所述目标特征处理网络结构的训练过程还包括:

根据所述原始训练特征信息、第一预测特征信息、所述对抗重建损失函数,确定所述特征重建网络结构的参数对应的第二梯度信息;

将所述第二梯度信息回传至所述特征重建网络结构,以由所述特征重建网络结构根据所述第二梯度信息对所述特征重建网络结构的参数进行更新。

5.根据权利要求3所述的方法,其特征在于,所述目标梯度信息还包括交叉熵梯度信息,所述预设损失函数还包括交叉熵损失函数;

所述获取所述神经网络结构的参数对应的目标梯度信息,还包括:

将所述目标训练特征信息发送至所述联合训练模型的主动参与方,以使所述主动参与方根据所述目标训练特征信息进行标签数据预测,并根据标签数据预测结果和所述交叉熵损失函数确定所述交叉熵梯度信息,其中,所述交叉熵损失函数为表征所述标签数据预测结果与真实标签数据之间的交叉熵的函数;

接收所述主动参与方发送的所述交叉熵梯度信息。

6.根据权利要求5所述的方法,其特征在于,所述确定所述神经网络结构是否训练完成,包括:

在所述交叉熵损失函数的函数值以及目标函数值与对应权重的乘积之和最小的情况下,确定所述神经网络结构训练完成,其中,所述目标函数值包括所述距离相关性损失函数的函数值、所述对抗重建损失函数的函数值、所述噪声正则化损失函数的函数值中的至少一者。

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

将所述目标特征信息发送至所述联合训练模型的主动参与方,以使所述主动参与方根据所述目标特征信息确定所述联合训练模型的参数的梯度传递信息;

接收所述主动参与方发送的所述梯度传递信息,并根据所述梯度传递信息更新所述联合训练模型的参数。

8.一种特征处理网络结构训练方法,其特征在于,所述方法包括:

获取联合训练模型的被动参与方的指定批次的训练样本的原始训练特征信息,以及神经网络结构对所述原始训练特征信息进行处理之后输出的目标训练特征信息;

获取所述神经网络结构的参数对应的目标梯度信息,其中,所述目标梯度信息是根据预设损失函数以及所述目标训练特征信息确定的,所述预设损失函数包括表征所述原始训练特征信息与所述目标训练特征信息之间的耦合度的损失函数;

根据所述目标梯度信息对所述神经网络结构的参数进行更新,其中,至少以最小化所述原始训练特征信息与所述目标训练特征信息之间的耦合度为目标,对所述神经网络结构进行训练;

确定所述神经网络结构是否训练完成;

响应于所述神经网络结构训练完成,得到目标特征处理网络结构。

9.根据权利要求8所述的方法,其特征在于,所述目标梯度信息包括距离相关性梯度信息、对抗重建梯度信息、噪声正则化梯度信息中的至少一者,相应地,所述预设损失函数包括距离相关性损失函数、对抗重建损失函数、噪声正则化损失函数中的至少一者;

相应地,所述获取所述神经网络结构的参数对应的目标梯度信息,包括以下中的至少一者:

根据所述原始训练特征信息、所述目标训练特征信息、所述距离相关性损失函数,确定所述距离相关性梯度信息,其中,所述距离相关性损失函数为表征所述原始训练特征信息与所述目标训练特征信息之间的距离相关性的函数;

根据所述原始训练特征信息、第一预测特征信息、所述对抗重建损失函数,确定所述神经网络结构的参数对应的第一梯度信息,并将所述第一梯度信息经过梯度反转层处理之后的梯度信息确定为所述对抗重建梯度信息,其中,所述第一预测特征信息是根据所述目标训练特征信息进行重建得到的,所述对抗重建损失函数为表征所述第一预测特征信息与所述原始训练特征信息之间的距离的函数;

根据第二预测特征信息、噪声信息、所述噪声正则化损失函数,确定所述噪声正则化梯度信息,其中,所述第二预测特征信息是根据所述目标训练特征信息进行重建得到的,所述第一预测特征信息与所述第二预测特征信息相同或不同,所述噪声正则化损失函数为表征所述第二预测特征信息与所述噪声信息之间误差的函数。

10.根据权利要求9所述的方法,其特征在于,所述第一预测特征信息为将所述目标训练特征信息输入到特征重建网络结构中、得到的所述特征重建网络结构输出的特征信息;

在所述目标梯度信息包括所述对抗重建梯度信息,所述预设损失函数包括所述对抗重建损失函数的情况下,所述方法还包括:

根据所述原始训练特征信息、第一预测特征信息、所述距离相关性损失函数,确定所述特征重建网络结构的参数对应的第二梯度信息;

将所述第二梯度信息回传至所述特征重建网络结构,以由所述特征重建网络结构根据所述第二梯度信息对所述特征重建网络结构的参数进行更新。

11.根据权利要求9所述的方法,其特征在于,所述目标梯度信息还包括交叉熵梯度信息,所述预设损失函数还包括交叉熵损失函数;

所述获取所述神经网络结构的参数对应的目标梯度信息,还包括:

将所述目标训练特征信息发送至所述联合训练模型的主动参与方,以使所述主动参与方根据所述目标训练特征信息进行标签数据预测,并根据标签数据预测结果和所述交叉熵损失函数确定所述交叉熵梯度信息,其中,所述交叉熵损失函数为表征所述标签数据预测结果与真实标签数据之间的交叉熵的函数;

接收所述主动参与方发送的所述交叉熵梯度信息。

12.根据权利要求11所述的方法,其特征在于,所述确定所述神经网络结构是否训练完成,包括:

在所述交叉熵损失函数的函数值以及目标函数值与对应权重的乘积之和最小的情况下,确定所述神经网络结构训练完成,其中,所述目标函数值包括所述距离相关性损失函数的函数值、所述对抗重建损失函数的函数值、所述噪声正则化损失函数的函数值中至少一者。

13.一种数据保护装置,其特征在于,所述装置包括:

原始特征信息获取模块,用于获取联合训练模型的被动参与方的目标批次的参考样本的原始特征信息;

目标特征信息确定模块,用于通过目标特征处理网络结构对所述原始特征信息进行处理,得到所述原始特征信息对应的目标特征信息;

其中,至少以最小化所述被动参与方的训练样本的原始训练特征信息与目标训练特征信息之间的耦合度为目标,对神经网络结构进行训练,以得到所述目标特征处理网络结构,所述目标训练特征信息为将所述原始训练特征信息作为所述神经网络结构的输入、得到的所述神经网络结构输出的与所述原始训练特征信息对应的特征信息。

14.一种特征处理网络结构训练装置,其特征在于,所述装置包括:

训练特征信息获取模块,用于获取联合训练模型的被动参与方的指定批次的训练样本的原始训练特征信息,以及神经网络结构对所述原始训练特征信息进行处理之后输出的目标训练特征信息;

目标梯度信息获取模块,用于获取所述神经网络结构的参数对应的目标梯度信息,其中,所述目标梯度信息是根据预设损失函数以及所述目标训练特征信息确定的,所述预设损失函数包括表征所述原始训练特征信息与所述目标训练特征信息之间的耦合度的损失函数;

参数更新模块,用于根据所述目标梯度信息对所述神经网络结构的参数进行更新,其中,至少以最小化所述原始训练特征信息与所述目标训练特征信息之间的耦合度为目标,对所述神经网络结构进行训练;

判断模块,用于确定所述神经网络结构是否训练完成;

网络结构获得模块,用于响应于所述神经网络结构训练完成,得到所述目标特征处理网络结构。

15.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤,或者,该程序被处理装置执行时实现权利要求8-12中任一项所述方法的步骤。

16.一种电子设备,其特征在于,包括:

存储装置,其上存储有计算机程序;

处理装置,用于执行所述存储装置中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤,或者实现权利要求8-12中任一项所述方法的步骤。


技术总结
本公开涉及一种数据保护方法、网络结构训练方法、装置、介质及设备,该数据保护方法包括:获取联合训练模型的被动参与方的目标批次的参考样本的原始特征信息;通过目标特征处理网络结构对原始特征信息进行处理,得到原始特征信息对应的目标特征信息;其中,至少以最小化被动参与方的训练样本的原始训练特征信息与目标训练特征信息之间的耦合度为目标,对神经网络结构进行训练,以得到目标特征处理网络结构,目标训练特征信息为将原始训练特征信息作为神经网络结构的输入、得到的神经网络结构输出的与原始训练特征信息对应的特征信息。通过上述方案,降低被动参与方的原始数据发生泄露的风险,实现对被动参与方的原始数据的保护,提高数据安全性。

技术研发人员:孙建凯;高伟豪;解浚源;王崇
受保护的技术使用者:脸萌有限公司
技术研发日:2021.05.28
技术公布日:2021.07.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1