技术特征：
1.一种基于分散训练的标签推理攻击的防御方法，其特征在于，包括以下步骤：步骤s1：初始化参与方的底层模型；其中，所述参与方包括有推理标签能力的恶意参与方a、诚实参与方b和诚实参与方c，所述恶意参与方a中的底层模型为第一模型，所述诚实参与方b中的底层模型为第二模型，所述诚实参与方c中的底层模型为影子模型，所述第一模型与所述影子模型结构相同；步骤s2：所述参与方根据各自的训练集和各自的参数进行梯度的前向传播、后向传播对底层模型进行训练，得到底层模型参数；其中，训练第一模型的训练集为第一训练集，训练第二模型的训练集为第二训练集，训练影子模型的训练集为第三训练集，所述第三训练集由所述第一训练集拆分得到；所述底层模型参数包括第一模型参数、第二模型参数和影子模型参数，所述第一模型参数是所述恶意参与方a基于第一训练集对所述第一模型训练得到，所述第二模型参数是所述诚实参与方b基于第二训练集对所述第二模型训练得到，所述影子模型参数是所述诚实参与方c基于第三训练集对所述影子模型训练得到；步骤s3：将所述第一模型根据所述第一模型参数产生的中间结果和所述影子模型根据所述影子模型参数产生的中间结果通过合并函数合并得到更新后的第一模型的中间结果，将更新后的第一模型的中间结果和所述第二模型根据所述第二模型参数产生的中间结果进行汇聚，得到底层模型的所有的输出结果；步骤s4：将底层模型的所有的输出结果作为服务器中的顶层模型的输入，并根据顶层模型参数进行梯度的前向传播、后向传播进行训练，得到训练后的顶层模型并且更新顶层模型的参数；步骤s5：利用训练后的顶层模型参数和顶层模型的标签进行损失函数的计算，根据得到的损失函数和顶层模型参数进行梯度求解，得到顶层模型的梯度，顶层模型将梯度下传给恶意参与方a和诚实参与方b；步骤s6：重复步骤s1-s5直至顶层模型和底层模型收敛。2.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤s1中所述影子模型和所述第一模型结构相同。3.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤s2中所述恶意参与方a采用局部优化器训练第一模型，所述诚实参与方b和所述诚实参与方c采用sgd训练各自的模型。4.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤s2中所述第三训练集由所述第一训练集拆分得到具体为：选择一个随机数α，所述随机数α为0-1，利用所述随机数α将第一训练集进行拆分，得到的作为新的第一训练集，得到的作为第三训练集。5.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤s2中底层模型为线性模型，其中的激活函数也为线性关系。6.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤s3中所述合并函数为mergeshare，所述第一模型根据所述第一模型参数产生的中间结果和所述影子模型根据所述影子模型参数产生的中间结果利用合并函数mergeshare进行加和得到更新后的第一模型的中间结果。
7.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤s3中将更新后的第一模型的中间结果和所述第二模型根据所述第二模型参数产生的中间结果采用函数concat进行汇聚得到底层模型的所有的输出结果。8.根据权利要求1所述的一种基于分散训练的标签推理攻击的防御方法，其特征在于，所述步骤s5中当顶层模型将梯度下传给恶意参与方a时，首先生成恶意参与方a的梯度，以秘密分享函数得到新的恶意参与方梯度和新的诚实参与方c梯度，然后将新的恶意参与方梯度下传给恶意参与方a，将新的诚实参与方c梯度下传给诚实参与方c。9.一种基于分散训练的标签推理攻击的防御装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-8中任一项所述的一种基于分散训练的标签推理攻击的防御方法。10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-8中任一项所述的一种基于分散训练的标签推理攻击的防御方法。
技术总结
本发明公开了一种基于分散训练的标签推理攻击的防御方法和装置，包括以下步骤：步骤S1：初始化参与方的底层模型；步骤S2：所述参与方根据各自的训练集和各自的参数进行训练得到底层模型参数；步骤S3：得到底层模型的所有的输出；步骤S4：更新顶层模型；步骤S5：利用训练后的顶层模型参数和顶层模型的标签进行损失函数的计算，得到顶层模型的梯度，顶层模型将梯度下传给恶意参与方A和诚实参与方B；步骤S6：重复步骤S1-S5直至顶层模型和底层模型收敛。本发明可以将纵向联邦学习的标签推理攻击的效果降低到随机猜测的程度，避免在联邦学习训练时标签信息的泄露，有效防御纵向联邦学习中的标签推理攻击。中的标签推理攻击。中的标签推理攻击。
技术研发人员：方黎明 王伊蕾 吕庆喆 李涛 逯兆博
受保护的技术使用者：杭州量安科技有限公司
技术研发日：2022.11.09
技术公布日：2023/1/19