一种可重参数化模型隐私训练方法、装置、设备及介质与流程

本发明实施例涉及计算机科学和数据隐私，尤其涉及一种可重参数化模型隐私训练方法、装置、设备及介质。

背景技术：

1、随着人工智能深度学习技术的发展，绝大多数企业对数据的需求都在不断增加，个人隐私和数据安全问题日益凸显。同时，国内外监管环境也在出台相关政策加强数据保护，如国内的《数据安全管理办法》、欧盟的《一般数据保护法案》(general dataprotection regulation，gdpr)等。企业在运营数据和开展生产项目时，必须遵守法律法规，通过技术方案消除隐私数据泄漏的风险。

2、在现有技术中，通常采用神经网络模型、不经意传输(oblivious transfer，ot)和/或加密布尔电路解决隐私计算的问题，但在计算过程中存在复杂度高的问题，进而无法在确保隐私数据安全的同时，实现对模型的训练。另外，为避免隐私数据的泄露，还采用联邦学习方法，但对于来自不同域且存在差异的数据，模型的性能较差，无法保证模型的预测性能。

技术实现思路

1、本发明提供了一种可重参数化模型隐私训练方法、装置、设备及介质，在保护数据隐私的同时，实现对模型的训练。

2、第一方面，本发明实施例提供了一种可重参数化模型隐私训练方法，应用于模型训练参与节点，该方法包括：

3、获取重参数化后的基准模型的模型权重参数；基准模型基于从各模型训练参与节点的隐私样本数据集中选取的目标隐私样本数据集，对预设可重参数化结构模型进行模型训练得到；

4、获取公有样本数据集，并根据自身隐私样本数据集的正例样本，对公有样本数据集进行样本筛选，得到目标公有数据集；

5、基于重参数化后的基准模型的模型权重参数，构建参考可重参数化模型；

6、根据自身隐私样本数据集和目标公有数据集，基于重参数化后的基准模型的模型权重参数，对参考可重参数化模型进行模型训练，得到目标可重参数化模型。

7、第二方面，本发明实施例还提供了一种可重参数化模型隐私训练装置，应用于模型训练参与节点，该装置包括：

8、权重参数获取模块，用于获取重参数化后的基准模型的模型权重参数；基准模型基于从各模型训练参与节点的隐私样本数据集中选取的目标隐私样本数据集，对预设可重参数化结构模型进行模型训练得到；

9、公有数据集获取模块，用于获取公有样本数据集，并根据自身隐私样本数据集的正例样本，对公有样本数据集进行样本筛选，得到目标公有数据集；

10、可重参数化模型构建模块，用于基于重参数化后的基准模型的模型权重参数，构建参考可重参数化模型；

11、目标模型得到模块，用于根据自身隐私样本数据集和目标公有数据集，基于重参数化后的基准模型的模型权重参数，对参考可重参数化模型进行模型训练，得到目标可重参数化模型。

12、第三方面，本发明实施例还提供了一种电子设备，包括：

13、至少一个处理器；以及

14、与至少一个处理器通信连接的存储器；其中，

15、存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的一种可重参数化模型隐私训练方法。

16、第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时，使得计算机处理器能够执行本发明实施例提供的任意一种可重参数化模型隐私训练方法。

17、本发明实施例应用于模型训练参与节点，通过获取重参数化后的基准模型的模型权重参数；基准模型基于从各模型训练参与节点的隐私样本数据集中选取的目标隐私样本数据集，对预设可重参数化结构模型进行模型训练得到；获取公有样本数据集，并根据自身隐私样本数据集的正例样本，对公有样本数据集进行样本筛选，得到目标公有数据集；基于重参数化后的基准模型的模型权重参数，构建参考可重参数化模型；根据自身隐私样本数据集和目标公有数据集，基于重参数化后的基准模型的模型权重参数，对参考可重参数化模型进行模型训练，得到目标可重参数化模型。本发明实施例提供的技术方案，基于包含隐私数据的模型权重参数进行模型训练得到目标可重参数化模型，进而在保护数据隐私的同时，实现对模型的训练。

18、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种可重参数化模型隐私训练方法，其特征在于，应用于模型训练参与节点，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据自身隐私样本数据集的正例样本，对所述公有样本数据集进行样本筛选，得到目标公有数据集，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据各所述目标类别的特征簇心向量，对所述公有样本数据集进行样本筛选，得到各所述目标类别分别对应的类别样本数据集，包括：

4.根据权利要求1所述的方法，其特征在于，所述基于所述重参数化后的基准模型的模型权重参数，构建参考可重参数化模型，包括：

5.根据权利要求1所述的方法，其特征在于，所述预设空模型包括旁路分支结构，相应的，所述参考可重参数化模型包括旁路分支结构；

6.根据权利要求1所述的方法，其特征在于，所述根据所述模型输出结果和所述重参数化后的基准模型的模型权重参数，确定第二损失值，包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

8.一种可重参数化模型隐私训练装置，其特征在于，应用于模型训练参与节点，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种可重参数化模型隐私训练方法。

技术总结
本发明实施例公开了一种可重参数化模型隐私训练方法、装置、设备及介质，应用于模型训练参与节点，包括：获取重参数化后的基准模型的模型权重参数；基准模型从各模型训练参与节点的隐私样本数据集中选取的目标隐私样本数据集，对预设可重参数化结构模型进行训练得到；获取公有样本数据集，并根据自身隐私样本数据集的正例样本，对公有样本数据集进行样本筛选，得到目标公有数据集；基于重参数化后的基准模型的模型权重参数，构建参考可重参数化模型；根据自身隐私样本数据集和目标公有数据集，基于重参数化后的基准模型的模型权重参数，对参考可重参数化模型进行训练，得到目标可重参数化模型。本发明在保护数据隐私的同时，实现对模型的训练。

技术研发人员：李睿,高毅鹏
受保护的技术使用者：深圳市锐明技术股份有限公司
技术研发日：
技术公布日：2024/5/8