协作式的模型训练方法及装置

文档序号:27034298发布日期:2021-10-24 06:11阅读:来源:国知局

技术特征:
1.协作式的模型训练方法,其特征在于,包括:从多个客户端对应的客户端集中选取出共享数据集;根据所述共享数据集和预设分数参与联邦学习训练,得到分类模型参数;将所述分类模型参数广播至所述多个客户端;获取所述多个客户端返回的更新模型参数;根据所述更新模型参数进行聚合,得到多个全局二元分类模型;将所述多个全局二元分类模型集成为全局多分类模型。2.根据权利要求1所述的方法,其特征在于,所述从多个客户端对应的客户端集中选取出共享数据集,包括:获取所述多个客户端对应的客户标签;根据所述客户标签从多个所述客户端集中选取出所述共享数据集。3.根据权利要求1所述的方法,其特征在于,所述根据所述更新模型参数进行聚合,得到多个全局二元分类模型,包括:获取所述更新模型参数对应的更新二元分类模型;根据所述更新二元分类模型对所述更新模型参数进行分组,得到多个待聚合分类组;分别提取每个所述待聚合分类组的待聚合参数;根据所述待聚合参数和所述更新二元分类模型进行聚合,得到所述多个全局二元分类模型。4.协作式的模型训练方法,其特征在于,包括:获取服务器广播的分类模型参数;获取多个本地二元分类模型对应的本地数据标签;根据所述本地数据标签初始化多个所述本地二元分类模型;根据本地数据集优化初始化后的多个所述本地二元分类模型,得到多个更新模型参数和多个更新二元分类模型;将所述更新模型参数发回至所述服务器。5.根据权利要求4所述的方法,其特征在于,所述根据本地数据集优化初始化后的多个所述本地二元分类模型,得到多个更新模型参数,包括:获取所述本地二元分类模型对应的目标函数;根据所述本地数据集、所述目标函数执行随机梯度下降,优化所述本地二元分类模型,得到所述更新模型参数。6.协作式的模型训练方法,用于服务器和客户端,所述服务器与所述客户端通信连接,其特征在于,所述方法包括:所述服务器执行如权利要求1至3任一项所述的协作式的模型训练方法,所述客户端执行如权利要求4至5任一项所述的协作式的模型训练方法。7.协作式的模型训练装置,其特征在于,包括:选取模块,用于从多个客户端对应的客户端集中选取出共享数据集;训练模块,用于根据所述共享数据集和预设分数参与联邦学习训练,得到分类模型参数;广播模块,用于将所述分类模型参数广播至所述多个客户端;
第一获取模块,用于获取所述多个客户端返回的更新模型参数;聚合模块,用于根据所述更新模型参数进行聚合,得到多个全局二元分类模型;集成模块,用于将所述多个全局二元分类模型集成为全局多分类模型。8.协作式的模型训练装置,其特征在于,包括:第二获取模块,用于获取服务器广播的分类模型参数;第三获取模块,用于获取多个本地二元分类模型对应的本地数据标签;初始化模块,用于根据所述本地数据标签初始化多个所述本地二元分类模型;优化模块,用于根据本地数据集优化初始化后的多个所述本地二元分类模型,得到多个更新模型参数和多个更新二元分类模型;返回模块,用于将所述更新模型参数发回至所述服务器。

技术总结
本发明公开了一种协作式的模型训练方法及装置,涉及深度学习技术领域,其中协作式的模型训练方法包括:从多个客户端对应的客户端集中选取出共享数据集;根据共享数据集和预设分数参与联邦学习训练,得到分类模型参数;将分类模型参数广播至多个客户端;获取多个客户端返回的更新模型参数;根据更新模型参数进行聚合,得到多个全局二元分类模型;将多个全局二元分类模型集成为全局多分类模型。上述协作式的模型训练方法,能够提高联邦学习框架的性能、准确性和收敛速度,不需要共享任何数据、不需要基于特定模型,并提供完整的隐私保护,精度波动更小,从而减少了数据对模型收敛的负面影响,适用于大规模用户场景。适用于大规模用户场景。适用于大规模用户场景。


技术研发人员:余剑峤 朱元绍 刘毅
受保护的技术使用者:南方科技大学
技术研发日:2021.06.28
技术公布日:2021/10/23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1