基于联邦学习的数据共享系统、方法、介质及设备与流程

文档序号:26308001发布日期:2021-08-17 13:48阅读:来源:国知局

技术特征:

1.一种基于联邦学习的数据共享系统,其特征在于,包括:

数据平台:收集企业数据并整理为数据集,在联合运算过程中提供算力,对本地数据进行本地运算,根据训练定义对管辖的数据进行加密,并保存和维护训练完成的模型参数和模型文件;

联邦工作站:管理模型训练历史、多方协作记录和数据集增补修改历史;

联邦中心:发布各企业提供的数据集以及信息,接收和处理来自不同企业的联合运算请求,在联合运算过程中作为可信第三方参与运算。

2.根据权利要求1所述的基于联邦学习的数据共享系统,其特征在于,所述数据平台维护和披露数据集属性,包括统计信息和数据来源说明。

3.根据权利要求1所述的基于联邦学习的数据共享系统,其特征在于,所述联邦工作站抓取和监控多方训练过程中,企业之间互相通信、企业和联邦中心通信时发送的数据。

4.根据权利要求1所述的基于联邦学习的数据共享系统,其特征在于,所述联邦工作站对数据和模型的变更记录、训练记录,以及联合计算过程中的出口数据进行存证。

5.根据权利要求1所述的基于联邦学习的数据共享系统,其特征在于,所述联邦中心监控运算过程,提供训练监控面板。

6.一种基于联邦学习的数据共享方法,其特征在于,采用权利要求1-5中任一项所述的基于联邦学习的数据共享系统,包括如下步骤:

步骤1:企业之间通过联邦中心浏览和筛选对方披露的数据集,确定联合运算的算法后发起联合训练请求,在都接受训练请求后本地联邦工作站发起本地训练;

步骤2:联邦工作站从本地数据平台拉取训练数据进行本地计算后,根据联合训练的相关参数,采用不同的加密手段对生成的中间结果或最终结果进行加密;

步骤3:参与训练的企业进行通讯,汇总运算结果;

步骤4:对数据和训练信息进行区块链存证。

7.根据权利要求6所述的基于联邦学习的数据共享方法,其特征在于,所述训练信息包括:数据集更新信息、模型文件版本信息、训练历史和训练过程中发送出的加密数据。

8.根据权利要求6所述的基于联邦学习的数据共享方法,其特征在于,联邦中心作为可信第三方参与汇总运算,对汇总运算进行协助且不保存数据,在训练完成后,由参与各方分别持有相关参数或模型。

9.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求6至8中任一项所述的方法的步骤。

10.一种基于联邦学习的数据共享设备,其特征在于,包括:控制器;

所述控制器包括权利要求9所述的存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现权利要求6至8中任一项所述的基于联邦学习的数据共享方法的步骤;或者,所述控制器包括权利要求1至5中任一项所述的基于联邦学习的数据共享系统。


技术总结
本发明提供了一种基于联邦学习的数据共享系统、方法、介质及设备,包括:数据平台:收集企业数据并整理为数据集,在联合运算过程中提供算力,对本地数据进行本地运算,根据训练定义对管辖的数据进行加密,并保存和维护训练完成的模型参数和模型文件;联邦工作站:管理模型训练历史、多方协作记录和数据集增补修改历史;联邦中心:发布各企业提供的数据集以及信息,接收和处理来自不同企业的联合运算请求,在联合运算过程中作为可信第三方参与运算。本发明采用横向联邦学习技术,解决了数据不出本地完成多方协同运算的问题,在实现企业数据资产降本增效的同时,保证了企业数据安全。

技术研发人员:赵笑尘
受保护的技术使用者:上海万向区块链股份公司
技术研发日:2021.06.17
技术公布日:2021.08.17
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1