一种联邦学习用户索引方法及系统与流程

文档序号:36408584发布日期:2023-12-16 17:36阅读:31来源:国知局
一种联邦学习用户索引方法及系统与流程

本发明涉及联邦学习,尤其涉及一种联邦学习用户索引方法及系统。


背景技术:

1、随着数字化进程加快,产生了大量数据,经过大量数据训练出来的机器学习模型已经应用在各类场景中,例如人像识别、图片、语音、自然语言等多模态学习,联邦学习能够在保障数据不出客户端的情况下,兼顾分布式计算和联合计算的优势,用户只需在本地训练,数据体量不增加,算力成本压力小,然而,与不需要加密的分布式机器学习相比,联邦学习较为安全但是性能较低,虽在学习过程中联邦各方默认是可信的,但还是难以防范有恶意客户端的参与,恶意客户端会引入虚假数据或者有害数据,易使训练出的模型精度不够或者出现错误,进而导致学习交互效率降低。


技术实现思路

1、本发明的目的在于提供一种联邦学习用户索引方法及系统,旨在解决由于现有技术中不易防止虚假数据或者有害数据引入,易使模型训练精度不够或者出错,进而导致学习交互效率降低的问题。

2、一方面,本发明提供了一种联邦学习用户索引方法,所述方法包括下述步骤:

3、获取每个用户历史参与联邦学习的本地节点,确认每个所述本地节点的响应度,将每个所述本地节点按照其对应的响应度大小排列区分;

4、对每个所述本地节点进行模型检测以获取用户画像信息,并根据每个所述本地节点的响应度和其对应的用户画像信息计算得到用户索引值;

5、提取所述用户索引值的特征参数,基于所述特征参数生成特征标签,通过所述特征标签确认用户索引值是否满足预设索引值条件:若满足,则索引所述用户参与联邦学习。

6、优选的,所述获取每个用户历史参与联邦学习的本地节点,包括:

7、获取每个所述用户的id值,根据每个所述id值获取每个本地节点的元素信息。

8、优选的,所述确认每个所述本地节点的响应度,包括:

9、根据每个所述元素信息获取每个用户在其对应的本地节点中下载模型、计算模型参数以及上传模型参数的时间戳信息,并根据所述时间戳信息计算得到用户参与联邦学习的响应度。

10、优选的,所述将每个所述本地节点按照其对应的响应度大小排列区分,包括:

11、将每个所述用户按照其对应的响应度从大到小排列,确认所述响应度高于预设响应阈值的用户作为优先用户索引目标。

12、优选的,所述对每个所述本地节点进行模型检测以获取用户画像信息,包括:

13、遍历从服务器中下载过训练模型的用户,确认所述用户基于训练模型上传的模型参数;

14、对上传的所述模型参数进行评估,收集对应所述用户的反馈信息并生成用户画像信息。

15、优选的,所述对上传的所述模型参数进行评估,包括:

16、由每个所述用户对训练模型进行评分,根据评分结果计算每个所述用户上传的模型参数的价值度,若所述价值度低于预设价值度,则剔除相应所述用户的模型参数重新进行训练,并对相应所述用户的用户索引值进行修改。

17、优选的,所述收集对应所述用户的反馈信息并生成用户画像信息,包括:

18、将所述评分结果下发至每个用户,由每个所述用户根据评分结果进行用户反馈,并根据反馈信息生成用户画像信息。

19、优选的,所述提取所述用户索引值的特征参数,基于所述特征参数生成特征标签,包括:

20、获取每个所述用户参与联邦学习的学习日志,从所述学习日志中提取与用户索引值对应的特征参数,生成携带有特征参数的特征标签;

21、将所述用户索引值和特征标签进行同态加密并上传至服务器。

22、优选的,所述通过所述特征标签确认用户索引值是否满足预设索引值条件:若满足,则索引所述用户参与联邦学习,包括:

23、所述服务器接收并解码用户索引值和特征标签,将所述特征标签与预设索引值条件进行比对,若所述特征标签满足预设索引值条件,则调取与所述特征标签对应的用户索引值进行用户索引。

24、另一方面,本发明还提供了一种联邦学习用户索引系统,采用上述任一项所述的联邦学习用户索引方法。

25、本发明的有益效果在于:区别于现有技术,本发明的联邦学习用户索引方法通过获取每个用户历史参与联邦学习的本地节点,确认每个所述本地节点的响应度,将每个所述本地节点按照其对应的响应度大小排列区分;对每个所述本地节点进行模型检测以获取用户画像信息,并根据每个所述本地节点的响应度和其对应的用户画像信息计算得到用户索引值;提取所述用户索引值的特征参数,基于所述特征参数生成特征标签,通过所述特征标签确认用户索引值是否满足预设索引值条件:若满足,则索引所述用户参与联邦学习,有助于防止虚假模型参数或错误模型参数的引入,为参与联邦学习的各方用户匹配具有实际价值度的用户,提高学习交互的效率。



技术特征:

1.一种联邦学习用户索引方法,其特征在于,所述方法包括下述步骤:

2.如权利要求1所述的联邦学习用户索引方法,其特征在于,所述获取每个用户历史参与联邦学习的本地节点,包括:

3.如权利要求2所述的联邦学习用户索引方法,其特征在于,所述确认每个所述本地节点的响应度,包括:

4.如权利要求3所述的联邦学习用户索引方法,其特征在于,所述将每个所述本地节点按照其对应的响应度大小排列区分,包括:

5.如权利要求1所述的联邦学习用户索引方法,其特征在于,所述对每个所述本地节点进行模型检测以获取用户画像信息,包括:

6.如权利要求5所述的联邦学习用户索引方法,其特征在于,所述对上传的所述模型参数进行评估,包括:

7.如权利要求6所述的联邦学习用户索引方法,其特征在于,所述收集对应所述用户的反馈信息并生成用户画像信息,包括:

8.如权利要求1所述的联邦学习用户索引方法,其特征在于,所述提取所述用户索引值的特征参数,基于所述特征参数生成特征标签,包括:

9.如权利要求8所述的联邦学习用户索引方法,其特征在于,所述通过所述特征标签确认用户索引值是否满足预设索引值条件:若满足,则索引所述用户参与联邦学习,包括:

10.一种联邦学习用户索引系统,其特征在于,采用如权利要求1-9任一项所述的联邦学习用户索引方法。


技术总结
本发明涉及联邦学习技术领域,提供一种联邦学习用户索引方法及系统,所述方法包括下述步骤:获取每个用户历史参与联邦学习的本地节点,确认每个所述本地节点的响应度,将每个所述本地节点按照其对应的响应度大小排列区分;对每个所述本地节点进行模型检测以获取用户画像信息,并根据每个所述本地节点的响应度和其对应的用户画像信息计算得到用户索引值;提取所述用户索引值的特征参数,基于所述特征参数生成特征标签,通过所述特征标签确认用户索引值是否满足预设索引值条件:若满足,则索引所述用户参与联邦学习,有助于防止虚假模型参数或错误模型参数的引入,为参与联邦学习的各方用户匹配具有实际价值度的用户,提高学习交互的效率。

技术研发人员:黄聪,强锋,马利,吴叶国
受保护的技术使用者:深圳微言科技有限责任公司
技术研发日:
技术公布日:2024/1/15
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1