分布式模型学习的制作方法

文档序号:11935289阅读:来源:国知局

技术特征:

1.一种学习模型的方法,包括:

接收来自至少一个用户的模型更新;

至少部分地基于前一模型和所述模型更新来计算经更新的模型;以及

至少部分地基于所述经更新的模型向所述至少一个用户传送与所述经更新的模型的子集相关的数据。

2.如权利要求1所述的方法,其特征在于,所述经更新的模型至少部分地基于性能度量或模型容量中的至少一者来验证。

3.如权利要求1所述的方法,其特征在于,所述计算至少部分地基于至少部分地以对所述模型更新的比较性分析为基础检测离群者。

4.如权利要求1所述的方法,其特征在于,所述经更新的模型包括模型架构或学习速率中的至少一者中的改变。

5.如权利要求4所述的方法,其特征在于,所述模型架构或所述学习速率中的至少一者是至少部分地基于对照验证数据的模型性能或权重更新的稀疏性中的至少一者来确定的。

6.如权利要求1所述的方法,其特征在于,所述子集仅包括与新训练的层相关的数据。

7.一种学习模型的方法,包括:

至少部分地基于共享的推断模型接收来自服务器的数据;

至少部分地基于所述模型计算推断;

至少部分地基于所述推断来计算至少一个模型参数更新,以及

至少部分地基于所述至少一个模型参数更新向所述服务器传送数据。

8.如权利要求7所述的方法,其特征在于,进一步包括,至少部分地基于所接收到的数据生成包括至少一个模型参数的模型。

9.如权利要求8所述的方法,其特征在于,所述生成包括使用本地高速缓存的训练示例来训练分类器。

10.如权利要求7所述的方法,其特征在于,所述传送至少部分地基于当前模型更新和前一模型更新。

11.如权利要求7所述的方法,其特征在于,所述计算或所述传送中的至少一者包括选择要计算或发送的模型参数子集。

12.一种用于学习模型的装置,包括:

存储器;以及

耦合至所述存储器的至少一个处理器,所述至少一个处理器被配置成:

接收来自至少一个用户的模型更新;

至少部分地基于前一模型和所述模型更新来计算经更新的模型;以及

至少部分地基于所述经更新的模型向所述至少一个用户传送与所述经更新的模型的子集相关的数据。

13.如权利要求12所述的装置,其特征在于,所述至少一个处理器被进一步配置成至少部分地基于性能度量或模型容量中的至少一者来验证所述经更新的模型。

14.如权利要求12所述的装置,其特征在于,所述至少一个处理器被进一步配置成至少部分地基于至少部分地以对所述模型更新的比较性分析为基础检测离群者来计算所述经更新的模型。

15.如权利要求12所述的装置,其特征在于,所述经更新的模型包括模型架构或学习速率中的至少一者中的改变。

16.如权利要求15所述的装置,其特征在于,所述模型架构或所述学习速率中的至少一者是至少部分地基于对照验证数据的模型性能或权重更新的稀疏性中的至少一者来确定的。

17.如权利要求12所述的装置,其特征在于,所述子集仅包括与新训练的层相关的数据。

18.一种用于学习模型的装置,包括:

存储器;以及

耦合至所述存储器的至少一个处理器,所述至少一个处理器被配置成:

至少部分地基于共享的推断模型接收来自服务器的数据;

至少部分地基于所述模型计算推断;

至少部分地基于所述推断来计算至少一个模型参数更新,以及

至少部分地基于所述至少一个模型参数更新向所述服务器传送数据。

19.如权利要求18所述的装置,其特征在于,所述至少一个处理器被进一步配置成至少部分地基于所接收到的数据生成包括至少一个模型参数的模型。

20.如权利要求19所述的装置,其特征在于,所述至少一个处理器被进一步配置成通过使用本地高速缓存的训练示例训练分类器来生成所述模型。

21.如权利要求18所述的装置,其特征在于,所述至少一个处理器被进一步配置成至少部分地基于当前模型更新和前一模型更新来传送所述数据。

22.如权利要求18所述的装置,其特征在于,所述至少一个处理器被进一步配置成通过选择要计算或发送的模型参数子集来计算所述至少一个模型参数更新或传送所述数据。

23.一种用于学习模型的装备,包括:

用于接收来自至少一个用户的模型更新的装置;

用于至少部分地基于前一模型和模型更新来计算经更新的模型的装置;以及用于至少部分地基于所述经更新的模型向所述至少一个用户传送与所述经更新的模型的子集相关的数据的装置。

24.一种用于学习模型的装备,包括:

用于至少部分地基于共享的推断模型接收来自服务器的数据的装置;

用于至少部分地基于所述模型计算推断的装置;

用于至少部分地基于所述推断来计算至少一个模型参数更新的装置,以及

用于至少部分地基于所述至少一个模型参数更新向所述服务器传送数据的装置。

25.一种用于学习模型的计算机程序产品,包括:

其上编码有程序代码的非瞬态计算机可读介质,所述程序代码包括:

用于接收来自至少一个用户的模型更新的程序代码;

用于至少部分地基于前一模型和所述模型更新来计算经更新的模型的程序代码;以及

用于至少部分地基于所述经更新的模型向所述至少一个用户传送与所述经更新的模型的子集相关的数据的程序代码。

26.一种用于学习模型的计算机程序产品,包括:

其上编码有程序代码的非瞬态计算机可读介质,所述程序代码包括:

用于至少部分地基于共享的推断模型接收来自服务器的数据的程序代码;

用于至少部分地基于所述模型计算推断的程序代码;

用于至少部分地基于所述推断来计算至少一个模型参数更新的程序代码,以及

用于至少部分地基于所述至少一个模型参数更新向所述服务器传送数据的程序代码。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1