模型更新方法、装置、电子设备及存储介质与流程

文档序号:19572549发布日期:2019-12-31 19:05阅读:来源:国知局

技术特征:

1.一种模型更新方法,其特征在于,应用于参数服务器,包括:

在执行服务器使用同一个历史样本集合进行模型参数的迭代训练过程中,根据每次接收到的所述执行服务器发送的梯度值对模型参数进行更新;

在满足参数推送条件后,将上次满足参数推送条件之后进行更新的模型参数中的部分或全部模型参数推送给预估服务器,以使所述预估服务器根据所述模型参数对当前上线的模型进行更新。

2.根据权利要求1所述的模型更新方法,其特征在于,所述参数推送条件包括下列的部分或全部:

相邻两次推送之间的时间间隔达到预设时长;

n个更新后的模型参数的变化率大于预设阈值,其中所述变化率用于表示同一个模型参数更新前后的变化程度,n为正整数。

3.根据权利要求1所述的模型更新方法,其特征在于,所述模型参数包括嵌入参数和网络参数;所述方法还包括:

在执行服务器使用同一历史样本集合进行模型参数的迭代训练过程之前,将所述嵌入参数发送给所述执行服务器;以及

在执行服务器使用同一历史样本集合进行模型参数的迭代训练过程中,若接收到所述执行服务器发送的参数请求,则将所述参数请求对应的网络参数发送给所述执行服务器。

4.一种模型更新方法,其特征在于,应用于执行服务器,包括:

在使用同一历史样本集合与参数服务器进行模型参数的迭代训练过程中,从所述参数服务器获取模型参数进行迭代;

将每次迭代得到的用于更新模型参数的梯度值发送给所述参数服务器,以使所述参数服务器在满足参数推送条件后,将上次满足参数推送条件之后进行更新的模型参数中的部分或全部用于更新模型的模型参数推送给预估服务器。

5.一种模型更新方法,其特征在于,应用于预估服务器,包括:

接收参数服务器在满足推送条件后推送的模型参数,其中所述模型参数是上次满足推送条件之后所述参数服务器进行更新的模型参数中的部分或全部;

根据所述模型参数对当前上线的模型进行更新。

6.一种模型更新装置,其特征在于,应用于参数服务器,包括:

参数更新单元,被配置为执行在执行服务器使用同一个历史样本集合进行模型参数的迭代训练过程中,根据每次接收到的所述执行服务器发送的梯度值对模型参数进行更新;

参数推送单元,被配置为执行在满足参数推送条件后,将上次满足参数推送条件之后进行更新的模型参数中的部分或全部模型参数推送给预估服务器,以使所述预估服务器根据所述模型参数对当前上线的模型进行更新。

7.一种模型更新装置,其特征在于,应用于执行服务器,包括:

训练单元,被配置为执行在使用同一历史样本集合与参数服务器进行模型参数的迭代训练过程中,从所述参数服务器获取模型参数进行迭代;

发送单元,被配置为执行将每次迭代得到的用于更新模型参数的梯度值发送给所述参数服务器,以使所述参数服务器在满足参数推送条件后,将上次满足参数推送条件之后进行更新的模型参数中的部分或全部用于更新模型的模型参数推送给预估服务器。

8.一种模型更新装置,其特征在于,应用于预估服务器,包括:

接收单元,被配置为执行接收参数服务器在满足推送条件后推送的模型参数,其中所述模型参数是上次满足推送条件之后所述参数服务器进行更新的模型参数中的部分或全部;

模型更新单元,被配置为执行根据所述模型参数对当前上线的模型进行更新。

9.一种电子设备,其特征在于,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现如权利要求1至权利要求3中任一项所述的模型更新方法或权利要求4所述的模型更新方法或权利要求5所述的模型更新方法。

10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至权利要求3中任一项所述的模型更新方法或权利要求4所述的模型更新方法或权利要求5所述的模型更新方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1