模型训练方法、装置、计算机设备和存储介质与流程

文档序号:35958313发布日期:2023-11-08 20:27阅读:34来源:国知局
模型训练方法、装置、计算机设备和存储介质与流程

本申请涉及计算机,特别是涉及一种模型训练方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术:

1、随着机器学习技术的发展,企业往往需要针对不同业务分别训练相应的机器学习模型。其中,存在一部分业务对应的机器学习模型不仅需要使用企业内部数据来训练模型,还需要结合来自其他平台的数据进行模型训练。

2、然而,不同设备之间存在数据共享障碍,对分散在多个设备或数据源上的数据进行建模和训练,存在模型训练效率低的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高模型训练效率的模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、本申请提供了一种模型训练方法。所述方法包括:

3、获取目标业务对应的目标配置文件;目标配置文件包括目标业务对应的发起方训练集、参与方信息、联邦学习框架标识和模型标识;

4、向参与方信息对应的参与方服务端发送携带联邦学习框架标识和模型标识的模型训练请求,以使参与方服务端通过参与方训练集,训练联邦学习框架标识对应的参与方镜像中模型标识对应的初始参与方模型,得到参与方中间结果;

5、通过发起方训练集,训练联邦学习框架标识对应的发起方镜像中模型标识对应的初始发起方模型,得到发起方中间结果;

6、获取参与方服务端返回的参与方中间结果,基于参与方中间结果和发起方中间结果,得到损失值;

7、通过损失值调整发起方镜像中的初始发起方模型中的模型参数,得到目标发起方模型,将损失值发送至参与方服务端,以使参与方服务端通过损失值调整参与方镜像中的初始参与方模型,得到目标参与方模型。

8、本申请还提供了一种模型训练装置。所述装置包括:

9、配置文件获取模块,用于获取目标业务对应的目标配置文件;目标配置文件包括目标业务对应的发起方训练集、参与方信息、联邦学习框架标识和模型标识;

10、训练请求发送模块,用于向参与方信息对应的参与方服务端发送携带联邦学习框架标识和模型标识的模型训练请求,以使参与方服务端通过参与方训练集,训练联邦学习框架标识对应的参与方镜像中模型标识对应的初始参与方模型,得到参与方中间结果;

11、中间结果生成模块,用于通过发起方训练集,训练联邦学习框架标识对应的发起方镜像中模型标识对应的初始发起方模型,得到发起方中间结果;

12、损失值确定模块,用于获取参与方服务端返回的参与方中间结果,基于参与方中间结果和发起方中间结果,得到损失值;

13、目标模型确定模块,用于通过损失值调整发起方镜像中的初始发起方模型中的模型参数,得到目标发起方模型,将损失值发送至参与方服务端,以使参与方服务端通过损失值调整参与方镜像中的初始参与方模型,得到目标参与方模型。

14、一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述模型训练方法的步骤。

15、一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述模型训练方法的步骤。

16、一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述模型训练方法的步骤。

17、上述模型训练方法、装置、计算机设备、存储介质和计算机程序产品,通过获取目标业务对应的目标配置文件。向参与方信息对应的参与方服务端发送携带联邦学习框架标识和模型标识的模型训练请求,以使参与方服务端通过参与方训练集训练联邦学习框架标识对应的参与方镜像中模型标识对应的初始参与方模型,得到参与方中间结果。同时通过发起方训练集,训练联邦学习框架标识对应的发起方镜像中模型标识对应的初始发起方模型,得到发起方中间结果。基于参与方中间结果和发起方中间结果,得到损失值。通过损失值调整初始发起方模型中的模型参数得到目标发起方模型,将损失值发送至参与方服务端,以使参与方服务端通过损失值调整初始参与方模型得到目标参与方模型。这样,由参与方服务端在联邦学框架标识对应的参与方镜像中对模型标识对应的初始参与方模型进行模型训练,同时在联邦学习框架标识对应的发起方镜像中对模型标识对应的初始发起方模型进行模型训练,基于得到的参与方中间结果和发起方中间结果得到损失值,基于损失值调整初始参与方模型和初始发起方模型,得到目标参与方模型和目标发起方模型。使得发起方服务端和参与方服务端之间能够协同进行模型训练,有效提高了模型训练的效率。



技术特征:

1.一种模型训练方法,其特征在于,应用于发起方服务端,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述目标配置文件是发起方客户端发送至所述发起方服务端,所述目标配置文件是所述发起方客户端响应于配置文件填充操作生成的,所述配置文件填充操作包括发起方训练集配置操作、参与方信息配置操作、联邦学习框架配置操作和模型配置操作。

3.根据权利要求2所述的方法,其特征在于,所述目标配置文件是所述发起方客户端基于所述联邦学习框架标识对应的配置文件转换规则,对响应于所述配置文件填充操作生成的初始配置文件进行格式转换生成的。

4.根据权利要求1所述的方法,其特征在于,所述向所述参与方信息对应的参与方服务端发送携带所述联邦学习框架标识和所述业务模型标识的模型训练请求,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.一种模型训练装置,其特征在于,所述装置包括:

8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。


技术总结
本申请涉及一种模型训练方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取目标业务对应的目标配置文件;向参与方信息对应的参与方服务端发送携带联邦学习框架标识和模型标识的模型训练请求,以使参与方服务端通过参与方训练集,训练联邦学习框架标识对应的参与方镜像中模型标识对应的初始参与方模型,得到参与方中间结果;通过发起方训练集训练发起方镜像中对应的初始发起方模型,得到发起方中间结果;获取参与方服务端返回的参与方中间结果,基于参与方中间结果和发起方中间结果,得到损失值;通过损失值调整发起方镜像中的初始发起方模型中的模型参数,得到目标发起方模型。采用本方法能够提高模型训练效率。

技术研发人员:陈彬,赵少东,林辰
受保护的技术使用者:深圳供电局有限公司
技术研发日:
技术公布日:2024/1/16
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1