基于联邦学习的分布式服务方法、装置及系统与流程

文档序号:34690877发布日期:2023-07-06 00:44阅读:18来源:国知局
基于联邦学习的分布式服务方法、装置及系统与流程

本公开涉及通信,特别涉及基于联邦学习的分布式服务方法、装置及系统、计算机可存储介质。


背景技术:

1、联邦学习系统本质上是一种分布式学习系统,在分布式学习系统中,多个分布式节点可共同为中心节点提供服务。与传统的分布式学习不同,联邦学习的分布式节点(也称为参与者)对其本地数据拥有完全的自治权限,可以自主决定是否加入、何时加入联邦学习进行联合学习建模,它可以在满足数据隐私、安全和监管要求的前提下解决数据孤岛问题。

2、在联邦学习的每一轮联合训练过程中,各分布式节点完成各自的训练后,在加密机制下将训练好的模型参数传输给中心节点,由中心节点进行模型融合,再下发给分布式节点进行下一轮的训练。

3、相关技术中,从多个分布式节点中,确定可提供服务的服务标识符与中心节点所需服务的服务标识符相匹配的分布式节点作为目标分布式节点,用于执行与中心节点所需服务的服务标识符对应的联邦学习任务。


技术实现思路

1、相关技术中,由于不同的目标分布式节点加入联邦学习的时间、拥有的数据集和计算资源不同,从而不同的目标分布式节点完成联邦学习任务的时间不是同步的,仅仅通过匹配中心节点所需服务的服务标识符和分布式节点可提供服务的服务标识符,来确定目标分布式节点,容易出现中心节点的实际等待时间过长,导致资源浪费,联邦学习效率下降。

2、针对上述技术问题,本公开提出了一种解决方案,可以减少资源浪费,提高联邦学习的效率。

3、根据本公开的第一方面,提供了一种基于联邦学习的分布式服务方法,包括:根据中心节点的预期等待时间及其所需服务的服务标识符和多个分布式节点的预计响应时间及其可提供服务的服务标识符,从所述多个分布式节点中,确定多个目标分布式节点,其中,所述预期等待时间和所述所需服务的服务标识符与目标分布式节点的预计响应时间和可提供服务的服务标识符相匹配;发送服务请求到所述多个目标分布式节点,所述服务请求包括所述预期等待时间和所述中心节点所需服务的服务标识符,所述服务请求用于触发所述多个目标分布式节点在所述预期等待时间内执行与所述中心节点所需服务的服务标识符对应的联邦学习任务;接收来自所述多个目标分布式节点的服务响应,每个目标分布式节点的服务响应包括联邦学习任务的执行结果。

4、在一些实施例中,确定多个目标分布式节点包括:根据中心节点的预期等待时间及其所需服务的服务标识符和多个分布式节点的预计响应时间及其可提供服务的服务标识符,从所述多个分布式节点中,确定多个候选分布式节点,所述预期等待时间和所述所需服务的服务标识符与候选分布式节点的预计响应时间和可提供服务的服务标识符相匹配;根据所述中心节点的筛选策略,从所述多个候选分布式节点中,确定多个目标分布式节点。

5、在一些实施例中,确定多个候选分布式节点包括:通过与所述多个分布式节点交互服务发现过程,从所述多个分布式节点中,确定多个候选分布式节点,其中,候选分布式节点为决定加入联邦学习的分布式节点,所述服务发现过程中的发现服务请求包括所述预期等待时间和所述所需服务的服务标识符,所述服务发现过程中的发现服务响应来自所述候选分布式节点,包括分布式节点标识和预计响应时间。

6、在一些实施例中,确定多个候选分布式节点包括:通过与配置节点交互服务发现过程,从所述多个分布式节点中,确定多个候选分布式节点,其中,所述配置节点存储有所述多个分布式节点的预计响应时间及其可提供服务的服务标识符,所述服务发现过程中的发现服务请求包括所述预期等待时间和所述所需服务的服务标识符,所述服务发现过程中的发现服务响应来自所述配置节点,包括候选分布式节点的分布式节点标识和预计响应时间。

7、在一些实施例中,确定多个候选分布式节点包括:获取所述多个分布式节点的配置信息,所述配置信息包括每个分布式节点的预计响应时间及其可提供服务的服务标识符;将所述预期等待时间和所述所需服务的服务标识符与所述配置信息中的预计响应时间和可提供服务的服务标识符相匹配的分布式节点,确定为候选分布式节点。

8、在一些实施例中,所述筛选策略包括:从所述多个候选分布式节点中,筛选预计响应时间之间的差值在差值范围内的多个候选分布式节点,作为多个目标分布式节点。

9、在一些实施例中,分布式服务方法,还包括:在发送服务请求到所述多个目标分布式节点之前,判断所述预期等待时间和各个目标分布式节点的预计响应时间是否满足调整预期等待时间的调整条件;在满足调整条件的情况下,调整所述预期等待时间,其中,在调整所述预期等待时间的情况下,所述服务请求包括调整后的预期等待时间。

10、在一些实施例中,所述调整条件包括目标分布式节点的预计响应时间与所述预期等待时间之间的差值小于或等于差值阈值,调整所述预期等待时间包括:在目标分布式节点的预计响应时间与所述预期等待时间之间的差值小于或等于所述差值阈值的情况下,延长所述预期等待时间,使得目标分布式节点的预计响应时间与调整后的预期等待时间之间的差值大于所述差值阈值。

11、在一些实施例中,在任意一个目标分布式节点的实际响应时间长于所述预期等待时间的情况下,该目标分布式节点的服务响应还包括超时信息,所述超时信息用于指导调整再次执行与所述服务标识符对应的联邦学习任务的预期等待时间。

12、在一些实施例中,在可提供服务的服务标识符包括所述所需服务的服务标识符且预计响应时间短于所述预期等待时间的情况下,所述预期等待时间和所述所需服务的服务标识符与预计响应时间和可提供服务的服务标识符相匹配。

13、在一些实施例中,所述中心节点包括网络数据分析功能nwdaf消费者,所述分布式节点包括nwdaf生产者;或者所述中心节点包括管理数据分析服务mdas实体,所述分布式节点包括5g基站gnb。

14、在一些实施例中,在所述中心节点包括网络数据分析功能nwdaf消费者且所述分布式节点包括nwdaf生产者的情况下,所述配置节点包括网络仓储功能nrf网元。

15、在一些实施例中,分布式服务方法,还包括:融合来自所述多个目标分布式节点针对联邦学习任务的执行结果,得到聚合结果;发送所述聚合结果到所述多个目标分布式节点,用于所述多个分布式节点判断是否再次执行与所述服务标识符对应的联邦学习任务。

16、在一些实施例中,所述联邦学习任务包括联邦学习训练任务、数据分析任务中的至少一种。

17、在一些实施例中,所述分布式服务方法由所述中心节点执行。在一些实施例中,

18、根据本公开第二方面,提供了一种基于联邦学习的分布式服务装置,包括:确定模块,被配置为根据中心节点的预期等待时间及其所需服务的服务标识符和多个分布式节点的预计响应时间及其可提供服务的服务标识符,从所述多个分布式节点中,确定多个目标分布式节点,其中,所述预期等待时间和所述所需服务的服务标识符与目标分布式节点的预计响应时间和可提供服务的服务标识符相匹配;发送模块,被配置为发送服务请求到所述多个目标分布式节点,所述服务请求包括所述预期等待时间和所述服务标识符,所述服务请求用于触发所述多个目标分布式节点在所述预期等待时间内执行与所述服务标识符对应的联邦学习任务;接收模块,被配置为接收来自所述多个目标分布式节点的服务响应,每个目标分布式节点的服务响应包括联邦学习任务的执行结果。

19、根据本公开第三方面,提供了一种基于联邦学习的分布式服务装置,包括:存储器;以及耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器的指令,执行上述任一实施例所述的基于联邦学习的分布式服务方法。

20、根据本公开的第四方面,提供了一种基于联邦学习的分布式服务系统,包括:中心节点,被配置为:根据中心节点的预期等待时间及其所需服务的服务标识符和多个分布式节点的预计响应时间及其可提供服务的服务标识符,从所述多个分布式节点中,确定多个目标分布式节点,其中,所述预期等待时间和所述所需服务的服务标识符与目标分布式节点的预计响应时间和可提供服务的服务标识符相匹配;发送服务请求到所述多个目标分布式节点,所述服务请求包括所述预期等待时间和所述服务标识符,所述服务请求用于触发所述多个目标分布式节点在所述预期等待时间内执行与所述服务标识符对应的联邦学习任务;接收来自所述多个目标分布式节点的服务响应,每个目标分布式节点的服务响应包括联邦学习任务的执行结果。

21、在一些实施例中,分布式服务系统,还包括:所述多个目标分布式节点,分别被配置为接收来自所述中心节点的服务请求,基于所述服务请求执行与所述服务标识符对应的联邦学习任务,生成并发送所述服务响应。

22、根据本公开的第五方面,提供了一种计算机可存储介质,其上存储有计算机程序指令,该指令被处理器执行时实现上述任一实施例所述的基于联邦学习的分布式服务方法。

23、在上述实施例中,可以减少资源浪费,提高联邦学习的效率。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1